この度、kubeflow/katib のメンテナになりました。これからも頑張ります。 https://t.co/ki68ysHbue— tenzen (@AokiTenzen) 2022年12月10日 先日 Tweet したように、Kubernetes 上で MLOps 基盤を構築するための OSS である、Kubeflow で AutoML を実現する…

この記事では大学院修了にともなって、これまで構築してきた Kubernetes (K8s) を用いた ML 基盤のうち、開発したソフトウェアを中心に紹介していきます。

この記事は，[Rookと仲間たち、クラウドネイティブなストレージの Advent Calendar 2020](https://qiita.com/advent-calendar/2020/rook-friends-cns) 20日目の記事です． 本記事では，Rook CephCluster を Prometheus と Grafana を使って監視します．

Prometheus & Grafana と DCGM-Exporter を使って NVIDIA GPU を監視するシステムを Kubernetes 上に構築します．

はじめに 使い方 動作環境 構築手順 削除 おわりに はじめに TopoLVMをCSIに用いてRook/CephをK8sクラスタの構築から全自動で行うAnsible-Playbookを作成したので，簡単な使い方などを紹介していきたいと思います． 本PlayBookではHAProxyとKeepalivedを用い…

はじめに 前提条件 TopoLVMの導入 TopoLVMとは TopoLVM準備 topolvm-schedulerの導入 K8sクラスタの構築 共通事前準備 Control Plane Node Node topolvmのデプロイ 事前準備 helm3 kustomize デプロイ Rook/Cephのデプロイ 事前準備 デプロイ CephFSのデプロ…

kube-vipを用いてK8s HA構成を作成し，DeepLearning環境を構築します．

Kubernetesマニフェスト生成ツールをgolangにより実装した話

はじめに 準備 新規プロジェクトの作成 Secretリソースの作成 デプロイトークンの発行 Secretリソースの作成 Secretリソースの利用 補足（Dockerでの使用方法） はじめに 以前GitLab Runner on Kubernetesに敗北した話 - てんぜんの生存日誌でお話したように…

はじめに 前回までのお話 Ingress Nginx Ingressとは マニフェストの準備 デプロイ Jupyter-Lab Jupyterとは コンテナイメージの作成 マニフェストの準備 デプロイ L7ルーティング 概要 マニフェストの準備 デプロイ アクセス確認 おわりに はじめに 今回はj…

はじめに 障害ドメインの種類 障害ドメインのカスタム設定 掃除 マニフェストの書き換え デプロイ おまけ 構成の確認 ベンチマーク 補足事項 おわりに はじめに 以前下記の記事でCephFS/Rookを実装しました． tenzen.hatenablog.com その際障害ドメインをホ…

はじめに CronJobとは 実装 フルバックアップの実装 Persistent Volumeの準備 バックアップ処理用Dockerイメージの作成 フルバックアップ処理用CronJobの実装 差分バックアップ処理用CronJobの実装 今回使用する差分バックアップ マニフェストの準備とデプロ…

はじめに Persistent Volumeの作成 Private Docker Registryデプロイ Private Docker Registry Frontendのデプロイ Ingress Nginx Controller Ingress Nginx Controllerとは Ingressリソースの実装 おわりに はじめに 以前下記の記事でdockerを用いて作成し…

はじめに 前提条件 Helmのインストール GitLabの設定変更 Ingressリソース LoadBalancerの実装 Gitlabのデプロイ 本題 補足 おわりに はじめに 本ブログを開設以来実装の成功事例ばかり紹介してきましたが，今回は初の失敗したお話です． 今回，図1のようなK…

はじめに Rookとは 準備 Kernel Imageの変更 Nvidia Driverの更新 時間調整 Rook・Cephの設定 デプロイ PVとしての使用 Ceph DashBoard トラブルシューティング おわりに はじめに RookだらけのAdvent Calenderに一通り目を通して面白そうだと思い やってみ…

この記事は近畿大学 Advent Calendar 2019 - Qiita 24日目の記事です． はじめに Strageリソース Volume Persistent Volume 準備 Persistent Volumeの作成 metadata.labels spec.capacity.storage spec.accessModes spec.persistentVolumeReclaimPolicy spec…

この記事は近畿大学 Advent Calendar 2019 - Qiita3日目の記事です． はじめに Kubernetes・Nvidia-Docker2・NVIDIA-device-plugin-for-Kubernetes Kubernetes Nvidia-Docker2 NVIDIA-device-plugin-for-Kubernetes Kubernetes環境の構築 Step01[全Node共通…

はじめに createとapply applyの動作原理 createを使用した場合 まとめ はじめに このブログでは毎回のことになってきていますが，以下の書籍を参考にしております． Kubernetes完全ガイド (impress top gear)作者:青山 真也発売日: 2018/09/21メディア: 単…

はじめに Kubernetesとは 作ったところ 概略 できること マルチノードのコンテナ管理・リソース管理 コンテナのスケジューリング スケーリング Infrastructure as Code(IaC) セルフヒーリング Kubernetes動作環境 オンプレミス Managed Kubernetes Service …