情報インフラ

機械学習手法を用いる研究向け基盤 on Kubernetes ~開発編~

この記事では大学院修了にともなって、これまで構築してきた Kubernetes (K8s) を用いた ML 基盤のうち、開発したソフトウェアを中心に紹介していきます。

Prometheus + Grafana を用いた Rook Ceph クラスタの監視

この記事は,[Rookと仲間たち、クラウドネイティブなストレージの Advent Calendar 2020](https://qiita.com/advent-calendar/2020/rook-friends-cns) 20日目の記事です. 本記事では,Rook CephCluster を Prometheus と Grafana を使って監視します.

DCGM Exporter を用いた Kubernetes における NVIDIA GPU 監視環境の構築

Prometheus & Grafana と DCGM-Exporter を使って NVIDIA GPU を監視するシステムを Kubernetes 上に構築します.

TopoLVMによるPVC-basedなRook/Ceph with Pod Topology Spread Constraints

はじめに 前提条件 TopoLVMの導入 TopoLVMとは TopoLVM準備 topolvm-schedulerの導入 K8sクラスタの構築 共通事前準備 Control Plane Node Node topolvmのデプロイ 事前準備 helm3 kustomize デプロイ Rook/Cephのデプロイ 事前準備 デプロイ CephFSのデプロ…

kube-vipを用いたHA Kubernetes Clusterの構築

kube-vipを用いてK8s HA構成を作成し,DeepLearning環境を構築します.

Golangを用いたマニフェスト(Kubernetes)生成ツール

Kubernetesマニフェスト生成ツールをgolangにより実装した話

GitLab Container RegistryをKubernetesで使う

はじめに 準備 新規プロジェクトの作成 Secretリソースの作成 デプロイトークンの発行 Secretリソースの作成 Secretリソースの利用 補足(Dockerでの使用方法) はじめに 以前GitLab Runner on Kubernetesに敗北した話 - てんぜんの生存日誌でお話したように…

Jupyter Lab on Kubernetesでの深層学習環境の構築

はじめに 前回までのお話 Ingress Nginx Ingressとは マニフェストの準備 デプロイ Jupyter-Lab Jupyterとは コンテナイメージの作成 マニフェストの準備 デプロイ L7ルーティング 概要 マニフェストの準備 デプロイ アクセス確認 おわりに はじめに 今回はj…

Rook CephFSでの障害ドメインのカスタマイズ

はじめに 障害ドメインの種類 障害ドメインのカスタム設定 掃除 マニフェストの書き換え デプロイ おまけ 構成の確認 ベンチマーク 補足事項 おわりに はじめに 以前下記の記事でCephFS/Rookを実装しました. tenzen.hatenablog.com その際障害ドメインをホ…

Kubernetesにおけるデータのバックアップ

はじめに CronJobとは 実装 フルバックアップの実装 Persistent Volumeの準備 バックアップ処理用Dockerイメージの作成 フルバックアップ処理用CronJobの実装 差分バックアップ処理用CronJobの実装 今回使用する差分バックアップ マニフェストの準備とデプロ…

Private Docker Registry(プライベートレジストリ) on Kubernetes

はじめに Persistent Volumeの作成 Private Docker Registryデプロイ Private Docker Registry Frontendのデプロイ Ingress Nginx Controller Ingress Nginx Controllerとは Ingressリソースの実装 おわりに はじめに 以前下記の記事でdockerを用いて作成し…

GitLab Runner on Kubernetesに敗北した話

はじめに 前提条件 Helmのインストール GitLabの設定変更 Ingressリソース LoadBalancerの実装 Gitlabのデプロイ 本題 補足 おわりに はじめに 本ブログを開設以来実装の成功事例ばかり紹介してきましたが,今回は初の失敗したお話です. 今回,図1のようなK…

Rook-Cephfs + Nvidia Driver vs てんぜん

はじめに Rookとは 準備 Kernel Imageの変更 Nvidia Driverの更新 時間調整 Rook・Cephの設定 デプロイ PVとしての使用 Ceph DashBoard トラブルシューティング おわりに はじめに RookだらけのAdvent Calenderに一通り目を通して面白そうだと思い やってみ…

Kubernetes(k8s) v1.16とNvidia-Docker2を用いたマルチノードDeepLearning環境の構築 Part2

この記事は近畿大学 Advent Calendar 2019 - Qiita 24日目の記事です. はじめに Strageリソース Volume Persistent Volume 準備 Persistent Volumeの作成 metadata.labels spec.capacity.storage spec.accessModes spec.persistentVolumeReclaimPolicy spec…

Kubernetes(k8s) v1.16とNvidia-Docker2を用いたマルチノードDeepLearning環境の構築

この記事は近畿大学 Advent Calendar 2019 - Qiita3日目の記事です. はじめに Kubernetes・Nvidia-Docker2・NVIDIA-device-plugin-for-Kubernetes Kubernetes Nvidia-Docker2 NVIDIA-device-plugin-for-Kubernetes Kubernetes環境の構築 Step01[全Node共通…

Private Docker Registry(プライベートレジストリ)の構築

はじめに 作成したDockerイメージのリポジトリとして有名なのはDocker hubがあります.しかしネットワークが制限されている場所では使用することが難しかったり,パブリックリポジトリとプライベートリポジトリがありますが無料会員の場合プライベートリポジ…

kubectl createとkubectl applyの違い

はじめに createとapply applyの動作原理 createを使用した場合 まとめ はじめに このブログでは毎回のことになってきていますが,以下の書籍を参考にしております. Kubernetes完全ガイド (impress top gear)作者:青山 真也発売日: 2018/09/21メディア: 単…

Kubernetes(k8s)の基礎

はじめに Kubernetesとは 作ったところ 概略 できること マルチノードのコンテナ管理・リソース管理 コンテナのスケジューリング スケーリング Infrastructure as Code(IaC) セルフヒーリング Kubernetes動作環境 オンプレミス Managed Kubernetes Service …