俺のjupyter環境

みんなはどうやってるんだろう？

現状

以下の構成でやってる

• jenkins: google compute engine pluginで分散ビルド。jupyter notebookをパラメータでアップロードして、実行して結果とアーティファクトを保存するジョブ作った

• jupyter: ローカルで動かす。gpuはcompute engineで手動でインスタンス立てる

理想

• kaggleのような環境

• jupyterでタブ開いたら、自動でインスタンスが起動して割り当てられて、使わなくなったら自動で解放して欲しい

• commitでバックグラウンドでビルドされて、結果とアーティファクトが元のnotebookに紐づいて管理される

kaggleで足りないこと

• 結果とかアーティファクトを自分で管理していない (バックアップとか取ってるけど。消える恐怖)

• インスタンスの種類とか数に制約がある

• 自分のdocker image使えない

ダメだったこと

• mlflowとかkedroとか

• 色々なこと実験しようとすると、コードの変化が激しすぎて、jupyterでコピペ開発のほうが良かった

今後

• kaggle的なものでベターなものを探す？

• jupyterを改善するようななにかを探す？

• 自分で改良してみる？

自分で改良するとしたら

• jupyterのプラグインかなにかで、簡単にjenkinsジョブを実行できるようにする

• jenkinsジョブで結果を整理して保存するようにする

• jupyterのインスタンスを簡単に起動、終了して、タブに紐付けるなにかを作る