python-fireでコマンドライン引数が関数やメソッドに渡るようにする
OpenAIのGPTを国会会議録の総理大臣の発言でファインチューニングする
SageMaker Inference Recommender でコスト最適なインスタンスタイプの推論エンドポイントを立てる
Spark の MLlib で k-means法によるクラスタリングを行う
相関比でカテゴリ変数と目的変数の相関の強さを表す
Athena for Apache Spark の Notebook で DataFrame.toPandas().plot() した際の日本語が文字化けしないようにする
Python の組み込みコンテナと collections.deque
Sparkでstructをmapとして扱いexplodeで複数行に展開できるようにする
AWS GlueのJobのBookmarkを有効にして前回の続きから処理を行う
PythonのProtocolによるstructural subtypingでインタフェースを記述する
Pythonのmoduleとpackage
VSCodeのDocker開発コンテナでJupyter Notebookを開いてAthenaのクエリを実行し可視化する
SageMakerでTensorFlowのモデルを学習させる
TensorFlow2のKeras APIでTitanicのモデルを作る
SageMakerで学習したPyTorchのモデルをElastic Inferenceを有効にしてデプロイする
SageMakerでPyTorchのモデルを学習させる
VSCodeのRemote DevelopmentでSageMakerのコンテナ環境でモデルを開発する
PoetryでPythonの依存パッケージを管理する
Pythonで時系列データを検定(Shapiro-Wilk test, runs test, Ljung-Box test)する
カテゴリカル変数を変換するsklearnのLabel/OneHotEncoderとpandasのget_dummies
Box-Cox transformationで非正規分布のデータを正規分布に近づける
KaggleのHouse Prices CompetitionのKernelからデータの探り方を学ぶ
HI-VAE(Heterogeneous-Incomple VAE)の論文を読んで処理を追う
VAEでエンコードしたMNISTの潜在空間をt-SNEで可視化する
PyTorchでVAEのモデルを実装してMNISTの画像を生成する
SageMaker NotebookでGitリポジトリにSSHでpush/pullできるようにする
PyTorchでMNISTする
AWS GlueでCSVを加工しParquetに変換してパーティションを切りAthenaで参照する
PythonのType Hintsとmypy
numpyの関数
Pandasの操作
ベイズ最適化でランダムフォレストとXGBoostの良いハイパーパラメータを探す
KaggleのTitanicのチュートリアルをXGBoostで解く
KaggleのTitanicのチュートリアルをランダムフォレストで解く
Pythonのasyncioで非同期にリクエストを飛ばす
KubernetesにHelmでLocustによる分散負荷試験環境を立てる
Pythonのインタラクティブな可視化ライブラリBokehでグラフを描く
PythonのLintとFormatter