python-fireでコマンドライン引数が関数やメソッドに渡るようにする

OpenAIのGPTを国会会議録の総理大臣の発言でファインチューニングする

SageMaker Inference Recommender でコスト最適なインスタンスタイプの推論エンドポイントを立てる

Spark の MLlib で k-means法によるクラスタリングを行う

相関比でカテゴリ変数と目的変数の相関の強さを表す

Athena for Apache Spark の Notebook で DataFrame.toPandas().plot() した際の日本語が文字化けしないようにする

Python の組み込みコンテナと collections.deque

Sparkでstructをmapとして扱いexplodeで複数行に展開できるようにする

AWS GlueのJobのBookmarkを有効にして前回の続きから処理を行う

PythonのProtocolによるstructural subtypingでインタフェースを記述する

Pythonのmoduleとpackage

VSCodeのDocker開発コンテナでJupyter Notebookを開いてAthenaのクエリを実行し可視化する

SageMakerでTensorFlowのモデルを学習させる

TensorFlow2のKeras APIでTitanicのモデルを作る

SageMakerで学習したPyTorchのモデルをElastic Inferenceを有効にしてデプロイする

SageMakerでPyTorchのモデルを学習させる

VSCodeのRemote DevelopmentでSageMakerのコンテナ環境でモデルを開発する

PoetryでPythonの依存パッケージを管理する

Pythonで時系列データを検定(Shapiro-Wilk test, runs test, Ljung-Box test)する

カテゴリカル変数を変換するsklearnのLabel/OneHotEncoderとpandasのget_dummies

Box-Cox transformationで非正規分布のデータを正規分布に近づける

KaggleのHouse Prices CompetitionのKernelからデータの探り方を学ぶ

HI-VAE(Heterogeneous-Incomple VAE)の論文を読んで処理を追う

VAEでエンコードしたMNISTの潜在空間をt-SNEで可視化する

PyTorchでVAEのモデルを実装してMNISTの画像を生成する

SageMaker NotebookでGitリポジトリにSSHでpush/pullできるようにする

PyTorchでMNISTする

AWS GlueでCSVを加工しParquetに変換してパーティションを切りAthenaで参照する

PythonのType Hintsとmypy

numpyの関数

Pandasの操作

ベイズ最適化でランダムフォレストとXGBoostの良いハイパーパラメータを探す

KaggleのTitanicのチュートリアルをXGBoostで解く

KaggleのTitanicのチュートリアルをランダムフォレストで解く

Pythonのasyncioで非同期にリクエストを飛ばす

KubernetesにHelmでLocustによる分散負荷試験環境を立てる

Pythonのインタラクティブな可視化ライブラリBokehでグラフを描く

PythonのLintとFormatter