相関比でカテゴリ変数と目的変数の相関の強さを表す

Athena for Apache Spark の Notebook で DataFrame.toPandas().plot() した際の日本語が文字化けしないようにする

Python の組み込みコンテナと collections.deque

Sparkでstructをmapとして扱いexplodeで複数行に展開できるようにする

AWS GlueのJobのBookmarkを有効にして前回の続きから処理を行う

PythonのProtocolによるstructural subtypingでインタフェースを記述する

Pythonのmoduleとpackage

VSCodeのDocker開発コンテナでJupyter Notebookを開いてAthenaのクエリを実行し可視化する

SageMakerでTensorFlowのモデルを学習させる

TensorFlow2のKeras APIでTitanicのモデルを作る

SageMakerで学習したPyTorchのモデルをElastic Inferenceを有効にしてデプロイする

SageMakerでPyTorchのモデルを学習させる

VSCodeのRemote DevelopmentでSageMakerのコンテナ環境でモデルを開発する

PoetryでPythonの依存パッケージを管理する

Pythonで時系列データを検定(Shapiro-Wilk test, runs test, Ljung-Box test)する

カテゴリカル変数を変換するsklearnのLabel/OneHotEncoderとpandasのget_dummies

Box-Cox transformationで非正規分布のデータを正規分布に近づける

KaggleのHouse Prices CompetitionのKernelからデータの探り方を学ぶ

HI-VAE(Heterogeneous-Incomple VAE)の論文を読んで処理を追う

VAEでエンコードしたMNISTの潜在空間をt-SNEで可視化する

PyTorchでVAEのモデルを実装してMNISTの画像を生成する

SageMaker NotebookでGitリポジトリにSSHでpush/pullできるようにする

PyTorchでMNISTする

AWS GlueでCSVを加工しParquetに変換してパーティションを切りAthenaで参照する

PythonのType Hintsとmypy

numpyの関数

Pandasの操作

ベイズ最適化でランダムフォレストとXGBoostの良いハイパーパラメータを探す

KaggleのTitanicのチュートリアルをXGBoostで解く

KaggleのTitanicのチュートリアルをランダムフォレストで解く

Pythonのasyncioで非同期にリクエストを飛ばす

KubernetesにHelmでLocustによる分散負荷試験環境を立てる

Pythonのインタラクティブな可視化ライブラリBokehでグラフを描く

PythonのLintとFormatter