Clustering by k-means method with MLlib of Spark

Expresses a strength of the correlation between a categorical variable and a objective variable with the correlation ratio

Athena for Apache Spark の Notebook で DataFrame.toPandas().plot() した際の日本語が文字化けしないようにする

Python's built-in containers and collections.deque

Treat Spark struct as map to expand to multiple rows with explode

Enable Job Bookmark of AWS Glue to process from the records following ones executed previously

Python with structural subtyping by Protocol

Pythonのmoduleとpackage

VSCodeのDocker開発コンテナでJupyter Notebookを開いてAthenaのクエリを実行し可視化する

SageMakerでTensorFlowのモデルを学習させる

TensorFlow2のKeras APIでTitanicのモデルを作る

SageMakerで学習したPyTorchのモデルをElastic Inferenceを有効にしてデプロイする

SageMakerでPyTorchのモデルを学習させる

VSCodeのRemote DevelopmentでSageMakerのコンテナ環境でモデルを開発する

PoetryでPythonの依存パッケージを管理する

Pythonで時系列データを検定(Shapiro-Wilk test, runs test, Ljung-Box test)する

カテゴリカル変数を変換するsklearnのLabel/OneHotEncoderとpandasのget_dummies

Box-Cox transformationで非正規分布のデータを正規分布に近づける

KaggleのHouse Prices CompetitionのKernelからデータの探り方を学ぶ

HI-VAE(Heterogeneous-Incomple VAE)の論文を読んで処理を追う

VAEでエンコードしたMNISTの潜在空間をt-SNEで可視化する

PyTorchでVAEのモデルを実装してMNISTの画像を生成する

SageMaker NotebookでGitリポジトリにSSHでpush/pullできるようにする

PyTorchでMNISTする

AWS GlueでCSVを加工しParquetに変換してパーティションを切りAthenaで参照する

PythonのType Hintsとmypy

numpyの関数

Pandasの操作

ベイズ最適化でランダムフォレストとXGBoostの良いハイパーパラメータを探す

KaggleのTitanicのチュートリアルをXGBoostで解く

KaggleのTitanicのチュートリアルをランダムフォレストで解く

Pythonのasyncioで非同期にリクエストを飛ばす

KubernetesにHelmでLocustによる分散負荷試験環境を立てる

Pythonのインタラクティブな可視化ライブラリBokehでグラフを描く

PythonのLintとFormatter