Redshift Serverlessと他のサーバーレス集計サービス、Glue Data Catalogのテーブルへのクエリ実行

Sparkでstructをmapとして扱いexplodeで複数行に展開できるようにする

SparkのWeb UIでJobのStageとExecutorによるTask分散、SQLのplanを確認する

GlueのカスタムコネクタでBigQueryに接続する

Athena(Presto)とGlue(Spark)で同じクエリを実行した際に異なる値が返る原因

AWS GlueのJobのBookmarkを有効にして前回の続きから処理を行う

Apache SparkのRDD, DataFrame, DataSetとAction, Transformation

AWS GlueでCSVを加工しParquetに変換してパーティションを切りAthenaで参照する