Task nodes で EMR クラスタのスケールインを高速化する
S3のバージョニングを有効にして誤って上書きや削除してしまったオブジェクトを復旧できるようにする
Athena for Apache Spark の Notebook で DataFrame.toPandas().plot() した際の日本語が文字化けしないようにする
CDK で立ち上げた EKS クラスタを EMR on EKS に登録し Spark のジョブを動かす
CloudTrail で AWS 上のリソースの操作記録を確認する
GuardDuty, Inspector, Macie などによって検出されたセキュリティ上の問題を AWS Security Hub で確認する
CDK で Amazon Managed Workflow for Apache Airflow (MWAA) の環境を作成しワークフローを実行する
Docker Compose の service に AWS のクレデンシャルを渡す
New RelicでAWSのコストをモニタリングする
AWS Cost Management でコストをモニタリングし最適化する
GitHub ActionsからOIDCでassumeできるRoleをCDKで作成する
ScalaでSparkのアプリケーションを開発してGitHub ActionsでデプロイしEMRでリモートデバッグする
Spark SQLのJOIN時に余分なパーティションが読まれる例とDynamic Partition Pruning (DPP)
EMRクラスタで動かしたSparkのログをFluent BitでNew Relicに集約する
Athena v2でparquetをソースとしmapフィールドを持つテーブルのクエリが成功したり失敗したりする原因
EMRでSparkを動かす際の設定
AWS CopilotでECS on Fargate上にコンテナをデプロイしECS Execによるコマンドの実行やSession Managerによるポートフォワーディングを行う
AWS CLIでEMRクラスタを立ち上げSparkのアプリケーションを実行する
Athenaで他アカウントのテーブルを参照するために必要な設定
Athenaのデータソースコネクタとユーザー定義関数(UDF)を実装する
CloudWatch Logsを介さずにLambdaのテレメトリを行うnewrelic-lambda-extensionとその仕組み
New Relicでインフラやアプリケーションをモニタリングする
Redshift ServerlessとAthenaの性能をTPC-DSのクエリで比較する
GlueのTPC-DS Connectorでデータを生成する
Redshift Serverlessと他のサーバーレス集計サービス、Glue Data Catalogのテーブルへのクエリ実行
AthenaのFederated QueryでTPC-DS Connectorを用いてデータを生成する
SparkのWeb UIでJobのStageとExecutorによるTask分散、SQLのplanを確認する
Glue DataBrewでデータを可視化して分析するProjectと機械学習の前処理を行うJobをCDKで作成する
GoでAmazon Forecastに時系列データをimportしPredictorを作成して予測結果をS3にexportする
CDKでCloudWatch Dashboardsを作成しコンソール上からAWSアカウントを持たない外部ユーザーに公開する
CDKでECS(EC2)上にLocust masterとworkerのServiceをデプロイしCloud Mapで名前解決させる
CDKでALBとECS(EC2)クラスタを作成し、ecs-cliでDocker Composeの構成をデプロイする
AWS X-rayでアプリケーションのリクエストをトレースし可視化する
SageMaker Studioの使っていないKernelを自動でシャットダウンするsagemaker-studio-auto-shutdown-extension
GlueのカスタムコネクタでBigQueryに接続する
Athena(Presto)とGlue(Spark)で同じクエリを実行した際に異なる値が返る原因
AWS SDK for Java 2.x のUnable to load an HTTP implementationとクライアント変更によるlambda実行高速化
AWS App Runnerの特徴と料金、CloudFormationのResource
CDKでGlue Data CatalogのDatabase,Table,Partition,Crawlerを作成する
CDKでKinesis Data Analytics上にPyFlinkのコードをデプロイして動かす
AWS GlueのJobのBookmarkを有効にして前回の続きから処理を行う
CDKでStep Functionsによるワークフローを構築する
Application Auto Scalingのcustom-resourceによるKinesis Data Streamsのオートスケール設定
Goのio packageのReader/Writer/Closer/Seeker interfaceとストリーム処理
Athena(Presto)でWindow関数を用いた集計を行う
Amazon Forecastで時系列データの予測を行う
Kinesis Data Analyticsによる集計遅延箇所の特定
CDKでCognito UserPoolとClientを作成しトリガーやFederationを設定する
EKSにKubeflowをインストールする
GoでAthenaのクエリを実行する
VSCodeのdevcontainerにSAM CLIをインストールしlocal invokeする
ElastiCacheでRedisクラスタを作成する際の設定
Kinesis Data AnalyticsのSQL, Lambdaへの出力とCDKによるリソースの作成
EKS上のLocustから負荷をかける際のリソースの割り当てやインスタンスタイプの調整
CloudWatch Container InsightsでEKSのメトリクスを取得する
CDKでEKSクラスタの作成からHelm ChartでのLocustのインストールまでを一気に行う
AWS Organizaionsで複数のアカウントを一元管理する
VSCodeのDocker開発コンテナでJupyter Notebookを開いてAthenaのクエリを実行し可視化する
SageMakerでTensorFlowのモデルを学習させる
SageMakerで学習したPyTorchのモデルをElastic Inferenceを有効にしてデプロイする
SageMakerでPyTorchのモデルを学習させる
VSCodeのRemote DevelopmentでSageMakerのコンテナ環境でモデルを開発する
PoetryでPythonの依存パッケージを管理する
VPCエンドポイント
DAX (DynamoDB Accelerator)の特性と挙動確認
ECSでアプリケーションを動かすBoilerplateを作った
LA,ディズニーランドからre:Inventに参加しグランドキャニオンへドライブしてきた
ECS(EC2)のCloudFormation最小構成
Lambda環境でできない処理をECSで実行する
PR上でCDKのレビューやデプロイを行うツールcdkbotを作った
CDKでECS+Fargate上にDigdagを立ててCognito認証を挟む
Lambda上でnpm installできるLayerを作った
Lambda Layerでバイナリやライブラリを切り出す
AWS SAMとGoでPRのコメントに対して返事を返すGitHub Appを作る
Cognito UserPoolのPreSignUp時に呼ばれるLambdaで登録ユーザーを制限する
LambdaとALBでCognito認証をかけて失敗したらログイン画面に飛ばす
API GatewayでCognitoの認証をかけて必要ならログイン画面に飛ばす処理をGoで書く
AWS DeepRacerを始める
CDK/CircleCI/GitHubでAWSリソース管理リポジトリを作る
AWS CDKでCloudFormationのテンプレートをTypeScriptから生成しデプロイする
ECS FargateでSidecarのFluentdでログをS3に送る構成をCloudFormationで構築する
DatadogのAWS integrationとAlertの設定をTerraformで行う
SageMaker NotebookでGitリポジトリにSSHでpush/pullできるようにする
AWS SAMでLambdaの関数をデプロイしServerless Application Repositoryに公開する
CloudFormationでVPCを作成してLambdaをデプロイしAurora Serverlessを使う
AWS Systems Manager (SSM)のParameter Storeに認証情報を置き参照する
AWS GlueでCSVを加工しParquetに変換してパーティションを切りAthenaで参照する
FargateでECSを使う
Macでの開発環境構築メモ
Cognito UserPoolとAPI Gatewayで認証付きAPIを立てる
Serverless FrameworkでLambdaをデプロイする
DatadogのLambda Integrationで気象データを送ってアラートを飛ばす
Athenaのmigrationやpartitionするathena-adminを作った
ApexでデプロイしたLambdaのトリガーをTerraformで管理する
Redashでデータを可視化する
ApexでLambdaをデプロイする
Lambda上でPuppeteer/Headless Chromeを動かすStarter Kitを作った
TerraformでVPCを管理するmoduleを作る
fluentdのAggregatorをELBで負荷分散し、Blue/Green Deploymentする
fluentdでKinesis streamsに送るときの性能確認
