Preprocess data with SageMaker Processing, train model with Training and record the parameters and accuracy with Experiments

Make EMR clusters' scale-in faster with Task nodes

Enable S3 versioning to retrieve accidentally overwritten or deleted objects

Athena for Apache Spark の Notebook で DataFrame.toPandas().plot() した際の日本語が文字化けしないようにする

Register an EKS cluster launched with CDK to EMR on EKS and run Spark jobs

Check records of operations for AWS resources with CloudTrail

Check security issues detected by GuardDuty, Inspector, and Macie, etc. in AWS Security Hub collectively

Create an environment of Amazon Managed Workflow for Apache Airflow (MWAA) with CDK and run a workflow

Pass AWS credentials to services for Docker Compose

Monitor AWS costs with New Relic

Monitor and optimize costs with AWS Cost Management

Create a role that can assume with OIDC from GitHub Actions with CDK

Develop Spark Applications in Scala, deploy with GitHub Actions, and perform remote debugging on EMR

Spark SQLのJOIN時に余分なパーティションが読まれる例とDynamic Partition Pruning (DPP)

Aggregate logs of spark running on an EMR cluster with Fluent Bit

Why can Athena v2 fail to query map columns in parquet source tables

Settings for running Spark on EMR

Deploy a container to ECS on Fargate, execute commands by ECS Exec, and perform port forwarding by Session Manager

Launch an EMR cluster with AWS CLI and run Spark applications

Settings for querying tables of other accounts with Athena

Implement Athena's data source connectors and user defined functions (UDF)

About newrelic-lambda-extension and how it works telemetry without CloudWatch Logs

Monitor infrastructure and applications with New Relic

Compare Redshift Serverless and Athena performances by TPC-DS queries

Generate data with TPC-DS Connector for Glue

Redshift Serverless and other serverless ETL services, run query with Glue Data Catalog

Generate data with TPC-DS Connector in Athena's Federated Query

Spark Web UI: Monitor Job Stages, Tasks distribution and SQL plan

Glue DataBrewでデータを可視化して分析するProjectと機械学習の前処理を行うJobをCDKで作成する

GoでAmazon Forecastに時系列データをimportしPredictorを作成して予測結果をS3にexportする

CDKでCloudWatch Dashboardsを作成しコンソール上からAWSアカウントを持たない外部ユーザーに公開する

CDKでECS(EC2)上にLocust masterとworkerのServiceをデプロイしCloud Mapで名前解決させる

CDKでALBとECS(EC2)クラスタを作成し、ecs-cliでDocker Composeの構成をデプロイする

AWS X-rayでアプリケーションのリクエストをトレースし可視化する

SageMaker Studioの使っていないKernelを自動でシャットダウンするsagemaker-studio-auto-shutdown-extension

GlueのカスタムコネクタでBigQueryに接続する

Athena (Presto) and Glue (Spark) can return different values when running the same query

AWS SDK for Java 2.x のUnable to load an HTTP implementationとクライアント変更によるlambda実行高速化

AWS App Runnerの特徴と料金、CloudFormationのResource

CDKでGlue Data CatalogのDatabase,Table,Partition,Crawlerを作成する

CDKでKinesis Data Analytics上にPyFlinkのコードをデプロイして動かす

Enable Job Bookmark of AWS Glue to process from the records following ones executed previously

CDKでStep Functionsによるワークフローを構築する

Application Auto Scalingのcustom-resourceによるKinesis Data Streamsのオートスケール設定

Goのio packageのReader/Writer/Closer/Seeker interfaceとストリーム処理

Athena(Presto)でWindow関数を用いた集計を行う

Amazon Forecastで時系列データの予測を行う

Kinesis Data Analyticsによる集計遅延箇所の特定

CDKでCognito UserPoolとClientを作成しトリガーやFederationを設定する

EKSにKubeflowをインストールする

GoでAthenaのクエリを実行する

VSCodeのdevcontainerにSAM CLIをインストールしlocal invokeする

ElastiCacheでRedisクラスタを作成する際の設定

Kinesis Data AnalyticsのSQL, Lambdaへの出力とCDKによるリソースの作成

EKS上のLocustから負荷をかける際のリソースの割り当てやインスタンスタイプの調整

CloudWatch Container InsightsでEKSのメトリクスを取得する

CDKでEKSクラスタの作成からHelm ChartでのLocustのインストールまでを一気に行う

AWS Organizaionsで複数のアカウントを一元管理する

VSCodeのDocker開発コンテナでJupyter Notebookを開いてAthenaのクエリを実行し可視化する

SageMakerでTensorFlowのモデルを学習させる

SageMakerで学習したPyTorchのモデルをElastic Inferenceを有効にしてデプロイする

SageMakerでPyTorchのモデルを学習させる

VSCodeのRemote DevelopmentでSageMakerのコンテナ環境でモデルを開発する

PoetryでPythonの依存パッケージを管理する

VPCエンドポイント

DAX (DynamoDB Accelerator)の特性と挙動確認

ECSでアプリケーションを動かすBoilerplateを作った

LA,ディズニーランドからre:Inventに参加しグランドキャニオンへドライブしてきた

ECS(EC2)のCloudFormation最小構成

Lambda環境でできない処理をECSで実行する

PR上でCDKのレビューやデプロイを行うツールcdkbotを作った

CDKでECS+Fargate上にDigdagを立ててCognito認証を挟む

Lambda上でnpm installできるLayerを作った

Lambda Layerでバイナリやライブラリを切り出す

AWS SAMとGoでPRのコメントに対して返事を返すGitHub Appを作る

Cognito UserPoolのPreSignUp時に呼ばれるLambdaで登録ユーザーを制限する

LambdaとALBでCognito認証をかけて失敗したらログイン画面に飛ばす

API GatewayでCognitoの認証をかけて必要ならログイン画面に飛ばす処理をGoで書く

AWS DeepRacerを始める

CDK/CircleCI/GitHubでAWSリソース管理リポジトリを作る

AWS CDKでCloudFormationのテンプレートをTypeScriptから生成しデプロイする

ECS FargateでSidecarのFluentdでログをS3に送る構成をCloudFormationで構築する

DatadogのAWS integrationとAlertの設定をTerraformで行う

SageMaker NotebookでGitリポジトリにSSHでpush/pullできるようにする

AWS SAMでLambdaの関数をデプロイしServerless Application Repositoryに公開する

CloudFormationでVPCを作成してLambdaをデプロイしAurora Serverlessを使う

AWS Systems Manager (SSM)のParameter Storeに認証情報を置き参照する

AWS GlueでCSVを加工しParquetに変換してパーティションを切りAthenaで参照する

FargateでECSを使う

Macでの開発環境構築メモ

Cognito UserPoolとAPI Gatewayで認証付きAPIを立てる

Serverless FrameworkでLambdaをデプロイする

DatadogのLambda Integrationで気象データを送ってアラートを飛ばす

Athenaのmigrationやpartitionするathena-adminを作った

ApexでデプロイしたLambdaのトリガーをTerraformで管理する

Redashでデータを可視化する

ApexでLambdaをデプロイする

Lambda上でPuppeteer/Headless Chromeを動かすStarter Kitを作った

TerraformでVPCを管理するmoduleを作る

fluentdのAggregatorをELBで負荷分散し、Blue/Green Deploymentする