AWS CLIでEMRクラスタを立ち上げSparkのアプリケーションを実行する

Athenaで他アカウントのテーブルを参照するために必要な設定

Athenaのデータソースコネクタとユーザー定義関数(UDF)を実装する

CloudWatch Logsを介さずにLambdaのテレメトリを行うnewrelic-lambda-extensionとその仕組み

New Relicでインフラやアプリケーションをモニタリングする

TPC-DSのクエリを用いたRedshift ServerlessとAthenaの性能比較

GlueのTPC-DS Connectorでデータを生成する

Redshift Serverlessと他のサーバーレス集計サービス、Glue Data Catalogのテーブルへのクエリ実行

AthenaのFederated QueryでTPC-DS Connectorを用いてデータを生成する

SparkのWeb UIでJobのStageとExecutorによるTask分散、SQLのplanを確認する

Glue DataBrewでデータを可視化して分析するProjectと機械学習の前処理を行うJobをCDKで作成する

GoでAmazon Forecastに時系列データをimportしPredictorを作成して予測結果をS3にexportする

CDKでCloudWatch Dashboardsを作成しコンソール上からAWSアカウントを持たない外部ユーザーに公開する

CDKでECS(EC2)上にLocust masterとworkerのServiceをデプロイしCloud Mapで名前解決させる

CDKでALBとECS(EC2)クラスタを作成し、ecs-cliでDocker Composeの構成をデプロイする

AWS X-rayでアプリケーションのリクエストをトレースし可視化する

SageMaker Studioの使っていないKernelを自動でシャットダウンするsagemaker-studio-auto-shutdown-extension

GlueのカスタムコネクタでBigQueryに接続する

Athena(Presto)とGlue(Spark)で同じクエリを実行した際に異なる値が返る原因

AWS SDK for Java 2.x のUnable to load an HTTP implementationとクライアント変更によるlambda実行高速化

AWS App Runnerの特徴と料金、CloudFormationのResource

CDKでGlue Data CatalogのDatabase,Table,Partition,Crawlerを作成する

CDKでKinesis Data Analytics上にPyFlinkのコードをデプロイして動かす

AWS GlueのJobのBookmarkを有効にして前回の続きから処理を行う

CDKでStep Functionsによるワークフローを構築する

Application Auto Scalingのcustom-resourceによるKinesis Data Streamsのオートスケール設定

Goのio packageのReader/Writer/Closer/Seeker interfaceとストリーム処理

Athena(Presto)でWindow関数を用いた集計を行う

Amazon Forecastで時系列データの予測を行う

Kinesis Data Analyticsによる集計遅延箇所の特定

CDKでCognito UserPoolとClientを作成しトリガーやFederationを設定する

EKSにKubeflowをインストールする

GoでAthenaのクエリを実行する

VSCodeのdevcontainerにSAM CLIをインストールしlocal invokeする

ElastiCacheでRedisクラスタを作成する際の設定

Kinesis Data AnalyticsのSQL, Lambdaへの出力とCDKによるリソースの作成

EKS上のLocustから負荷をかける際のリソースの割り当てやインスタンスタイプの調整

CloudWatch Container InsightsでEKSのメトリクスを取得する

CDKでEKSクラスタの作成からHelm ChartでのLocustのインストールまでを一気に行う

AWS Organizaionsで複数のアカウントを一元管理する

VSCodeのDocker開発コンテナでJupyter Notebookを開いてAthenaのクエリを実行し可視化する

SageMakerでTensorFlowのモデルを学習させる

SageMakerで学習したPyTorchのモデルをElastic Inferenceを有効にしてデプロイする

SageMakerでPyTorchのモデルを学習させる

VSCodeのRemote DevelopmentでSageMakerのコンテナ環境でモデルを開発する

PoetryでPythonの依存パッケージを管理する

VPCエンドポイント

DAX (DynamoDB Accelerator)の特性と挙動確認

ECSでアプリケーションを動かすBoilerplateを作った

LA,ディズニーランドからre:Inventに参加しグランドキャニオンへドライブしてきた

ECS(EC2)のCloudFormation最小構成

Lambda環境でできない処理をECSで実行する

PR上でCDKのレビューやデプロイを行うツールcdkbotを作った

CDKでECS+Fargate上にDigdagを立ててCognito認証を挟む

Lambda上でnpm installできるLayerを作った

Lambda Layerでバイナリやライブラリを切り出す

AWS SAMとGoでPRのコメントに対して返事を返すGitHub Appを作る

Cognito UserPoolのPreSignUp時に呼ばれるLambdaで登録ユーザーを制限する

LambdaとALBでCognito認証をかけて失敗したらログイン画面に飛ばす

API GatewayでCognitoの認証をかけて必要ならログイン画面に飛ばす処理をGoで書く

AWS DeepRacerを始める

CDK/CircleCI/GitHubでAWSリソース管理リポジトリを作る

AWS CDKでCloudFormationのテンプレートをTypeScriptから生成しデプロイする

ECS FargateでSidecarのFluentdでログをS3に送る構成をCloudFormationで構築する

DatadogのAWS integrationとAlertの設定をTerraformで行う

SageMaker NotebookでGitリポジトリにSSHでpush/pullできるようにする

AWS SAMでLambdaの関数をデプロイしServerless Application Repositoryに公開する

CloudFormationでVPCを作成してLambdaをデプロイしAurora Serverlessを使う

AWS Systems Manager (SSM)のParameter Storeに認証情報を置き参照する

AWS GlueでCSVを加工しParquetに変換してパーティションを切りAthenaで参照する

FargateでECSを使う

Macでの開発環境構築メモ

Cognito UserPoolとAPI Gatewayで認証付きAPIを立てる

Serverless FrameworkでLambdaをデプロイする

DatadogのLambda Integrationで気象データを送ってアラートを飛ばす

Athenaのmigrationやpartitionするathena-adminを作った

ApexでデプロイしたLambdaのトリガーをTerraformで管理する

Redashでデータを可視化する

ApexでLambdaをデプロイする

Lambda上でPuppeteer/Headless Chromeを動かすStarter Kitを作った

TerraformでVPCを管理するmoduleを作る

fluentdのAggregatorをELBで負荷分散し、Blue/Green Deploymentする

fluentdでKinesis streamsに送るときの性能確認

BeanstalkでのパッケージのバージョンがAMIでのバージョンと異なる原因

Node.jsでの文字コードの変換

FluentdとKPL(Kinesis Producer Library)でログをまとめてスループットを稼ぐ

fluentdでKinesis Streamsに送ってLambdaで読んでS3に保存する

AWSのAssumeRole

ELBのスケーリングとsurge queue

Kinesis Streams/Firehose/Analyticsを試す

GoでDynamoDBを使う

EC2のインスタンスストア

複数EC2インスタンスを立ち上げてvegetaで負荷試験する

PackerでAMIを作る