Aws

CDKでALBとS3をOriginとするCloudFrontのDistributionを作成する

CDKでEKSクラスタにAWS Load Balancer ControllerをインストールしてALBのIngressを立てる

CDKのAwsCustomResourceでAWSのAPIを呼ぶ

SGやネットワークACLによって拒否されたトラフィックをVPCフローログとCloudWatch Logs Insightで確認する

CDKでEKSクラスタにnewrelic-bundleをインストールしてモニタリングする

CDK で External Secrets Operator をインストールし Secrets Manager のデータを Kubernetes の Secret として読めるようにする

EKSクラスタによるIPアドレスの枯渇とIPv6への移行

CDKで作成したEKSクラスタのノードにセキュリティグループを設定する

SageMaker Canvas の Custom models で AutoML のジョブをノーコードで実行する

パブリックIPv4アドレスを持たないEC2インスタンスがIPv6で外部と通信するために必要なリソースをCDKで作成する

CDK で EKS クラスタに Karpenter をインストールし柔軟で高速なオートスケールを行う

SageMakerのHuggingFaceModelでOpenCALM-7BやELYZA-japanese-Llama-2-7bをTGIコンテナでデプロイし日本語の文章を生成する

SageMakerのBatch Transformのパラメータの挙動をentrypointの関数の呼び出しと引数から確認する

ssh-over-ssm を ProxyCommand に設定して libssh の ssh_connect() するとタイムアウトしてしまう原因と解決法

ssh-over-ssm で Session Manager を通して EC2 インスタンスに SSH 接続する

SageMaker Inference Recommender でコスト最適なインスタンスタイプの推論エンドポイントを立てる

SageMaker Processing で前処理を行って Training で学習したモデルのパラメータや精度を Experiments で記録する

Task nodes で EMR クラスタのスケールインを高速化する

S3のバージョニングを有効にして誤って上書きや削除してしまったオブジェクトを復旧できるようにする

Athena for Apache Spark の Notebook で DataFrame.toPandas().plot() した際の日本語が文字化けしないようにする

CDK で EKS クラスタを立ち上げ EMR on EKS に登録し Spark のジョブを動かす

CloudTrail で AWS 上のリソースの操作記録を確認する

GuardDuty, Inspector, Macie などによって検出されたセキュリティ上の問題を AWS Security Hub で確認する

CDK で Amazon Managed Workflow for Apache Airflow (MWAA) の環境を作成しワークフローを実行する

Docker Compose の service に AWS のクレデンシャルを渡す

New RelicでAWSのコストをモニタリングする

AWS Cost Management でコストをモニタリングし最適化する

GitHub ActionsからOIDCでassumeできるRoleをCDKで作成する

ScalaでSparkのアプリケーションを開発してGitHub ActionsでデプロイしEMRでリモートデバッグする

Spark SQLのJOIN時に余分なパーティションが読まれる例とDynamic Partition Pruning (DPP)

EMRクラスタで動かしたSparkのログをFluent BitでNew Relicに集約する

Athena v2でparquetをソースとしmapフィールドを持つテーブルのクエリが成功したり失敗したりする原因

EMRでSparkを動かす際の設定

AWS CopilotでECS on Fargate上にコンテナをデプロイしECS Execによるコマンドの実行やSession Managerによるポートフォワーディングを行う

AWS CLIでEMRクラスタを立ち上げSparkのアプリケーションを実行する

Athenaで他アカウントのテーブルを参照するために必要な設定

Athenaのデータソースコネクタとユーザー定義関数(UDF)を実装する

CloudWatch Logsを介さずにLambdaのテレメトリを行うnewrelic-lambda-extensionとその仕組み

New Relicでインフラやアプリケーションをモニタリングする

Redshift ServerlessとAthenaの性能をTPC-DSのクエリで比較する

GlueのTPC-DS Connectorでデータを生成する

Redshift Serverlessと他のサーバーレス集計サービス、Glue Data Catalogのテーブルへのクエリ実行

AthenaのFederated QueryでTPC-DS Connectorを用いてデータを生成する

SparkのWeb UIでJobのStageとExecutorによるTask分散、SQLのplanを確認する

Glue DataBrewでデータを可視化して分析するProjectと機械学習の前処理を行うJobをCDKで作成する

GoでAmazon Forecastに時系列データをimportしPredictorを作成して予測結果をS3にexportする

CDKでCloudWatch Dashboardsを作成しコンソール上からAWSアカウントを持たない外部ユーザーに公開する

CDKでECS(EC2)上にLocust masterとworkerのServiceをデプロイしCloud Mapで名前解決させる

CDKでALBとECS(EC2)クラスタを作成し、ecs-cliでDocker Composeの構成をデプロイする

AWS X-rayでアプリケーションのリクエストをトレースし可視化する

SageMaker Studioの使っていないKernelを自動でシャットダウンするsagemaker-studio-auto-shutdown-extension

GlueのカスタムコネクタでBigQueryに接続する

Athena(Presto)とGlue(Spark)で同じクエリを実行した際に異なる値が返る原因

AWS SDK for Java 2.x のUnable to load an HTTP implementationとクライアント変更によるlambda実行高速化

AWS App Runnerの特徴と料金、CloudFormationのResource

CDKでGlue Data CatalogのDatabase,Table,Partition,Crawlerを作成する

CDKでKinesis Data Analytics上にPyFlinkのコードをデプロイして動かす

AWS GlueのJobのBookmarkを有効にして前回の続きから処理を行う

CDKでStep Functionsによるワークフローを構築する

Application Auto Scalingのcustom-resourceによるKinesis Data Streamsのオートスケール設定

Goのio packageのReader/Writer/Closer/Seeker interfaceとストリーム処理

Athena(Presto)でWindow関数を用いた集計を行う

Amazon Forecastで時系列データの予測を行う

Kinesis Data Analyticsによる集計遅延箇所の特定

CDKでCognito UserPoolとClientを作成しトリガーやFederationを設定する

EKSにKubeflowをインストールする

GoでAthenaのクエリを実行する

VSCodeのdevcontainerにSAM CLIをインストールしlocal invokeする

ElastiCacheでRedisクラスタを作成する際の設定

Kinesis Data AnalyticsのSQL, Lambdaへの出力とCDKによるリソースの作成

EKS上のLocustから負荷をかける際のリソースの割り当てやインスタンスタイプの調整

CloudWatch Container InsightsでEKSのメトリクスを取得する

CDKでEKSクラスタの作成からHelm ChartでのLocustのインストールまでを一気に行う

AWS Organizaionsで複数のアカウントを一元管理する

VSCodeのDocker開発コンテナでJupyter Notebookを開いてAthenaのクエリを実行し可視化する

SageMakerでTensorFlowのモデルを学習させる

SageMakerで学習したPyTorchのモデルをElastic Inferenceを有効にしてデプロイする

SageMakerでPyTorchのモデルを学習させる

VSCodeのRemote DevelopmentでSageMakerのコンテナ環境でモデルを開発する

PoetryでPythonの依存パッケージを管理する

VPCエンドポイント

DAX (DynamoDB Accelerator)の特性と挙動確認

ECSでアプリケーションを動かすBoilerplateを作った

LA,ディズニーランドからre:Inventに参加しグランドキャニオンへドライブしてきた

ECS(EC2)のCloudFormation最小構成

Lambda環境でできない処理をECSで実行する

PR上でCDKのレビューやデプロイを行うツールcdkbotを作った

CDKでECS+Fargate上にDigdagを立ててCognito認証を挟む

Lambda上でnpm installできるLayerを作った

Lambda Layerでバイナリやライブラリを切り出す

AWS SAMとGoでPRのコメントに対して返事を返すGitHub Appを作る

Cognito UserPoolのPreSignUp時に呼ばれるLambdaで登録ユーザーを制限する

LambdaとALBでCognito認証をかけて失敗したらログイン画面に飛ばす

API GatewayでCognitoの認証をかけて必要ならログイン画面に飛ばす処理をGoで書く

AWS DeepRacerを始める

CDK/CircleCI/GitHubでAWSリソース管理リポジトリを作る

AWS CDKでCloudFormationのテンプレートをTypeScriptから生成しデプロイする

ECS FargateでSidecarのFluentdでログをS3に送る構成をCloudFormationで構築する

DatadogのAWS integrationとAlertの設定をTerraformで行う

SageMaker NotebookでGitリポジトリにSSHでpush/pullできるようにする