aws

SageMakerのHuggingFaceModelでOpenCALM-7BやELYZA-japanese-Llama-2-7bをTGIコンテナでデプロイし日本語の文章を生成する

SageMakerのBatch Transformのパラメータの挙動をentrypointの関数の呼び出しと引数から確認する

ssh-over-ssm を ProxyCommand に設定して libssh の ssh_connect() するとタイムアウトしてしまう原因と解決法

ssh-over-ssm で Session Manager を通して EC2 インスタンスに SSH 接続する

SageMaker Inference Recommender でコスト最適なインスタンスタイプの推論エンドポイントを立てる

SageMaker Processing で前処理を行って Training で学習したモデルのパラメータや精度を Experiments で記録する

Task nodes で EMR クラスタのスケールインを高速化する

S3のバージョニングを有効にして誤って上書きや削除してしまったオブジェクトを復旧できるようにする

Athena for Apache Spark の Notebook で DataFrame.toPandas().plot() した際の日本語が文字化けしないようにする

CDK で立ち上げた EKS クラスタを EMR on EKS に登録し Spark のジョブを動かす

CloudTrail で AWS 上のリソースの操作記録を確認する

GuardDuty, Inspector, Macie などによって検出されたセキュリティ上の問題を AWS Security Hub で確認する

CDK で Amazon Managed Workflow for Apache Airflow (MWAA) の環境を作成しワークフローを実行する

Docker Compose の service に AWS のクレデンシャルを渡す

New RelicでAWSのコストをモニタリングする

AWS Cost Management でコストをモニタリングし最適化する

GitHub ActionsからOIDCでassumeできるRoleをCDKで作成する

ScalaでSparkのアプリケーションを開発してGitHub ActionsでデプロイしEMRでリモートデバッグする

Spark SQLのJOIN時に余分なパーティションが読まれる例とDynamic Partition Pruning (DPP)

EMRクラスタで動かしたSparkのログをFluent BitでNew Relicに集約する

Athena v2でparquetをソースとしmapフィールドを持つテーブルのクエリが成功したり失敗したりする原因

EMRでSparkを動かす際の設定

AWS CopilotでECS on Fargate上にコンテナをデプロイしECS Execによるコマンドの実行やSession Managerによるポートフォワーディングを行う

AWS CLIでEMRクラスタを立ち上げSparkのアプリケーションを実行する

Athenaで他アカウントのテーブルを参照するために必要な設定

Athenaのデータソースコネクタとユーザー定義関数(UDF)を実装する

CloudWatch Logsを介さずにLambdaのテレメトリを行うnewrelic-lambda-extensionとその仕組み

New Relicでインフラやアプリケーションをモニタリングする

Redshift ServerlessとAthenaの性能をTPC-DSのクエリで比較する

GlueのTPC-DS Connectorでデータを生成する

Redshift Serverlessと他のサーバーレス集計サービス、Glue Data Catalogのテーブルへのクエリ実行

AthenaのFederated QueryでTPC-DS Connectorを用いてデータを生成する

SparkのWeb UIでJobのStageとExecutorによるTask分散、SQLのplanを確認する

Glue DataBrewでデータを可視化して分析するProjectと機械学習の前処理を行うJobをCDKで作成する

GoでAmazon Forecastに時系列データをimportしPredictorを作成して予測結果をS3にexportする

CDKでCloudWatch Dashboardsを作成しコンソール上からAWSアカウントを持たない外部ユーザーに公開する

CDKでECS(EC2)上にLocust masterとworkerのServiceをデプロイしCloud Mapで名前解決させる

CDKでALBとECS(EC2)クラスタを作成し、ecs-cliでDocker Composeの構成をデプロイする

AWS X-rayでアプリケーションのリクエストをトレースし可視化する

SageMaker Studioの使っていないKernelを自動でシャットダウンするsagemaker-studio-auto-shutdown-extension

GlueのカスタムコネクタでBigQueryに接続する

Athena(Presto)とGlue(Spark)で同じクエリを実行した際に異なる値が返る原因

AWS SDK for Java 2.x のUnable to load an HTTP implementationとクライアント変更によるlambda実行高速化

AWS App Runnerの特徴と料金、CloudFormationのResource

CDKでGlue Data CatalogのDatabase,Table,Partition,Crawlerを作成する

CDKでKinesis Data Analytics上にPyFlinkのコードをデプロイして動かす

AWS GlueのJobのBookmarkを有効にして前回の続きから処理を行う

CDKでStep Functionsによるワークフローを構築する

Application Auto Scalingのcustom-resourceによるKinesis Data Streamsのオートスケール設定

Goのio packageのReader/Writer/Closer/Seeker interfaceとストリーム処理

Athena(Presto)でWindow関数を用いた集計を行う

Amazon Forecastで時系列データの予測を行う

Kinesis Data Analyticsによる集計遅延箇所の特定

CDKでCognito UserPoolとClientを作成しトリガーやFederationを設定する

EKSにKubeflowをインストールする

GoでAthenaのクエリを実行する

VSCodeのdevcontainerにSAM CLIをインストールしlocal invokeする

ElastiCacheでRedisクラスタを作成する際の設定

Kinesis Data AnalyticsのSQL, Lambdaへの出力とCDKによるリソースの作成

EKS上のLocustから負荷をかける際のリソースの割り当てやインスタンスタイプの調整

CloudWatch Container InsightsでEKSのメトリクスを取得する

CDKでEKSクラスタの作成からHelm ChartでのLocustのインストールまでを一気に行う

AWS Organizaionsで複数のアカウントを一元管理する

VSCodeのDocker開発コンテナでJupyter Notebookを開いてAthenaのクエリを実行し可視化する

SageMakerでTensorFlowのモデルを学習させる

SageMakerで学習したPyTorchのモデルをElastic Inferenceを有効にしてデプロイする

SageMakerでPyTorchのモデルを学習させる

VSCodeのRemote DevelopmentでSageMakerのコンテナ環境でモデルを開発する

PoetryでPythonの依存パッケージを管理する

VPCエンドポイント

DAX (DynamoDB Accelerator)の特性と挙動確認

ECSでアプリケーションを動かすBoilerplateを作った

LA,ディズニーランドからre:Inventに参加しグランドキャニオンへドライブしてきた

ECS(EC2)のCloudFormation最小構成

Lambda環境でできない処理をECSで実行する

PR上でCDKのレビューやデプロイを行うツールcdkbotを作った

CDKでECS+Fargate上にDigdagを立ててCognito認証を挟む

Lambda上でnpm installできるLayerを作った

Lambda Layerでバイナリやライブラリを切り出す

AWS SAMとGoでPRのコメントに対して返事を返すGitHub Appを作る

Cognito UserPoolのPreSignUp時に呼ばれるLambdaで登録ユーザーを制限する

LambdaとALBでCognito認証をかけて失敗したらログイン画面に飛ばす

API GatewayでCognitoの認証をかけて必要ならログイン画面に飛ばす処理をGoで書く

AWS DeepRacerを始める

CDK/CircleCI/GitHubでAWSリソース管理リポジトリを作る

AWS CDKでCloudFormationのテンプレートをTypeScriptから生成しデプロイする

ECS FargateでSidecarのFluentdでログをS3に送る構成をCloudFormationで構築する

DatadogのAWS integrationとAlertの設定をTerraformで行う

SageMaker NotebookでGitリポジトリにSSHでpush/pullできるようにする

AWS SAMでLambdaの関数をデプロイしServerless Application Repositoryに公開する

CloudFormationでVPCを作成してLambdaをデプロイしAurora Serverlessを使う

AWS Systems Manager (SSM)のParameter Storeに認証情報を置き参照する

AWS GlueでCSVを加工しParquetに変換してパーティションを切りAthenaで参照する

FargateでECSを使う

Macでの開発環境構築メモ

Cognito UserPoolとAPI Gatewayで認証付きAPIを立てる

Serverless FrameworkでLambdaをデプロイする

DatadogのLambda Integrationで気象データを送ってアラートを飛ばす

Athenaのmigrationやpartitionするathena-adminを作った

ApexでデプロイしたLambdaのトリガーをTerraformで管理する