CDKでEKSクラスタにAWS Load Balancer ControllerをインストールしてALBのIngressを立てる

ローカルのK8s上でairによるGoのアプリケーションのライブリロードを行いVSCodeからdelveでリモートデバッグする

Kustomize の Component である環境でのみ必要なリソースを記述する

CDKのAwsCustomResourceでAWSのAPIを呼ぶ

SGやネットワークACLによって拒否されたトラフィックをVPCフローログとCloudWatch Logs Insightで確認する

CDKでEKSクラスタにnewrelic-bundleをインストールしてモニタリングする

CDK で External Secrets Operator をインストールし Secrets Manager のデータを Kubernetes の Secret として読めるようにする

Jira と Toggl と Make でタスクにかかった時間を計測してGoogleカレンダーで可視化する

Python の cProfile や line_profile でプロファイルを取って遅いコードを改善する

docker build 時に 1Password の SSH agent をマウントして プライベートリポジトリを git pull できるようにする

Fuzzing で Go の関数に想定外の入力が渡された際のバグを見つける

EKSクラスタによるIPアドレスの枯渇とIPv6への移行

CDKで作成したEKSクラスタのノードにセキュリティグループを設定する

SageMaker Canvas の Custom models で AutoML のジョブをノーコードで実行する

パブリックIPv4アドレスを持たないEC2インスタンスがIPv6で外部と通信するために必要なリソースをCDKで作成する

Goのcontainer/heap packageを読む

CDK で EKS クラスタに Karpenter をインストールし柔軟で高速なオートスケールを行う

python-fireでコマンドライン引数が関数やメソッドに渡るようにする

Chrome extension の Content scripts と Service workers

OpenAIのGPTを国会会議録の総理大臣の発言でファインチューニングする

SageMakerのHuggingFaceModelでOpenCALM-7BやELYZA-japanese-Llama-2-7bをTGIコンテナでデプロイし日本語の文章を生成する

SageMakerのBatch Transformのパラメータの挙動をentrypointの関数の呼び出しと引数から確認する

Javaでの互換性のないライブラリのバージョン衝突問題をrelocationや独自のクラスローダーによって解消する

ssh-over-ssm を ProxyCommand に設定して libssh の ssh_connect() するとタイムアウトしてしまう原因と解決法

ssh-over-ssm で Session Manager を通して EC2 インスタンスに SSH 接続する

SageMaker Inference Recommender でコスト最適なインスタンスタイプの推論エンドポイントを立てる

SageMaker Processing で前処理を行って Training で学習したモデルのパラメータや精度を Experiments で記録する

Spark の MLlib で k-means法によるクラスタリングを行う

Task nodes で EMR クラスタのスケールインを高速化する

S3のバージョニングを有効にして誤って上書きや削除してしまったオブジェクトを復旧できるようにする

相関比でカテゴリ変数と目的変数の相関の強さを表す

sbt-assembly で依存ライブラリを含んだ über-jar を生成する

平衡二分探索木 AVL木 を Go で実装して高さが最小限に保たれることを確認する

Athena for Apache Spark の Notebook で DataFrame.toPandas().plot() した際の日本語が文字化けしないようにする

Java から Go でビルドした shared library を JNI と JNA で呼び出した際の速度を比較する

JMH で Java のコードのベンチマークを取る

Python の組み込みコンテナと collections.deque

CDK で EKS クラスタを立ち上げ EMR on EKS に登録し Spark のジョブを動かす

Hadoop YARN でリソースの割り当てを行う Scheduler と Dominant Resource Fairness (DRF)

Airflow の Callback で複数の Task からなる処理のリトライを行う

CloudTrail で AWS 上のリソースの操作記録を確認する

GuardDuty, Inspector, Macie などによって検出されたセキュリティ上の問題を AWS Security Hub で確認する

Airflow で 過去の Task への依存を表す

CDK で Amazon Managed Workflow for Apache Airflow (MWAA) の環境を作成しワークフローを実行する

Hadoop YARN によってアプリケーションにリソースが割り当てられる流れと割り当てられているリソース量の確認

Docker Compose の service に AWS のクレデンシャルを渡す

Docker Compose で Apache Airflow を起動しワークフローを実行する

New RelicでAWSのコストをモニタリングする

Scala 2/3 の列挙型と既存の型へのフィールドの追加

AWS Cost Management でコストをモニタリングし最適化する

GitHub ActionsからOIDCでassumeできるRoleをCDKで作成する

ScalaでSparkのアプリケーションを開発してGitHub ActionsでデプロイしEMRでリモートデバッグする

SparkをビルドしIntelliJでリモートデバッグする

deanishe/awgo で Alfred の Workflows で動かすスクリプトを実装する

Spark SQLのJOIN時に余分なパーティションが読まれる例とDynamic Partition Pruning (DPP)

EMRクラスタで動かしたSparkのログをFluent BitでNew Relicに集約する

Athena v2でparquetをソースとしmapフィールドを持つテーブルのクエリが成功したり失敗したりする原因

EMRでSparkを動かす際の設定

Javaで発生したOOMの原因をGCログとヒープダンプから探る

WebAssemblyでGoの関数をブラウザのJavaScriptから呼び出す

JDWPを有効にしてリモートマシンで動いているJavaアプリケーションをデバッグする

AWS CopilotでECS on Fargate上にコンテナをデプロイしECS Execによるコマンドの実行やSession Managerによるポートフォワーディングを行う

AWS CLIでEMRクラスタを立ち上げSparkのアプリケーションを実行する

NewRelicのMetricsとEventsの特性とNRQLによるクエリ

最大フロー問題と最小カット問題とFord-Fulkersonのアルゴリズム

Segment TreeとBineary Indexed Tree (BIT)で部分和を求める

Athenaで他アカウントのテーブルを参照するために必要な設定

繰り返しコマンドを実行する際都度プロセスを生成する場合と常駐させておきUNIXドメインソケットで入出力を行う場合の速度比較

NewRelic CodeStreamでコードの質問やデバッグを効率的に行えるようにする

Athenaのデータソースコネクタとユーザー定義関数(UDF)を実装する

CloudWatch Logsを介さずにLambdaのテレメトリを行うnewrelic-lambda-extensionとその仕組み

New RelicのGraphQL API、NerdGraphでリソースを取得する

New Relicでインフラやアプリケーションをモニタリングする

VSCode NeovimでVSCodeをVimのように操作する

Redshift ServerlessとAthenaの性能をTPC-DSのクエリで比較する

IntelliJ IDEA/IdeaVimでよく使うショートカット/コマンド

最小二乗法(OLS)による線形回帰と決定係数

2種の母集団の比較を行う2標本問題での統計量

GlueのTPC-DS Connectorでデータを生成する

Redshift Serverlessと他のサーバーレス集計サービス、Glue Data Catalogのテーブルへのクエリ実行

AthenaのFederated QueryでTPC-DS Connectorを用いてデータを生成する

Union-Find木で無向グラフに閉路があるかを判定する

FlutterのNavigatorとAuroRoute

FlutterでiOS/Android/Webアプリをビルドする

ラビン-カープアルゴリズムをC++で実装する

カラムナフォーマットParquetの構造とReadの最適化

C++のstructとclass

Sparkでstructをmapとして扱いexplodeで複数行に展開できるようにする

Adaptive Replacement Cache (ARC) とは

SparkのWeb UIでJobのStageとExecutorによるTask分散、SQLのplanを確認する

Glue DataBrewでデータを可視化して分析するProjectと機械学習の前処理を行うJobをCDKで作成する

GoでAmazon Forecastに時系列データをimportしPredictorを作成して予測結果をS3にexportする

CDKでCloudWatch Dashboardsを作成しコンソール上からAWSアカウントを持たない外部ユーザーに公開する

CDKでECS(EC2)上にLocust masterとworkerのServiceをデプロイしCloud Mapで名前解決させる

CDKでALBとECS(EC2)クラスタを作成し、ecs-cliでDocker Composeの構成をデプロイする

AWS X-rayでアプリケーションのリクエストをトレースし可視化する

gomockのmockを入力とするmockが意図した出力を返さない理由

Vue 3でTODOを作る

Clean ArchitectureとDDDの概念と得られるもの

SageMaker Studioの使っていないKernelを自動でシャットダウンするsagemaker-studio-auto-shutdown-extension