Hadoop YARN によってアプリケーションにリソースが割り当てられる流れと割り当てられているリソース量の確認

Docker Compose の service に AWS のクレデンシャルを渡す

Docker Compose で Apache Airflow を起動しワークフローを実行する

New RelicでAWSのコストをモニタリングする

Scala 2/3 の列挙型と既存の型へのフィールドの追加

AWS Cost Management でコストをモニタリングし最適化する

GitHub ActionsからOIDCでassumeできるRoleをCDKで作成する

ScalaでSparkのアプリケーションを開発してGitHub ActionsでデプロイしEMRでリモートデバッグする

SparkをビルドしIntelliJでリモートデバッグする

deanishe/awgo で Alfred の Workflows で動かすスクリプトを実装する

Spark SQLのJOIN時に余分なパーティションが読まれる例とDynamic Partition Pruning (DPP)

EMRクラスタで動かしたSparkのログをFluent BitでNew Relicに集約する

Athena v2でparquetをソースとしmapフィールドを持つテーブルのクエリが成功したり失敗したりする原因

EMRでSparkを動かす際の設定

Javaで発生したOOMの原因をGCログとヒープダンプから探る

WebAssemblyでGoの関数をブラウザのJavaScriptから呼び出す

JDWPを有効にしてリモートマシンで動いているJavaアプリケーションをデバッグする

AWS CopilotでECS on Fargate上にコンテナをデプロイしECS Execによるコマンドの実行やSession Managerによるポートフォワーディングを行う

AWS CLIでEMRクラスタを立ち上げSparkのアプリケーションを実行する

NewRelicのMetricsとEventsの特性とNRQLによるクエリ

最大フロー問題と最小カット問題とFord-Fulkersonのアルゴリズム

Segment TreeとBineary Indexed Tree (BIT)で部分和を求める

Athenaで他アカウントのテーブルを参照するために必要な設定

繰り返しコマンドを実行する際都度プロセスを生成する場合と常駐させておきUNIXドメインソケットで入出力を行う場合の速度比較

NewRelic CodeStreamでコードの質問やデバッグを効率的に行えるようにする

Athenaのデータソースコネクタとユーザー定義関数(UDF)を実装する

CloudWatch Logsを介さずにLambdaのテレメトリを行うnewrelic-lambda-extensionとその仕組み

New RelicのGraphQL API、NerdGraphでリソースを取得する

New Relicでインフラやアプリケーションをモニタリングする

VSCode NeovimでVSCodeをVimのように操作する

Redshift ServerlessとAthenaの性能をTPC-DSのクエリで比較する

IntelliJ IDEA/IdeaVimでよく使うショートカット/コマンド

最小二乗法(OLS)による線形回帰と決定係数

2種の母集団の比較を行う2標本問題での統計量

GlueのTPC-DS Connectorでデータを生成する

Redshift Serverlessと他のサーバーレス集計サービス、Glue Data Catalogのテーブルへのクエリ実行

AthenaのFederated QueryでTPC-DS Connectorを用いてデータを生成する

Union-Find木で無向グラフに閉路があるかを判定する

FlutterのNavigatorとAuroRoute

FlutterでiOS/Android/Webアプリをビルドする

ラビン-カープアルゴリズムをC++で実装する

カラムナフォーマットParquetの構造とReadの最適化

C++のstructとclass

Sparkでstructをmapとして扱いexplodeで複数行に展開できるようにする

Adaptive Replacement Cache (ARC) とは

SparkのWeb UIでJobのStageとExecutorによるTask分散、SQLのplanを確認する

Glue DataBrewでデータを可視化して分析するProjectと機械学習の前処理を行うJobをCDKで作成する

GoでAmazon Forecastに時系列データをimportしPredictorを作成して予測結果をS3にexportする

CDKでCloudWatch Dashboardsを作成しコンソール上からAWSアカウントを持たない外部ユーザーに公開する

CDKでECS(EC2)上にLocust masterとworkerのServiceをデプロイしCloud Mapで名前解決させる

CDKでALBとECS(EC2)クラスタを作成し、ecs-cliでDocker Composeの構成をデプロイする

AWS X-rayでアプリケーションのリクエストをトレースし可視化する

gomockのmockを入力とするmockが意図した出力を返さない理由

Vue 3でTODOを作る

Clean ArchitectureとDDDの概念と得られるもの

SageMaker Studioの使っていないKernelを自動でシャットダウンするsagemaker-studio-auto-shutdown-extension

GlueのカスタムコネクタでBigQueryに接続する

C++ STLのmapやunordered_mapのkeyにstructを使えるようにする

Athena(Presto)とGlue(Spark)で同じクエリを実行した際に異なる値が返る原因

Next.jsのpre-rendering

Notionでタスク管理を行う際のRelationによる親子タスクの紐付けとFormulaとRollupによる完了率の表示

Auth0の設定をauth0-deploy-cliでexportしてバージョン管理する

AWS SDK for Java 2.x のUnable to load an HTTP implementationとクライアント変更によるlambda実行高速化

WindowsのターミナルからRPAツールUiPathによる自動操作を行う

CircleCIのOrbをPublishする

ReviewdogのGitHub ActionsでGoのlintをかけてPRに表示する

shellの条件分岐の[と[[

AWS App Runnerの特徴と料金、CloudFormationのResource

127.0.0.1(localhost)と0.0.0.0

Windowsでの開発環境を構築する(WSL2, Docker, VSCode)

CDKでGlue Data CatalogのDatabase,Table,Partition,Crawlerを作成する

Raspberry PiでおうちKubernetesクラスタを構築する

FluentdがどのようにMulti Process Workersで処理を実行しているのか実装を追う

CDKでKinesis Data Analytics上にPyFlinkのコードをデプロイして動かす

AWS GlueのJobのBookmarkを有効にして前回の続きから処理を行う

CDKでStep Functionsによるワークフローを構築する

Application Auto Scalingのcustom-resourceによるKinesis Data Streamsのオートスケール設定

Goのio packageのReader/Writer/Closer/Seeker interfaceとストリーム処理

x/sync/semaphoreでgoroutineの数を制御する

Athena(Presto)でWindow関数を用いた集計を行う

Amazon Forecastで時系列データの予測を行う

偽陽性を許容して空間効率良くキーの存在を確認するBloom filterとCuckoo filter

PythonのProtocolによるstructural subtypingでインタフェースを記述する

Kinesis Data Analyticsによる集計遅延箇所の特定

Pythonのmoduleとpackage

fluentdの<parse>と<inject>でtime_formatを指定しなかった場合の挙動と内部処理

剰余を取った値の四則演算

C++で標準入力から数が不定なスペース区切りの文字列を読み込んで分割する

ウェブアプリとしてデプロイしたGASをブラウザからAPIとして呼ぶ際のCORSエラー

CDKでCognito UserPoolとClientを作成しトリガーやFederationを設定する

IstioのSidecarでmTLS認証を行いServiceAccountによるアクセス制御を行う

EKSにKubeflowをインストールする

claspでGoogle Apps Scriptをローカルで開発しデプロイする

GmailのSMTPサーバーにコマンドを送ってメールを送信する

makeで環境変数とMakefileの変数、引数の値の内どの値が参照されるか

GoのSheets API v4クライアントでSpreadsheetを読み書きする

kustomizeでkubernetesのmanifestを環境ごとに生成する

GitHub ActionsのDocker container actionを作る

GoでAthenaのクエリを実行する

GitHub ActionsでPRのコメントに返事を返すbotを動かす