EMRクラスタで動かしたSparkのログをFluent BitでNew Relicに集約する

NewRelicのMetricsとEventsの特性とNRQLによるクエリ

CloudWatch Logsを介さずにLambdaのテレメトリを行うnewrelic-lambda-extensionとその仕組み

New Relicでインフラやアプリケーションをモニタリングする

Generate data with TPC-DS Connector for Glue

Redshift Serverlessと他のサーバーレス集計サービス、Glue Data Catalogのテーブルへのクエリ実行

Generate data with TPC-DS Connector in Athena's Federated Query

カラムナフォーマットParquetの構造とReadの最適化

FluentdがどのようにMulti Process Workersで処理を実行しているのか実装を追う

Application Auto Scalingのcustom-resourceによるKinesis Data Streamsのオートスケール設定

Kinesis Data Analyticsによる集計遅延箇所の特定

fluentdの<parse>と<inject>でtime_formatを指定しなかった場合の挙動と内部処理

CloudWatch Container InsightsでEKSのメトリクスを取得する

ECS FargateでSidecarのFluentdでログをS3に送る構成をCloudFormationで構築する

DatadogのAWS integrationとAlertの設定をTerraformで行う

Redashでデータを可視化する

Fluentdのout_copyのstoreのエラーは他のstoreに影響する

fluentdのAggregatorをELBで負荷分散し、Blue/Green Deploymentする

NorikraでログをJOINする

NorikraとFluentdで流れてきたログをリアルタイムに集計する

fluentdでKinesis streamsに送るときの性能確認

FluentdとKPL(Kinesis Producer Library)でログをまとめてスループットを稼ぐ

fluentdでKinesis Streamsに送ってLambdaで読んでS3に保存する

ElasticsearchのCircuit Breaker

Kinesis Streams/Firehose/Analyticsを試す

fluentdのmonitor_agentのデータをGoでGoogle Stackdriverに送って監視する

Elasticsearchのmapping

fluentdのrecord_transformerでログを加工する

fluentdでElasticsearchに送る

ElasticsearchをDockerで動かしてGrafanaで可視化する

fluentdのforward

logrotateでログをローテーションする

td-agentをビルドしてfluentdのバージョンを上げる

Grafana/InfluxDB/Fluentdでログを可視化する