最新のログもすぐクエリできる速くて容量無限の最強ログ基盤をRedshift Spectrumで作る - クックパッド開発者ブログ
こんにちは。去年の今頃は Rust を書いていました。 インフラストラクチャー部データ基盤グループの id:koba789 です。 背景 クックパッドではデータ基盤の DBMS として Amazon Redshift を利用しています。 既存のデータ基盤について詳しいことは クックパッドのデータ活用基盤 - クックパッド開発者ブログ を参照してください。 今まで、ログは数時間に1度、定期実行ジョブで Redshift 内のテーブルにロードしていました。 ロードジョブの実行間隔が "数時間" と長めなのは、Redshift のトランザクションのコミットが遅いためです。 クックパッドでは数百ものログテーブルがあるため、仮に1分おきにすべてを取り込もうとすると秒間数回以上のコミットを行わなければなりません。 このような頻繁なコミットは Redshift 全体のパフォーマンスを悪化させてしまいます
サイボウズのサービスを支えるログ基盤
Cybozu Meetup #6 大規模サービスを支える名脇役たちでの発表 https://cybozu.connpass.com/event/61329/
gitレポジトリで一番活発に編集されているファイル - Qiita
git ls-files -z | \ parallel -0 -j32 -I. -- \ echo -n . \\\ \; \ git log --format=oneline . \| \ wc -l | \ sort -k2 -nr | \ head これでランキングが出せる。ただし体感ではコミット数のO(n2)で遅くなっていくぽく感じるので、歴史のあるレポジトリほど遅くなっていくので要注意ではある。 Rubyの場合だとこんなかんじ zsh % git ls-files -z | parallel -0 -j32 --line-buffer -I. -- echo -n . \\\ \; git log --format=oneline . \| wc -l | sort -k2 -nr | head -n 30 version.h 5295 io.c 1519 configure.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - google/ssl_logger: Decrypts and logs a process's SSL traffic.
ptraceとELFとLinuxレジスタ : sonots:blog
