スケーラブル tail -f | grep on AWS - KAYAC engineers' blog

こんにちは。組長こと @fujiwara (id:sfujiwara) です。 早速ですが皆さん、ログは見ていますか? 当然見ていますよね。tail -f で追いかけるとか大好きですよね。という前提で話を進めましょう。 この記事は Tech KAYAC Advent Calendar 2016 の24日目の記事です。 TL;DR 多種多様なホストから発生するログの末尾を tail -f で追いかけたい fluentd + ローカルファイルで行うのはちょっと面倒 Amazon Kinesis + Lambda を使ってスケーラブルな仕組みを考えてみた kinesis-tailf というツールも作った 既存の仕組みと問題点 techblog.kayac.com 弊社の Lobi とソーシャルゲームでは、この記事で紹介されたような Fluentd を活用したログ集約の仕組みを整備しています。この

[sfujiwara]

kinesis+lambdaネタを書きました

[ksss9]

Kinesis Stream使ってないけど便利そう

[dayafterneet]

live tail ネタ

[syou6162]

なるほどー

[Dai_Kamijo]

スケーラブル tail -f | grep on AWS - KAYAC engineers' blog — 上條　大 (@Dai_Kamijo) December 27, 2016 from Twitter https://twitter.com/Dai_Kamijo December 27, 2016 at 09:48AM via IFTTT

[key_amb]

なるほどー

[progrhyme]

なるほどー

[yamadar]

ログ集約サーバーのアイデア

[ebo-c]

「頼れる土管」と言うパワーワードに出逢った

[kakku22]

これはすごい

[y_uuki]

発想がすごい