S3に保存したログファイルをストリーム処理するサーバーレスアプリケーションの紹介 - クックパッド開発者ブログ

インフラストラクチャー部セキュリティグループの水谷(@m_mizutani)です。 クックパッドでは現在セキュリティ監視の高度化に取り組んでおり、その一環としてセキュリティ関連のログ収集およびその分析に力を入れています。ログ収集の部分では可用性などの観点からAWSのオブジェクトストレージサービスであるS3に一部のサービスやサーバのログをまず保存し、後から保存されたファイルを読み込んで分析などに利用しています。分析のためにS3に保存したファイルを前処理する方法としてAWS Glueなどを用いたバッチ処理がありますが、到着したログをなるべくストリームデータのように扱いたい場合もあります。特にセキュリティ関連のログでは以下のようなユースケースで利用しています。 アラートの検出: ログを検査してその中から危険度の高いと考えられるログを探し出し、アラートとして発報します。アラートの具体的な例としては

[mztnex]

最近やっているセキュリティログ分析の基盤構築の一部についてブログ記事を執筆しました

[kani_b]

id:tmatsuu Kinesis Streams にしているのは、ストリームの任意の場所で処理を再開できるので、どこかの lane が壊れたり新しく処理を追加したい時などに有利というのが主な理由ですね

[tohta111a]

参考になりました

[tmatsuu]

いいね。S3Pathと小さいサイズを渡すだけだからKinesisの代わりにSQS FIFOでもええんちゃうかと思ったんだけど何か理由があるんだろうか。Async Invokeができるからかな。

[rochefort]

大変そう。。。

[tkmoteki]

課題1はSNS挟むとか？2,3は大変。リトライってファイル置き直しになってしまうはず。 S3に保存したログファイルをストリーム処理するサーバーレスアプリケーションの紹介 - クックパッド開発者ブログ

[mori-ray-river]

寝る前にボヤボヤしながらだから適当なこと言うけど、このアーキテクトどうなんだろ ログ追うの辛いとかデータストアの流入が辛いっての、真ん中のロジック任せになってるから少しモノリシックじゃないのかなぁ