Apache Kafkaを使ったアプリ設計で反省している件を正直ベースで話す

Apache Kafka: Producer, Broker and Consumer2017年は生まれて始めてApache Kafkaを本格的に業務利用（PoCではなく本番運用）した年でした。Apache Kafka的なメッセージングミドルウェアそのもののは、社内的な事情でよく使っていたのでその使い勝手に対して困惑はほとんど無かったですし、ミドルウェアとして非常に安定しているため、Kafkaクラスタそのものでの不具合らしい不具合が発生したことは一度もありませんでした。 しかし、Kafkaのトピック設計などに関してのベストプラクティスは事例ベースでもあまり見かけたことがなく、チームメンバーと悩むことも多かったです。このストーリーでは、主にKafkaを利用したアプリ設計で考えたことや失敗したことを振り返りつつ共有します。なお、パーティション数や各種バッファサイズなどのチューニング要素は今回取

[hamlet-r]

実データのリアルタイム収集＆統合的な保存か。昔、気象データ収集の実験用システムとかやったことあるけど、懐かしいな。IoTがブームになるとこうした案件増えるんだろうな。Kafkaかちょっと勉強してみようか。

[katzchang]

イベント収集、色んなサービスで出てくるよなあ

[airj12]

こういう知見は互いにガンガン公開していきたいなあ

[damedog]

“ライトバック”

[tmatsuu]

知見

[odz]

なんか書くかも

[mather314]

気になる知見

[sifue]

イベントストリームとトランザクションの必要な要件とか絡むと本当に設計が大変だよなぁ。

[legoboku]

良いまとめ

[iwryokka]

AWS Kinesisを使って近いことをしたので、とても共感できる。自分の場合は要件的にこの記事にあるような問題は表面化しなかったものの、中々癖がある製品だと思うので特性を知っておかないとどハマりする。

[buenaarbol]

Kafkaとは

[matarillo]

正直ベースとファクトベースとの違いについて考える

[wata88]

勉強になる

[iekusup]

ほー。

[y___u]

おお、良い知見

[udzura]

kafka面白い

[dekokun]

"Enterprise Integration Patterns"

[kimutansk]

Inguest Topicに、「どのイベントで着火し・そして次に何を着火させるべきかという視点」と。そのあたり書き込みモデルと矛盾しない限りはできる限り途切れさせない方が扱いやすそうではあります。