データ基盤チーム0人で運用は回るのか？！ 前人未踏チャレンジ・クックパッドデータ基盤のすべて2020 - クックパッド開発者ブログ

技術部データ基盤グループの青木です。 ここ1、2年はなぜか成り行きでBFFをでっちあげたり、 成り行きでiOSアプリリニューアルのPMをしたりしていたので あまりデータ基盤の仕事をしていなかったのですが、 今年は久しぶりに本業に戻れたのでその話をします。 突然の1人チーム、そして0人へ…… 今年のデータ基盤チームは消滅の危機から始まりました。 間違いなく去年末は5人のチームだったと思うのですが、 メンバーがイギリスへグローバルのデータ基盤チームを作りに行ったり、 山へ検索システムを直しに行ったり、川へレシピ事業の分析業務をやりに行ったり、 海へ広告のエンジニアリングをしに行ったりするのをホイホイと気前よく全部聞いていたら、 なんと4月から1人だけのチームになってしまいました。 事はそれで終わりません。 恐ろしいことに10月にはわたし自身も育休に入ることになったので、 10月はデータ基盤が0

[tgk]

クックパッドのRedshiftの構成＞「ds2.8xlarge×8, 128 slice」「2016年から同じサイズのクラスターを使い続けています」「これまでは常時カツカツで、 80%を越えるたびに過去のデータを消しては凌いでいた」

[sonots]

優秀なデータエンジニアは Ruby Hacking Guide も書けるし、iOSアプリのリニューアルもできるんだなぁ(白目

[yuzutas0]

Toilの徹底削減。凄まじい成果。

[mysql8]

データ基盤チーム(AWS)

[wyukawa]

辛そう。。

[northlight]

こういう運用事例いいなあ

[komemagai]

すごい

[tagomoris]

“遅れたログを永久に受け入れていると、ロードシステムの負荷が非常に大きい” これなー、弊社のログマージジョブも大変……(どんな過去のデータも捨てられない

[privates]

そんなのは良いからさ、ネットにゴミを出すの止めてくんない？

[studio_graph]

こういうしっかりした基盤の上に日々の業務が成り立っています…