DeNA流データエンジニアリングの極意

Developers Summit 2017 における「DeNA の機械学習基盤と分析基盤」の発表から「データエンジニアリングの極意」のパートを抜き出したもの。「機械学習基盤」のパートについては https://speakerdeck.com/sonots/dena-aisisutemubu-niokerukuraudowohuo-yong-sitaji-jie-xue-xi-ji-pan-falsegou-zhu を参照。

[zannino]

データレイクに突っ込むだけでは活用基盤にならず、構造化されたDWHが必要になる。

[rochefort]

uuidで重複排除すべし

[somemo]

基本的に整っていないと困ることが全て存在していてすごい

[atty]

一つ一つは当たり前に思えることだけど実践するのは大変なんだよなぁ

[masaoki_k0812]

データエンジニアリングに限らず、サービスを疎結合した時の勘所とも言える

[hokaccha]

便利

[vndn]

アーガス君が怖くて……

[launcher]

uuidで重複防止はやりたい。

[kimutansk]

まさに定石通りで非常にコンパクトにまとまっている。いい。これをきちんとこなせてこそ、次の段階に進めるわけですからね。で、数百の巨大データに定石を適用し続けるのはそれはそれで大変