Preferred Networks におけるHadoop - Preferred Networks Research & Development

Preferred Networks （以下PFN）では、「現実世界を計算可能にする」「全てのひとにロボットを」という目標のもと、機械学習を始めとしたあらゆる計算技術を用いて研究開発に日々取り組んでいます。その過程では必ずといっていいほど、データの保存や読み出しが必要になります。ここでは、我々がどのようにデータ管理をしているか、また、その過程でどのようにHadoopを利用しているかについて紹介したいと思います。 写真: PFNカラーリングのストレージサーバー Hadoop導入の経緯 Hadoopが多く利用されているようなログ分析や、エンタープライズ向けのETL処理やデータサイエンスに比べると、深層学習の分野でよく利用されているような規模のデータは比較的小さいです。よく画像認識のベンチマークとされるImageNetの2012年のコンペで利用されたデータセットは200GB程度です。これはそもそ

[tinsep19]

Sparkとか使わない素の分散ストレージクラスタ目的か

[nabeop]

大規模ストレージの運用知見だ。

[misshiki]

“我々がどのようにデータ管理をしているか、また、その過程でどのようにHadoopを利用しているかについて紹介”

[tengo1985]

データとメタデータのために使ってるのね。HDFSはまあいいけど、HBaseを運用するのは自分だったらやだなぁ。

[diabah_blue]

HDFSのためだけにHadoopを飼うのは運用コストに見合わないような気もする。

[a2ikm]

“AWSやGCPのクラウドストレージは、上記の要件をほぼ完全に満たしますが、ひとつだけどうしても許容できない点がありました。それは、PFNのスーパーコンピュータとの接続性の問題でした。”

[kabukawa]

すごい知見だ。

[yassan0627]

PFNもCDHなのか。CDPとか検討してるんかな。