GCP dataflowを利用して、ニコニコ動画の全コメント41億件を、BigQueryへ入れる。 - Qiita

動画データは、2000万件ある。2000万件であれば、DBに入れられるが、コメント情報は、41億件あるため、BigQueryなどの大規模なデータ集計が得意なものに入れたほうが良いだろう。 今回は、GCPのDataFlowを利用して、BigQueryにニコニコ動画のデータを入れることにする。 結論 ニコ動画のコメント情報は、41億件あるため、DataFlowなどを用いて、大規模分散システムで入れるのに適している。 ニコ動のコメント情報は、動画IDがjson内に無く、アーカイブされたファイル名にあるため、そちらを取得してdataflowにデータを入れる。 Dataflowを用いてGCSにおいたzipファイルから、データをロードする。 サンプルコードはこちらにある。 コメントのロードのREADME コメント github readme ビデオ情報の README ビデオ情報 github rea

[sh19910711]

"ニコニコデータセットのコメント情報: zipファイルの中に、動画IDを含むjsonlファイルが入っており、その中に、コメントをした日付、コメント本文、コマンド、動画上の秒数位置など"