細分化したファイルをマージして読み込む場合、パっと見た感じ、「HDFSのブロック情報上のサイズ」基準のマージですか。圧縮ファイルの場合は圧縮後のサイズが基準と。

kimutanskkimutansk のブックマーク 2016/05/05 09:15

その他

このブックマークにはスターがありません。
最初のスターをつけてみよう!

Using CombineInputFormat to Combat Hadoop’s Small Files Problem | Amazon Web Services

    AWS Big Data Blog Using CombineInputFormat to Combat Hadoop’s Small Files Problem James Norvell is a Big Data Cloud Support Engineer for AWS Many Amazon EMR customers have architectures that track ...

    \ コメントが サクサク読める アプリです /

    • App Storeからダウンロード
    • Google Playで手に入れよう