Hadoopを使いこなす(1)

まず、 1 の入力ファイルを分割する方法は、InputFormatクラスの、getSplits関数を上書きすることで、カスタマイズできます。 また、 3 のInputSplitから、KeyとValueを抽出する処理も、InputFormatクラスを通じてカスタマイズできます。 InputFormatのgetRecordReader関数を通じて、RecordReaderクラスを生成するのですが、これに任意のRecordReaderクラスを指定すればOKです。 2 のMap処理ですが、ユーザが指定したMapperクラスの処理を実行します。 Mapperクラスは、MapRunnerクラスを通じて、初期化処理、map関数を繰り返す過程、終了処理といった一連の流れを実行します。 MapRunnerクラスをカスタマイズすれば、こうした流れを制御することができます。 0.20.0からの新しいMapRed

[mooz]

InputFormat, InputSplit などなど

[manabou]

フロー

[kawaoso]

Hadoopのカスタマイズポイント

[shiumachi]

コーディングレベルでのカスタマイズ方法について書かれている

[terurou]

Hadoop(MapRecude)のカスタマイズポイント

[ionis]

絵とかあって、分かりやすい。入門に最適かも？？？

[restartr]

flowの説明と、InputFormatのカスタマイズによるファイル分割の最適化の勘所について。

[yoshi_00_yoshi]

つかいこなす！