続・MeCabの分かち書きを並列処理で高速化する

まとめ Pythonから巨大なテキストファイルを並列に読み込み・処理・書き込みする方法を紹介 読み込み: テキストファイルをバイト列として見て、プロセスごとにファイルの読み込み区間を割り振る 処理: multiprocessingを用いた並列処理 書き込み: プロセスごとにtmpファイルへ並列に書き込み & catによる結合 はじめに 日本語形態素解析器であるMeCabを用いると、日本語のテキストに対する解析や処理が簡単に実行できます。 特に最近は、BERTをはじめとする深層学習モデルへの入力のための前処理として、MeCabなどを用いて文を単語単位に分割する「分かち書き」を行う機会が多くなっています。 MeCabはコマンドラインから実行することもできますし、Pythonなどからプログラム的に呼び出すことも可能です。 特にコマンドラインから実行する場合は、インストールさえ終わっていれば以下の

[efcl]

形態素解析のパフォーマンス手法

[misshiki]

“Pythonプログラムのみで巨大なテキストファイルに対してMeCabの分かち書きを並列で実行する方法を紹介し、それらの速度を実験的に比較。MeCab以外のツールを使う場合にも汎用的に利用可能なコードスニペットを提供”

[agricola]

たかだか2GBなら富豪的アプローチで全部メモリに乗っけてから処理するといいのか。