Python3×日本語：自然言語処理の前処理まとめ - Qiita

初めに 方針 ・pandasは、CSVや、Mysql、SQLiteなど様々なデータベースから、取り扱いやすい自身のDataFrameに変換することができる。 ・pandasのDataFrameはscikit-learnとの連携も容易である。 ・自然言語処理を日本語で行う場合、適切に前処理を行わなければ、良い結果をだすことはできない。 今回は自然言語処理における前処理の種類とその威力を参考にさせていただき、 具体的にpandasのDataFrameの形で存在する日本語データの前処理について考えていきます。 ※引用文は記載が無い場合、上記の記事からのものです。 準備と想定 sqlite3からpandasのデータフレームへ変換しています。 import pandas as pd import sqlite3 con = sqlite3.connect("db/development.sqlite

[karaage]

メモ

[yarumato]

“pandasのDataFrameの形で存在する日本語データの前処理について。単語の分割は、Mecab + mecab-ipadic-NEologd(Mecabの辞書) + mecab-python3(Mecabとのバインディング)を利用”