【Python】日本語Wikipediaのダンプデータから本文を抽出する - プログラムは、用いる言葉の選択で決まる
日本語Wikipediaのダンプデータ中の本文を利用したい。 ただ、単純にパースするだけではWiki記法の記号等が邪魔である。 というわけでWikipedia Extractorを利用して本文だけテキストとして抽出します。 Wikipedia Extractorの他にもパースするためのライブラリはいくつかあるようなので、用途によっては別のライブラリを使用したほうが良さそう。 Alternative parsers - MediaWiki 環境 Mac OSX Yosemite Python v2.7.11 Wikipedia Extractor v2.4 20GB程度のディスク空き容量 出力結果例 抽出処理後に生成されるXMLファイルは下記のようなdoc要素の集まりになります。 <doc>...</doc> <doc>...</doc> ... <doc>...</doc> 具体的な例とし
Wikipediaのダウンロードできるデータファイル一覧 | mwSoft
概要 本記事はWikipediaのダウンロード可能なデータについてまとめたものです。 Wikipediaではクロール行為は禁止されています（ここを見る限りでは）が、代わりに全記事の情報を圧縮したファイルが公開されています。 日本のWikipedia情報ダウンロードページ http://download.wikimedia.org/jawiki/latest/ 本記事は2009年の10月下旬に取得した情報を元に書いています。時間が経つと結果が変わる可能性があるのでご注意ください。 事前情報 2009/10/25に確認した時点では、日本語Wikipediaのダウンロードページには55個のファイルが置いてありました（うち半分は更新を通知する為のRSS）。 ファイルの形式は「XML」、「MySQLのダンプ」、「テキスト」などがあります。 詳しいデータのインポート方法は、こちらのリンク集が参考になる
ElasticSearchにwikipediaのデータを投入する手順.md
ElasticSearchにwikipediaのデータを投入する手順.md pluginコマンドのパス /usr/share/elasticsearch/bin/以下（※Ver1.3.2で確認） Elasticsearch-river-plugin HP https://github.com/elasticsearch/elasticsearch-river-wikipedia ※ElasticSearchのバージョンによってインストールするバージョンが異なるため注意 インストール bin/plugin -install elasticsearch/elasticsearch-river-wikipedia/2.0.0 Kuromoji HP https://github.com/elasticsearch/elasticsearch-analysis-kuromoji インストール bi
Apache SolrにWikipediaデータをインポートする手順.md
Apache SolrにWikipediaデータをインポートする手順.md Wikipediaデータダウンロード先 http://dumps.wikimedia.org/jawiki/latest/ ダウンロード＆解凍 # wget http://dumps.wikimedia.org/jawiki/latest/jawiki-latest-pages-articles-multistream.xml.bz2 # bunzip2 jawiki-lasest-pages-articles.xml.bz2 コレクションディレクトリ作成 # cd /usr/local/solr/{プロジェクト名}/solr この中の「collection1」ディレクトリがコレクションの本体になる これを任意の名前に変更する 今回はWikipediaのarticleのため、「article」コレクションとする #
Wikipediaの大量データをMySQLに保存する - Qiita
$ mysql -u root jawikipedia < jawiki-latest-page.sql $ mysql -u root jawikipedia < jawiki-latest-pagelinks.sql $ mysql -u root jawikipedia < jawiki-latest-categorylinks.sql データが大きくて実行時間は結構かかります。手元のMacでかかった大体の時間を参考までに載せておきます。 jawiki-latest-page.sql・・・数分で終わった。 jawiki-latest-pagelinks.sql・・・10分くらい。 jawiki-latest-pagelinks.sqlは・・・8時間くらい。途中PCがスリープになっていたので本当はもっと早かったかもしれません。 取り込んだデータ テーブル構造 page mysql> d
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
