Pythonで始める自然言語処理の基礎の基礎 | クリエイターのための総合情報サイト CREATIVE VILLAGE
PythonはAIや機械学習領域のライブラリを豊富に持っており、近年非常に高い人気を誇っています。今回はPythonを使用して自然言語（人間が読み書きする言語）を処理する方法ご紹介します。 近年、自然言語処理の領域は急速に発展しており、機械翻訳（英語から日本語の翻訳等）の精度も年々向上しています。今回はその自然言語処理の基礎の基礎の部分をお伝えし、Pythonで処理する方法をご紹介いたします。 合田 寛都（ごうだ・かんと） 株式会社メンバーズ メンバーズデータアドベンチャー データアナリスト メンバーズに新卒入社後大手企業のWEBサイト運用やアクセス解析等に従事。メンバーズデータアドベンチャーに異動し、クライアント企業にデータアナリストとして常駐。 自然言語とは？ 自然言語とは人間が日常的に読み書きする、所謂普通の言語のことを指します。これと対比されるのが機械語やプログラミング言語で、Py
実践・自然言語処理シリーズ 第2巻 形態素解析の理論と実装
言語において意味を成す最小の要素である「形態素」の解析方法について、技術者向けにその理論や実装方法を網羅的、体系的に解説する。実装や高速化等を扱いつつ、辞書やコーパスなどの言語資源の構築・利用についてもカバー。 関連サイト本書の関連ページが用意されています。 実践・自然言語処理シリーズ 第2巻 形態素解析の理論と実装（近代科学社ウェブサイト）内容紹介本書は、汎用形態素解析システムMeCabを開発した著者が、言語において意味を成す最小の要素である「形態素」の解析方法について、技術者向けにその理論や実装方法を網羅的、体系的に解説する。実装や高速化なども扱う点がユニークであるが、辞書やコーパスなどの言語資源の構築・利用といった形態素解析では外せないテーマもきちんと解説している。 本書を読めば、解析ツールを「ブラックボックス」として使っている人も中身を理解したうえで拡張・改良できる道筋ができ、ひい
MeCabとUniDicの辞書でふりがなを振る方法 | hydroculのメモ
MeCabとUniDicの辞書でふりがなを振る方法 2015/07/20 MeCabで形態素解析して日本語のテキストにふりがなを振るには -Oyomi というオプションを付けます。 $ echo "形態素解析しました" | mecab -Oyomi ケイタイソカイセキシマシタ MeCabでは -d オプションで辞書を切り替えることができて、UniDicの辞書がインストールされていれば、それを使うことができます。しかし、UniDicの辞書でふりがなを振る方法がわかりません。以下のようにエラーになってしまいます。 $ echo "形態素解析しました" | mecab -d /usr/local/lib/mecab/dic/unidic -Oyomi writer.cpp(63) [!tmp.empty()] unkown format type [yomi] ちょっとググると以下のように -O
日本語の形態素解析以外にもMeCabを使う、またはMeCabの辞書の仕組み - Write and Run
みなさん、和布蕪は好きですか。私は食べたことがありません。 さて、MeCab は優秀な日本語の形態素解析機として有名ですが、みなさんは MeCab をそれ以外の用途で使ったことがありますか。食わず嫌いは感心できませんねぇ。 日本語の形態素解析機としての振る舞いは MeCab のほんの一面に過ぎません。MeCab はいつも読んでる IPAdic が何語の辞書かなんて知りませんし、日本語の文法がハードコートされているわけでもありません。MeCab は、振る舞いの全てを辞書に決められているといっても過言ではないほど、辞書によって様々な「言語」を解析できるようになります。ここでいう「言語」とは、記号の並びの規則、またはその規則に則って並べられた記号列のことだと思ってください。つまり、「辞書」は言語の語彙だけでなく、規則を記述する能力を持っているのです。 MeCab の「辞書」に含まれる情報に軽く触
Word２Vec, MeCab, ComeJisyo で病気の症状類似語を出してみた - Qiita
エムスリー（ヘルスケア系）のAdvent Calendar に参加しているので、ヘルスケア系機械学習ネタ ちょっと前に業務とは関係なく、症状類語辞書をつくりたいなーーというときがあった。（結局できてないけど そのときに去年流行った word2vecを使って機械学習で症状の類義語がどれくらい精度よく出てくるかをやってみたのでその話を書く 今回の流れ 医療文書が入ったtextファイルを作成 MeCab へ医療用辞書 ComeJisyo を設定 MeCab で分かち書く word2vec で学習 word2vec を利用 浅い浅い考察と感想 医療文書が入ったtextファイルを作成 今回は精度を比較するために、２つのテキストを用意した。 一つ目は word2vecでは鉄板の大量の単語があるWikipediaのデータから、もう一つは医療系文書のデータを使用した。 1.Wikipediaのテキストファ
[O] MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました
MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました Tweet [NLP] 日本語の文書を機械的に処理しようと思った時に、ほとんどの人が MeCabとIPADIC(IPA辞書)の両方、または、どちらかを使うことになります。 IPADICはとてもよく出来ていますが、更新されないまま年月が過ぎているので、例えば2015年3月上旬に急に流行ったような言葉は収録していません。そのため、今日生まれたような新しい文書(例、Apple Watch発売)を解析する時に困ります。困らない人もいますけど、僕は困ります。 その課題に対処するために、日本全国津々浦々、自然言語処理に関わる全ての人は独自にMeCabの新語辞書を作って対応しているわけです。その際に元データとして使われることが多いのは Wikipedia 日本語版やはてなキーワードなどです。 困ったことに、新語辞書を生成
Perlで日本語全文検索できるCPANモジュール作りました - 俺とお前とlaysakura
この記事は↓に移転しました。 laysakura.github.io
SourceForge.JP: Project Info - NAIST Japanese Dictionary
最終更新: 2018-04-05 19:45 概要 プロジェクト概要 開発ダッシュボード Webページ 開発メンバー 画像ギャラリー 公開フィード一覧 活動 統計情報 活動履歴 ダウンロード リリース一覧 統計 ソースコード コードリポジトリリスト Subversion リポジトリ閲覧 チケット チケット一覧 マイルストーン一覧 チケットの種類一覧 コンポーネント一覧 よく使われるチケット一覧のリスト/RSS 新規チケット登録 文書 Wiki FrontPageの表示 ページ一覧 最近の更新 文書マネージャ 文書一覧 コミュニケーション フォーラム フォーラム一覧 ヘルプ (1) 公開討議 (1) メーリングリスト MLの一覧 ニュース
MeCabのipadic辞書への単語追加(ドメイン適応) - 気ままなブログ
mecab-ipadicのCRF学習モデルが追加されたことにより、辞書に単語を追加しやすくなったようだ。 http://sourceforge.jp/projects/mecab/lists/archive/users/2012-June/000456.html 以前のMeCabの場合、単語追加をする場合は、追加したい単語と似ている単語のコスト値からなんとなく予測して追加する必要があって、結構やりにくかった。なので、どのぐらいやりやすくなったかを早速試してみた。 まず、自分のローカルにMeCabをインストールした。 また、ipadicのモデルファイルしかないようなので、ipadic辞書を入手する。 http://code.google.com/p/mecab/downloads/detail?name=mecab-0.994.tar.gz&can=2&q= http://code.goog
TermExtract::MeCab -- 専門用語抽出モジュール（「和布蕪」版)
NAME SYNOPSIS DESCRIPTION Sample Script Methods get_imp_word SEE ALSO COPYRIGHT NAME TermExtract::MeCab -- 専門用語抽出モジュール（「和布蕪」版) SYNOPSIS use TermExtract::MeCab; DESCRIPTION 入力テキストを、「和布蕪」（奈良先端大学で作成している日本 語形態素解析プログラム）にかけ、その結果をもとに入力テキス トから専門用語を抽出するプログラム。 なお、「和布蕪」の出力はデフォルトのフォーマット指定を前 提としている。 使用法については、親クラス（TermExtract::Calc_Imp)か、以下の サンプルスクリプトを参照のこと。 Sample Script #!/usr/local/bin/perl -w # # ex_mecab.p
ある枝の先端 |MeCab辞書ファイルメンテナンス健忘録 （Windows）
MeCabのユーザ辞書ファイルを作成するのに凄く苦労したので、記録として残します。 MeCabのバージョンは0,97で、UTF-8のシステム辞書を使っています。 これは、GETAssocを使うための設定なので止むを得ず。 辞書の元データとして使うのはwikipediaのタイトル情報とHatenaのキーワード情報（らしい）です。 ぶっちゃけ先人の軌跡を辿っただけなので、この辺はいい加減。 【正規手順】 手順は以下の３つです。dicファイルの元となるcsvファイルを作成する。dicファイルを作成するMeCabに入れる １．dicファイルの元となるcsvファイルを作成する。 元となるデータを入手して、そのデータを加工してdicファイルに変換できる形式のcsvファイルにします。 使ったのは、ここのスクリプト。 cygwinでコマンドを叩いてやれば問題なくデータを手に入れられると思います。 ただし、
Re: Windows 環境でユーザー辞書を認識しません (mecab-users 381) - MeCab - OSDN
Hiroaki Kawai hiroa****@gmail***** 2009年 8月 10日 (月) 12:05:46 JST 前の記事 [mecab-users 380] Re: Windows 環境でユーザー辞書を認識しません 次の記事 [mecab-users 382] Re: Windows 環境でユーザー辞書を認識しません 記事の並び順: [ 日付 ] [ スレッド ] [ 件名 ] [ 著者 ] 川井です。 もう少しステップを区切って、問題の原因を切り分けていったほうがいいと思います。 まず、エラーメッセージが出ている場合は、「必ず」それをメールに書くようにしましょう。 まずは perl 無しでいきましょう。 コマンドプロンプトで次のように実行したということですが、 c:\Program Files\Mecab\bin>mecab -u../dic\ipadic\mecab_
MeCab: Yet Another Part-of-Speech and Morphological Analyzer
MeCab に至るまでの形態素解析器開発の歴史等はこちらをご覧ください メーリングリスト 一般ユーザ向けメーリングリスト 開発者向けメーリングリスト 新着情報 2012-01-27 MeCab 0.993 MeCab::Tagger::formatNode()が正しく動いていなかった問題の修正 スタックの消費を抑えるため、ほとんどのローカル変数(配列)をヒープ上に退避 2012-01-14 MeCab 0.992 ソースコード中のTypoの修正 2012-01-14 MeCab 0.991 空文字列もしくは空白文字列を解析した時に解析エラーとなる問題を修正 ユーザ辞書の作成に失敗する場合がある問題を修正 2011-12-24 MeCab 0.99 MeCab::Model, MeCab::Lattice クラスを追加 マルチスレッド環境でのユーザビリティの向上。複数スレッドが同一
ビジネスアプリ向けの速い開発プラットフォーム
オンデマンド・トレーニング すべてのトレーニング・セッション（英語版）は クリックするだけで視聴できます。（有料） コンテンツのリストを見る ビジネス・アプリを すばやく構築 4Dは、データモデルとビジネスルールにフォーカスした素晴らしい開発プラットフォームです。全てのプラットフォームでネイティブ・アプリケーションを短時間で 開発・運用します。 詳しく見る
MeCabの辞書をカスタマイズする | mwSoft
概要 MeCab0.994で再学習機能が入ったので、その辺りも含めてMeCabの辞書カスタマイズ方法を洗ってみる。 今回取り扱うのは、CSV形式で新しい単語の情報を記述して辞書を生成（mecab-dict-index）する方法と、文章の解析結果を用意してそれを利用して学習（mecab-cost-train）する方法。 Linuxで実行。Windowsは知らない。 単語追加用のCSVファイルを作成する まずはCSVファイルを手書きして、MeCabの辞書に新しい単語を追加してみる。 やり方は公式サイトに載っている。 今回は例として「アメリカの大統領の名前くらい登録しておきたいよね」ということでバラクとオバマという2つの固有名詞を追加してみる。両単語はIPA辞書では未知語になっている。 $ echo "バラク・オバマ" | mecab -U"%M\t%H\t未知語\n" バラク 名詞,一般,*,
Windows 64bit版MeCabをビルド
先日Windows 7 64ビット環境でLucene.Netを使ってみましたが、一つ問題があります。Windows版MeCabが32bitのため、Lucene.Netも32bitアプリケーションとして動くことになってしまいます。 ここを参考に64bit版のMeCabをコンパイルしました。 ■下記パッケージをインストール Microsoft Visual Studio 2010 ■下記パッケージをダウンロードする MeCab 0.98 ソースコード ■MeCab 0.98のソースコードを解凍 ■src/Makefile.msvc.inをsrc/Makefileに名前変更して、下記修正を行う 「/MACHINE:X86」を「/MACHINE:X64」に変更 「@DIC_VERSION@」を「102」に変更 「@VERSION@」を「0.98」に変更 ■src/common.hに下記インクルード
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
neologd/mecab-ipadic-neologd: Neologism dictionary based on the language resources on the Web for mecab-ipadic
形態素解析・特徴語抽出エンジン『MeCab』に単語やユーザ辞書を追加する方法
MeCab for Win での単語追加: 晶紀の館 第2別館
Mailing Lists - MeCab - OSDN