ブラケット表記された句構造木をtikz-qtree形式に変換するツールを作った - tetsuok の旅 blog
ブラケット表記された句構造木を tikz-qtree 形式 (正確には Qtree 形式) に変換するツールを作りました。ネーミングが微妙ですが...。出力された LaTeX ファイルを pdflatex などでコンパイルすると上図のような構文木が得られます。 https://github.com/tetsuok/bracket-to-tikz-qtree 使い方は $ ./bracket_to_tikz_qtree.py [options] FILE または $ ./bracket_to_tikz_qtree.py [options] [FILE] - 入力となる FILE はブラケット表記された構文木を含むテキストファイルです。なお、出力された LaTeX ファイルをコンパイルするには tikz-qtree をインストールしておく必要があります。 また、`--enable-pdf` オ
MeCabの辞書をカスタマイズする | mwSoft
概要 MeCab0.994で再学習機能が入ったので、その辺りも含めてMeCabの辞書カスタマイズ方法を洗ってみる。 今回取り扱うのは、CSV形式で新しい単語の情報を記述して辞書を生成（mecab-dict-index）する方法と、文章の解析結果を用意してそれを利用して学習（mecab-cost-train）する方法。 Linuxで実行。Windowsは知らない。 単語追加用のCSVファイルを作成する まずはCSVファイルを手書きして、MeCabの辞書に新しい単語を追加してみる。 やり方は公式サイトに載っている。 今回は例として「アメリカの大統領の名前くらい登録しておきたいよね」ということでバラクとオバマという2つの固有名詞を追加してみる。両単語はIPA辞書では未知語になっている。 $ echo "バラク・オバマ" | mecab -U"%M\t%H\t未知語\n" バラク 名詞,一般,*,
KyTea v.s. MeCab - 形態素解析における点予測対系列ラベリング，または品詞の要不要など
Taku Kudo @taku910 点予測による単語分割が分野適応に便利なことは理解できるが、Juman/MeCabといった最小コスト法のものに、単語を追加する方法と本質的にどう違うのだろうか。語彙の追加以上にユーザの負荷が軽減するのか直感的にはわからない。 2011-11-24 16:39:55 Taku Kudo @taku910 例えば、「なう」を文末っぽいところ*だけ*終助詞にしたければ、MeCabなら単語登録で済む。点予測の場合は、前方の品詞が分からないので、終助詞以外の「なう」と区別するにはそれなりの量の文脈をアノテートしないといけない。 2011-11-24 16:44:59 Graham Neubig @neubig @taku910 確かに気になりますね。日本語には普遍的な品詞分布があれば、新しい単語に対応するためにこの未知語＋品詞の情報しか必要がないはずです。新しい分
大規模データで単語の数を数える - ny23の日記
大規模データから one-pass で item（n-gram など）の頻度を数える手法に関するメモ．ここ数年，毎年のように超大規模な n-gram の統計情報を空間／時間効率良く利用するための手法が提案されている．最近だと， Storing the Web in Memory: Space Efficient Language Models with Constant Time Retrieval (EMNLP 2010) とか．この論文では，最小完全ハッシュ関数や power-law を考慮した頻度表現の圧縮など，細かい技術を丁寧に組み上げており，これぐらい工夫が細かくなってくるとlog-frequency Bloom filter (ACL 2007) ぐらいからから始まった n-gram 頻度情報の圧縮の研究もそろそろ収束したかという印象（ちょうど論文を読む直前に，この論文の7節の
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
UniDic - 言語データベースとソフトウェア
Google Code Archive - Long-term storage for Google Code Project Hosting.