bigram feature について。
twitter で @takeda25 さんが指摘されていたのですが, CRF で f(y_{i-1},y_{i},x_{i}) という観測素性とラベル bigram の組みまで考慮した素性関数があまり使われないのは, 素性数が増えるからというよりは計算に時間が掛かるためだろうか? という事を私なりに考えてみました. CRF の1事例に対するパラメータ推定に掛かるオーダーはラベル数L, 系列長Tの時に, O(L^2T) です. forward-backward でラティス中の位置 i, ラベル j のノードの alpha を計算する際には以下の logsumexp の計算を行います. for (k = 0; k < L; ++k) alpha_{i,j} = logsumexp(alpha_{i,j}, alpha_{i-1,k}+cost) この計算を全ての i, j について行います.
a hybrid markov/semi-markov cnf
名前だけ知りつつもどんな物なのか知らなかったので、5月に semi-markov crf の論文 を読んでみました。 semi-crf は入力系列に対する最適なセグメンテーションを学習する学習器です。 crf が P(Y|X, W) を求めていたのに対して、semi-crf では P(S|X, W) を推定します。 文章で書くと、2つの違いは * crf では入力系列 X に対して生成されうるすべてのラベル系列 Y' に対して、正解系列とそれ以外の系列を弁別するよう学習する * semi-crf では入力系列 X に対して生成されうるすべてのセグメンテーション結果 S' に対して、正解のセグメンテーションとそれ以外のセグメンテーションを弁別するよう学習する ということになります。 semi-crf では入力系列が与えられた際に、t_j , ... , u_j までを1つのセグメント s_j
Conditional Neural Fields on Google Code
CNF の著者の Jian Peng 氏に特許について質問をしてみたところ、問題ないということでしたので Google Code にプロジェクトを作成してコードを公開しました。 http://code.google.com/p/cnf/ あまりちゃんとした実装ではないので、使用は自己責任でお願いします。間違ってるかもしれないので、間違いがあれば教えてくれると嬉しいです。 mercurial で管理しているので、以下のコマンドで落としてきて使用できます。 $ hg clone https://cnf.googlecode.com/hg/ cnf $ cd cnf$ make$ ./src/cnflearn src/template data/conll2000/train.txt test.save$ ./src/cnftagger src/template test.save data/c
Conditional Neural Fields
年越ししてから既に２ヶ月が過ぎ、２月も終わりが見えかけてきた今日この頃です。 生存報告をかねて、少しだけ最近やっていた事を書いておきます。 去年の年末くらいに、面白そうな論文を見つけたのでそれを読みつつ、実装していました。 NIPS2009 で発表された論文です。 その名も Conditional Neural Fields 。http://books.nips.cc/papers/files/nips22/NIPS2009_0935.pdf 名前から何か感じるところの有る人もいそうですが、これはCRFに隠れ層を加えて、非線形にした物になります。 自分のメモ用に、先に簡単に CRF についておきます。 -- CRF の説明はNLP2006のチュートリアル資料が割と分かりやすいです。 http://nlp.dse.ibaraki.ac.jp/~shinnou/lecture/nl/NLP20
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
cnf - Project Hosting on Google Code
