kuromoji - japanese morphological analyzer
About Kuromoji Kuromoji is an open source Japanese morphological analyzer written in Java. Kuromoji has been donated to the Apache Software Foundation and provides the Japanese language support in Apache Lucene and Apache Solr 3.6 and 4.0 releases, but it can also be used separately. Downloading Download Apache Lucene or Apache Solr if you want to use Kuromoji with Lucene or Solr. See below for so
ひらがな・カタカナ・半角カナを相互に変換するjcconvを書いた – taichino.com
クローラで日本語情報を収集してると、ひらがな・カタカナを相互に変換したい事が割とあります。毎回適当に処理するのが嫌になってきたので、相互変換するpythonモジュールを書きました。 使い方は以下の様な感じです。 >>> from jcconv import * >>> print hira2kata('あいうえお') # hiragana to katakana アイウエオ >>> print kata2hira('カタカナ') # katakana to hiragana かたかな >>> print half2hira('ﾊﾝｶｸｶﾀｶﾅ') # half-width kana to hiragana はんかくかたかな >>> print half2wide('hello jcconv') # half-width alphabet to wide-width ｈｅｌｌｏ ｊｃｃｏｎｖ
Python による日本語自然言語処理
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
文体診断ロゴーン
文体診断λόγων（ロゴーン） 以下に文章を入力していただくと、名文の中から類似の文体を探し出します。 また、文章の表現力や読みやすさを評価します。入力の上限は5000字です。
一風斎の趣味的生活／もっと活字を！
FRANZ SCHUBERT DIE STREICHQUARTETTE MELOS QUARTETT (DG) アセトアミノフェンの効果で熱は下がりましたが、全身の倦怠感は依然として続いています。 ということで、本日もシューベルト。 しかも、弦楽四重奏曲全集で、「ゆるい」シューベルトをお楽しみください。 シューベルト・ファンの人には、厭がられるだろうけれど、「ゆるい」というのは必ずしも悪口だけに使っているわけではない。 いい意味で言えば「インティメイト」。もちろん、構成や和音構成などは、ベートーヴェンと比べて劣ることに間違いありませんが、シューベルトには、この親密性とメロディーがそれを補うほどたっぷりとあります。 詳しい説明は、風邪が治ってからということにさせていただきましょう。 Schubert Songs without Words Mischa Maisky Daria Hovora
Twitterの投稿内容から鬱度を測定する - Unchained Life
もうすぐ5月です。 Twitterの投稿内容から鬱度を測定するRubyスクリプトを書いてみました。 これには東京工業大学の高村さんが公開している単語感情極性対応表というものを使っています。 http://www.lr.pi.titech.ac.jp/~takamura/pndic_ja.html これはある単語がどの程度の感情を表すかを数値化した表で、-1 ~ +1 までの値が特定の単語に割り当てられています。 その単語がネガティブな感情表現だとマイナスの値、ポジティブな感情表現だとプラスの値になっています。 なので、鬱度を測定といってもポジティブな投稿内容が多いときにはプラスの値を返します。 また日本語文の形態素解析にはYahoo!の日本語形態素解析APIを使っています。 http://developer.yahoo.co.jp/webapi/jlp/ma/v1/parse.html ア
自然言語処理は Python がいちばん - 武蔵野日記
現在大学1年生の人で3年後には NAIST に (というか松本研に) 来たいという人から「どんなプログラミング言語やっておくといいですか」と質問されたりするのだが、なかなか答えるのは難しい。自分は Perl → Python がメインでときどき C++/C# を使ったりするのだが、どれが一番いいかはなんとも言えないので、自然言語処理以外に転向する可能性も考えると、C とか C++ とか Java とか(授業でそちらをやるのであれば)を最初の武器に選んだ方がいいのでは、と思ってはいる。 そんなこんなで最近 Hal Daume III (機械学習を用いた自然言語処理では非常に有名な人) のブログで Language of Choice というタイムリーなエントリーが出ていたので、紹介すると、「それなりに大きな自然言語処理のプロジェクトでどのプログラミング言語を使うのか」というアンケート結果が出
きまぐれ日記: 「読めてしまう」コピペがなぜ読めてしまうのか
http://www.asks.jp/users/hiro/59059.html http://www.itmedia.co.jp/news/articles/0905/08/news021.html 最初読んだとき、違和感なく読めてしまったのですが、よくよく見てみると、そんなトリックがあったのですね。 さて、この「読めてしまう」がなぜよめてしまうのでしょうか？ 人間の言語モデルの単語パープレキシティは、約100ぐらいであると言われています。どういうことかというと、 人間が文章を読んでいるときに、次の単語を過去の文章から推測するのは 1/100 程度の 確率で正解するということです。 件のコピペですが、最初の文字は変わらないので、その正解率は平仮名の数(52)倍になります。 すなわち、52/100 =~ 0.5 実際には、最後の文字も変わらないし、 単語の長さが変わらないというもの、大きな
川柳の自動生成アルゴリズムの紹介（どうしたら 機械で川柳 詠めるかな）
メディア関係者向けお問い合わせ先 メールでのお問い合わせ: pr-jp@google.com メディア関係者以外からのお問い合わせにはお答えいたしかねます。 その他すべてのお問い合わせにつきましては、ヘルプセンターをご覧ください。
日本語 WordNet (wn-ja)
日本語 WordNet リリース * 画像 * ダウンロード * 今後の予定 * 参考文献 * リンク * English 本プロジェクトでは、 Princeton WordNet や Global WordNet Gridに 着想をえて、日本語のワードネットを構築し、オープンで公開します。 独立行政法人情報通信研究機構（NICT）では、自然言語処理研究をサポー ト する一環として、2006年に日本語ワードネットの開発を開始しました。最初の 版、version 0.9は、2009年2月にリリースされました。このversion 0.9は、 Princeton WordNetのsynsetに対応して日本語をつけています。もちろん、 Princeton WordNetにはない日本語synsetを付与する必要があり、また、 Princeton WordNetにみられるsynsetの階層構造に、
UNIXに関する言葉のひらがな読みスレッド:アルファルファモザイク
>>2 それはカタカナ読みです たとえば、「正規表現」とかひらがな読み教えて下さい 僕はせいきひょうげんと読んでます みなさんはなんて読んでるのか知りたいです
「ヲ」の書き順:アルファルファモザイク
「Animelo Summer Live 2009 -RE:BRIDGE-」 22日：JAM Project・彩音、23日：水樹奈々・榊原ゆいなど10組発表
留学支援と海外旅行に便利な海外の日本語フリーペーパーのキュレーションサイト
OHAYO Sriracha (+Pattaya) / OHAYO Factory / OHAYO Condo&...
ヤフーの日本語係り受け解析APIとサンプルプログラム「なんちゃって文章要約」
ヤフーの日本語係り受け解析APIとサンプルプログラム「なんちゃって文章要約」 2008-08-21-1 [WebTool][NLP][Programming][Algorithm] Yahoo!デベロッパーネットワーク(YDN)に 「日本語係り受け解析Webサービス」が登場しました。 Yahoo!デベロッパーネットワーク - テキスト解析 - 日本語係り受け解析 http://developer.yahoo.co.jp/jlp/DAService/V1/parse.html 「係り受けってなに？」という方もいると思うので、 以下、まったくもって厳密ではない、適当な解説を試みます。 (1) 日本語をコンピューターで処理するには、 まず形態素解析というのをやって、 文を形態素（≒単語）単位に分割します。 YDN の「日本語形態素解析Webサービス」[2007-06-18-1] で試すことができ
ヤフー、かな漢字変換Webサービスを公開--MS-DOS時代に全盛の「VJE」をAPI化:ニュース - CNET Japan
ヤフーは5月27日、「Yahoo!デベロッパーネットワーク」で「かな漢字変換Webサービス」を公開した。 Yahoo!デベロッパーネットワークは、インターネット関連の開発者向けにYahoo! JAPANの技術仕様を公開し、一部のサービスやデータベースへ無料（1日当たり5万リクエストまで）でアクセスできるサービスだ。これを使うことによって、外部の開発者はYahoo! JAPANのデータベースを活用したサービスやソフトウェアを開発することができ、ウェブ検索をはじめ、現在10分野のWebサービスを公開している。 今回公開されたかな漢字変換Webサービスは、日本語入力プログラム「VJE」（VACS Japanese Entry）をAPI化した。VJEは、もともとバックスが開発したプログラムで、MS-DOS全盛の時代には強い支持を受けたプログラムだ。バックス社は2006年6月に休眠しているが、それ以
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
kikuzone on Twitter: "「同じ著者の小説をつなげてzip圧縮したら、複数の著者の小説をつなげて圧縮するよりも圧縮率がいいから著者推定に使える！」って論文が見つかった。キワモノかと思ったら精度いいし。論文探してるとしばしば「その発想はなかったわ」な物が見つかって面白いが俺は数日前にこれをやっとくべきだ。"
http://fukuriko.spaces.live.com/blog/cns%21B68664125B5D1D69%21385.entry
Google Code Archive - Long-term storage for Google Code Project Hosting.
http://www.ai.cs.scitec.kobe-u.ac.jp/~kawamura/pukiwikiplus/index.php?cmd=read&page=%E8%87%AA%E7%84%B6%E8%A8%80%E8%AA%9E%E5%87%A6%E7%90%86%2FAPI%2CMASHUP
asahi.com：コピペしたリポート、ばれちゃうぞ 検出ソフト開発 - 暮らし