そろそろちゃんと機械学習を勉強しようと思い、ついでに Python をやり始めています そういえば、大学生のときに Python を勉強しようと思って本を買ったことがあったんですが、当時はあんまりやる気もなくちょっとしか手をつけていませんでした あの時ちゃんと勉強しとけばよかったなぁとか思ったり・・・ とりあえず、手持ちの Mac 上に数値計算や機械学習を実行できる環境を構築したのでその際の手順をまとめました ※以下の環境で動作することを確認しています OS X Mavericks (10.9) OS X Yosemite (10.10) この記事では 1. 概要 2. Python とライブラリのインストール 3. PyDev のインストールとセットアップ 4. Hello Python !!! 5. まとめ について説明します 1. 概要 今回は Python を使って数値計算、機械学

機械的にことばの意味を汲み取って別の言語で表現する機械翻訳は、人工知能や自然言語処理が目指す究極の目標の一つとされて、古くから研究されてきました。近年では、大量の対訳データに基づいて統計的な言語モデルや機械学習アルゴリズムを利用する統計的機械翻訳が主流です。単語や句の単位で二カ国語を対応させる比較的表層的で頑健な方法から、文の構文的な関係が表現された構文解析木や、複数の構文解析木をコンパクトに表現した構文解析森の状態から変換規則を求めるような、文法を利用した高度な方法まで様々提案されています。統計的機械翻訳の手法は、たとえ同じ言語であっても、たとえば話し言葉から書き言葉に変換するといった言い換えの用途にも利用できます。 統計的機械翻訳システムのオープンソースとしてはMosesが有名ですが、cicadaは最新の研究成果が様々盛り込まれていながら、とてもまとまりがあって使い勝手の良い実装です。

テキストから人名や地名など内容を特定するような箇所を取り出す固有表現抽出や、名詞句や動詞句などのようにかたまった単語の列を求めるチャンキング、単語の品詞を特定する形態素解析など、自然言語処理の様々なタスクでCRF(Conditional Random Fields)の機械学習アルゴリズムが利用されています。 CRFSuiteはCRFの学習とテスト実行を高速に行うオープンソースの実装で、CRF++と並んで広く利用されています。メモリ使用量を抑えるよりも処理を高速に行う実装を目指していて、効率的なオンライン学習のアルゴリズムであるAveraged PerceptronやPassive Aggressive、AROW (Adaptive Regularization Of Weight Vector)なども利用することができます。他のオープンソースと比較したベンチマークテストの結果を見ると、訓練

Mac OSでオープンソースのパッケージを利用するには、XcodeをApp Storeからダウンロードしてコマンドラインツールをインストールする必要があります。MacPortsを使ってパッケージをインストールすると、通常の場合、Buildbotであらかじめ作成されたバイナリがダウンロードされるので、ソースからビルドする負荷は減りましたが、Xcodeのインストールは相変わらず必要です。 単にパッケージを利用したいユーザにとって、Xcodeをインストールすること自体が手間ですが、Xcodeは頻繁に更新される上、バージョンの違いによってビルドできないパッケージがあるのも問題です。Xcode 4.6 Release Notesによると、次期バージョンではGCCコンパイラが提供されないようです。 MacPortsでビルドするとデフォルトのClangコンパイラが使われるので、GCCが前提のパッケージは

日本語係り受け解析器CaboChaの最新版0.65が公開されました。学習の素性が追加されて精度が向上していたり、KNBCが学習データに入っていたり、と強化されているようです： Taku Kudo on Twitter: "cabocha 0.65 を公開しました。最近の素性を入れることでかなり精度が向上しました。またトーナメントモデルもサポートしました。(デフォルトはSRです) http://t.co/l51qZIkR" 元々使いやすくて機能も豊富でしたが、係り受け学習が高速化されて、再学習ができるようになるなど、さらに進化しています。 一方、「係ろっと(kakarot)」は、全域木探索を行う実験的な日本語係り受け解析システムです。精度はCaboChaに及ばないようですが、作者のブログを見ると、構想から調査、設計、実装、公開までがとても短期間にされていて、精力的に改善されている様子です。最

日本語の係り受け解析器といえば、KNPやCaboChaが有名ですが、J.DepPは線形分類器を用いて大規模な対象を非常に高速に、また高精度に解析できることが特長です。2009年末に公開されてから着実にバージョンアップされていますが、ビルドの方法が簡単になって、モデルの学習機能が追加されたことで大変使いやすくなっています。また、J.DepPは線形分類器のpeccoやopalを利用していますが、ベースの分類器が高速化されたことが、そのまま解析器の性能向上につながっているようです： ソフトウェアの更新も一人旅になってきた - ny23の日記 このJ.DepPをMacPortsとして登録しました。デフォルトの状態でjdeppをインストールすると、jumandicを参照するMeCabを組み込んだ解析器と、解析済みのブログコーパスであるKNBコーパスを対象とした学習モデルが利用できるようになります：

NICTから公開されている意見（評価表現）抽出ツールは、JUMANとKNPを利用しますが、最新版の一つ前のバージョンが必要です。最新版のJUMANやKNPはUTF-8化されていて辞書も拡充されているので、それまでのバージョンに比べて出力結果が異なります。そこで、MacPortsを次のように変更しました(ポート名：バージョン番号；依存関係)： extractopinion [意見（評価表現）抽出ツール]：Version 1.2；juman6とknp3に依存 juman：Version 7.0 juman6：Version 6.01 knp：Version 4.0；jumanに依存 knp3：Version 3.01；juman6に依存 コマンド名はポート名と同じです。なお、MacPortsにはselectという機構があって、特定バージョンのコマンドに切り替えることができます。pythonやs

引越し遍歴パートⅡ 2018年に「上京して10年で引越しを6回した」というブログを書いた。 月日は流れ、あれから6年…さらに2回の引越しをした。ホテル暮らしも含めると3回かもしれない。 前回の記事では主に神奈川〜千葉〜東京の引越し事情を書いた。関東の浅瀬でちゃぷちゃぷ遊んでいたに過…