学習済みのmodelにtrainする はじめに はじめまして。私はpythonのword2vecで遊んでいる者です。初めての投稿になります。 趣味でやっているだけなので記述は美しくないかもしれません... 改善点等ありましたらコメントで教えていただけると助かります！ ソースコードや説明が甘いところがあるとは思いますが温かい目で見てくださると幸いです。 学習済みmodelをloadして、そこにtrainする記事が見当たらなかったので 備忘録として残しておきたかっただけです。 環境 ・macOS Mojave -10.14 ・python3 -3.6.1 ・mecab（mecab-ipadic-neologdインストール済み） ・gensim -3.7.1（バージョンが低いと新規登録できない） やりたいこと 学習済みのword2vecのmodelに新規単語を追加したい。 準備 環境整備 ・py

WWDC 2015で発表になった『OS X El Capitan』。もうアップルのWebでもプレビューが始まっているので、その中身をさっそくチェック中……という人もいるはずだ。 でも、Webページを読んでみると、WWDC 2015のキーノートでも触れられていない情報がけっこうある。特に日本のユーザーとして気になるのは、“新しい日本語の入力方式”という一文。 え、なにそれ？ 現地での取材で、その動作と狙いがちょっとわかってきたので、解説を行なってみたいと思う。これがなかなかに驚きの手法なのだ。 ■“文節区切り”の正しさが日本語入力の命 日本語入力といえば、基本はみなさんもよくご存じのとおりだ。ローマ字なり、カナなりで入力された文を、PC上で動作している“日本語入力ソフト”が漢字かな交じり文に変換していく。その際には、文章のどこがどういう単語で構成されているのか、という情報、すなわち“文節区切

そろそろちゃんと機械学習を勉強しようと思い、ついでに Python をやり始めています そういえば、大学生のときに Python を勉強しようと思って本を買ったことがあったんですが、当時はあんまりやる気もなくちょっとしか手をつけていませんでした あの時ちゃんと勉強しとけばよかったなぁとか思ったり・・・ とりあえず、手持ちの Mac 上に数値計算や機械学習を実行できる環境を構築したのでその際の手順をまとめました ※以下の環境で動作することを確認しています OS X Mavericks (10.9) OS X Yosemite (10.10) この記事では 1. 概要 2. Python とライブラリのインストール 3. PyDev のインストールとセットアップ 4. Hello Python !!! 5. まとめ について説明します 1. 概要 今回は Python を使って数値計算、機械学

※本サイトは、アフィリエイト広告および広告による収益を得て運営しています。購入により売上の一部が本サイトに還元されることがあります。 Appleは、漢字Talk 7.1から採用し、OS X Mavericksまで採用し続けてきた日本語入力エンジン「ことえり」を終了し、OS X Yosemiteからは、Mac OS X Leopard以降からSpotlightエンジンとして採用し、また、iPhone OS 2.1以降の日本語入力エンジンとしても採用している、オープンソースの形態素解析エンジン「MeCab」などを組み合わせた新しい日本語入力エンジンに変更したようです。 新しい日本語入力エンジン「JapaneseIM」（Ver.5.0）は、ファイルサイズ２MB（ことえり4.4は7.3MB）と大幅に小型されています。 Appleは、一切説明を行なっていませんが、形態素解析に使用するMeCab日本語

原稿を準備してスピーチするような、わりと公式性の高い英語プレゼンのときの練習法です(Mac限定): 原稿をテキストファイルにセーブ。 ターミナル（アプリケーションの中の「ユーティリティ」フォルダに入っています）。を開きます。 say コマンドで、原稿を音声ファイルに変換します： $ say -f script.txt -o script.aiff これで、テキスト原稿script.txtが英語音声ファイル script.aiff に変換されるので、iTunes経由でiPhoneやiPodにコピーします(最後の-o script.aiff を指定しなければ直接スピーカーから音声が出ます)。 あとはひたすら生成されたスピーチファイル聞きながらシャドーイング。ジョギングしながらでも英語についていって淀みなく言えるように練習します。 以上です。macのsayコマンドは、感情的表現こそありませんが、

手持ちの MacBook Air (OS X 10.9.2) で word2vec を動かしてみる 2014-05-21-1 [Algorithm][Mac][NLP] 今個人マシンとしてメインで使っている MacBook Air (OS X 10.9.2) で word2vec を動かしてみましたよ、というお話。 - word2vec - Tool for computing continuous distributed representations of words. - Google Project Hosting https://code.google.com/p/word2vec/ マシン環境 - MacBook Air 13-inch (Mid 2013) - Mac OS X 10.9.2 (Mavericks) - 1.3GHzデュアルコアIntel Core i5 -

機械的にことばの意味を汲み取って別の言語で表現する機械翻訳は、人工知能や自然言語処理が目指す究極の目標の一つとされて、古くから研究されてきました。近年では、大量の対訳データに基づいて統計的な言語モデルや機械学習アルゴリズムを利用する統計的機械翻訳が主流です。単語や句の単位で二カ国語を対応させる比較的表層的で頑健な方法から、文の構文的な関係が表現された構文解析木や、複数の構文解析木をコンパクトに表現した構文解析森の状態から変換規則を求めるような、文法を利用した高度な方法まで様々提案されています。統計的機械翻訳の手法は、たとえ同じ言語であっても、たとえば話し言葉から書き言葉に変換するといった言い換えの用途にも利用できます。 統計的機械翻訳システムのオープンソースとしてはMosesが有名ですが、cicadaは最新の研究成果が様々盛り込まれていながら、とてもまとまりがあって使い勝手の良い実装です。

テキストから人名や地名など内容を特定するような箇所を取り出す固有表現抽出や、名詞句や動詞句などのようにかたまった単語の列を求めるチャンキング、単語の品詞を特定する形態素解析など、自然言語処理の様々なタスクでCRF(Conditional Random Fields)の機械学習アルゴリズムが利用されています。 CRFSuiteはCRFの学習とテスト実行を高速に行うオープンソースの実装で、CRF++と並んで広く利用されています。メモリ使用量を抑えるよりも処理を高速に行う実装を目指していて、効率的なオンライン学習のアルゴリズムであるAveraged PerceptronやPassive Aggressive、AROW (Adaptive Regularization Of Weight Vector)なども利用することができます。他のオープンソースと比較したベンチマークテストの結果を見ると、訓練

Mac OSでオープンソースのパッケージを利用するには、XcodeをApp Storeからダウンロードしてコマンドラインツールをインストールする必要があります。MacPortsを使ってパッケージをインストールすると、通常の場合、Buildbotであらかじめ作成されたバイナリがダウンロードされるので、ソースからビルドする負荷は減りましたが、Xcodeのインストールは相変わらず必要です。 単にパッケージを利用したいユーザにとって、Xcodeをインストールすること自体が手間ですが、Xcodeは頻繁に更新される上、バージョンの違いによってビルドできないパッケージがあるのも問題です。Xcode 4.6 Release Notesによると、次期バージョンではGCCコンパイラが提供されないようです。 MacPortsでビルドするとデフォルトのClangコンパイラが使われるので、GCCが前提のパッケージは

日本語係り受け解析器CaboChaの最新版0.65が公開されました。学習の素性が追加されて精度が向上していたり、KNBCが学習データに入っていたり、と強化されているようです： Taku Kudo on Twitter: "cabocha 0.65 を公開しました。最近の素性を入れることでかなり精度が向上しました。またトーナメントモデルもサポートしました。(デフォルトはSRです) http://t.co/l51qZIkR" 元々使いやすくて機能も豊富でしたが、係り受け学習が高速化されて、再学習ができるようになるなど、さらに進化しています。 一方、「係ろっと(kakarot)」は、全域木探索を行う実験的な日本語係り受け解析システムです。精度はCaboChaに及ばないようですが、作者のブログを見ると、構想から調査、設計、実装、公開までがとても短期間にされていて、精力的に改善されている様子です。最

日本語の係り受け解析器といえば、KNPやCaboChaが有名ですが、J.DepPは線形分類器を用いて大規模な対象を非常に高速に、また高精度に解析できることが特長です。2009年末に公開されてから着実にバージョンアップされていますが、ビルドの方法が簡単になって、モデルの学習機能が追加されたことで大変使いやすくなっています。また、J.DepPは線形分類器のpeccoやopalを利用していますが、ベースの分類器が高速化されたことが、そのまま解析器の性能向上につながっているようです： ソフトウェアの更新も一人旅になってきた - ny23の日記 このJ.DepPをMacPortsとして登録しました。デフォルトの状態でjdeppをインストールすると、jumandicを参照するMeCabを組み込んだ解析器と、解析済みのブログコーパスであるKNBコーパスを対象とした学習モデルが利用できるようになります：

NICTから公開されている意見（評価表現）抽出ツールは、JUMANとKNPを利用しますが、最新版の一つ前のバージョンが必要です。最新版のJUMANやKNPはUTF-8化されていて辞書も拡充されているので、それまでのバージョンに比べて出力結果が異なります。そこで、MacPortsを次のように変更しました(ポート名：バージョン番号；依存関係)： extractopinion [意見（評価表現）抽出ツール]：Version 1.2；juman6とknp3に依存 juman：Version 7.0 juman6：Version 6.01 knp：Version 4.0；jumanに依存 knp3：Version 3.01；juman6に依存 コマンド名はポート名と同じです。なお、MacPortsにはselectという機構があって、特定バージョンのコマンドに切り替えることができます。pythonやs

日本語の単語分割処理は、一般に、単語辞書と単語間連接の規則や学習データに基づいて行われます。オープンソースとして有名なものがいくつもあります。 KAKASI - 漢字→かな(ローマ字)変換プログラム JUMAN - KUROHASHI-KAWAHARA LAB chasen legacy -- an old morphological analyzer http://mecab.sourceforge.net/ これらのツールは主に新聞記事のような一般的なテキストが対象です。単語辞書に登録されていない語は未知語として処理されますが、特定分野のテキストを対象として解析精度を保つためには、専門用語や新語などを適宜登録する必要があります。 他方、文字間に単語境界があるかどうかを機械学習の2値分類問題として解く手法があり、ツールも公開されています。 KyTea (京都テキスト解析ツールキット) 次

引越し遍歴パートⅡ 2018年に「上京して10年で引越しを6回した」というブログを書いた。 月日は流れ、あれから6年…さらに2回の引越しをした。ホテル暮らしも含めると3回かもしれない。 前回の記事では主に神奈川〜千葉〜東京の引越し事情を書いた。関東の浅瀬でちゃぷちゃぷ遊んでいたに過…