【機械学習】Google翻訳(みたいなもの)を自作してみた。 - Qiita
はじめに 最近機械学習熱いし、その波に乗りたいなということで、大学時代に若干触れていた自然言語処理の知識を生かして、タイトルの通りGoogle翻訳のような機械翻訳機を作成してみました。 結果、ページトップのアニメーションのような動作をする翻訳機を作れましたが、翻訳精度はgoogle翻訳に惨敗でした。どこらへんが惨敗だったのかは最後のまとめでちょっとだけ触れます。 結果的には惨敗だったのですが、自分が作ったモデルで翻訳できた瞬間はとても嬉しかったので、自分の子供のような存在を生み出す喜びを誰かに共感していただきたく思い、機械翻訳機を作成して得た自然言語処理(ほぼ翻訳)に関する知見とその方法をまとめてみました！ 自然言語処理というなかなかに難しいジャンルなので、途中眠たくなるような説明や数式も一応紹介いたしますが、 この記事のゴールはオリジナルな翻訳モデルを作成し上のアニメーションのようにター
Mosesのマニュアルインストール - Qiita
学校の共用計算機などを利用する際に、マニュアルインストールを要する場合がある。 基本的には公式のマニュアルインストールに則れば良い。 そのときの備忘録。 学校の計算機の環境 - OS:Red Hat Enterprise Linux Server release 6.7 - 1プロセスで最大16スレッド - boostはインストールされておらず、ライブラリなどはおそらくほぼ標準構成 おそらくREHEL6系なら以下の手順でインストール可能なはず。 -- boostのインストール 任意のディレクトリ（ここでは、$HOME/env以下）にインストールする。 mkdir moses_install_src cd moses_install_src wget http://downloads.sourceforge.net/project/boost/boost/1.60.0/boost_1_60_
mosesのインストール - Qiita
Mosesのインストール => Moses OS：Ubuntu sudo apt-get install build-essential git-core pkg-config automake libtool wget zlib1g-dev python-dev libbz2-dev sudo apt-get install libsoap-lite-perl git clone https://github.com/moses-smt/mosesdecoder.git cd mosesdecoder make -f contrib/Makefiles/install-dependencies.gmake ./compile.sh Register as a new user and use Qiita more conveniently You get articles that ma
Mosesの後輩への引き継ぎのためのまとめ - Qiita
この記事の目的 「言語処理研究室の後輩」がMosesを使う（動かす）ために、できる限り最低限必要な情報および情報にたどり着く道筋をまとめる。（基本的に日本語の情報） 全てを理解するのは厳しいので、こんな情報があるということを頭に入れておく。 統計的機械翻訳の概要 ＊順不同 書籍「コロナ社の自然言語処理シリーズ4 機械翻訳」 Graham Neubig先生のチュートリアル資料 フレーズベース統計的機械翻訳システムの構築法 筑波大、山本先生の統計的機械翻訳入門のスライド 上垣外さんの30分で学ぶ句に基づく統計的機械翻訳のスライド 統計的機械翻訳を構築するためにさまざまな手法があることや、評価にもいろいろあることを知っておく。 Mosesの概要 Mosesは統計的機械翻訳システムである。 対訳コーパスを用意すれば、統計的機械翻訳を試すことができる。 いろいろな統計翻訳の手法が実装されている。 E
ようこそ統計的機械翻訳の世界へ
かつて勤めていた会社で、2010年3月に統計的機械翻訳というものと出会いました。実は、Google翻訳が統計的機械翻訳そのものなので、日常的に利用している方はそれなりに多いはずです。 しかし、統計的機械翻訳を提供する人にとっての情報は、まだまだ少ないのが現状です。当時の悪戦苦闘した様子を綴った回顧録が、少しでも世の中のお役に立てば幸いです。 出会い編 第1回 Moses? (2010年3月) 第2回 夜明け前の出来事 (2010年4月頃) 第3回 機械翻訳で行くぞ (2010年8月頃) 第4回 異動 (2010年9月頃) 手探り編 第5回 Linuxの壁 (2010年10月) 第6回 最初の疑問 (2010年11月) 第7回 日本語との格闘 (2010年11月) 第8回 BLEUスコア導入 (2010年11月) 第9回 おかしなセンテンスを取り除くと (2010年11月) 第10回 ユーザ
統計的機械翻訳システム Moses で遊ぶ - y_uti のブログ
統計的機械翻訳システム Moses を使って、英語から日本語への自動翻訳を試してみます。Moses は、機械翻訳の分野で広く利用されているシステムです。対訳コーパス*1からモデルを学習し、そのモデルを用いて入力文の翻訳結果を出力します。Moses のウェブサイトは以下にあります。 Moses - Main/HomePage Moses のインストール Moses のインストール手順は公式サイトの説明どおりです。Git リポジトリからソースコードを取得してビルドします。公式サイトでは bjam にオプション -j8 を指定していますが、これはビルドの並列度を指定するものなので、環境に合わせて変更します。私は並列度 1 でビルドしました。ビルド時間を計測したわけではありませんが、出力されたファイルのタイムスタンプから判断すると、30 分程度かかったようです。なお、最初に作成している smt デ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Mosesの使い方 - Qiita