RNNで「てにをは」を校正する - にほんごのれんしゅう
RNNで「てにをは」を校正する 余談 2017/3/19に、どの深層学習フレームワークがこれから深層学習を始める人におすすめなのかというアンケートをtwitterで取らせていただきました。 五位 Theano(個別カウント) はじめに RNNによる文章校正がリクルートによって提案されて以来、調査タスクとして私のものとに来たりして、「できるんでしょう？」とか軽く言われるけど、実際には簡単にはできません。 RNNによる文章生成ができるから、校正もできるというのが人間の自然な発想なのかもしれませんが、英語と日本語の違いに着目した場合、英語がアルファベットのみで構築されるのに比べて日本語は、漢字・ひらがな・カタカナと非常に多く、同じように問題を適応すると、すごい高次元の問題を解くこととなり、理想的なパフォーマンスになかなかなりません。 まぁ、あんまり完成してるわけでない技術を完成したようにプレスリ
メンテナブルな機械学習システムの考察 | 株式会社サイバーエージェント
執筆者 執筆者：數見拓朗 所属部署：技術本部 秋葉原ラボ 業務経歴：トレンド検知システムやスパムフィルタの開発・運用、Amebaと広告配信のデータ分析業務を担当。 概要 機械学習は、データの複雑な関係を明らかにし、未知データの予測や特徴の発見を得るのに有用である。しかし、一般に提供されている機械学習ライブラリは、長期的な運用を目標としてデザインされていない。そのため、高い識別性能を維持するには、通常のソフトウェア開発・運用の知見では不十分である。本レポートの目的は、アメーバブログに提供している機械学習フィルタを例として、長期的に運用可能な機械学習システムを考察することである。 目次 1.はじめに アメブロは，アメーバで最も古く，情報発信手段として多くのユーザに利用されているブログサービスである．2015年2月のデータでは，一日当たり約数十万件のエントリーが投稿されている．一方で，一部の悪意
Winning data science competitions
Feature Engineering - Getting most out of data for predictive modelsGabriel Moreira
機械学習を初めて勉強する人におすすめの入門書 - old school magic
概要 私が機械学習の勉強を始めた頃、何から手を付ければ良いのかよく分からず、とても悩んだ覚えがあります。同じような悩みを抱えている方の参考になればと思い、自分が勉強していった方法を記事にしたいと思います。 目標としては、機械学習全般について、コンパクトなイメージを持てるようになることです。 そのためにも、簡単な本から始めて、少しずつ難しい本に挑戦して行きましょう。 入門書 何はともあれ、まずは機械学習のイメージを掴むことが大切です。 最初の一冊には、フリーソフトでつくる音声認識システムがおすすめします。 フリーソフトでつくる音声認識システム - パターン認識・機械学習の初歩から対話システムまで 作者: 荒木雅弘出版社/メーカー: 森北出版発売日: 2007/10/17メディア: 単行本（ソフトカバー）購入: 45人 クリック: 519回この商品を含むブログ (38件) を見るレビュー :
AdaGrad+RDAを実装しました。 - EchizenBlog-Zwei
AdaGrad(Adaptive Gradient)というオンライン学習のアルゴリズムを実装しました。 https://github.com/echizentm/AdaGrad 論文: Adaptive Subgradient Methods for Online Learning and Stochastic Optimization(http://www.magicbroom.info/Papers/DuchiHaSi10.pdf) AdaGradはAROWのように重みの更新を適応的に行うことが出来るほか、正則化のアルゴリズムと組み合わせることが出来るという利点があります。 このためFOBOSやRDAなどを用いたL1正則化によって特徴量を疎にすることが出来ます。今回はRDAと組み合わせたAdaGradをperlで実装しました。 RDAを用いた理由は上記論文でFOBOSよりも高性能だった
AdaGradが12倍速くなる魔法
AdaGradは学習率を自動調整してくれる勾配法の亜種で、いろんな人が絶賛しています。 勾配を足し込む時に、各次元ごとに今までの勾配の2乗和をとっておいて、その平方根で割ってあげるだけと、恐ろしくシンプルです。 Adaptive Subgradient Methods for Online Learning and Stochastic Optimization John Duchi, Elad Hazan, Yoram Singer. JMLR 2011. 丁度、 @echizen_tm さんがブログを書いてました。 AdaGrad+RDAを実装しました。 通常のSGDなどは学習率をだんだん減衰させながら勾配を足していくわけですが、どの様に減衰させるかという問題にいつも頭を悩ませます。 AdaGradでは最初の学習率こそ外から与えますが、減衰のさせ方や減衰率といったハイパーパラメータから
Machine Learning Casual Talks #1で話しました
先週金曜6/6、クックパッドにて開催されたMachine Learning Casual Talksで話しました。主に、Jubatus作ってた時に遭遇した、機械学習作ってるとよく遭遇するようなバグの話をしました。当日の様子はこちら。 さて、最近は3番目の「設定はどうあるべきか」ということをよく考えています。 例えば、ちょっと資料の中でも紹介しているクラスタリングですが、重みを減衰させるための忘却係数と、完全にメモリから消し去る閾値が設定できるようになっています。 しかし、これは最大使用メモリを制御したいときにちょっと面倒なことになります。閾値$\theta$と忘却係数$\alpha$としたときに、メモリから消えるまでの寿命は、おおよそ$\log\theta / \log\alpha$です。どちらのパラメタをいじっても最大使用メモリ量は変化してしまします。ユーザーが指定したい挙動（ここではメ
PythonによるDeep Learningの実装（Deep Belief Nets 編） - Yusuke Sugomori's Blog
前回、前々回とそれぞれロジスティック回帰（Logistic Regression）、制約付きボルツマンマシン（Restricted Boltzmann Machine, RBM）を紹介しました。 手法の説明については、各記事を参照してください。 今回は、これら２つを組み合わせて実装されている Deep Belief Nets (DBN) について紹介します。今回のコードは長いので、記事の最後の方に載せています。 DBNは Greedy Layer-Wise Training of Deep Networks [Bengio 2007] で提案されている手法ですが、こちらがDeep Learningのパイオニアと言っても過言ではありません。 DBNは多層ニューラルネットワークの形をしています。従来の研究では、多層にするほど精度が下がるという問題が指摘されていましたが（多層のため誤差の重みが少
機械学習CROSSをオーガナイズしました - Preferred Networks Research & Development
もう豆まきしましたか？比戸です。 1月17日に、エンジニアサポートCROSSで機械学習のセッションをオーナーとして主催させて頂きました。今回はその報告と内容のまとめをさせて頂きます。 エンジニアサポートCROSSは今年で3回目を迎える、主にWeb系のエンジニアが集まる技術イベントで、今年も800人以上が集まったそうです。すごいですね。 並列開催されるパネルディスカッションを基本とするイベントで、有名なWeb関連サービスを持っているわけではないPFIの私がオーナーということで、持てる人脈をフル活用してパネリストをお願いしたところ、お声がけした方全員にご登壇いただけることになりました。 Yahoo!JAPAN研究所 田島さん 楽天技術研究所 平手さん ALBERT 小宮さん FFRI 村上さん 産総研 油井さん Gunosy 福島さん 大手Web企業から尖ったサービスの会社、アカデミア周辺まで
NIPS2013読み会でword2vec論文の紹介をしました
先週、 @sla さん主催のNIPS2013読み会で、word2vec論文（正確には続報）の紹介をしました。 ちょっと解説を書きます。 このところの深層学習ブームは自然言語処理にも来ていて、それらのウチの1つと言われています（が、全然deepっぽさはない）。 最初のモチベーションがどういうところにあったかというのは、ちょっと色々だと思いますが（おそらく最初は言語モデルにおける低頻度語の確率をウマイことモデル化・推定したかったんではないかな）、何はともあれ単語の意味的なあるいは統語的な振る舞いをベクトル表現で表すという研究が流行っております。 ベクトル表現というのは、1つの単語wに対して、その単語を「表現」するようなベクトル v(w) を作ります。 そんなこといわれても、作れば？ということなんですが、できたベクトルに対して何かしら「都合のいい」性質ができることが真の目標です。 「都合のいい」
Hive/Hivemallを利用した広告クリックスルー率(CTR)の推定 - Qiita
Hadoop Advent Calendar 2013 2013 12/25のXmasエントリです。 本記事では私が開発しているHadoop/Hive上で動作する機械学習ライブラリのHivemallについて、KDD Cup 2012, Track 2のデータセットを用いて利用方法を解説します。 https://github.com/myui/hivemall 基本的にプロジェクトのWikiサイトにあるKDDCup 2012 track 2 CTR predictionの説明を丁寧にしたものです。a9a binaryやnews20 binaryの方がよりシンプルの例ですので、そちらも参考にして頂ければと思います。 KDD Cup 2012, Track 2のCTR推定タスク このタスクは与えられたセッション情報（ユーザ属性と広告の属性）をもとに、検索エンジンの広告クリック率(Click-Th
SmartNewsを支える機械学習
ニュースアプリSmartNews(https://www.smartnews.be/)の背景のアルゴリズムについてTokyoWebMining30th(http://tokyowebmining30.eventbrite.com/)で話させていただいた際の資料です。 •SmartNews iphone版: https://itunes.apple.com/jp/app/id579581125 •SmartNews Android版 https://play.google.com/store/apps/details?id=jp.gocro.smartnews.android •SmartNews開発者ブログ http://developer.smartnews.be/blog/
線形予測の機械学習ツールliblinearで効果最大化のための最適な定数Cを探る - Y's note
Machine Learning for Hackers 作者: Drew Conway,John Myles White出版社/メーカー: Oreilly & Associates Inc発売日: 2012/02/28メディア: ペーパーバック クリック: 63回この商品を含むブログを見る liblinear LIBLINEAR -- A Library for Large Linear Classification 10秒で設定可能なlibsvmで機械学習を行う - Yuta.Kikuchiの日記 R言語でSVM(Support Vector Machine)による分類学習 - Yuta.Kikuchiの日記 今日はliblinearを用いた機会学習の話です。今まではSVMを利用するときはkernelオプション付きのR言語のSVM/libsvm/svm-lightを利用していましたが、
Cookpadのつくれぽ数を予測する · Naoki Orii's blog
「食と機械学習」のコラボレーションをできないかと最近常々考えています。例えば、「地球上に存在する全ての料理本を何らかのアルゴリズムに入力し、人間にとって『美味しい』レシピとはどういう特徴を持つかを学習し、今まで人類が食べたことのないような斬新なレシピを自動生成する」ことが出来たとしたら素晴らしいとは思いませんか？ レシピの自動生成はさすがに難しそうなので、今回は人気になるレシピに共通する特徴は何かという問いに答えることを目標とします。具体的には、Cookpadのレシピが与えられたとして、そのつくれぽ数を予測する問題に挑戦してみます。レシピが人気になるか否かの要因としては、どういう材料を使用するか、レシピがどれだけ健康的か、またどれだけ手軽に調理できるかなど様々な要因が考えられますが、今回特に興味があるのはレシピの名前や紹介文などの文章の言葉遣いがそのレシピの人気度にどのような影響を及ぼすか
ICML2013読み会を開催しました - Preferred Networks Research & Development
夏ですね。暑いですね。比戸です。 先月開かれた機械学習のトップ会議ICML2013の論文読み会を開催しました。本会議に参加したPFIメンバーがいたので、せっかくだからと外部公開にしたところ、想像以上の盛り上がりとなりました。 1週間前というかなり無理なスケジュールで募集をかけたにも関わらず、読む人枠は瞬時に埋まり、聞く人の数も予想を大きく超え合計40名と弊社オフィスでは収まらなくなったため、東大の中川先生にお願いして場所をお貸し頂きました。ありがとうございました。 平日夜18時から22時という時間にもかかわらず濃密なガチ発表が続き、とても有意義な情報共有・質疑が出来たのではないかと思います。ここ1-2年このような論文読み会の機会が減っていると感じていたので、今後も継続的に開催出来ればと思います。 発表者の皆さんもかなり資料をSlideshareに上げてくださったのでせっかくなのでここにまと
節操の無いクソイナゴ野郎なのでdeep learningで使われるautoencoder実装した - 糞糞糞ネット弁慶
身内でdeep learningの勉強会をやったらできそうだったので実装した． 読んだのは大体ここらへん． NEURAL NETS FOR VISION(CVPR2012 tutorial) CS294A Lecture notes Sparse autoencoder ImageNet Classification with Deep Convolutional Neural Networks autoencoder autoencoderはunsupervised feature learningの一種．Convolutional Neural Netとは違って，最後の判別器の予測誤差をback propagationさせる，という事はせずある種特徴抽出で完結させている． autoencoderを一言でまとめると，「次元削減を繰り返すNeural Netを多段に繋げて特徴抽出を行う手法
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Deep Learningと画像認識� �～歴史・理論・実践～
GitHub - johnmyleswhite/ML_for_Hackers: Code accompanying the book "Machine Learning for Hackers"
GitHub - echizentm/ConfidenceWeighted: confidence weighted classifier