文系でも機械学習がわかるようになる教科書 - EchizenBlog-Zwei
社内の有志で機械学習や数学の勉強会をいくつかやっています（私以外の方が主催しているものもある）。とくに理系ではない方も参加されていますが、きちんと頑張ればだんだん機械学習ができるようになるということがわかってきたのでメモしておきます。 なお、機械学習をとりあえず実装するだけだったらもっと簡単に学ぶ方法もいろいろあり、今回はあくまで正攻法で機械学習を勉強する、という観点での書籍の選択となっています。急がば回れという言葉もあるように、焦って成果を求めないのであれば地道に頑張るほうが後々応用が効いて良いということもあります。 高専の数学 おそらく数学ができないという方は高校の数学あたりから理解が怪しいことになっていると思います。「高専の数学」は中学数学までの前提知識で読める教科書で、わかりやすい例題や理解の助けになる練習問題が多数用意されているため、きちんと問題を解いていけば無理なく高専の数学(
Word2Vecをhubotから使う
概要 overlast さんによる Word2Vec の WebAPI である word-vector-web-api を hubotから利用するスクリプトを書きました。 knjcode/hubot-word-vector-script Word2Vecとは Word2Vecというのは予め構築したモデル内で各単語を多次元のベクトルとして定義し、単語同士のベクトルの近似度や単語間のベクトルの近似度を求める手法です。詳細はgoogleの公式サイト等を御覧ください。 例えば、(SONY – PlayStation + Nintendo) という表現は、NintendoにおけるSONYのPlayStationに相当するものを表現します。 word-vector-web-apiに付属のモデルでは、(SONY – PlayStation + Nintendo) は Wii、ゲームボーイアドバンス、ニン
[O] Word2Vec の Web API を作れる word-vector-web-api を公開しました
Word2Vec の Web API を作れる word-vector-web-api を公開しました Tweet [日記][NLP] Word2Vec や GloVe などで構築済みな単語ベクトルのモデルを使った Web API を作ることができる word-vector-web-api を公開しました。🎉🍣🍻🍰🍖 word-vector-web-api というのを書いてて、word2vecで構築済みの 日本語 Wikipedia モデル + Docker で試せる様になったので、暇な方は試してみて下さい。https://t.co/NMQTc5py2k— Toshinori Sato (@overlast) 2015, 7月 2 これがあると docker コマンドと1.5 GByte 程度のメモリが使える環境なら、以下の 5 つのコマンドを実行することで(厳密にはもう少し手順
「お父さん - お母さん + チューハイ = ビール！？」word2vecで女性向けQ＆Aサイトを解析してみた - コネヒト開発者ブログ
こんにちは！ CTOの島田(@tatsushim)です。 前回のブログでは「データドリブン」開発手法について触れさせていただきました。 今回はIVS CTO Night & Dayで発表させていただいた内容についてご紹介したいと思います。 IVS CTO Night & Dayは、CTO及び技術責任者のためカンファレンスです。 GREE CTO 藤本さんのKeynoteに始まり、様々な技術責任者の方とディスカッションさせていただく濃い3日間でした。 非常に学びが多かったです。運営の皆様有難う御座いました。 初日にLTをする機会をいただきましたので、word2vecについて発表させていただきました。 こちらの発表内容について解説していきます。 そもそもword2vecとは？ ざっくり言うと、単語同士の関係性をベクトルとして表現し、そのベクトルを利用して類似度の計算や足し引きを可能にしたもので
機械学習に関する書籍『Model-Based Machine Learning』のアーリーアクセス版が公開、マイクロソフトリサーチの研究者が執筆：CodeZine
機械学習に関する書籍『Model-Based Machine Learning』が、アーリーアクセス版として、6月11日現在Web上で公開されている。執筆は、Microsoft Research Cambridgeの研究者であるJohn Winn氏とChristopher Bishop氏。 本書は、機械学習の中でも「model-based machine learning」に着目するもの。目次は下記のとおり。現在、第4章「Uncluttering Your Inbox」まで公開されており、残りは完全版で公開される予定。 How can machine learning solve my problem? 1. A Murder Mystery 2. Assessing People's Skills 3. Meeting Your Match 4. Uncluttering Your In
LINE DEVELOPER DAY 2016 開催のお知らせ « LINE Engineers' Blog
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回
Emojineering Part 1: Machine Learning for Emoji Trends
Welcome to the Instagram Engineering Blog, where we share insights on building and scaling our service. 🆒🆕In October 2011, Apple added the emoji keyboard to iOS as an international keyboard. Since then, digital language has evolved such that nearly half of comments and captions on Instagram contain emoji characters. And earlier this week, Instagram also added support for emoji characters in hash
機械学習の有益な書籍情報を共有します - EchizenBlog-Zwei
機械学習の有益な書籍情報を共有します。 初心者向け 最初に読む本としては「オンライン機械学習」「フリーソフトではじめる機械学習入門」「言語処理のための機械学習入門」がオススメです。 「オンライン機械学習」は3章までが入門的な内容になっています。4章以降は発展的な内容なのである程度力がついてからが良いです。オンライン機械学習という分野は実装が簡単で実用性が高いので最初に取り組むのに適しています。 広い範囲で機械学習を概観したい場合は「フリーソフトではじめる機械学習入門」がよいです。こちらは全体像がつかみやすい反面、数式の展開がわかりにくい箇所がちらほらあるので適当なスルー力が必要とされます。 「言語処理のための機械学習入門」はやや実装よりの本です。数式をみるより具体例をみたほうがわかりやすい、という人はこの本が良いと思います。 数学 何をやるにしても基礎体力は大切。数学の理解が深まれば深まる
National Data Science Bowl 10位 - デー
プランクトン画像分類コンペこと National Data Science Bowl が終わりました。 Description - National Data Science Bowl | Kaggle 結果はタイトル通り10位(1049チーム中)でした。賞金2000万円が1円も貰えなかったショックで毎日15時間くらい寝ています。感想と投稿内容です。 感想 世界Deep Convolutional Neural Networks職人コンテストという感じでした。みんな強かったです。前半は、2〜5位くらいにいる状態だったので、これは賞金はオレのものだなHAHAHAなどと思っていたのですが、終盤は15位くらいまで押し出されるようになり、こいつらマジかよ、強すぎだろ、と思って、最後方向転換をしてどうにか10位で終われました。自分の感覚ではスコア(NLL)で0.7以下を出せれば、Deep CNNを熟
LIBFFM: A Library for Field-aware Factorization Machines
Machine Learning Group at National Taiwan University Contributors Introduction LIBFFM is an open source tool for field-aware factorization machines (FFM). For the formulation of FFM, please see this paper. It has been used to win the top-3 in recent click-through rate prediction competitions (Criteo, Avazu, Outbrain, and RecSys 2015). It supports l2-regularized logistic loss Main features include
AdaGradよりもいけていると噂のオンライン学習器Adamを実装しました - EchizenBlog-Zwei
AdaGradよりもいけていると噂のオンライン学習器Adamを実装しました。 実装がとても簡単で、ハイパーパラメータも論文に推奨値が書いてあるのが良いですね。 持っておかないといけないパラメータの数は(たぶん)AdaGradと同じです。 https://github.com/echizentm/Adam AdaGradやAdamのようなオンライン学習器は実装が簡単、省メモリなど優れた特徴があり大変実用的ですし、そろそろ有益な書物も発売されるようなので、気になった方はこれを機に学んでみると良いですよ。 しかしこうなるとAdamを改良したEveという学習器を作ってみたいですね(作るとは言っていない)。
AdaDeltaを試す - Negative/Positive Thinking
はじめに 勉強会で、学習率を改善(自動調整)する事で学習時間を短縮し、ファンタジスタドールを見る時間を多く確保できる事が示されていた。 AdaGrad等をさらに改良したらしいAdaDeltaがあるようなので、ロジスティック回帰に適用してみた。 AdaDeltaとは M. D. Zeiler, ADADELTA: AN ADAPTIVE LEARNING RATE METHOD http://www.matthewzeiler.com/pubs/googleTR2012/googleTR2012.pdf 学習率を自動調整する方法の一つ 他の関連手法の問題点等を改良 過去すべての勾配を考慮→直近の勾配だけを考慮したいので、指数関数的に減衰するように考慮 グローバルな学習率を指定→second order methodsの特性を持つように、パラメータの変化について直近のパラメータの変化から計算し
Feature Hashingを試す - Negative/Positive Thinking
はじめに Feature Hashingについて気になったことがあったので試してみた。 Feature Hashingとは Hashing trick ハッシュ関数を使って、素性群をM次元ベクトルにする 一種の次元圧縮 Bag of wordsなどの素性をそのままハッシュ値にすることで、素性とIDのペアの辞書などが必要なくなる スパムフィルタでは、新語やミススペルでフィルタ回避されてしまうと対応すべき語が増え続ける(辞書が大きくなる)問題などに使える ベクトルの作り方 いくつか提案されているが、各素性のhash値を計算してmod Mをとったインデクスの所に入れるものとしては主に2つがあるようなので、メモしておく。 Shiらの方法 Shiら(2009) 値をunsigned sumする φ_i (x) = Σ_{ j:h(j)=i } x_j h : ハッシュ関数 Weinbergerらの方
Winning data science competitions
Feature Engineering - Getting most out of data for predictive models - TDC 2017Gabriel Moreira
Do we Need Hundreds of Classifiers to Solve Real World Classification Problems?
Do we Need Hundreds of Classifiers to Solve Real World Classification Problems? Manuel Fernández-Delgado, Eva Cernadas, Senén Barro, Dinani Amorim; 15(90):3133−3181, 2014. Abstract We evaluate 179 classifiers arising from 17 families (discriminant analysis, Bayesian, neural networks, support vector machines, decision trees, rule-based classifiers, boosting, bagging, stacking, random forests and ot
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Microsoft Azure App Service - Welcome
「スプラトゥーン」リアルタイム画像解析ツール 「IkaLog」の裏側
https://github.com/overlast/word-vector-web-api/blob/master/README.ja.md
GitHub - overlast/word-vector-web-api: Implementation in order to operate a web API of word vector models which are generated by Word2Vec, GloVe or e.t.c.
機械学習の遺産
