データ活用やら機械学習の時代に情シスとベンダーってどうなるんですかね - 雑種路線でいこう
だらだらしていたら連休が終わってしまう。連休中に仕上げるはずだった、あの原稿も、火曜の講義資料も、さっぱりできていないのに困ったものだ。この連休中けっこうな時間を割いたのは、くだらないことに手元のラップトップをLinuxからWindowsに戻すことだった。 Blockchainの評価・デモと機械学習の勉強用に買った重いゲーミングノートで、LinuxのリハビリがてらfabricやirohaのビルドにDockerが欲しいし、TensorflowでGPGPUを使おうとするとUbuntuが良さげだというので入れてみた。2か月ほどいじってみる間にBlockchainを動かすだけならDocker for Windowsで十分だし、TensorflowやKerasもWindows版でGPGPUを扱えるようになり、Linuxは仮想環境だけで一通りの用事を済ませられそうなのでWindowsに戻すことにした。
機械学習のための仮説検定 | POSTD
統計学者は、さまざまな機械学習のモデルに関して、複雑な推論を行うべく多くの時間を費やしてきましたが、実は、これを完全に一般化できる非常に簡単で単純な方法があります。テストセットにある2つのモデルのパフォーマンスを、対応のあるt検定を使って比較するのです。 以下に詳細を記載します。 ある真の分散 $ (X,Y) $ から独立同分布で導かれた $n$ 対の $ (x,y) $ があるとしましょう。 “機械学習” は、 $ (x,y) $ の例が与えられた時、 $ x $ を使って $ y $ を推定しようとする問題です。 最終的に、 $ y $ の妥当な推定と思われる関数 $ f(x) $ を生成します。 典型的には損失関数 $ L(y,f(x)) $ を有していますが、この損失関数とは、推定がどれほど良好かを表すものです。 推定量は、期待損失 $ L(f)=E[L(Y,f(X))] $ によ
ちょっと距離についてまとめてみた。 - Qiita
「ロマンティック数学ナイトボーイズ」の発表をするにあたって、距離空間の記事を書こうと思います。 距離ってなによ？ GLSLやレイマーチングなど、3D数学をされていると、図形の形を表す数式の方程式だと思います。 だた、今回は、数学における距離を話そうと思います。 数学がおける距離とは 集合 $X$ 上で定義された $2$ 変数の実数値関数 $d: X × X → R$が、 任意の $x,y,z ∈ X$ に対して 非負性（正定値性） : $d(x, y) ≥ 0$ $x = y \Longleftrightarrow d(x, y) = 0$ 対称性 : $d(x, y) = d(y, x)$ 三角不等式 : $d(x, y) + d(y, z) ≥ d(x, z)$ を満たすとき、$d$ は $X$ 上の距離関数であるといい、対 $(X, d)$ を距離空間と呼ぶ。 何のことかわかりません
アルゴリズム取引のシステムを開発・運用してみて分かったこと
趣味でアルゴリズム取引のシステムを開発・運用してみたことで得られた知見について、社内のテーマ自由な勉強会で発表しました。
Udacity自動運転エンジニアコースのTerm1を終えた感想 - Qiita
オンライン講座のUdacityが提供する自動運転エンジニアコースのTerm1を修了したので，その感想を書こうと思います． Udacityとは UdacityとはCourseraやedX等のオンライン講座MOOCの一つであり，自動運転エンジニアコース，AIコース，フルスタックエンジニアコースなど様々なコースがあります．他のMOOCとの違いは，Coursera等はどちらかといえば知識ベースであるのに対し，Udacityはプロジェクトベースであるという点です．また自動運転コースの講義はMercedes-Benz等からも提供されており，最先端の技術を学ぶことができます． 自動運転エンジニアコースとは Udacityが2016年11月ごろからスタートしたプログラムであり，9ヶ月で自動運転エンジニアになるために必要な技術を身に付けることができるコースとなっています．Term1からTerm3の3つのター
ニューラルネットワークの量子化についての最近の研究の進展と、その重要性 - SmartNews Engineering Blog
こんにちは、スマートニュースの徳永です。深層学習業界はGANだとか深層強化学習だとかで盛り上がっていますが、今日は淡々と、ニューラルネットワークの量子化の話をします。 TL;DR パラメータだけを量子化するのであれば、ほぼ精度を落とさずに、パラメータのデータ容量は1/16程度にまで削減できる パラメータ、アクティベーション、勾配のすべてを量子化し、推論だけでなく学習までもビット演算だけで実現する研究が進んできている 現在は深層学習 = GPU必須というぐらいの勢いがあるけど、量子化の研究が進むと、今後はどうなるかわからないよ はじめに 情報理論における量子化とは、アナログな量を離散的な値で近似的に表現することを指しますが、本稿における量子化は厳密に言うとちょっと意味が違い、十分な（=32bitもしくは16bit）精度で表現されていた量を、ずっと少ないビット数で表現することを言います。 ニュ
Courseraの機械学習コースのススメ 前編 - Qiita
大晦日・お正月2日と、Courseraの機械学習コースに取り組んで全11週のうち3週目まで終えたので、振り返りつつオススメしてみます。 経緯 こんな記事を投稿したら、 2015年振り返り 反省 機械学習周りを(再)学習 → オーディオブックで「人工知能は人間を超えるか」を聴いて良書っぷりに感動した程度 @koher さんからCourseraの機械学習コースを勧めていただき、ちょうどまとまった時間確保出来るタイミングだったので取り組んでみました。 @_mono おそらくご存知だとは思いますが、機械学習は Coursera の Machine Learning のコース（日本語字幕あり）がとても良かったですよ。もっと高度な内容を勉強されたいということかもですが。 https://t.co/1d3VM9hbwg — koher (@koher) December 30, 2015 今期の開講期間
機械学習とディープラーニングの入門者向けコンテンツまとめ - Qiita
機械学習とディープラーニングについて、入門者向けに解説されているネットと書籍の情報をまとめてみました。 ニューラルネットワークやディープラーニングについては、書籍『ゼロから作るDeep Learning - Pythonで学ぶディープラーニングの理論と実装』が特におすすめです。 機械学習全般についてなら、書籍『Python機械学習プログラミング - 達人データサイエンティストによる理論と実践』が特におすすめです。 他にもおすすめのコンテンツがありましたら、コメントで教えてください。 【ネット】 やる夫で学ぶ機械学習シリーズ けんごのお屋敷 【ネット】 高卒でもわかる機械学習 頭の中に思い浮かべた時には 【ネット】 機械学習 はじめよう 技術評論社 プログラム言語はPython。 【ネット】 機械学習概論 講義テキスト 書籍『ITエンジニアのための機械学習理論入門』のSlideShareバー
人工知能の歴史 AIを如何にして達成しようとしたか - HELLO CYBERNETICS
※めちゃくちゃ長いです。一連の流れで読むと理解が深まると思います。自身の復習のためにも書き下しました。個々の章で完結しているので、それぞれ別の記事としても掲載しています。 近年は人工知能ブームが到来し、人工知能というワードを当たり前のように使う時代がやってきました。情報技術を学んでいる人にとって人工知能は、情報処理を効率的に行う素晴らしい技術の一つとして認識できるかと思います。一方で、技術的話題にあまり興味がない人にとっては、人工知能というワードに対して各々の解釈をして、時には誤解のような意見も見受けられます（人工知能の全容がハッキリしないうちは誤解というのはあまりにも強すぎる言い方ですが）。 人工知能がどういうものであるのかを知るには、人工知能を技術的にいかにして達成しようとしたかの歴史を知ることが一番であると思います。 ここでの記事の目的は技術的な観点からの人工知能について説明すること
例の機械学習コースが良いらしいと知りながらも2年間スルーし続けたがやはり良かったという話 - Qiita
先日、オンライン学習サイトCourseraの"Machine Learning"コースを修了しました。これが最高に勉強になったわけですが、機械学習に興味があって情報収集を始めてる人にとって、「Courseraの機械学習コースがおすすめですよ」という話は 「はい、知ってます」 という感じではないでしょうか。 （たとえば、Qiitaで検索してみると、以下のような同コースに関連する超人気記事が出てきます） 数学を避けてきた社会人プログラマが機械学習の勉強を始める際の最短経路 - Qiita 機械学習をゼロから1ヵ月間勉強し続けた結果 - Qiita 僕もそんな感じで、幾度となく人や記事に同コースを薦められたりしつつ、たぶん2年ぐらいスルーし続けてきたと思います。 しかし約2ヶ月前、ひょんなきっかけから本講座を始めてみて、やはり評判通り最高だったと思うと同時に、僕と同じような感じでこのコースが良い
機械学習モデルの予測結果を説明するための力が欲しいか...？ - クソして寝ろ
はじめに 最近はAIや機械学習などの単語がビジネスで流行っていて、世はAI時代を迎えている。QiitaやTwitterを眺めているとその影響を受けて、世の多くのエンジニアがAIの勉強を始め出しているように見受けられる。 さらに、近年では機械学習のライブラリも充実しており、誰でも機械学習を実装することができる良い時代になってきた。 その一方で、特徴選択を行い精度を向上させたり、機械学習の出した答えがどの特徴に基づいて判断されたのかを理解したりするには、モデルに対する理解やテクニックが必要となる場合も多々ある。複雑なモデルになると人間には解釈が困難で説明が難しい。近頃流行りのDeep Learning系のモデルだと頻繁に「なんかよくわからないけどうまくいきました」となっていると思う。 一般的なエンジニアとしては、この点が割と課題なんじゃないかと勝手に思っている。というか、私が課題に感じている。
こんな私でもニューラルネットワークをスクラッチで実装できました(30歳 男性） - seri::diary
この記事はトレタ Advent Calendar 2016の22日目です。 21日目はswdhの ActiveRecordオブジェクトを関連ごとシリアライズしてデシリアライズするでした。 スナップショット的にその時点のモデルを関連モデル含めて保存したい、っていう要望はBtoBやってると結構遭遇しますね。テーブルをちゃんと正規化すればするほど難しくなるやつなのでgem化されてるとありがたいです。 さて、この記事ではゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装を読んでpythonに入門するところから初めてニューラルネットワークを実際に実装して見た所感を記述します。平たく言えば読書感想文です。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者: 斎藤康毅出版社/メーカー: オライリージャパン発売日: 2
scikit-learn から学ぶ機械学習の手法の概要 - Qiita
前回、株式の時系列データを分析する話で、後半にちょっとだけ機械学習の話をしました。今日は機械学習ライブラリ scikit-learn に触れます。 scikit-learn といえば以前にも簡単なクラスタリングの例をあげたり、サポートベクトルマシンやクラスタリングで問題を解く、 TF-IDF を計算する、回帰モデルの可視化、 DBSCAN によるクラスタリングといったことをしてきましたが、あらためてライブラリの機能を整理します。 機械学習と言うと難しい数学を駆使するイメージがつきまといますが、完成度の高いライブラリを使えば利用者が機械学習の手法そのものを実装しなくても利用することはできます。もちろん手法の内容に対する理解は必要ですが、せっかく scikit-learn という事実上デファクトとも言えるライブラリが存在するのですから、これを使うところから入門していくのが良いかと思います。 以
Web開発におけるコンピュータサイエンス - 機械学習編1 - Hatena Developer Blog
この教科書は、はてなサマーインターンの講義資料として作成されたものです: https://github.com/hatena/Hatena-Textbook この章では機械学習について、Webサービスの開発で必要とされる知識を中心に、とくに自然言語処理にフォーカスしながら解説します。 Webサービス開発と機械学習 実現困難な機能の例 闇雲な実装 もう少しましな実装 機械学習によるパラメータ決定 分類問題のための機械学習手法 パーセプトロン 判別アルゴリズム 学習アルゴリズム 特徴量のとり方 形態素解析 量をともなう特徴 組み合わせ特徴量 モデル 機械学習の種類 教師あり学習 分類 (質的変数の予測) 回帰 (量的変数の予測) 教師あり学習でのデータセット 教師なし学習 クラスタリング 次元削減(次元圧縮) 頻出パターンマイニング 異常値検出 アルゴリズムの評価 訓練データとテストデータ 学
機械学習・Computer Scienceを勉強する。 リソース一覧 - Qiita
オンライン・オフラインのリソースで勉強に使ってるもの一覧。 多少プログラミングしていて少々の知識があるといいかも。 人工知能・機械学習に必要な教材やTipsを載せていくブログはこちら 努力1mmブログ Coursera Machine Learning 言わずと知れた機械学習の動画。Andrew Ngさんが丁寧に教えてくれる。日本語字幕あり。 Coursera : Machine Learning Coursera Natural Language Processing Courseraの自然言語処理講座。英語。 Coursera : Natural Language Processing 言語処理100本ノック こちらも言わずと知れたリソースかも。自然言語処理をプログラミングするために必要なプログラミングテクニックとかが学べる。 自然言語処理100本ノック Udacity Design
やる夫で学ぶ機械学習シリーズ · けんごのお屋敷
これは、機械学習に関する基礎知識をまとめたシリーズ記事の目次となる記事です。まとめることで知識を体系化できて自分自身の為にもなるので、こういうアウトプットをすることは大事だと思っています。ただ、普通にブログ記事を書くのも面白くないので、ちょっといつもとは違う方法でやってみようというのが今回のシリーズ記事。 2 ちゃんねるのキャラクターが登場人物として出てきて、彼らが会話して話が進んでいく「やる夫で学ぶシリーズ」という講義調の形式のものがあります。個人的にはやる夫で学ぶシリーズや 数学ガール のような会話形式で話が進んでいく読み物は読みやすいと思っています。さらに、先日みつけた やる夫で学ぶディジタル信号処理 という資料がとてつもなくわかりやすく、これの真似をして書いてみようと思い至りました。記事中のやる夫とやらない夫のアイコンは http://matsucon.net/material/m
TensorFlow を使った�機械学習ことはじめ (GDG京都 機械学習勉強会)
徹 上野山Engineer and Researcher on Machine Learning and Computer Vision at SenseTime Japan Ltd.
難しいことを簡単に学ぶ方法 ― 強力なスキルを新たに身に着けるための3つのステップ | POSTD
ここ数年、私はWeb開発と機械学習の自習に多くの時間を割いてきました。 学習のテーマは、Javascript、Node、ReactからPython、scikit-learn、ニューラルネットワークに至るまで多岐にわたりましたが、全てに対して私は一貫したアプローチで取り組みました。 そのアプローチとは、単純な（陳腐と言ってもいい）3ステップで進める、という手法です。しかし、 Web開発のシロウトだった私が5カ月で、プロだと自覚できるほどになった のはひとえに、このアプローチで臨んだ自習の成果だと思っています。 そこで私は、この自習法がほかの誰かのお役に立てるかもしれないと思い、少し記事を書いてみることにしました。 この記事は、何も分からないままやみくもに挑戦を始めた、2012年当時の自分自身に教えるつもりで書いています。 ステップ1：習うより慣れろ 新しいテクノロジを学ぶためにまず実行する最
「正答率100%」になってしまう機械学習モデルの例を挙げてみる - 渋谷駅前で働くデータサイエンティストのブログ
何か僕がシンガポールに出張している間に妙なニュースが流れていたようで。 京大ビッグデータ副作用論文。機械学習知らない私でも疑問なのは、@sz_drさんも指摘してるが y'=a1*SCORE+a2*ACT+a3*GeneID+b (1) という式で、GeneIDという定量的に性質を示す値でないものを線形結合に加えているところだと思う。詳しい人教えて— torusengoku (@torusengoku) 2016年1月25日 （※記事そのものへのリンクは控えました） 見る人が見れば「ああこれはleakageだな」と一瞥して終わるところなんですが、そもそもleakageってどういうことなのかピンと来ない人もいるかと思いますので、以前取り上げたデータ分析題材を例にとって実演してみようと思います。お題はこちら。 何故これを選んだかというと、このテニス四大大会データには上記で話題になっていた"Gen
競馬の解析をガチでやったら回収率が100%を超えた件 - stockedge.jpの技術メモ
記事のタイトル通り、競馬で回収率100%を超える方法を見つけたので、その報告をする。 ちなみに、この記事では核心部分はぼかして書いてあるため、読み進めたとしても「競馬で回収率100%を超える方法」が具体的に何なのかを知ることはできない。（私は本当に有効な手法を何もメリットが無いのに公開するほどお人好しではないので） 本当に有効な手法を見つけたいのであれば、あなた自身がデータと向き合う以外の道は無い。 ただし、大まかな仕組み（あと多少のヒントも）だけは書いておくので、もしあなたが独力でデータ解析を行おうという気概のある人物なのであれば、この記事はあなたの助けとなるだろう。 ちなみに、これは前回の記事の続きなので、読んでない方はこちらからどうぞ。 stockedge.hatenablog.com オッズの歪みを探す さて、前回からの続きである。 前回の記事のブコメで「回収率を上げたいならオッズ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
