This is The Entire Computer Science Curriculum in 1000 YouTube Videos
This is The Entire Computer Science Curriculum in 1000 YouTube Videos In this article, we are going to create an entire Computer Science curriculum using only YouTube videos. The Computer Science curriculum is going to cover every skill essential for a Computer Science Engineer that has expertise in Artificial Intelligence and its subfields, like: Machine Learning, Deep Learning, Computer Vision,
使える統計モデル10選（前編） 統計モデリング（statistical modelling）はデータ解析の方法論の1つです。データ解析の目的は、通常はただの数値や記号の羅列であるデータから、人間が何かしらの判断を行うために有益な情報を引き出すことにあります。データ分析者は、そのままでは意味をなさないデータに対して、折れ線グラフやヒストグラムなどを用いて、人間が判断を行いやすいようにデータの可視化を行います。一方で、時にはニューラルネットワークのような複雑な計算モデルを使ってデータを解析し、まだ観測されていない将来の値を予測させたりします。このように、データから有益な情報を引き出すために、データに対して人為的な視点や事前知識、数学的な仮定などを設計する作業をモデリング（modeling）と呼びます。 統計モデリングによるデータ解析では、データ自体や解析の目的に合わせて分析者が適切なモデルを設
- はじめに - 本記事では、Rustで扱える機械学習関連クレートをまとめる。 普段Pythonで機械学習プロジェクトを遂行する人がRustに移行する事を想定して書くメモ書きになるが、もしかすると長らくRustでMLをやっていた人と視点の違いがあるかもしれない。 追記：2021/02/24 repositoryにしました。こちらを随時更新します github.com 追記；2021/07/26 GitHub Pagesでウェブサイトにしました vaaaaanquish.github.io - はじめに - - 全体感 - - 機械学習足回り関連のクレート - Jupyter Notebook Numpy/Scipy Pandas 画像処理 形態素解析/tokenize - scikit-learn的なやつ - 各ライブラリと特徴比較 - Gradient Boosting - XGBoos
こんにちは，株式会社Nospare・千葉大学の小林です．本記事ではGelman and Vehtari (2020)の`What are the most important statistical ideas of the past 50 years?'について紹介します．この論文は過去50年において最も重要だとされる次の8つのアイディアが取り上げられています． 8つのアイデア 反事実（counterfactual）に基づく因果推論 ブートストラップとシミュレーションに基づいた推論 オーバーパラメータ（overparameterized）モデルと正則化（ガウス過程，Lasso, horseshoe, ベイズnonparametric priorなど） ベイズマルチレベル（階層）モデル 汎用的な計算アルゴリズム（EM, MCMC, SMC, HMC, 変分法など） 適応的決定分析（ベイズ最
こんにちは、AppBrewでアルバイトをしている@Leoです。 自然言語処理の研究室に最近入った大学生で、趣味はKaggleと競技プログラミングです。 AppBrewでは、LIPSの投稿を使ったデータ分析をしています。 今日の記事では、弊社のアプリLIPSにて投稿ジャンルを機械学習を使って自動推定した方法を紹介します。 自然言語処理・確率関係全然わからない！という人でも読みやすい内容になっていると思うので、最後まで読んでいただけると幸いです！ LIPSにおけるジャンル 教師データの作成 ナイーブベイズ 単語分割 モデルの実装 分類結果 おわりに LIPSにおけるジャンル 最近、LIPSにジャンル機能が追加されました。 これは投稿されたクチコミにジャンルを設定できる機能です。 適切にジャンルを設定すると、投稿を検索するときにジャンルを使って絞り込めるなどの利点があります。 ジャンルは7種類（
ベイズ統計・ベイズ機械学習を始めよう コンピュータやネットワークの技術進化により，これまでにないほどの多種多様なデータを取り扱う環境が整ってきました．中でも統計学や機械学習は，限られたデータから将来を予測することや，データに潜む特徴的なパターンを抽出する技術として注目されています．これらのデータ解析を行うためのツールはオープンソースとして配布されていることが多いため，初学者でも手軽に手を出せるようになってきています． しかし，データ解析を目的に合わせて適切に使いこなすことは依然としてハードルが高いようです．この原因の一つが，統計学や機械学習が多種多様な設計思想から作られたアルゴリズムの集合体であることが挙げられます．毎年のように国際学会や産業界で新たな手法が考案・開発されており，一人のエンジニアがそれらの新技術を１つ１つキャッチアップしていくのは非常に困難になってきています． １つの解決策
偽陽性者が1人出るかどうかという数字になります。 「日本人全員を対象にした大規模PCR検査をしろ」なんてことを言ってる人は、ほとんどいないと思うのですが罹患率0.005%というおかしな仮定で計算しています。 それにしてもこの人は凄い。 「特異度は感度より高いが、特異度が100％の検査は理論上、存在しない。理由はこうだ。」の後に一切その理由を書いていません。 誰かチェックしないのでしょうか？ EARLの医学ツイート 東北医科薬科大学病院感染症内科 福家良太氏 罹患率0.5%、感度70％、特異度99.997%として計算すると陽性的中率は99.15%です。 計算上ほぼ偽陽性は起こりません。 普通は1度の検査で陽性確定とはしないと思います。 患者への負担が大きい場合、再検査は必ず行うはずです。 この医師はたった1回の検査で確認もせずに重要なことを決定するのでしょうか？ 感染症専門医 岩田健太郎
scikit-learnライブラリを用いて、機械学習の実装とアルゴリズムをバランス良く学んでいただく書籍を執筆しました。 AIエンジニアを目指す人のための機械学習入門 実装しながらアルゴリズムの流れを学ぶ（電通国際情報サービス 清水琢也、小川雄太郎 、技術評論社） https://www.amazon.co.jp/dp/4297112094/ 既に発売開始しています。 機械学習の ・各種アルゴリズムの実装 ・それぞれのアルゴリズムの動作の仕組み これらを学んでみたい方に向けて執筆いたしました。 ご活用いただければ幸いです。 昨年書いた書籍 つくりながら学ぶ! PyTorchによる発展ディープラーニング（小川雄太郎、マイナビ出版） の、機械学習版のような位置付けです。 本記事では、 ・本書を書いたモチベーション ・本書の概要 ・本書の目次 を紹介いたします。 本書を書いたモチベーション 本書
初学者の分かりやすさを優先するため，多少正確でない表現が混在することがあります。もし致命的な間違いがあればご指摘いただけると助かります。 はじめに 機械学習を勉強したことのある方であれば，変分ベイズ（VB：variational bayes）の難しさには辟易したことがあるでしょう。私自身，学部生時代に意気揚々と機械学習のバイブルと言われている「パターン認識と機械学習（通称PRML）」を手に取って中身をペラペラめくってみたのですが，あまりの難しさから途方に暮れてしまったことを覚えています。 機械学習の登竜門は，変分ベイズ（変分推論）だと私は考えています。また，VAE（変分オートエンコーダ；variational autoencoder）に代表されるように，変分ベイズは最近の深層学習ブームにおいて理論面の立役者となっている側面もあります。一方で，多くの書籍やWeb上の資料では式変形の行間が詰ま
機械学習の歴史 - AI.doll
WikipediaのTimeline of machine learningというページに機械学習の歴史がまとめられた表があったので、あとから見返しやすいように全て日本語にしてみた。 日本語訳はガバガバかもしれないので心配な人は元ページを見てね。 ムムッってとこがあったらコメントで教えてほしい 年表 1763 ベイズの定理のベース トマス・ベイズ(Thomas Bayes)の著書, "An Essay towards solving a Problem in Doctorine of Chances"がベイズが死んだ2年後, 彼の友人により修正・編集され出版された. 1805 最小二乗 アドリアン=マリ・ルジャンドル(Adrien-Marie Legendre)が最小二乗(méthode des moindres carrés)について記述. 1812 ベイズの定理 ピエール=シモン・ラプ
データサイエンスエキスパート ゲームクリア 攻略チートシート配布 攻略指針 図書館を巡ってアイテム収集 図書館の初見殺しトラップ攻略 参考書籍 統計基礎 統計学（初歩） 統計学（高度） ベイズ統計 分散分析 数学基礎 線形代数 微積分 計算基礎 情報全般 データベース アルゴリズム モデリング・AIと評価 歴史・応用分野・AIなど 多変量解析 時系列解析 グラフィカルモデル テキスト分析 因果推論 機械学習・モデル評価・ニューラルネットワーク データサイエンスエキスパート ゲームクリア 日本統計学会が主催するデータサイエンスエキスパート試験に合格した。 www.toukei-kentei.jp データサイエンスエキスパートは、統計検定より実践寄りであるデータサイエンスシリーズの最上位資格という位置付け。下位資格には「データサイエンス基礎」や「データサイエンス発展」があるが簡単そうだったので
今年の3月から機械学習の勉強を始めて9ヶ月たったのでその振り返りと今後機械学習に入門する人の参考になればという記事です。 巷の記事だと「数学何もわからない人向けの機械学習~」みたいなものが多いので「数学チョットワカル人向け」に勉強方法をまとめてみようと思いました。 前提として筆者は大学で数学を専攻しており、社会人になってからはプログラミングを生業としております。 # 前提知識のおさらいいきなり機械学習入門～のような書籍に入る前に、基礎知識としてこの辺を抑えておくと良いと思います。 ## 線形代数:大学1年レベル機械学習の説明はほとんど行列の計算として表現されますので大前提として。手を動かして計算問題を解くのもおすすめです。 プログラミングのための線形代数 https://www.amazon.co.jp/dp/4274065782 ## 基礎統計(頻度主義):大学1年レベル正規分布や指数分
概要 確率予測とCalibration(キャリブレーション)に関する勉強会に参加したので、学んだことの一部と、自分で調べてみたことについてまとめました。 概要 Calibrationとは Calibration Curve Calibrationの方法 Sigmoid / Platt Scale Isotonic Regression 確率予測に使われる評価指標 Brier Score ECE コード 不均衡データに対するCalibration LightGBMにCalibrationは不要か NNにCalibrationは不要か 追記 : Calibrationの検討について 追記 : 発表スライドについて 終わり techplay.jp 勉強会で使われていた言葉を、自分なりの言い方に変えています。 間違いがありましたら、コメントいただけたら嬉しいです。 Calibrationとは 普通
機械学習モデルを組み込んだ Web アプリを Python 初心者が作ってみた - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは。開発エンジニアの amdaba_sk（ペンネーム未定）です。 前回は「機械学習をコモディティ化する AutoML ツールの評価」、だいぶ間が空きましたが前々回は「機械学習のライブラリ・プラットフォームをいくつか試した所感まとめ」と、続けて機械学習をテーマとした記事を書きました。 これらの記事では機械学習モデルを作るまでのことしか言及していませんが、機械学習モデルは作ってそれで終わりのものでもありません。使ってなんぼのものなんです。かみせんプロジェクトとしての調査範囲からは外れますが、せっかくモデルを作ったならそれを使ったアプリも簡単なものでいいので作ってみたい。そう思うのは開発者として自然な感情ではないでしょうか。 というわけで今回は、「機械学習モデルを組み込んだ Web アプリを Python 初心者が作ってみた」という個人的な興味からやってみた系記事でございます。 なお後に
・はじめに 統計学の歴史では、頻度主義とベイズ主義という異なる立場の方法が存在し、違いに論争を繰り広げてきました。しかし、近年の統計学者の中には「現代の統計学は数理的な方法に基づいているから、主義の争いは解決した」と考える人もいるようです（この立場のことを、この記事では便宜的に「統計数理による主義不要論」と呼ぶことにします）。この記事では、「統計数理による主義不要論」に対して私なりの反論を考えてみることにします。論点は、以下の3つです。 1. 「“数理的な方法”を使っても、主義の争いが解決しない」ということを示唆する事実が存在する 2. 頻度主義とベイズ主義の論争を「どちらの方法が正しいか」という争いとして捉えると論争の全体像を見誤る 3. WAICに代表される現代ベイズ法の意義は、「数理によって主義の争いを解決した」のではなく「仮にあなたが頻度主義的な価値観を重視
(著) 山拓 神経科学 Advent Calendar 2019の2記事目です。人工神経回路 (Artificial neural network, ANN) を用いた研究により、脳の理解はどこまで進んだか、次に何が調べられるべきなのかということについて解説します。 昨年の年末からhttps://github.com/takyamamoto/BNN-ANN-papersにANNと脳に関する論文リストを作成しており (これは先に研究が出てしまう悲劇が頻発したための措置ですが)、このリストがそのまま参考文献となっています。 本記事は特に(B.A. Richards, T.P. Lillicrap, et al. Nat. Neurosci. 2019)での議論を参考にしています(翻訳ではないです)。 この論文はANNと脳についての研究を先導してきた多くの研究者が共著者となっています（一体どうや
機械学習と公平性
1 2 3 4 The field of study that gives computers the ability to learn without being explicitly programmed. — A. L. Samuel ※ Programming computers to learn from experience should eventually eliminate the need for much of this detailed programming effort. — A. L. Samuel [Samuel 59] The field of machine learning is concerned with the question of how to construct computer programs that automatically im
『ディープラーニング 学習する機械』は一人称で語られる壮大な物語にして、「AIの過去・現在・未来」の解説書 - 渋谷駅前で働くデータサイエンティストのブログ
ディープラーニング 学習する機械 ヤン・ルカン、人工知能を語る (ＫＳ科学一般書) 作者:ヤン・ルカン講談社Amazon 11月に入って勤務先のオフィスが本格的に再開されてから、久しぶりに会社のメールルームを覗きに行ったところ、届いていた（つまりご恵贈いただいていた）のがこちらの一冊です。Deep Learningの三開祖の一人にして2018年度のチューリング賞受賞者の一人でもある、ヤン・ルカン御大その人が著した『ディープラーニング 学習する機械』です。 本書は日本語版が出た直後から絶賛する声が聞こえてきていて、興味はあったのですが気を逸した感が否めなかったので、こうしてご恵贈いただけて有難い限りです。講談社サイエンティフィク様、まことに有難うございます。 ということで、早速ですが簡単にレビューしていこうと思います。 本書の内容 特に個人的に印象に残った点 全てのアルゴリズムに関する記述が
There are millions of github repos and filtering them is an insane amount of work. It takes huge time, efforts and a lot more. We have done this for you. In this article we’ll share a curated list of 100+ widely-known, recommended and most popular repositories and open source github projects for Machine Learning and Deep Learning. So without further ado, Let’s see all the hubs created by experts a
プログラミングのための確率統計-Ohmsha
第I部 確率そのものの話 第1章 確率とは 第2章 複数の確率変数のからみあい 第3章 離散値の確率分布 第4章 連続値の確率分布 第5章 共分散行列と多次元正規分布と楕円 第II部 確率を役立てる話 第6章 推定と検定 第7章 擬似乱数 第8章 いろいろな応用 付録 付録A 本書で使う数学の基礎事項 付録B 近似式と不等式 付録C 確率論の補足 第I部 確率そのものの話 第1章 確率とは 1.1 数学の立場 1.2 三つの扉（モンティホール問題） ――― 飛行船視点 1.2.1 モンティホール問題 1.2.2 正しい答とよくある勘違い 1.2.3 飛行船視点への翻訳 1.3 三つ組(Ω,F, P) ――― 神様視点 1.4 確率変数 1.5 確率分布 1.6 現場流の略記法 1.6.1 確率変数の記法 1.6.2 確率の記法 1.7は裏方 1.7.1の正体にはこだわらない 1.7.2のと
機械学習のライブラリ・プラットフォームをいくつか試した所感まとめ - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは、開発エンジニアの amdaba_sk（ペンネーム未定）です。 ラクスの開発部ではこれまで社内で利用していなかった技術要素を自社の開発に適合するか検証し、ビジネス要求に対して迅速に応えられるようにそなえる 「開（か）発の未（み）来に先（せん）手をうつプロジェクト（通称：かみせんプロジェクト）」というプロジェクトがあります。 この記事はかみせんプロジェクト2019年度下期成果報告ブログの一つです。 前回の成果報告では「機械学習プロジェクトの進め方」について検証した結果のまとめをしました。今回は「じゃあ実際に機械学習をやることになったら、どんなライブラリ、サービスを使えばいいの？」といったところの検証結果をまとめようと思います。 対象読者は前回と違って、機械学習に興味のあるエンジニアの方です。 なお今までの記事はかみせんカテゴリからどうぞ。 tech-blog.rakus.co.jp
「量子アニーリングの基礎」を読む 第5日 https://qiita.com/kaizen_nagoya/items/116a5a6add72a5bf1630
「量子アニーリングの基礎」西森秀稔, 大関真之, 共立出版, 2018 を読む https://qiita.com/kaizen_nagoya/items/29580dc526e142cb64e9 『量子アニーリングの基礎』正誤表 (西森秀稔・大関真之 著) 2019年6月20日更新 https://www.kyoritsu-pub.co.jp/app/file/goods_contents/3037.pdf 量子アニーリングの数理 東京工業大学 大学院理工学研究科 物性物理学専攻 西森 秀稔 https://repository.kulib.kyoto-u.ac.jp/dspace/bitstream/2433/189516/1/bussei_el_033203.pdf 本は、 １ 量子力学 ２ 熱力学、統計力学 がわかっている人にとっての丁寧 ここでは、どちらもわかっていないことを前提
クロス表とベイズの公式に基づく新型コロナPCR検査抑制論の検討（授業用資料）Ver.2 (PDFはVer.4) - 朴勝俊 Park SeungJoonのブログ
日本のPCR検査数(人口比)は先進国で最下位レベルです。ニュージーランドや台湾、韓国、中国などは少数でも感染者が見つかれば大量のPCR検査と隔離を行い、感染ゼロを目指していますが、日本は「専門家」たちがPCR検査の精度が低い、徹底的な検査を行うとニセ陽性が出るのでよくない、などと言う説を流布し、政府もそうした説明に影響されて住民に対する検査は徹底されていません。例えば、2021/7/1～8/16までの、東京都（人口1400万人の検査数は計54万2781件、陽性者数11万1699件、陽性率約20.6%です。他方で、東京オリンピックの選手・関係者の数万人には世界水準の徹底した検査と隔離が行われてきました（2021/7/1～8/16までの総計で73万0979件、陽性件数204件、陽性率約0.03%）[1]。 今回はクロス表とベイズの公式に基づいて、PCR検査の精度についてやさしく学び、コロナ対策
生成 Deep Learning
以下、日本語版の動作確認で使用したコマンドラインの例です。 $ python 01_generate_data.py car_racing --total_episodes 200 --time_steps 300 $ python 02_train_vae.py --new_model $ python 03_generate_rnn_data.py $ python 04_train_rnn.py --new_model --batch_size 100 $ python 05_train_controller.py car_racing -n 4 -t 1 -e 4 --max_length 1000 賞賛の声 訳者まえがき まえがき 第I部 生成型ディープラーニング入門 1章 生成モデリング 1.1 生成モデリングとは何か？ 1.1.1 生成モデリングと識別モデリング 1.1.2
おはようございますまたはこんにちはまたはこんばんは，カイヤンです． 本記事はIQ1 Advent Calendar 2019（主催者 id:chakku000 ）における12月9日の記事です． 参考：IQ1 Advent Calendar 2018 2018/12/11の拙著記事「IQが1のデータ分析：respects いつも何度でも尋ねられること」 おことわり 今回は，ベイズ推論の特異学習理論（Watanabe理論，W理論）についての記事です．IQ1なので数学的に厳密な書き方でないどころか数式が登場しませんのでご了承ください． また，IQ1なために各論文を肯定的に読んでいます（理論が中心の紹介ですが一部の数値実験についても）．クリティカルリーディング要素はありません．申し訳ありません． よりおことわりらしいおことわりはIQ1AdCの雰囲気をぶち壊すので折り畳みます． IQ1AdCそのもの
100+ Best Free Data Science Books For Beginners And Experts
In the previous post we’ve covered 100+ Free Machine Learning and Artificial Intelligence Books. If you haven’t checked make sure you spend 2 minutes after checking this post. In this post, You’ll see 100+ free data science books for beginners, intermediate and experts. The eBooks are updated in 2023 and available in pdf or html format. Note: All the books listed below are open sourced and are in
Python: 広義の Target Encoding と Stacking は同じもの (と解釈できる) - CUBE SUGAR CONTAINER
おそらく、既に分かっている人には「知らなかったの？」とびっくりされる系の話なんだろうけど、今さら理解したので備忘録として残しておく。 結論から書くと、目的変数を用いた特徴量生成を広義の Target Encoding と定義した場合、Target Encoding と Stacking は同じものと解釈できる。 例えば、Target Mean Encoding は多項分布を仮定したナイーブベイズ分類器を用いた Stacking とやっていることは同じになる。 また、Target Encoding と Stacking が同じものであると解釈することで、周辺の知識についても理解しやすくなる。 Target Encoding について Target Encoding は、データ分析コンペで用いられることがある特徴量生成 (Feature Extraction) の手法のこと。 一般的にはカテゴ
はじめに こんにちは、19卒でGunosy Tech LabのBIチームの齊藤です。 data.gunosy.io この記事はGunosy Advent Calender 2019の4日目の記事です。昨日の記事は高橋さん(@tkhs0604)によるプロダクトマネージャーカンファレンス2019 参加レポート でした。 はじめに 背景 ベイズ統計 例: 継続率 事後分布のプロット 継続率以外の指標は？ おわりに 背景 GunosyではUI・ロジックの変更等を行う際にA/Bテストにより効果検証を行っています。 data.gunosy.io 上記のブログの通り、従来の（頻度論に基づく）仮説検定ではA/Bテストを開始する前に有意水準、検出力、効果量を定めてサンプルサイズを求めなければなりません。またサンプルサイズを定めても必要なサイズを満たすのに何日かかるかも不透明であり、施策の実行→A/Bテスト→
どうも、コンサル部のテウです。 本記事は前回の記事の続きとなっており、「機械学習のチュートリアルコードは実行してみたんだけど、これだけで理解できるわけないじゃんー！」と思った方のための記事となります。 目次 始める前に 機械学習を入門するための方法として紹介されてある記事は既に多く存在すると思います。なぜイメージ分類モデルから機械学習を入門するの？って聞かれたら、「僕のバックグラウンドとしてイメージ分類タスクをやってましたので、これを活かしたアプローチが説明しやすい」と答えられます。あと、個人的な感想ですが、画像は視覚的にすぐ分かりやすいので複雑な Vector Space (Feature Space) のことを理解するのにも効果的な分野だと思います。 まぁ、しょうもない話より、早速ひとつづつ説明させていただきたいと思いますー！ 機械学習の一般的なプロセス 機械学習の一般的なプロセスを見
統計学入門 「主義」 を心配するみなさまに 東京工業大学 渡辺澄夫 このファイルの目的 このファイルは統計学において 「主義」 を心配するみなさまの ための解説です。 １ 要約 いつも 何度でも 尋ねられる 質問 頻度主義 と ベイズ主義 は どちらが正しいですか。 このファイルの回答 １ 正しい主義は 存在しません。 好きな主義と 好きな方法を 使うことができます。 推測が当たるかどうか が問題です。 このファイルの回答 ２ 推測に 「主義」 は 不要です。 推測を当てるには 数理科学 が必要です。 このファイルの回答 ３ 「主義」 を争うことに 意義はありません。 論争をやめて 数理科学 へ進みましょう。 時間がないかたに このファイルを読むのがメンドウで 結論だけを知りたいかたは 最後のページをご覧ください。 ２ 統計的推測とは 統計的推測とは 未知である真の分布から データが得られ
あの「モンティ・ホール問題」で当選率33％が66％になる理由が分かり、生き上手になれる「ベイズの定理」の基礎知識
AIに欠かせない数学を、プログラミング言語Pythonを使って高校生の学習範囲から学び直す本連載『「AI」エンジニアになるための「基礎数学」再入門』。前回は「確率・確率分布」について学びました。今回のテーマである「ベイズの定理」は、そのもう少し高度な内容といえます。ぜひ、前回記事も併せてお読みください。 ベイズってどんな人？ トーマス・ベイズ（Thomas Bayes）は1702～1761年に実在したイギリスの人物です。彼の肩書は異色で、牧師でありながら数学者でもあります。そんな彼は「神の存在を方程式で説明できる」と主張したそうです。ベイズは牧師として活動する傍ら研究を重ね、後に解説する「ベイズの定理」を含む「ベイズ理論」を考案したという偉業を成しています。 ところが、その偉業はベイズの死後である1764年にRプライス（生命保険の創始者の一人）によって発見されました。その後、偉大な物理学者
機械学習を使った野球データサイエンス - 打者・大谷翔平選手の20代をシュッと占ってみた - Lean Baseball
やったことは非常にシンプルでして. 大谷翔平選手の26〜29歳（2020〜2024年）までの打撃成績を, 一般的な打撃成績データ（安打, 本塁打, 三振etc...）を使った機械学習でそれっぽく出してみました 大谷翔平さんはやっぱ凄い（詳細はこの後で） まだまだ改良点や穴があるものの, 統計的にもアルゴリズム的にも十分に納得行くモノができたので一旦公開します. なお, どういったアプローチでやったか?特徴量はどうやって選んだか??については8/28, 29開催のPyCon JP 2020で発表します.*1 免責事項 言うてもおもちゃですしちょっとしたお遊びです. そのつもりでご覧ください. 一部のサンプルコードを除きコードおよび特徴量は公開しません. データはMLBのPublicな公開データセットであるLahman’s Baseball Databaseおよび, RETROSHEETを使っ
はじめに 深層生成モデルを巡る旅をしています。 前回はFlowについて理論と各種法の簡単な紹介をしました. 今回はまた別の深層生成モデルとして 変分自己符号化器 (VAE; variational autoencoder) [1] を紹介します. VAEはGANに比べて安定した学習ができ, Flowと異なり潜在変数を低次元に落とすことができるので, その扱いやすさや解釈性から好まれることが多いように感じます. 一方で, 生成画像がぼやけがちである, 尤度の計算ができないといった欠点もあります. この1ヶ月くらいVAEについていろいろと調べてみましたが, GANやFlowのようなモデル乱立状態にはなっていなさそうだったので, 主要な手法を少し詳しめに紹介できればと思います. VAEの基本 最初に, 本記事を読むのに必要な事項をまとめます. 全体像 式での説明は少々長いので, 先にMNISTの
How can neural networks learn the rich internal representations required for difficult tasks such as recognizing objects or understanding language? Yoshua Bengio, Yann LeCun, and Geoffrey Hinton are recipients of the 2018 ACM A.M. Turing Award for breakthroughs that have made deep neural networks a critical component of computing. Research on artificial neural networks was motivated by the observa
GitHub - ddbourgin/numpy-ml: Machine learning, in numpy
Click to expand! Gaussian mixture model EM training Hidden Markov model Viterbi decoding Likelihood computation MLE parameter estimation via Baum-Welch/forward-backward algorithm Latent Dirichlet allocation (topic model) Standard model with MLE parameter estimation via variational EM Smoothed model with MAP parameter estimation via MCMC Neural networks Layers / Layer-wise ops Add Flatten Multiply
C# or Java? TypeScript or JavaScript? Machine learning based classification of programming languages
EngineeringProductC# or Java? TypeScript or JavaScript? Machine learning based classification of programming languagesTo make language detection more robust and maintainable in the long run, we developed a machine learning classifier named OctoLingua based on an Artificial Neural Network (ANN) architecture which can handle language predictions in tricky scenarios. GitHub hosts over 300 programming
今回は機械学習におけるアンサンブル学習の一種として Voting という手法を試してみる。 これは、複数の学習済みモデルを用意して多数決などで推論の結果を決めるという手法。 この手法を用いることで最終的なモデルの性能を上げられる可能性がある。 実装については自分で書いても良いけど scikit-learn に使いやすいものがあったので、それを選んだ。 sklearn.ensemble.VotingClassifier — scikit-learn 0.20.2 documentation 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.1 BuildVersion: 18B75 $ python -V Python 3.7.1 下準備 まずは今回使うパッケージをインストールしておく。 $ pip insta
コロナウイルスPCR検査を行う場合に事前確率が低いと考えられる場合には検査を行うべきではないと主張する人達がいます。 その理由としてベイズの定理を用いた計算で事後確率が低くなるからとしています。 本当なのでしょうか？ 動画を説明しますと 有病率0.1％、精度(感度、特異度)99％、10万人に検査を行った場合 本当に病気に罹患している人は100人、罹患していない人は99900人。 本当に病気に罹患している人で陽性と判定される人は99人、陰性と判定される人は1人。 罹患していない人で陽性と判定される人は999人、陰性と判定される人は98901人。 陽性と判定された場合に本当に陽性の確率は99/99+999 = 11/122 = 約9%(事後確率) 従って事前確率が低い場合は検査を行ってはならない。 岩田先生も数字は異なりますが同じようなことを言ってます。 PCR検査の特異度 厚生労働省の資料に
by Carles Gelada and Jacob Buckman WARNING: This is an old version of this blogpost, and if you are a Bayesian, it might make you angry. Click here for an updated post with the same content. Context: About a month ago Carles asserted on Twitter that Bayesian Neural Networks make no sense. This generated lots of good discussion, including a thorough response from Andrew Gordon Wilson defending BNNs
はじめに こんにちは deepblue でインターン生として働いている渡邊です。 最近、PyroやTensorflow Probabilityなどの深層学習ライブラリベースのGPU対応PPL（確率的プログラミング言語）が出てきていますが、なかなか知られていないNumPyroなるものがあるそうです。NumPyroはバックエンドがJaxでサポートされているPPLで、マルコフ連鎖モンテカルロ（MCMC）法によるサンプリングが高速らしいので、今回は線形回帰で使用感を試してみたいと思います。 今回の内容は、ベイズモデリングの用語（事前分布、事後分布など）はご存知の方が対象ですので、そこも怪しいと思われる方はこの記事をさらっと見てから来てくださると理解しやすいと思います。 参考サイト 確率モデリングと事後分布、事前分布、超パラメータ 【Jax, Numpyro】Regression Model pra
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
使える統計モデル10選（前編） | AIdrops
Rustで扱える機械学習関連のクレート2021 - Stimulator
【論文紹介】統計学の過去50年における最も重要なアイディアとは？ - Qiita
ナイーブベイズを使って1日で100万件の投稿をジャンル分けした話 - AppBrew Tech Blog
ベイズ統計・ベイズ機械学習を始めよう | AIdrops
ベイズの定理を悪用し、コロナウイルスPCR検査の有用性を否定する医師達｜臨床獣医師の立場から
機械学習の実装とアルゴリズムをバランス良く学べる書籍を執筆しました - Qiita
【徹底解説】変分ベイズをはじめからていねいに | Academaid
23/7/5 データサイエンスエキスパート合格 チートシートと攻略ガイド - LWのサイゼリヤ
数学に強いエンジニアむけの機械学習勉強法
確率予測とCalibrationについて - 機械学習 Memo φ(・ω・ )
『「数理科学を使えば統計の”主義”を争う必要ない」という主張について検討する』
人工神経回路による脳の理解はどこまで進んだか - 知識のサラダボウル
100+ Best GitHub Repositories For Machine Learning
【IQ1AdC】W理論こと特異学習理論の重要論文公式10本ノック【12/9】 - カイヤン雑記帳
A/Bテストの時間短縮に向けて 〜ベイズ統計によるA/Bテスト入門〜 - Gunosyデータ分析ブログ
【入門】イメージ分類モデルから入門する機械学習の基本概念まとめ | DevelopersIO
Bayesian statistics
深層生成モデルを巡る旅(2): VAE - Qiita
Deep Learning for AI – Communications of the ACM
Python: アンサンブル学習の Voting を試す - CUBE SUGAR CONTAINER
ベイズの定理を用いてPCR検査の有用性を考える際の注意点｜臨床獣医師の立場から
A Sober Look at Bayesian Neural Networks
NumPyroによるベイズモデリング入門【線形回帰編】 - deepblue