AtCoder の問題を解くのにかかる時間をモデリングした - pepsin-amylaseのブログ
概要 AtCoder の問題に取り掛かってから AC するまでにかかる時間の対数の平均値は、レーティングの1次式で表現できると考えられます。 理論的導出 qiita.com この記事の説明にあるように、AtCoderのパフォーマンスは、他の人に対する勝率が内部レーティング差のシグモイド関数で決まると仮定したときの内部レーティングの最尤推定値です。 ここから、2人がある1問の早解き競争したときの勝率も内部レーティングの差のシグモイド関数になると仮定します。この仮定を満たすような解答時間の確率分布を考えていくと、次の分布がその要件をだいたい満たすことがわかります（天下り）。 対数正規分布 期待値はレーティングの1次式 分散はレーティングによらない定数 早解きの勝敗は内部レーティングの差を正規分布の累積密度関数に与えたものとなります。正規分布の累積密度関数はシグモイド関数に似ているので、近似とい
「研究仮説が正しい確率」について | Sunny side up!
※記事についてリプライを頂いたので、いくつか追記をいれました。 Twitterで豊田先生の新しい本のタイトルについて議論がいろいろ出ているようです。 瀕死の統計学を救え！ ―有意性検定から「仮説が正しい確率」へ― 統計学が瀕死かどうかはさておいて、TLを見る限り「仮説が正しい確率」という言葉について議論が出ていて、気づいたら心理統計界隈の人も（そして僕も）名指しで批判されていて、あららという感じです。 特に黒木さんから批判されているのですが、 #統計 5つ上で引用した清水裕士さんの誤りについては私が既に指摘済みで、それに対する清水さんの反応はhttps://t.co/5l8P6h3jxp で読めます。面倒になったので私の側が途中でコメントするのをやめてしまったのですが、清水さんはまだおかしな考え方から抜け出せていないと私は判断しています。 — 黒木玄 Gen Kuroki (@genkur
はじめに パッケージ シミュレーション1 データ モデル DALEXによる解釈 変数重要度 PDP シミュレーション2 データの作成 DALEXによる解釈 PDP ICE Plot Conditional PDP clusterd ICE Plot まとめ 参考文献 ※この記事をベースにした2020年1月25日に行われた第83回Japan.Rでの発表資料は以下になります。 speakerdeck.com ※この記事で紹介するSHAPを含んだ、機械学習の解釈手法に関する本を書きました！ 機械学習を解釈する技術〜予測力と説明力を両立する実践テクニック 作者:森下 光之助技術評論社Amazon はじめに 本記事では、tidymodelsを用いて機械学習モデルを作成し、それをDALEXを用いて解釈する方法をまとめています。 DALEXは Collection of tools for Visual
こんにちは。じーむです。 念願かなって、統計検定1級に合格しました！ これで学生の間にやりたかった勉強はひと通り済んだ気がします。 せっかくなので試験の対策について書こうと思ったのですが、基本的に過去問を解いて分からないところを調べるだけの作業なので、大したことはやっておりません。 そんなわけで、あまり有益なことは言えませんが、ダラダラ書きます。 統計検定1級ってどんな試験？ 統計検定の一番上の級です。準1級までと違って、「統計数理」と「統計応用」の2つの試験があり、両方に受かることで認定されます。 統計数理というのは積分コンテストのことで、積分ができると受かります。 統計応用は、より実際(？)に即した問題で、受験時に人文科学・社会科学・理工学・医薬生物学の4分野があり、受験時にどれを受けるか決めます。自分の専攻に近いものを選べば良いと思いますが、インターネットで調べたところ、理工学は統計
自分の勉強用メモです。統計の区間推定や検定でほぼ必ずお世話になる分布やt分布だけど、正規分布と比べると確率密度関数が覚えきれないくらい複雑。天下り的に分布やt分布を定義されても結構しんどい。現実的なモチベーションから必要な道具を作っていった結果、分布やt分布が手に入る、というストーリーが自分としてはしっくりくるので、区間推定を例に整理する。 区間推定: 正規母集団かつ分散既知を仮定 区間推定: 正規母集団かつ分散が未知 前提 t分布の導出 t分布の定義 区間推定: 非正規母集団かつ分散が未知 区間推定: 正規母集団かつ分散既知を仮定 スタートはいつもここから。簡単な前提(正規母集団の仮定 & 分散既知)を置ける場合を考えてから、現実に近づけるために仮定を少しずつ取り外していく。ヨビノリ分かりやすい。 標本平均はであるが、正規母集団を仮定しているのではそれぞれ平均分散の正規分布に従う確率変数
最近『ガウス過程と機械学習』を読んだので、Pythonで実装してみました。 内容としては、Chapter 3 の「3.4.2 ガウス過程回帰の計算」になります。 シカちゃんが目印。分かりやすくて結構おすすめです。 ガウス過程とはなんぞや？ まずはじめにガウス過程を一言で説明すると、 Y=f(X)において 「入力Xが似ていれば出力Yも似ている。」 という性質を数学的に表現するための道具です。 今回はこのガウス過程を用いた回帰分析である「ガウス過程回帰」を実装していきます！ ガウス過程回帰までの4ステップ ここでは、以下のようなステップを踏んで解説していきます。 線形回帰 ↓ リッジ回帰 ↓ 線形回帰, リッジ回帰をガウス分布(確率分布)で考える ↓ ガウス過程回帰 上記のステップを踏む理由は2点あります。 第一に、ガウス過程回帰はリッジ回帰を拡張した非線形モデルだからです。 ゆえにガウス過程
はじめに 以下の書籍を参考にしながら，統計の基礎を学び直した軌跡，確率編1/3です． この記事は5部構成の2つ目になっています．以下も参照ください． 準備〜データ編・・・投稿済み 確率編1・・・この記事 確率編2・・・投稿済み 確率編3・・・まだ 推測編・・・まだ この記事を書いた動機，注意点，使用している技術，記事の構成，準備については準備〜データ編に掲載されています． これは主観でしかないのですが，エンジニアにも馴染みのある「データ」と比べて「確率」は扱われる機会が少なく，理解のハードルが高いかと思います．引き続き書籍を参考にしながら，理解を助けるために補足したり，独断で省略している部分もありますので，書籍に沿って進めたい方は書籍を購入ください！ また，最初は「確率編」として3部構成を考えていたのですが，確率の基本部分を厚くしたため，以下のように確率編を3つに分けることにしました． 確
酔っぱらいの歩行はランダムウォーク たくさんお酒を飲んだ酔っ払いは、右へ左へとふらふらと千鳥足で歩きます。この酔っ払いは歩き続けたらどのようになるのでしょうか？ その結果はコイントスを行い、表が出たら右に、裏が出たら左に1歩移動し、移動した先でこれを繰り返したようなランダムウォークに従います。 しばらくランダムウォークを繰り返したあとにウォーカーがいる場所の確率分布は、出発した地点が高い確率となる分布に従います。つまり、酔っ払いは右に左にランダムに移動しますが、歩き続けても、右に進みすぎたり、左に進みすぎたりすることなく、出発位置付近にいることが多いということです。 ランダムウォークは、酔っぱらいの歩行から、 株価の変動まで、さまざまな不規則性を持つシステムの確率過程モデルとして使われています。コンピュータサイエンスの分野では、ランダムなシステムでの計算アルゴリズムの設計のために使われてい
Deep Learning
2012年に開催された大規模画像認識のコンペ ILSVRC(ImageNet Large Scale Visual Recognition Challenge)で AlexNet が圧倒的な成績で優勝して以来、ディープラーニングの手法が画像認識での主役に躍り出ました。それ以降、ILSVRC で ImageNet の画像を用いたモデルの開発競争が行われてきました。 ディープラーニングの手法はCNN (Convolutional Neural Network)を基礎としています。その初期代表モデルは LeNet と AlexNet でした。その後、畳み込み層を深くすればするほど学習精度が上昇するので、畳み込み層をより深くするモデルが登場しました。VGG16、VGG19 は畳み込み層の深さを16、19にしたネットワークモデルです。GoogLeNet は畳み込み層を22にまで拡大しました。そして、
この世界の中の「存在」は観測者や測定機に依存した概念だった
Masahiro Hotta @hottaqu Theoretical Physicist, PhD. Relativistic Quantum Information, Quantum Energy Teleportation, Black Hole Physics, ... note.com/quantumunivers… mhotta.hatenablog.com Masahiro Hotta @hottaqu 時間は深淵です。最新の量子情報物理学の立場では、過去も未来も、現在における情報に過ぎません。例えば不安定粒子が崩壊する時刻は、量子力学では確定せず、確率的に揺らいでます。その観測を論じるには、崩壊時刻を自動的に記録する量子的なノートである「量子歴史書」が必要となります。 2019-04-07 06:43:19 Masahiro Hotta @hottaqu 粒子が平均寿命をも
本記事の目的 この記事を読まれているということはきっと皆さんはこの本を読んだということでしょう。 データサイエンティストの方やデータアナリスト、機械学習エンジニアの方であれば、やはり「どんな仮説の下データ分析が行われたのか」という点は気になる点ですよね。その確率的構造が「市場構造の本質だ」と豪語されてしまっては、「ほうほう、それはどういったものか」とどうしても気になってしまいます。私自身、どうしても気になってしまったので読んでいたのですが、どうにも腑に落ちないというか、そんなもやもやが既に第一章において発生しました。このもやもやを解決するために、自分の中でかなり時間を使ったため、今後誰かが読む際の参考になればよいなと思って、ここに自分の思考の跡を辿ろうと思います。 第 1 章 4 節「市場構造の本質は全て同じ」 著者の主張の要約 さて、当初の第一の主張は「市場の構造の本質はすべて同じ」とい
Stan, PyStanとは Stanとは、C++をベースに実装された確率的プログラミング言語です。NUTSアルゴリズム (HMCを発展させたもの) を用いて、様々なベイズ推定を行うことができます。特徴として以下のようなものが挙げられます。 統計モデルの記述が簡単 HMCなのでサンプリングが高速 さまざまな確率分布を利用可能 PyStanはStanをPythonから扱うためのインターフェースを提供するパッケージです。Stanの文法に従ってモデルを記述し、コード実行時にモデルをコンパイルします。 PyStan: The Python Interface to Stan PySTanのインストール pipでインストール可能です。トレースプロットの描画のために arviz もインストールしておくと良いです。
はじめに 概要 深層学習に対して不確実性を導入する 深層学習をベイズ推論で理解する ベイズ推論にニューラルネットワークを導入する 中身 1.はじめに 2.ニューラルネットワークの基礎 3.ベイズ推論の基礎 4.近似ベイズ推論 5.ニューラルネットワークのベイズ推論 6.深層生成モデル 7.深層学習とガウス過程 読み方 はじめに MLPシリーズの「ベイズ深層学習」を著者：須山敦志氏よりご恵贈に預かりました。 須山さんはHatena blogにて machine-learning.hatenablog.com を長いこと書かれており、私も機械学習の勉強を開始して依頼、何度も参考にしてきました。 今回は恵贈頂いたベイズ深層学習に関して恐れ多くも書評を書いていきます。 ベイズ深層学習 (機械学習プロフェッショナルシリーズ) 作者: 須山敦志出版社/メーカー: 講談社発売日: 2019/08/08メ
【CEDEC2019】「『逆転オセロニア』における、機械学習モデルを用いたデッキのアーキタイプ抽出とゲーム運用への活用」セッションレポート - GeNOM（ゲノム） | GeNOM（ゲノム）- DeNAゲーム開発の現場から
2019年9月4日～6日の期間、パシフィコ横浜において、ゲーム開発者向けカンファレンス「CEDEC2019」が開催されました。 本記事では9月5日に実施された、『逆転オセロニア』における、機械学習モデル (トピックモデル) を用いた、大規模データからのデッキアーキタイプの抽出、関連するKPIの可視化などについて紹介されたセッションの内容を一部抜粋してレポートします。 セッションの冒頭では、分析部 アナリストの安達涼より、登壇者の簡単な自己紹介のあと、DeNAゲーム事業部分析部について、現在では各ゲームタイトルに専属アナリストをアサインする体制があること、行動ログ分析、ユーザー調査など、さまざま分析手法を利用して分析に取り組んでいることが説明されました。 また、新しい分析手法や機械学習などの高度な技術を活用したR＆Dにも挑戦しており、本セッションでの発表は、その実践例の一部を抜粋して紹介する
発表・掲載日：2020/11/11 量子物理学の理論や波動関数に基づく新たな深層学習技術を開発 －学習データにはない、分子構造が大きく異なる未知化合物に対する物性の外挿予測が可能－ ポイント 量子物理学の理論や波動関数に基づくことで、計算の中身を物理的に理解できる深層学習技術を開発 データの偏りに影響されない手法で、従来技術では難しい未知化合物に対する物性の外挿予測が可能 材料開発や創薬の分野での大規模な有用物質探索に貢献 国立研究開発法人 産業技術総合研究所【理事長 石村 和彦】（以下「産総研」という）人工知能研究センター【研究センター長 辻井 潤一】機械学習研究チーム 麻生 英樹 研究チーム長、椿 真史 研究員と、国立大学法人 東京大学 生産技術研究所 溝口 照康 教授は、量子物理学の密度汎関数理論に基づく深層学習技術を開発した。この技術は、化合物の原子配置だけから、その電子の確率分布
この記事ではソフトマックス関数について、レベルを分けてできる限り分かりやすく説明していきます。 Wikipediaによると（https://en.wikipedia.org/wiki/Softmax_function） 「ソフトマックス関数は、非正規化されたベクターを取って、それを確率分布に正規化するもの」らしいです。 え？ これではよくわかりませんね。順を追って説明しましょう。 とりあえず、何が言いたいの ざっくり言えば、ソフトマックス関数とは、出力されたごちゃごちゃした数字を和が綺麗に100%(1.0)になる数字に変えてくれる関数です。 画像を見て猫と犬かを当てるプログラムがあるとしましょう。 隠れ層を通過して無事、画像が猫か犬かの確率を表す数字が出力されたとします。 そこでソフトマックス関数が無いと、犬が2.0、猫が1.5などとプログラムは出力してしまいます。2.0と1.5では和が
「いのち輝き塾」…人が輝く、企業が輝く、地球が輝く 人も企業も地球も輝いて欲しい！そう願って日々活動しています。 70歳台の元気なシニアです。人生に積極的にチャレンジしています。日々の活動の中から、人や企業が「幸福」で「輝く」のに役立つような記事を書きます。これから先の人生を考えるとき、若い世代の方にも、同世代の方にも、必ず役立つと思います。 茨城県在住の経営コンサルタントで、「認定経営革新等支援機関」取得済です。また、農業、不動産賃貸業、ボランティア(プロボノ)活動も楽しんでいます。 人も企業も地球も輝いて欲しい！そう願って日々活動しています。 70歳台の元気なシニアです。人生に積極的にチャレンジしています。日々の活動の中から、人や企業が「幸福」で「輝く」のに役立つような記事を書きます。これから先の人生を考えるとき、若い世代の方にも、同世代の方にも、必ず役立つと思います。 茨城県在住の経
モデルの蒸留を実装し freesound2019 コンペで検証してみた。 - かえるのプログラミングブログ
こんばんは、kaerururu (@kaeru_nantoka)です。 今回は、Distillation the Knowledge in a Neural Network (2015) [ https://arxiv.org/pdf/1503.02531.pdf ] を読みました。 そして、kaggle freesound2019 コンペで実際に使ったデータとモデルを用いて蒸留の検証をしたので、これについて書いていこうと思います。 通しの実装は、kaggle 上に公開カーネルとして載せていますので合わせてご覧ください。 Distillation : [ https://www.kaggle.com/kaerunantoka/distillation-implementation-with-freesound2 ] Simple (比較用) : [ https://www.kaggle.c
データ同化｜カルマンフィルタと尤度 - ari23の研究ノート
データ同化（またはベイジアンフィルタ）の1つであるカルマンフィルタと尤度について、自分なりの理解をまとめます🐜 この記事を書くにあたり色々調査したところ、素晴らしい記事がたくさんありますので、それをうまく参照しながら整理します。 カルマンフィルタの難しさ 線形・ガウス状態空間モデル 制御理論の場合 予測とフィルタ カルマンフィルタ アルゴリズムの導出 尤度 おわりに 参考文献 カルマンフィルタの難しさ カルマンフィルタはよく使われる技術ではあるんですが、理解がすごく難しいなぁと思っています。 というのも、例えばカルマンフィルタを解説する技術書や記事を見ても、その目的が制御なのか推定なのか、次元が一次元なのか多次元なのか、などで書きぶりがかなり変わってくるように感じています。 特に制御理論で発展した技術なので、著者が制御の人間かどうかで解説の仕方もかなり違う印象です。 以降でカルマンフィル
Web API The Good Parts
Technical Notes ▼ IDE ▼ IntelliJ PhysicalSimulation ▼ mechanics ▼ 質点の運動 DataMining ▼ 時系列データ分析 ▼ ホワイトノイズ（白色雑音） models ▼ GARCH モデル 自己回帰モデル（AR モデル） ARCH モデル 見せかけの回帰 特異スペクトル変換 単位根過程 定常過程 ウェーブレット変換 Network ▼ ssl-server-certificate ▼ CSR ルート証明書 ネットワーク用語 Management ▼ 心理的安全性 オートクライン効果 QC 7つ道具 external-and-internal-career.md キャリア・アンカー 計画的偶発性理論 振り返り 権限移譲 Others ▼ Software ▼ Slack Jekyll Tex 数式 Principle ▼ ソ
本記事は，生存時間分析の基礎シリーズの第一回目となります． 更新は不定期で著者のきまぐれに左右されてしまいますが，もしよろしければお付き合いください． 先日，生存時間分析モデルの種類の調査を行っていた際に，こちらの記事にであいました． 非常によくまとめてくださっていて，ありがたく拝見させていただきました．紹介されていた数々のモデルの中でも，個人的なニーズと興味から Random Survival Forests (RSF; Ishwaran et al., 2008) を勉強しましたので，そちらに関して紹介していきたいと思っています． さっそく RSF の解説をといきたいところですが，そちらはすこし後にして，最初は復習も兼ねて，生存時間分析の基礎を確認していきたいと思います． (上記の Qiita の記事内でも生存時間分析の基礎が丁寧に解説されていますので，そちらを読んでいただいても良いか
はじめに 結論 解説 サンプルデータ コレポンの実行 指標化残差 コレポンにおける指標化残差の表現 注意！ まとめ さいごに 参考リンク はじめに 松本健太郎さんの「マーケティングリサーチで使われるコレスポンデンス分析について調べてみた」という記事が書かれたころからでしょうか、コレスポンデンス分析（以下、コレポン）の同時布置図に対する否定的な意見をよく目にするようになりました。 松本さんの議論は どの年代で見ても20代の購入量は圧倒的なのです。そのような見方は、数量で見れば違和感を覚えます。 という疑問をきっかけに コレスポンデンス分析は、それぞれ行得点・列得点を算出しているだけで、それらを重ね合わせたに過ぎません。 つまり列要素と行要素との距離は、数理的に定義されず「近い」「似ている」のように解釈できないのです。 というところから コレスポンデンス分析は行・列をごっちゃにして分析しない。
1. はじめに はじめまして、この投稿がZennの初投稿となります。 初学者ゆえ至らない点や、不適切な表現があるとは思いますが都度ご指摘していただけると幸いです。 この記事についてですが、先月から自然言語処理を今のトレンドであるTransformerを主軸に勉強し始めており、インプットだけでなくアウトプットのためZennを書こうと思ったのがきっかけです。 (同様にQiitaにてベイズに関するアウトプットも行なっています。) また、参考資料については下にも書いてはいますが「Transformerによる自然言語処理」をメインにしています。 といってもこの本は誤翻訳がひどいので自分で調べながらやる必要があり、二度手間になるかもです。ただ内容としては初学者の自分でも理解でき、GitHubに公開されているJupiter Notebookと同時に進めれば誤翻訳もまあ修正できると感じたので個人的には良い
今回の論文紹介の意図 背景は、自然言語処理において、後述するOOD（out-of-distribution）を考慮することの重要性を最近だんだんと感じてきたことです。そう感じた理由や、今回の論文とOODとの関係性についても後述しています。 OODとは OODを理解するには、まずIID（independently and identically distributed）を理解するといいです。 IID IIDは元々、確率論や統計学における概念です。 例えば、１つのサイコロを振る試行を何度か行うことを考えます。この試行の特徴を考えてみると、次の通りです。 ある試行の結果（どの目が出るか）は、他の試行の結果に影響しない 特定の目が出る確率は、何度試行しても同じ（1の目が出る確率は、何度やっても同じ1/6） …というのが、IIDの最も簡単な例です。IIDは、そういう性質や状態を指します。 IIDの由
GANとpix2pixについて GAN（敵対的生成ネットワーク） Generator(生成器) 学習データの分布, 生成データの確率分布の2つが近づくよう学習 Discriminator(識別器) Gから生成された物とXが本物か偽物かを判別 \underset{G}{min}\,\underset{D}{max}V(D,G) = \mathbb{E}_{x \sim pdata(x)}[logD(x)]+\mathbb{E}_{z \sim p_z(z)}[log(1-D(G(z))] Gはノイズ$z$を入力(pix2pixの場合は画像(ピクセル同士の対応関係ラベル)) $P_z(z)$は出力分布 $P_{data}(x)$はdataの分布 DがmaxにGがminになるよう更新 pix2pixの損失関数 CGANの目的関数
「確率分布をファーストクラスオブジェクトとして扱う」という観点で Tensorflow Probability を理解する - めもめも
何の話かと言うと Tensorflow Probability の公式ページを見ると、 「TensorFlow Probability は確率的推論と統計的分析のためのライブラリです。」 という言葉が目に飛び込んできますが、機械学習モデルを扱うライブラリーとしての Tensorflow とどういう関係にあるのかがよくわかりません。 ここでは、「確率分布をファーストクラスオブジェクトとして扱う」というプログラミング言語的な観点から、Tensorflow Probability を説明してみます。 「確率分布」というオブジェクト 数学で言うところの「変数 x」には、通常、実数や複素数などのスカラー値が入ります。一方、プログラミング言語の「変数」には、もっと多様なものを代入することができます。次の例では、変数 f に対して、「関数 is_even()」を代入しています。 def is_even(
シンギュラリティサロン＃34（東京第31回） 吉田 正俊「自由エネルギー原理と視覚的意識」 | シンギュラリティサロン
名称: シンギュラリティサロン ＠東京 第 31 回公開講演会 日時: 2019年6月8日(土) 1:30pm 〜 4:00pm 会場: 大手町サンケイプラザ 3 階 主催: シンギュラリティサロン 共催: 株式会社ブロードバンドタワー 講師: 吉田 正俊 (生理学研究所 認知行動発達機構研究部門 助教) 演題: 『自由エネルギー原理と視覚的意識』 講演概要: フリストンの自由エネルギー原理では、外界に関する生成モデルと現在の認識から計算される変分自由エネルギーを最小化するために、1) 脳状態を変えることによって正しい認識に至る過程 (perceptual inference) と 2) 行動によって感覚入力を変えることによって曖昧さの低い認識に至る過程 (active inference) の二つを組み合わせていると考える。 本講演の前半では自由エネルギー原理について、我々が視線を移動さ
f(x_1 ,\cdots ,x_k ;n,p_1 ,\cdots ,p_k )=\begin{cases} \dfrac{n!}{x_1 !\cdots x_k !} p_1^{x_1} \cdots p_k^{x_k} &\text{when } \sum_{i=1}^k x_i =n \\[1ex] 0 &\mbox{上記以外} \end{cases} 条件付き確率 $$ \operatorname{P}(A\mid B)=\frac{\operatorname{P}(A \cap B)}{\operatorname{P}(B)} $$ $$ \operatorname{P}(A \cap B)= \operatorname{P}(B)\operatorname{P}(A\mid B) = \operatorname{P}(A)\operatorname{P}(B\mid A) $$
統計検定２級 受験 - Cou氏の徒然日記
…というわけで、ズルズルとやってきた統計検定２級。 ようやく踏ん切りをつけて受験をすることにしました。 やはり期限を切らないと終わりませんので…。 統計検定１級以外｜統計検定：Japan Statistical Society Certificate そういえば、統計検定も、１級以外はどうやらPBT（紙試験）がなくなったので、CBT（コンピュータ試験）で受験です。 CBTのほうがいつでも受けれるという意味ではやりやすいですが、逆に言えば、なかなか踏ん切りがつかないという欠点があります。（そこは人によると思いますが…） ■ 学習開始～受験まで ■ そんなわけで、受験まで一気にやろうと思い立ったのが、９月下旬。 そんなわけで、ここ２週間位は、ずっと統計のお勉強。 coublood.hatenablog.com （10月初旬は、10月9日のエンベデッドスペシャリストの試験勉強もあったので、完全並
銀のエンゼルと金のエンゼルの出現確率をベイズ推定する（金と銀を合わせて推定） - チョコボール統計
【概要】 これまで本ブログでは、金のエンゼルと銀のエンゼルの出現確率の推定を日々行っています しかしこれまでの推定は、簡単のために金と銀のエンゼルを独立に推定してきました そこで本記事では、金と銀のエンゼルを合わせて推定するため、多項分布を利用したモデルを構築します 【目次】 はじめに アプローチ 前提と仮定 モデル データ 実験 パラメータ推論 実験結果 金のエンゼル2倍キャンペーンを除いた場合 全てのデータを含めた場合 いくら買ったらエンゼルが当たるのか？ 銀のエンゼルを5つ得るまでに必要なチョコボールの購入数 金のエンゼルを5つ得るまでに必要なチョコボールの購入数 終わりに 参考文献（お世話になった書籍） 広告 はじめに 当ブログでは、日々のチョコボール開封結果に基づいて金のエンゼルと銀のエンゼルの出現確率を推定しています。 これまでの推定では、簡単のために、金のエンゼルと銀のエンゼ
オライリーから「仕事ではじめる機械学習 第2版」を出版しました | Democratizing Data
Table of Contents4/23に「仕事ではじめる機械学習 第2版」をtokorotenさんとhagino3000さんとともに出版しました。 電子版は、Kindleでは購入できない 1 のでぜひオライリー・ジャパンのサイトからDRMフリーのPDF、EPUBをご購入ください。 コードは今回はGitHubとGoogle Colaboratoryにあります。詳しくは、GitHubのレポジトリをご覧ください。 https://github.com/oreilly-japan/ml-at-work なお、第一版のコードは1st-editionタグにあります。 同人誌や初版のEbookが出た2017年から4年の歳月を経て、この度改訂版を出すこととなりました。 皆さまのおかげでAmazonの書籍ランキングでも、予約のタイミングなのに10位になったこともあったそうです。ありがたい限りです。 [2
scipy.stats.truncnorm.rvs の高速化 切断正規分布に従う逆関数法を用いた乱数生成を自前で実装したら scipy.stats.truncnorm.rvs よりだいぶ速かった話. 後述するがバージョンに強く依存して SciPy 1.9 で大幅に緩和されている. import numpy as np from scipy.stats import truncnorm rng = np.random.default_rng() from scipy.special import erf, erfinv import matplotlib.pyplot as plt import scipy.version print('numpy', np.version.full_version) print('scipy', scipy.version.full_version) sc
研究開発部署「日経イノベーション・ラボ」の石原です。 Nikkei Advent Calendar 2022の 23 日目を担当します。 日本経済新聞社では、ユーザへより良いサービス利用体験を提供するため、広くデータの利活用を進めています。 本記事では特に「自然言語処理」と呼ばれる領域に焦点を当て、2022 年の主要な取り組みの一つとして、昨今の急速な進展の根幹を担う「事前学習済み言語モデル」の構築と活用に関する事例を紹介します。 最初に自然言語処理や事前学習済み言語モデルの概要を説明し、その後に日本経済新聞社での取り組みをまとめます。 日本経済新聞社では積極的な対外発表が推奨されており、本記事は技術ブログ・外部登壇・論文発表で公表済みの内容をもとに構成しています。 自然言語処理とは 自然言語処理とは、人間が日常的に使っている言語（自然言語）をコンピュータで処理するための一連の技術です。
第11回サイゼミ 2021年12月20日に新宿で第11回サイゼミを催した。コロナ禍の合間で半年ぶりの開催となる。 題材は東浩紀の『観光客の哲学』。これに決まった経緯はよく覚えていないが、動ポモシリーズ以降の東の動向を追う回そろそろやっとくかみたいなノリだったはず。 ゲンロン0 観光客の哲学 作者:東 浩紀 株式会社ゲンロン Amazon いつも通り読んだ前提で俺の関心が高かった点について書くので、内容が知りたければ各自で読んでほしい（これは解説記事ではない）。 特に今回は東が第四章『郵便的マルチチュードへ』でネットワーク理論をガッツリ援用して主張の正当化を試みていたため、俺は理系担当としてネットワーク理論を一通り勉強してその議論の妥当性を検討することにした。前回の複雑ネットワーク書籍群についての記事は『観光客の哲学』を読むためのものである。 saize-lw.hatenablog.com
オートエンコーダ：抽象的な特徴を自己学習するディープラーニングの人気者 Unity ML-Agentsで、カメラから得た画像をオートエンコーダで次元圧縮し、強化学習してみました。 なぜオートエンコーダを使うのかを説明する前に、まず基本的な強化学習の形とその問題点について解説します。 基本的な強化学習の形とその問題点 強化学習の目的は、ある環境において、ある状態 s のとき最適な行動 a をとる方策 π(a|s) を見つけることです。 強化学習入門 Part2 - TensorflowとKerasとOpenAI GymでPolicy Gradientを実装してみよう！ 状態sが 0,1,2,3,... のように離散値であれば、状態・行動の表を作って方策 π を表現することができます。 DQNをKerasとTensorFlowとOpenAI Gymで実装する しかし、状態 s が連続値になれば
レバレッジはリターンの中央値を下げる。3倍レバレッジが危険な理由を定量的に説明する。 | 社畜がインデックス投資で資産を築く
前回の記事では株価がランダムな動きをすると仮定すると、リターンの確率分布が対数正規分布に従うと紹介しましした。 ではランダムな動きをする株にレバレッジを加えるとどうなるか見てみます。レバレッジを加えるETFにはS&P500のレバレッジ3倍ETFのSPXLなどがあります。 株価が「ある一定方向に動く」と「ランダムに変動する」という2つの性質をもつと仮定すると、ある時刻の株価は下のように表現できます。 ここにL倍のレバレッジをかけたときの「資産」の変動は次の式で表せます。 この式の意味を図示したのが下の図です。資産は50%の確率で上がるか下がるかしますが、L倍のレバレッジが加わっているので上げ幅と下げ幅がレバレッジなし(L=1)よりも大きくなることが分かります。 こうやって株価は時間が経つにつれてちょこちょこ動く。その分布は対数正規分布をとることが分かります。そしてその分布の平均と分散も分かり
確率モデリングのための確率分布の式変形基本【ベイズの定理/グラフィカルモデル】 - HELLO CYBERNETICS
はじめに 確率モデリング 確率変数間の関係性記述 ベイズの定理と条件付き分布 関係性の記述と事後分布の導出 いろいろなパターンの練習 パターン１ パターン2 同時分布とグラフィカルモデル 基本事項 すべて互いに関連 すべて互いに独立 有向グラフ化 関連を断ち切ることによるモデリング 最後に はじめに 確率モデリングでは、複数の確率変数間の関係性を記述するということが必要になります。 そうして確率変数間の関係性を記述したら、あとは観測できているデータは確率変数を所与としてしまい、その観測データの条件付き分布により、他の確率変数の事後分布を表現するということを行います。 この事後分布を求める部分をいわゆる学習と呼び、その後、事後分布を用いて予測したい変数の値を分布として（あるいは分布からのサンプリングとして）出力させることで予測を行います。 しかし、多くの確率モデリングの初学者は、実は確率変数
理数系ネタ、パソコン、フランス語の話が中心。 量子テレポーテーションや超弦理論の理解を目指して勉強を続けています！ 「入門 現代の量子力学 量子情報・量子測定を中心として：堀田 昌寛」（Kindle版）（正誤表） 内容紹介： 今世紀の標準！ 次世代を担う物理学徒に向けて、量子力学を根本的に再構成した。原理から本当に理解する15章。 「量子力学は20世紀前半には場の理論を含めて完成を見た。しかしその完成に至るまでの試行錯誤では、現在では間違っていることがわかっている物質波の解釈の仕方や、正確ではなかった不確定性関係の議論もなされていた。そこで本書では、そのような歴史的順序そのままの紆余曲折のある論理を辿らないことにした。一方で、線形的な状態空間やボルン則を用いた確率解釈やシュレディンガー方程式などを天下り的に公理とするスタイルもとらない。代わりに情報理論の観点からの最小限の実験事実に基づいた
読んだ本 1. 序論：統計モデルと因果モデル 因果グラフのノードは変数である 因果グラフが成立している場合の条件付き確率を比較 モンティホール問題を因果モデルで解釈する 2. グラフィカルモデルとその応用 因果グラフ上で従属関係を可視化する 因果グラフを構築する際の恣意性 3. 介入効果 4. 反事実とその応用 全体の感想 構造方程式と回帰式の違いをもっと早く書け まあ良著でした ちょうど一ヶ月前くらいに，昨年から延期に延期を重ねていたデータサイエンスエキスパート試験が遂に配信開始となった． www.toukei-kentei.jp とりあえず受けるのは確定として，いい機会なので今までなあなあに誤魔化してきた因果推論と時系列解析をちゃんとやることにした．まず因果推論の方から本を読むことにして，誰かに解説する体でやるのが一番理解が深まるので読みながら取ったメモを軽く清書して投稿している． 内
本記事の目的 確率論において重要な定理である「中心極限定理」を Python で確かめます． 具体的には，「ある分布から取り出した標本平均の分布が，標本を大きくすることで本当に正規分布に従うのか？」を確かめます． 中心極限定理とは 数学的に厳密な内容は述べませんが，中心極限定理が何なのかをざっくりと述べます． 定理の内容（ざっくりと） $n$ 個の確率変数 $X_1,\cdots ,X_n$ が独立で同じ分布に従うとする． $E[X_i]=\mu, V[X_i]=\sigma^2, \bar{X}=\frac{1}{n}(X_1 + \cdots + X_n)$ とする． このとき，$n$ を大きくすると，$\bar{X}$ は正規分布 $N(\mu, \sigma^2 /n)$ に近づく． ※ ここで，$n$ が標本の大きさ，$\bar{X}$ が標本平均です． 記事を書くに至った経緯
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
tidymodelsとDALEXによるtidyで解釈可能な機械学習 - Dropout
統計検定1級(数理/医薬生物学)に合格したってばよ - ぱらダイアリー
母平均の区間推定を例にt分布を導入するモチベーションを整理 - yasuhisa's blog
『ガウス過程と機械学習』Pythonのnumpyだけで実装するガウス過程回帰 - Qiita
Pythonでちゃんと統計・確率の基礎をやってみた（確率編1/3） - Qiita
量子ランダムウォークは自由に操れるか？ – 量子の世界の「コイン」の働き
「確率思考の戦略論」がもやもやする方へ -NBDモデル編-
PyStanで実装するベイズ推定（単回帰・ロジスティック回帰） - Qiita
MLPシリーズ ベイズ深層学習 - HELLO CYBERNETICS
産総研：量子物理学の理論や波動関数に基づく新たな深層学習技術を開発
SoftMax（ソフトマックス）関数とは？文系の人にもわかりやすく - Qiita
ハイリスクハイリターンの投資信託 : 「いのち輝き塾」…人が輝く、企業が輝く、地球が輝く
生存時間分析の基礎１（生存時間分析とは・生存時間分析のデータ形式）｜Maxwell
コレスポンデンス分析の同時布置図は本当に使えないのか？ - bob3’s blog
Transformerアーキテクチャと自然言語処理の発展
自然言語処理の深層学習においてshortcut learningを減らすには
pix2pixによる線画着色でDiscriminatorが圧勝し勾配消失 - Qiita
ディープラーニング基礎知識まとめ - Qiita
scipy.stats.truncnorm.rvs の高速化 - Qiita
日本経済新聞社での事前学習済み言語モデルの構築と活用 — HACK The Nikkei
21/12/20 【第11回サイゼミ】東浩紀『観光客の哲学』は数学的に妥当か - LWのサイゼリヤ
オートエンコーダを使って強化学習してみた - Qiita
入門 現代の量子力学 量子情報・量子測定を中心として：堀田 昌寛 - とね日記
23/6/10 『入門 統計的因果推論（Judea Pearl）』メモ - LWのサイゼリヤ
中心極限定理を Python で確かめる（一様分布，二項分布，コーシー分布を使って） - Qiita