はじめに 2020/8/12に発売されたImpractical Python Projects: Playful Programming Activities to Make You Smarterの日本語訳書である、「実用的でないPythonプログラミング」をひょんな事から献本していただく事になった。（訳者が同僚である） 実用的でないPythonプログラミング: 楽しくコードを書いて賢くなろう! 作者:ヴォーン,リー発売日: 2020/08/12メディア: 単行本 ありがちなプログラミング初学者向けの本から1段上がった中級者向けの良い本だと感じたので、当ブログでたまにやっている筆者、訳者に媚びを売るシリーズの一貫として、感想を記す。 書籍の概要 「実用的でないPythonプログラミング」は、想定する中級レベルのアルゴリズムの問題を例に取り、Pythonでの美しいコードの書き方や、コンピュ
統計・機械学習の理論を学ぶ手順 - Qiita
社内向けに公開している記事「統計・機械学習の理論を学ぶ手順」の一部を公開します。中学数学がわからない状態からスタートして理論に触れるにはどう進めばいいのかを簡潔に書きました。僕が一緒に仕事をしやすい人を作るためのものなので、異論は多くあると思いますがあくまでも一例ですし、社員に強制するものではありません。あと項目の順番は説明のため便宜上こうなっているだけで、必ずしも上から下へ進めというわけでもありません。 （追記）これもあるといいのではないかというお声のあった書籍をいくつか追加しました。 数学 残念ながら、統計モデルを正しく用いようと思うと数学を避けることはできません。ニューラルネットワークのような表現力が高くて色々と勝手にやってくれるような統計モデルでも、何も知らずに使うのは危険です。必ず数学は学んでおきましょう。理想を言えば微分トポロジーや関数解析のような高度な理論を知っておくのがベス
2022年4月13日の試験で統計検定準1級に合格したので、記事を書く気になりました。daminです。（Twitter: @5882353i） うおおおおおおお統計検定準1級合格！！！！！！！うおおおおおおお！！！おおおおおお！！！！！！うおおおおおお！！！！！！！！！！！！！！！ pic.twitter.com/J1LDsgUVm1 — 惰眠👻 (@5882353i) 2022年4月13日 背景や、合格するまでに使った本などを書いていきます。 背景（受験までのおおまかな流れなど） 余談：センター統計選択のススメ 持っていた方がよいもの・知識 線形代数の知識 Pythonの知識 goodnotes5 使った本 東大出版の統計学入門（通称：赤い本） 公式の準1級対策本（通称：ワークブック） 過去問 クラインバウム生存時間解析 ゼロDL ベイズ漫画 まとめ 真剣に読んでいる人向けのまとめ あま
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。サイエンス統括本部でデータ分析による社内サービスの課題解決支援をしている関口です。 ヤフーではたくさんのABテスト（※1）が常に行われており、サービス改善に活かされています。しかしながら実際には、さまざまな理由からABテストができないことがよくあります。本記事では、そのような場合にどのようにして施策の効果を評価・推定するかについて、具体的なケースからアイデアを紹介していきます。 なお今回はYahoo!ショッピングを題材にしたケースばかりですが、アイデア自体は汎用的なものとなっています。 ※1： ABテストはウェブサービス上のUI改善、機械学習モデル改善、機能追加etc.といったさまざまな施策が、KPIにどれくらいのイン
本書ではPythonを使い、火星や木星や銀河の最果てを、詩人の魂を、高度な金融の世界を、選挙の不正を、ゲーム・ショーのトリックを、探っていく。マルコフ連鎖解析のような技術を使って俳句を詠み、モンテカルロ・シミュレーションで金融市場をモデル化し、イメージ・スタッキングで天体写真を改善し、遺伝的アルゴリズムで巨大なネズミを育てる。それとともにpygame、Pylint、pydocstyle、tkinter、python-docx、matplotlib、pillowといったモジュールの経験を楽しく積むことができる。 この本は2冊目のPythonの本とみなすことができる。完全な初心者向けの本や入門クラスの後に続く本、あるいは補完する本となることを狙っている。「impractical」（実用的でない）というタイトルに反して、本書の内容はかなり実用的で、文字列やコレクションの操作といった基本的なことか
はじめに データ分析：実用系 Kaggleで勝つデータ分析の技術 ウェブ最適化ではじめる機械学習 データ分析：因果推論 入門 統計的因果推論 計量経済学 大人の教養 世界標準の経営理論 科学的に正しい筋トレ 最強の教科書 落合務のパーフェクトレシピ はじめに 今回は、特にドメインを指定せず、読むと間違いなく誰にでも勉強になるであろうと感じた書籍を紹介します。 データ分析：実用系 Kaggleで勝つデータ分析の技術 Kaggleで勝つデータ分析の技術 作者:門脇 大輔,阪田 隆司,保坂 桂佑,平松 雄司発売日: 2019/10/09メディア: 単行本（ソフトカバー） "Kaggleで勝つ"と題名にはありますが、データ分析、特に予測モデルを作るようなケースで重要な基礎知識が実践的に学ぶことができる非常に良い本となっています。例えば、交差検証といえば、基本的には汎化誤差の推定量として統計学の本に
データサイエンスエキスパート ゲームクリア 攻略チートシート配布 攻略指針 図書館を巡ってアイテム収集 図書館の初見殺しトラップ攻略 参考書籍 統計基礎 統計学（初歩） 統計学（高度） ベイズ統計 分散分析 数学基礎 線形代数 微積分 計算基礎 情報全般 データベース アルゴリズム モデリング・AIと評価 歴史・応用分野・AIなど 多変量解析 時系列解析 グラフィカルモデル テキスト分析 因果推論 機械学習・モデル評価・ニューラルネットワーク データサイエンスエキスパート ゲームクリア 日本統計学会が主催するデータサイエンスエキスパート試験に合格した。 www.toukei-kentei.jp データサイエンスエキスパートは、統計検定より実践寄りであるデータサイエンスシリーズの最上位資格という位置付け。下位資格には「データサイエンス基礎」や「データサイエンス発展」があるが簡単そうだったので
＊この記事は統計学や機械学習を専門としていない学生が書いた主観的なまとめ記事です。間違いが含まれている可能性があります。 統計学・機械学習を学んでいると、たくさんの手法や考えが出てきてよくわからなくなります。 特に自分が何かに取り組んでいるときには、今やっている手法が全体から見てどういうものなのか、より良い手法が無いのかが気になってしまいます。 まるで地図を持たず森の中を彷徨っているような感覚です。 そこで、統計学・機械学習で使われる概念や手法を自分なりにまとめて頭を整理したいと思います。 以下のような図になりました。 以下にそれぞれを説明します。 数理科学 統計学・機械学習のベースとなる学問です。 主に解析学、代数学、幾何学からなります。 微分積分学と線形代数学が基本になってるのは言うまでもないと思います。 その他に個人的に関わりが深いと思う分野を３つ挙げます。 確率論 大数の法則(中心
機械学習を用いた因果推論のための最新 Python パッケージ "CausalML" の紹介 - YuRAN-HIKO
はじめに CausalML とは 現在 CausalML で提供されているもの CausalMLがどういう分野で適用可能か Targeting Optimization Causal Impact Analysis Personalization おわりに 統計的因果推論の関連記事 はじめに 本記事は H. Chen et al. (2020), "CausalML: Python Package for Causal Machine Learning" の紹介記事です。 上記 Chen et al.(2020) は目下研究分野としてもアツい、機械学習を用いた因果推論手法を提供する CausalML という最新の Python パッケージの紹介になっています。この CausalML は Uber Technology のメンバーが開発したパッケージで、著者らは同社のメンバーです。Uplif
2019年7月5日、LINE株式会社が主催するAI技術者向けの勉強会「LINE AI Talk #02」が開催されました。第2回となる今回のテーマは「信号処理」。AI関連技術を活用したさまざまなサービスを開発しているLINEの取り組みだけでなく、この分野の第一人者をゲストスピーカーに招き、最新の知見を学びます。プレゼンテーション「深層学習を用いた複数マイクロホンの音源分離」に登壇したのは、LINE株式会社Research Labsに所属し、工学博士でもある戸上真人氏。深層学習を用いた音源分離の取り組みと、その仕組みを解説します。講演資料はこちら 深層学習を用いた複数マイクロホンの音源分離 戸上真人氏（以下、戸上）：それではLINEから、音の技術の研究と、この分野の動向についてお話したいと思います。 簡単に自己紹介ですが、私はLINEのResearch Labsに2018年の6月から研究員と
推薦システムの勉強をちょっとずつ再開している関連で、トピックモデルを勉強してみようと思い、こちらを購入しました。 トピックモデル (機械学習プロフェッショナルシリーズ) 作者:岩田 具治出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本（ソフトカバー） 今回はこちらを読んで勉強したことのメモです。 トピックモデル is なに？ モデル化でやりたいこと ユニグラム／混合ユニグラムモデル トピックモデルの生成過程 トピックモデル一巡り トピック is なに？ 具体的な中身について 実際には何を定めればよいか ：トピックごとの単語分布 最尤推定 Map推定（最大事後確率推定） ベイズ推定 混合モデルが含まれたときの単語分布 EMアルゴリズム 変分ベイズ推定 ギブスサンプリング その他、参考にした記事 感想 トピックモデル is なに？ 定義を確認します。 トピックモデルは
TopicModelの最終形態？ Structured Topic Modelのご紹介 - Retrieva TECH BLOG
こんにちは。レトリバの飯田です。カスタマーサクセス部 研究チームに所属しており、論文調査やそのアルゴリズムを実行するスクリプトの実装などを行なっています。 今回は、Bag of Words(BoW)表現に於いて、これがTopicModelの最終形態ではないか？と私が思っているStructured Topic Modelの紹介と再現実装をpythonで行なったので、その紹介をします。 https://github.com/retrieva/python_stm Structured Topic Modelとは Correlated Topic Model(CTM) Sparse Additive Generative Model(SAGE) STMの更なる特徴 文書ートピックの分布の推定に対し文書属性情報を考慮できる 積分消去による高速化 STMの使い方 Covariate(Y)の使い方 P
最近，因果推論や因果探索に興味を持ち，勉強している．というのも最近，ゆううきさん と一緒に分散システムの異常の原因を即時に診断するための研究を進めている．原因を診断するためのアプローチとして，サーバやコンテナ等から取得できる様々なメトリック（CPU使用率やメモリ使用率など）を（グラフ理論における）ノードとして，因果グラフを構築することを考えている．メトリック同士の単なる「相関」ではなく，結果と原因の関係である「因果」を捉えようとするアプローチである．例えば，システムの障害が発生した場合，相関だけでは，AとBが関連がありそうというところまでしか言えないが，因果を特定できると理想的には，Aの原因はBであるといった議論ができるため，有用だと考えている． 実際に，前述のような因果グラフを構築して障害の原因を特定しようというアプローチは，以下の例に挙げるようにここ数年で増えている印象がある． 「Mi
[R] CausalImpact でできること, できないこと - ill-identified diary
概要Brodersen, Gallusser, Koehler, Remy, & Scott (2015) により提案され, R で実装された時系列因果推論フレームワーク, CausalImpact は, シンプルで分かりやすい difference in differences (DID) の因果推定理論に基づいており, マーケティングイベントがもたらすインパクトを計測するツールとして紹介されている. しかし, DID が非常にシンプルであれるのは, 厳格な仮定を置いているからであり, 利用する際には多くの注意が伴う. そこで今回は, より発展的な理論について考察したことを垂れ流してみる. あとついでに tsibble パッケージの使い方とかも少しだけ触れている. この問題は CausalImpact の考案以前からある議論についても振り返る必要があるので, まず Rubin (1974
![[R] CausalImpact でできること, できないこと - ill-identified diary](https://cdn-ak-scissors.b.st-hatena.com/image/square/74171644a04868719f87b790d8c2ed5c7db604a5/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fi%2Fill-identified%2F20191009%2F20191009025251.png)
第22回情報論的学習理論ワークショップ (IBIS 2019) | 第22回情報論的学習理論ワークショップ, 2019.11.20〜23, ウインクあいちに行った． 昨年の札幌に比べると名古屋は近い いつもの胃ではなく腸の具合が完全に悪くて半分ぐらいまともに発表を聞かずにトイレにいた ウインクあいち2階上のトイレは人も少なくホールの音声も聞こえて快適 抗生物質を処方された時は忘れずに整腸剤も貰わないと本当に駄目だと痛感しました 有料のチュートリアルも聞きたかったのですが朝から握手会があったので断念 11/20 グラフ文法を用いたグラフ生成 「化学構造式のためのハイパーグラフ文法」を発表した（JSAI2018） で予習していた 分子グラフの生成をしたい (ハードな)原子価の制約を必ず満たす分子ハイパーグラフ文法を提案 ソフトな制約は VAE で学習する 全てを深層学習でやるのではなく，ハード
ベイズ×Factorization Machines & Matrix Factorizationの研究まとめ - Qiita
はじめに 今回は、Factorization Machines(FM)やMatrix Factorization(MF)とベイズを絡めた研究を調べたのでまとめていきたいと思います。 FMはICDM2010で提案されて以来、様々な方向に発展しています。 Deepと組み合わされた研究や、Fieldという概念を加えた研究などがその一例です。 実際、ICDM2010でもっとも引用されている論文がFMだそうです。すごいですね。 モデル自体がシンプルで扱いやすく、特徴量が色々入れられるなど、メリットが大きいことが理由の一つかと思います。 今回の記事では、SIGIR2019 で発表されたBayesian Personalized Feature Interaction Selection for Factorization Machines [Chen+, SIGIR2019]という論文に至るまでの流れ
【Python実装】LDAのトピックをParticle Filter（SMC）で推論 - ガシンラーニング
今回は、LDA（Latent Dirichlet Allocation）の逐次モンテカルロ法（Sequential Monte Calro）であるパーティクルフィルター（Particle Filter）によるトピック推論をPythonで実装しました。 コードは全てgithubに載せています。githubはこちら Twitterフォローよろしくお願いいたします。twitterはこちら 以下の書籍3.5章とこの書籍が参照している元論文を参考にしました。 Online Inference of Topics with Latent Dirichlet Allocation [Canini 2009]こちら こちらの書籍はトピックモデルに限らずベイズモデリング推論の良書です。 トピックモデルによる統計的潜在意味解析 (自然言語処理シリーズ) 作者: 佐藤一誠,奥村学 出版社/メーカー: コロナ社
Modeling User Exposure in Recommendation [Liang et al., WWW2016] を読んだので、今回も行間を補いつつ、主にアルゴリズムの導出部分をブログにしました。 論文の一言要約 「itemが閲覧されたかどうか」（言い換えると、ユーザーの目に入ったかどうか）を表す確率変数をMatrix Factorizationに導入した。これによって、例えば「このユーザーに興味がありそうなのにクリックされていないアイテムは、まだユーザーの目に入っていない確率が高い」などを考慮したモデルの構築が期待できる。 この記事のゴール この論文の提案手法である「exposure MF」の更新式を導出する。 表記 user に item を推薦する問題を考える。user uがitem iをクリックしたかどうかを 行列 で表す。 確率モデルの設計 確率モデルを下記のよう
0.はじめにUKIです。 主題と副題の序列を迷いましたが、いったんPVを稼げそうなほうを主題に置きました（そのうち修正します）。 (1)対象読者 ・EAやbotなどの自動売買に興味がある方 先に結論を書いてしまいますが、たとえAIを使ったとしても儲かる自動売買の戦略を完全に見分けることは不可能です。 商材自体は悪いものではありません。当然、製作者が誠意をもって製作したものもあるでしょう。しかし現実には、悪意のあるもの（儲からないと分かっているが儲かるように振る舞っているもの）や、悪意はなくともバイアスに気付いておらず、結果として購入者が不利益を被るものが大多数紛れ込んでいます。 そもそも市場にアルファ（収益の根源）は殆ど存在しておらず、自動売買の戦略構築過程で発生するバイアスの影響を掻い潜って将来的に利益が出る戦略を作る（見分ける）のは極端に難しいことを知るべきです。不特定多数に販売されて
統計検定準1級に受かるための勉強法・参考サイト
2022/02/15 初稿 2022/02/15 細かな修正 2022/04/20 一部リンク先の動画について注釈を追加 この度、無事に統計検定準1級に合格したので勉強法、参考にしたサイトなどを共有しようと思います。 バックグラウンド 非理数∧非情報系大学生 →高校数学は数学Ⅲまでできる。いわゆる大学数学は教養で軽く学んだ程度(偏微分、固有値ベクトルを求めるくらいはできる)。 機械学習に関しての予備知識は少しある。 統計WEB-BellCurveで2級範囲の内容は履修済みで2級に受かりそうな知識はあった。(自称) →過去問解いて合格できそうになったし今週末で2級申し込みするで～ →直前過ぎて無理ですと断られる →大学の試験期間に入る →気がつけば受けずじまい 件のワークブックが出版され、これがあるなら準1級いけるやろと思い初版で購入するも挫折 といったところです。 2021年12月の中頃く
はじめに 深層生成モデルを巡る旅をしています。 前回はFlowについて理論と各種法の簡単な紹介をしました. 今回はまた別の深層生成モデルとして 変分自己符号化器 (VAE; variational autoencoder) [1] を紹介します. VAEはGANに比べて安定した学習ができ, Flowと異なり潜在変数を低次元に落とすことができるので, その扱いやすさや解釈性から好まれることが多いように感じます. 一方で, 生成画像がぼやけがちである, 尤度の計算ができないといった欠点もあります. この1ヶ月くらいVAEについていろいろと調べてみましたが, GANやFlowのようなモデル乱立状態にはなっていなさそうだったので, 主要な手法を少し詳しめに紹介できればと思います. VAEの基本 最初に, 本記事を読むのに必要な事項をまとめます. 全体像 式での説明は少々長いので, 先にMNISTの
時間依存性を考慮したWord Embeddingsのまとめ - Sansan Tech Blog
はじめに こんにちは、DSOC研究開発部の橋本です。最近買ってよかったな、と思ったものは「詰め替えそのまま」です。これはシャンプーやトリートメントの詰め替えをそのままホルダーにかけて使うことができるようになるグッズで、文字通り（比較的安い）詰め替えをそのまま・簡単に使えるようになる点、お風呂の床に詰め替えを置かなくて済むようになる点という2つの点から非常に良いです。気になる人はぜひググって買ってみてください。 詰め替えそのままの話はさておき、今回時間依存性を考慮したword embeddingsの話をします。 時間に依存するword embeddingsの必要性 現在では、word embeddingsはもはや一般的なツールになりつつあると思います。学習済みのword embeddingsを適用して特徴量とし、何かしらの機械学習アルゴリズムにかける、というのもよく行われていると思います。し
機械学習関連の入門書籍まとめ
こんにちは、GMOアドマーケティングのS.Sです。 今回は機械学習について少し知りたいと思ったときに、参考になりそうな書籍をご紹介します。 ここで紹介する書籍の多くは、目次やドラフトが著者や出版社のご厚意で閲覧できるようになっているので、中身を確認してから購入することができます。 機械学習全般 いざ機械学習を知ろうと思っても必要となる事前知識やカバーされるトピックの範囲が広すぎて、いきなり分厚い鈍器のような本をcover-to-coverで読むのはしんどい気がするので、全体像をつかむ初めの一冊によさそうなのがはじパタと言われています。 はじめてのパターン認識 平井 有三 https://www.morikita.co.jp/books/book/2235 はじパタなどで概観をつかんだら、次は主要な機械学習手法についてもう少し詳しく学んで見たくなった場合に参考になる書籍を紹介します。 次の3
はじめに こんにちは！ソウゾウのSoftware Enginner（Machine Learning）の@nkato_です。「メルカリShops [フライング] アドベントカレンダー2022」の4日目を担当します。 この記事では、ソウゾウの機械学習チームで取り組んだこととして、施策の評価にベイジアンA/Bテストという手法を取り入れた話をします。 ベイジアンA/Bテストを用いるとテスト結果が解釈しやすく、そのため最終的な意思決定に繋げやすいというメリットがあります。A/Bテストに取り組む中で「有意差がなかったから既存ロジックを採用してしまう」「信頼区間の解釈に迷う」といった経験がある方にはぜひお読みいただきたい内容です。 また、この記事は統計学に関する用語を含んでいるため、統計学についての基本的な知識を有する方を対象としています。 A/Bテストとは A/Bテストとは、ユーザーをランダムに2つ
はじめに NumPyro基本 ライブラリの準備 確率分布 transoforms モジュール （tfp.bijector相当） 変化点検知 データ モデル 事前分布からのサンプリングでモデルの動作確認 MCMC推論 結果確認 はじめに TFUGベイズ分科会にてPPLについて話しました。改めてPPLを複数比較してみたことで、一層NumPyrpの書きやすさにほれぼれとしました。 www.hellocybernetics.tech 現状、PPLをまとめると 通常利用：Stan より低レベルを触れる研究用途：TensorFlow Probability 深層生成モデル及びベイズニューラルネットの変分推論 : Pyro 上記及び高速なMCMC : NumPyro という具合です。実際、速度やインターフェースの書きやすさを見るとNumPyroが個人的には抜けているのですが、一方でバックエンドがJaxで
時間方向に集約されたデータを用いた時系列予測 - Preferred Networks Research & Development
本記事は、2019年夏のインターンシップに参加された太田真人さんによる寄稿です。 こんにちは、2019年夏のインターン生だった関西学院大学大学院M１の太田です。大学では、ベイズモデリングの応用で研究しています。インターンでおこなった業務について紹介します。 概要 私は、時系列予測に取り組みました。実問題では、データを細かい時間スケールで長期間保存できず、過去のデータから秒を分スケールに集約して保存することがあります。 他にも、数年前までは、１ヶ月や１日単位で来場者数（売り上げ）をカウントしていましたが、最近は、高い時間分解能（日にち、時間単位）で予測したい需要が高まり、細かくデータを取り始めることもあると考えます。 その場合、データを集めたばかりの頃は、時系列長が短く予測が難しいことがあります。そこで、集約されていない時系列データは直近の短い期間しかないが、集約された時系列データは長期間あ
統計検定準1級 リンク集 - Qiita
背景 統計検定2級を合格し、準1級を受けようとしたら範囲広すぎ＋難しすぎるので、見返せるようにリンク集を作成しました。 準1級では必須の参考書である統計学実践ワークブックに沿って自分がわからなかった部分作成したいと思います。 一部解説者においては作成時点ではYoutubeで見れていたものの、Udemyで有料公開となったようです。ただ、非常に初心者にとってはわかりやすい解説なので購入する価値はあると思います。 埋まっていない箇所についてはワークブックである程度理解できたor諦めたのどちらかです。 統計等のバックグラウンドがない中で、WB、問題集、本リンクで77点で合格しております。（3回受験したのは内緒） また、ワークブックとは別に下記の方もとても頼りにさせていただきました。 【失敗しない】統計検定準1級向けのおすすめ参考書 ワークブック問題回答まとめサイト① ワークブック問題回答まとめサイ
ホーム
本講義の目的は計算統計・計算物理の諸手法（MCMCや変分ベイズ法を除く）について「漸化式」「前向き・後ろ向き」といった視点から２日間（午後のみ）で一気に俯瞰することにあります． 横断的に各話題の繋がりを考えることがテーマなので，個々の話題の説明は簡略になっており，どちらかというと，ある程度勉強された方向きだと思います．もとの講義（４日間）では前半の２日間はベイズ統計の入門を講義しましたが，それはここに含まれていません． 伊庭幸人 （統計数理研究所/総合研究大学院大学） 第１部ではマルコフ連鎖の話からはじめて，離散状態の隠れマルコフモデルでの和や期待値の計算，そして，それがいろいろな方向（連続状態，グラフィカルモデル，最適化，連続時間）へと一般化される様子を見ます． 講義で「後半」というのは，ここでは「前半」の２日間がカットされているためです．「後半」の２日間だけで，ほぼ閉じた内容になってい
はじめに 最近、教師データを作成する際に質の高いデータが欲しいなとという思いが強くなってきました。 そんなときにクラウドソーシングにおけるラベルの品質管理という話を知りました。 少し調べてみましたので、まとめて用いられている手法を実装してみます。 クラウドソーシングの品質管理 クラウドソーシングにおいて、一人のワーカが行ったラベリングでは、機械学習の教師ラベルとして用いるには質が劣ってしまいます。 タスクの難易度により生まれる解答の個人差や金銭のみを目的としたワーカが、でたらめな回答をしてしまうことがあるためです。 この状態を解消するために、複数のワーカにラベリングを行ってもらい結果を統合します。 しかし、単純な多数決では上記のような質の悪いワーカの回答にひっぱられてしまい、得られたラベルの質も悪くなってしまいます。 そこで、複数のワーカのラベリングから真のラベルを推定してラベルの品質を高
こんにちは。年末年始はファイアーエムブレムで可処分時間が消えてしまった DSOC R&D Group の橋本です。 さて、今回の記事では、変分オートエンコーダ (Variational Auto-Encoder, VAE) [1]に基づくグラフの表現学習について紹介したいと思います。 近年グラフに対する深層学習手法の発展が目覚ましく、応用先としては材料科学（分子や結晶をグラフと見る）*1や、ソーシャルネットワークなどが挙げられます。ここではソーシャルネットワークのようなグラフに対するものに限定して、ノードの潜在表現を得る手法を紹介します。*2 Variational Graph Auto-Encoder 変分グラフオートエンコーダ (Variational Graph Auto-Encoder, VGAE) とは、VAEにおけるencoderの部分にグラフ畳み込みネットワーク (Graph
ベイズ推論により混合分布のパラメータ推論をやってみる 〜線形回帰モデルの混合〜 - 機械と学習する
【概要】 混合分布（混合モデル）はモデルを潜在変数でスイッチする構造を持ったモデルであり、実用的な観点でも面白いです 弊ブログでは数回にわたって、混合分布を使って遊んでみています（これが3記事目） 第3弾では、線形回帰モデルのパラメータ推論（ベイズ線形回帰）と線形回帰モデルを混合したモデルの推論をやってみます 【目次】 はじめに ベイズ線形回帰 パラメータ推論とその結果 混合線形回帰モデル パラメータ推論とその結果 ということで実際のnotebook まとめ 参考文献 はじめに 機械学習や統計の問題では、手元にあるデータを解釈して応用しようとしますね。 この時、明に暗になんらかの「確率モデル」を仮定しているはずです。 確率モデルの中でも、混合分布（混合モデル）は、複数の確率モデルの組み合わせとして定義されており、複雑なデータ構造を表現できます。 応用としても、クラス分類や多クラスの回帰など
機械学習 - 共立出版
機械学習とはデータから学習して予測を行うことである。統計的学習、統計的信号処理、パターン認識、適応信号処理、画像処理と画像解析、システム同定と制御、データマイニングと情報検索、コンピュータービジョン、計算理論的学習などのさまざまな分野において研究・開発が行われており、現在でもその進歩はとどまるところを知らない。 本書は、機械学習に関して、基本的な内容から最新の話題までを解説する書籍である。まず、確率と統計の入門事項を解説する。次に、パラメーター推定、平均二乗誤差の線形推定、確率的勾配降下法、最小二乗法、ベイズ分類などといった、どちらかといえば古典的な手法を解説する。その後で、凸解析によるアプローチ、スパースモデリング、再生核ヒルベルト空間上での学習、ベイズ学習、モンテカルロ法、確率的グラフィカルモデル、粒子フィルター、ニューラルネットワーク、深層学習、次元削減などといった、より高度な内容を
統計検定準１級合格のために勉強したこと，良かったこと
この記事を書くにあたり，統計検定公式HPの合格者の声を見ました． 結構いいこと書いてあると思うので，そこの情報も参考にしてくださいね． 今年度は準１級の試験は実施されませんが，実際に準１級を勉強・合格してみて，この程度勉強したら合格圏に到達できるんだろうな，ってのが掴めたつもりなので，今後受験される方のために情報共有したいと思います． 試験時間・問題の構成 準１級は 選択肢問題が25問くらい（大問8つくらい）プチ記述問題が10問前後（大問5つくらい）ちゃんとした記述問題が大問１つ（選択式） 試験時間は120分です． 選択肢問題とプチ記述問題を3分，記述問題を15分くらいで解く要領だと思います． しかも数理統計ばかり聞かれる1級と異なり，主成分分析，平滑化（ノンパラメトリック法），機械学習，グラフィカルモデルなど求められる範囲は広いと思います． はっきり言って鬼畜です． ただ，勉強していくう
はじめに 人間の姿勢推定モデルの変遷と最新動向が分かりやすくまとまっているサイトがあったので、翻訳しました。 A 2019 guide to Human Pose Estimation with Deep Learning 以下、翻訳です。↓↓ Human Pose Estimation(人間の姿勢推定)は、過去数十年間コンピュータビジョンのコミュニティで注目されてきた重要な問題です。これは、画像やビデオの中の人々を理解するための重要なステップです。この記事では、Human Pose Estimation(2D)の基本について説明し、このトピックに関する文献をレビューします。この記事は、Human Pose Estimationのチュートリアルとしても役立ち、基本的なことを学ぶのにも役立ちます。 Human Pose Estimationとは何か Human Pose Estimation
潜在反応モデル概要(RubinおよびPearl)と、仮定となるSUTVAについて - データ分析関連のまとめ
潜在反応モデル概要とSUTVAについてRubinとPearlでの違いを含めてまとめました。 解釈間違い等ある時がありますので、その場合指摘いただけると助かります。 概要 潜在反応モデルにおいて、Rubin流とPearl流の2つ大きいアプローチの仕方がある。 両者の違いとして大きいものの一つに対象者(unit)の定義の違いがある。 この違いにより、前提とされている仮定が異なっている。 仮定:SUTVA 以下の2つにより構成されている。 No Interference between subjects assumption No mutiple versions of treatment assumption Rubinでは2つとも必要であり、PearlではNo Interference between subjects assumptionのみ必要。 潜在反応アプローチ 潜在反応アプローチ:
こんにちは。次世代システム研究室のA.Z.です。 今回は最近話題になっている、確率モデル＋深層ニューラルネットワーク（統合モデル）の一つのdiffusionモデルについて紹介したいと思います。 はじめに すでに、ご存知の方が多いかもしれませんが、最近話題になっている生成用の機械学習モデル、Stable DiffusionやDall-Eなど、性能が高い生成アルゴリズムやシステムにDiffusionモデルというコンセプトが採用されています。生成モデルとモデルといえば、最初に一番良く知られているのはGAN(Generative Adversarial Network)ですが、その後、他の有名な手法Variational Auto Encoder(VAE)も出てきました。Diffusion modelはVAEと同じく、確率グラフィカルモデル(Probabilistic Graphical Mode
シンギュラリティサロン＃34（東京第31回） 吉田 正俊「自由エネルギー原理と視覚的意識」 | シンギュラリティサロン
名称: シンギュラリティサロン ＠東京 第 31 回公開講演会 日時: 2019年6月8日(土) 1:30pm 〜 4:00pm 会場: 大手町サンケイプラザ 3 階 主催: シンギュラリティサロン 共催: 株式会社ブロードバンドタワー 講師: 吉田 正俊 (生理学研究所 認知行動発達機構研究部門 助教) 演題: 『自由エネルギー原理と視覚的意識』 講演概要: フリストンの自由エネルギー原理では、外界に関する生成モデルと現在の認識から計算される変分自由エネルギーを最小化するために、1) 脳状態を変えることによって正しい認識に至る過程 (perceptual inference) と 2) 行動によって感覚入力を変えることによって曖昧さの低い認識に至る過程 (active inference) の二つを組み合わせていると考える。 本講演の前半では自由エネルギー原理について、我々が視線を移動さ
確率モデリングのための確率分布の式変形基本【ベイズの定理/グラフィカルモデル】 - HELLO CYBERNETICS
はじめに 確率モデリング 確率変数間の関係性記述 ベイズの定理と条件付き分布 関係性の記述と事後分布の導出 いろいろなパターンの練習 パターン１ パターン2 同時分布とグラフィカルモデル 基本事項 すべて互いに関連 すべて互いに独立 有向グラフ化 関連を断ち切ることによるモデリング 最後に はじめに 確率モデリングでは、複数の確率変数間の関係性を記述するということが必要になります。 そうして確率変数間の関係性を記述したら、あとは観測できているデータは確率変数を所与としてしまい、その観測データの条件付き分布により、他の確率変数の事後分布を表現するということを行います。 この事後分布を求める部分をいわゆる学習と呼び、その後、事後分布を用いて予測したい変数の値を分布として（あるいは分布からのサンプリングとして）出力させることで予測を行います。 しかし、多くの確率モデリングの初学者は、実は確率変数
IPAデジタルスキル標準ver.1.0.pdf
All Rights Reserved Copyright© IPA 2023 デジタルスキル標準 ver.1.１ 2023年8月 All Rights Reserved Copyright© IPA 2023 1 目次 I. デジタルスキル標準の概要 ⚫ デジタルスキル標準策定の背景、ねらい ⚫ デジタルスキル標準 改訂の考え方 ⚫ デジタルスキル標準の構成 ⚫ デジタルスキル標準で対象とする人材 ⚫ デジタルスキル標準の汎用性 ⚫ デジタルスキル標準の活用イメージ II. DXリテラシー標準 1. DXリテラシー標準策定のねらい、策定方針 2. DXリテラシー標準の構成 3. スキル・学習項目 a. 概要 b. 詳細 4. DXリテラシー標準の活用イメージ III. DX推進スキル標準 1. DX推進スキル標準策定のねらい、策定方針 2. DX推進スキル標準の構成 3. 人材類型・ロー
読んだ本 1. 序論：統計モデルと因果モデル 因果グラフのノードは変数である 因果グラフが成立している場合の条件付き確率を比較 モンティホール問題を因果モデルで解釈する 2. グラフィカルモデルとその応用 因果グラフ上で従属関係を可視化する 因果グラフを構築する際の恣意性 3. 介入効果 4. 反事実とその応用 全体の感想 構造方程式と回帰式の違いをもっと早く書け まあ良著でした ちょうど一ヶ月前くらいに，昨年から延期に延期を重ねていたデータサイエンスエキスパート試験が遂に配信開始となった． www.toukei-kentei.jp とりあえず受けるのは確定として，いい機会なので今までなあなあに誤魔化してきた因果推論と時系列解析をちゃんとやることにした．まず因果推論の方から本を読むことにして，誰かに解説する体でやるのが一番理解が深まるので読みながら取ったメモを軽く清書して投稿している． 内
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「実用的でないPythonプログラミング」がよかった - Stimulator
統計検定準1級に合格した話 - i5882353iの日記
ABテストが難しい場合の施策効果の評価・推定方法
実用的でないPythonプログラミング - 共立出版
（データを扱う）ビジネスマン全てにおすすめの本 - HELLO CYBERNETICS
23/7/5 データサイエンスエキスパート合格 チートシートと攻略ガイド - LWのサイゼリヤ
統計学・機械学習を自分なりに概観してみた - Qiita
深層学習を用いて音源を分離する––LINE Research Labsが研究成果を解説
トピックモデルついて勉強する - Re:ゼロから始めるML生活
グラフィカルモデルに基づく因果探索手法の調査 - Fire Engine
IBIS 2019 行った - 糞糞糞ネット弁慶
userの閲覧確率を考慮したMatrix Factorization - kanayamaのブログ
AIを使った儲かる自動売買の見分け方 ～トレーディングのバイアス対策技術の歴史と展望～｜UKI
深層生成モデルを巡る旅(2): VAE - Qiita
ソウゾウにベイジアンA/Bテストを導入しました | メルカリエンジニアリング
NumPyroの基本を変化点検知で見る - HELLO CYBERNETICS
クラウドソーシングにおける真のラベル推定手法【RStanで実装】 - 名前はまだない
VAEに基づくグラフの表現学習 - Sansan Tech Blog
【2019年版】姿勢推定モデルの最新動向について(翻訳) - Qiita
次世代生成モデル、Diffusion Modelの紹介 - GMOインターネットグループ グループ研究開発本部
23/6/10 『入門 統計的因果推論（Judea Pearl）』メモ - LWのサイゼリヤ