カオスを用いた脳型ベイズ計算モデル
理化学研究所（理研）脳神経科学研究センター 数理脳科学研究チームの寺田 裕 基礎科学特別研究員（研究当時）と豊泉 太郎 チームリーダーの研究チームは、神経ダイナミクスのカオス[1]を用いて、環境状態の推定を行う脳型のベイズ計算[2]機構を提案しました。本研究成果は、脳の情報処理メカニズムの原理の解明、特に神経活動のダイナミクスを用いた推論の理解に貢献すると考えられます。また、脳を模倣したニューロモルフィック計算機[3]など人工知能や機械学習への応用も期待されます。 今回、研究チームは、神経細胞間の情報伝達を担うシナプス結合[4]の効果で生じる神経活動のカオスに着目しました。提案した脳の神経回路[5]のモデルでは、感覚入力がたとえ一定であっても、シナプス結合による神経細胞間の相互作用を使って時間とともに揺らぐ神経活動を積極的に生成します。このように生成された神経活動は微小な変動による誤差が将
はじめに ホクソエムサポーターの藤岡です。会社を移りましたが、相変わらずPythonを書く仕事をしています。 前回の記事に引き続き、今回もMLflowについての記事です。 前回はトラッキング寄りでしたが、今回はモデルのデプロイにも関わってくる内容です。 MLflowはXGBoost, PySpark, scikit-learnといった多様なライブラリに対応していて、様々な機械学習タスクに活用することができるのが売りの一つです。 その実現のため、設計や実装に様々な工夫がされているのですが、 この部分について詳しくなることで、オリジナルの機械学習モデルをMLflowとうまく繋ぐことができるようになったり ETLのようなモデル学習にとどまらない使い方もできるようになったりします。 本記事では、XGBoostをMLflowで扱うためのモジュール mlflow.xgboost について解説することで
The Master Algorithm
最近いくつかのところで The Master Algorithm (Domingos 2015) という本が話題になったのでざっと見てみました。日本でも翻訳作業が進行中らしいです。内容は、機械学習の歴史を概観し、最後に、著者のやっていたプロジェクトを押す、というものです。 （2021年5月更新。邦訳は「マスターアルゴリズム ─ 世界を再構築する『究極の機械学習』」） 著者によれば、機械学習は、記号論理派（Symbolist)、神経回路網派（Connectionist）、進化計算派（Evolutionary）、ベイズ派（Bayesian）、類推派（Analogizer）、という5つの流派からなっており、それを統合するのが著者の提案したマルコフ論理ネットワークとのことです。本書の前半はこれらの流派それぞれを、数式を使わずにノリで説明するものです。類推派って何だよと思うかもしれませんが、これは支
【Python実装】LDAのトピックをParticle Filter（SMC）で推論 - ガシンラーニング
今回は、LDA（Latent Dirichlet Allocation）の逐次モンテカルロ法（Sequential Monte Calro）であるパーティクルフィルター（Particle Filter）によるトピック推論をPythonで実装しました。 コードは全てgithubに載せています。githubはこちら Twitterフォローよろしくお願いいたします。twitterはこちら 以下の書籍3.5章とこの書籍が参照している元論文を参考にしました。 Online Inference of Topics with Latent Dirichlet Allocation [Canini 2009]こちら こちらの書籍はトピックモデルに限らずベイズモデリング推論の良書です。 トピックモデルによる統計的潜在意味解析 (自然言語処理シリーズ) 作者: 佐藤一誠,奥村学 出版社/メーカー: コロナ社
AIの学習には、非常に多くのコンピューティング・パワーとエネルギーが必要となる。そのため、この処理にはNVIDIA のDGX-1のような機械学習用サーバーが用いられる。だが、今回ノースウェスタン大学の研究者らが『Nature Electronics』誌に発表した研究において紹介されているナノ電子デバイスは、現在の技術の100倍少ないエネルギーで、大量のデータを解析し、解析のためにデータをクラウドに転送することなく、リアルタイムで人工知能（AI）タスクを実行することを可能にするという。 ノースウェスタン大学の研究者らが開発したナノ電子デバイスは、多くの機械学習システムのバックボーンである分類（大量のデータを分析し、重要なビットにラベルを付けること）のタスクを実行するように設計されている。 「今日、ほとんどのセンサーはデータを収集し、それをクラウドに送信し、そこでエネルギー消費の激しいサーバー
この記事は確率的プログラミング言語 Advent Calendar 2023の12/8の記事です。 概要 『Pythonではじめる数理最適化』はいい本ですよね。親しみやすい実例、分かりやすい数式、きれいなPythonコードと三拍子そろっています (今年のアドカレで改訂版が近いうちに出ることを知りました)。 7章「商品推薦のための興味のスコアリング」では、「何日前に直近の閲覧があったか」と「閲覧回数」の二つの軸で興味のスコアを考えます。興味のスコアが単調減少であるという制約のもと、再閲覧の割合と推定値の二乗誤差を最小化するという凸二次計画問題として解いています。この記事ではStanで解くとこんな感じですというのを示します。メリットとしてベイズ信頼区間も推定されます。 データ 公式のリポジトリの7章のipynbファイルを途中まで実行して得られるデータフレームrf_dfを使用します。他の人の扱い
Amazon SageMaker の体験ハンズオン動画とQAを公開しました | Amazon Web Services
Amazon Web Services ブログ Amazon SageMaker の体験ハンズオン動画とQAを公開しました 先日 (2019/5/17) 開催しました 「Amazon SageMaker 機械学習エンジニア向け体験ハンズオン」の動画および資料を公開しました。当日、参加者の皆様から多数頂いた QA についても掲載しています。 Amazon SageMaker は、データサイエンティストやエンジニアが効率よく機械学習を進めるために、 AWS が提供するマネージドサービスです。この動画はSageMakerの基本的な使い方を体験できる1時間のハンズオン動画となっており、動画を見ながら実際に手を動かすことで、SageMakerの利用法を効率よく理解することができます。これからSageMakerを利用して機械学習に取り組む際にはAWS Black Belt オンラインセミナーと合わせて
ボードゲームのデータ解析その2：BGGの複雑さに関するバイアス(An analysis of board games: Part II - Complexity bias in BGG)｜べよ
本記事は、Dinesh Vatvani氏が2018年12月8日に投稿した「An analysis of board games: Part II - Complexity bias in BGG」の翻訳である。引き続き、BGGのデータ分析の話である。今回の記事は、BGGの上位100ゲームにメスを入れた話となっている。 BGGの上位100ゲームのリストは、私たちボードゲーマーにとって有益な指標となっているし、出版社・ボードゲームデザイナーにとってもステイタスになっている。ただ、上位100ゲームを見ると、複雑なゲーム、いわゆる重ゲーが圧倒的に多い。裏を返せば、少なくとも、BGG上の評価を得るためには、重ゲーを製作する必要があるように思えてしまう。 このように、BGGには複雑なゲームを好む傾向があるのか(複雑さバイアス)ということをデータから分析してみようというのが本記事の内容である。その上で、
PyMC-MarketingによるBayesian Marketing Mix Modeling - Qiita
この記事は確率的プログラミング言語 Advent Calendar 202317日目の記事です。 ゼミで勉強したStanとRでベイズ統計モデリング（通称：アヒル本）著者である @hankagosa 氏の開催するアドベントカレンダーに参加でき嬉しく思います。このような機会を用意していただきありがとうございます。 それでは本題に入ります。 はじめに 2023/4/6にPyMC-Marketingが発表されました。PyMCの派生ライブラリでマーケティング領域に特化しています。 PyMC Labs is excited to announce the initial release of PyMC-Marketing. Unlock the power of marketing analytics with PyMC-Marketing – the open source solution for
はじめに 共和党の大統領候補の指名を受け、ドナルド・トランプ（Donald John Trump）は、「誰も私よりもそのシステムをよく知らない、私だけがシステムを修正できる」と述べた（1）。トランプはバラク・オバマ前大統領（Barack Hussein Obama II）がアメリカ生まれではないと批判して、人種差別的なプロパガンダを広め、世界の覇権国の最高権力を掌握するに至った。詐欺の疑惑や度重なる破産にもかかわらず、アプレンティス（The Apprentice）での役柄にみられるよう、自己欺瞞（self-deception）――他者を騙すため、自分自身が過信すること――は彼を成功したビジネスマンとして有名にしたのである（2）。 しかし、なぜこうした嘘は現実からの明白な乖離にもかかわらず成功するのだろうか。『なぜリーダーは嘘をつくのか――国際政治で使われる5つの「戦略的なウソ」』において、
【大人のワイドパンツ選び】後ろ姿をチェックせよ！！
◆トップス／詳細不明 コットン製タートルネック（大昔） ◆パンツ／ユニクロＵ ツイルワイドパンツ38ダークブラウン 58 ◆ストール／manipuri TUILES ◆バッグ／マルベリー ベイズウオーター 黒（大昔） ◆靴／詳細不明 レザーショートブーツ 黒（昔） ワイドパンツのお尻の下にシワが！！ 着用しているのは、ウエストが緩いのを承知で購入したユニクロＵのツイルワイドパンツ。 ワイドパンツのサイズ選びって、細身のパンツと比べるとラクですよね。だってワイドパンツなら、大きな膝や太いふくらはぎなどはすべてなかったことにできる。 何なら、ヒップさえ収まればするりと穿けちゃう！！ それがワイドパンツのありがたーいところ。 なので、このパンツも緩いのを承知で「ま、許容範囲」と購入したわけです。 ↓ この角度でみれば、脚をスラリと見せてくれる美脚パンツ。サイズ感も問題なし。 だがしかし！！ 後ろ
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINEの開発組織の部門やプロジェクトについて、その役割や体制、技術スタック、今後の課題やロードマップなどを具体的に紹介していく「Team & Project」シリーズ。今回はData Science室に新卒で入社した若手エンジニアたちをご紹介します。22卒入社の安藤正和と栗本真太郎、21卒入社の松田祐汰と武田拓弥の4名に、LINEに入社した経緯や担当する業務、今後の目標などを聞きました。 Data Science室で働くメンバーの自己紹介 ――みなさんの所属チームの概要やご自身の役割を簡単に教えてください。 安藤：22卒入社の安藤正和です。私はFinancial Data Scienceチームという、LINE Pay関連のデ
この記事に関連する話題: プロダクト開発者に求められる、これからの「倫理」の話をしよう。 Netflixの "Inside Bill's Brain" で Think Week に入るビル・ゲイツの映像を見た。これに影響されて、今年のゴールデンウィークは家にこもり、スマホとPCの電源を完全に切って本を読み込んでいた。 最近の個人的な興味は、物事の裏側にある「ストーリー」や「コンテクスト」の持つ力にある。 ストーリーを伝えられないプロダクトの虚しさ データ時代の「リアル」の価値 “いいもの”ってなんだろう 表面的なデータ分析では測ることのできない、もっと深いところにある“なにか”。顧客に寄り添い、個の存在を重んじ、パーソナライズされた体験を提供する・・・その意義はなんとなく分かるのだけど、同時に、こういう話はどうも抽象的で掴みどころがない。誰かその本質をもっと論理的に説明してくれないだろうか
結晶構造解析の難しさ 物質・材料の機能と性質の多くは、結晶構造（原子の並び方）によって決定されます。例として、ダイヤモンドと黒鉛はいずれも炭素原子からなる物質ですが、結晶構造が異なるため、見た目や硬さ、電気伝導性など、その物性は大きく異なっています。このように結晶構造を知ることは物質・材料研究の出発点であり、結晶構造の詳細な解析はさまざまな物理現象の理解や高機能な材料の開発につながります。 結晶構造を知るためにはいくつかの手段がありますが、最も普及しているのはX線を利用した手法です。物質にX線を照射すると、X線は物質を構成する原子の周りにある電子により散乱されます。原子や分子が規則的に並んだ物質（結晶）の場合、散乱されたX線は原子や分子の並び方（結晶構造）に応じて回折パターンと呼ばれる独特な強度分布を示します。この現象を利用して結晶構造を調べることができます。 X線回折（XRD）は、ひとつ
連載目次 前回は高校で学んだ確率の基礎と条件付き確率をおさらいしました。今回は、その内容を踏まえて、機械学習の基礎として幅広く利用されているベイズの定理についての理解を深めていきたいと思います。前回と今回で取り扱っているトピックは以下の通りです。 前回「確率の基本から条件付き確率までをおさらいしよう」： 【その1】確率の表し方： 目標と解説 【その2】和事象・積事象、排反事象： 目標と解説 【その3】独立と従属、条件付き確率： 目標と解説 今回「機械学習でよく使われる『ベイズの定理』を理解する」： 【その4】ベイズの定理： 目標と解説 【その5】ベイズの定理の展開： 目標と解説 【その6】ベイズ更新： 目標と解説 ベイズの定理は、難しい印象のあるベイズ統計学の基礎の基礎ですが、条件付き確率の乗法公式さえ分かれば、簡単に理解できます。一歩ずつ丁寧に説明していくので、急がずにゆっくりと読み進め
Python: 広義の Target Encoding と Stacking は同じもの (と解釈できる) - CUBE SUGAR CONTAINER
おそらく、既に分かっている人には「知らなかったの？」とびっくりされる系の話なんだろうけど、今さら理解したので備忘録として残しておく。 結論から書くと、目的変数を用いた特徴量生成を広義の Target Encoding と定義した場合、Target Encoding と Stacking は同じものと解釈できる。 例えば、Target Mean Encoding は多項分布を仮定したナイーブベイズ分類器を用いた Stacking とやっていることは同じになる。 また、Target Encoding と Stacking が同じものであると解釈することで、周辺の知識についても理解しやすくなる。 Target Encoding について Target Encoding は、データ分析コンペで用いられることがある特徴量生成 (Feature Extraction) の手法のこと。 一般的にはカテゴ
「TikTok」などを運営する字節跳動（バイトダンス）のLinuxカーネルエンジニアであるCong Wang氏は、Linuxカーネルのトップ開発者が集まる招待制のカンファレンスであるLinux Plumbers Conferenceで、ワークロードに合わせて最善の結果が得られるように、人工知能（AI）と機械学習を使ってLinuxカーネルをチューニングすることを提案した。 一般的な話で言えば、Linuxカーネルはほぼどのようなタスクにも問題なく使えるが、特定の作業で最大の効果を上げるには、微調整して最善の結果が得られるようなパラメーターを設定する必要がある。ただし、このアプローチには1つだけ小さな問題がある。それは、パラメーターの数が何千にも及ぶことだ。Linuxの専門家であっても、最適なパフォーマンスを得るためのチューニング作業には時間と手間がかかる。しかも、ワークロードが変われば、また別
恒星から極めて近い距離を公転する「ホット・ジュピター」は多数の恒星に存在することが分かっていますが、太陽はホット・ジュピターを持たない例外的な恒星の1つです。なぜ存在しないのでしょうか？ JAXA（宇宙航空研究開発機構）の宮﨑翔太氏と大阪大学の増田賢人氏の研究チームは、太陽のような年齢の古い恒星にはホット・ジュピターが少ない傾向にあることを突き止めました。これは太陽系にホット・ジュピターが存在しない理由となるとともに、太陽と似た恒星の中では、太陽系がそれほど少数派ではない可能性を示唆しています。 【▲ 図1: 典型的なホット・ジュピターの想像図。発見時は常識外れに見られていたホット・ジュピターですが、現在では発見そのものは珍しくないほどの多数派となっています（Credit: NASA, JPL-Caltech, R. Hurt）】■ “常識外れ” から多数派となった「ホット・ジュピター」天
はじめに こんにちは、19卒でGunosy Tech LabのBIチームの齊藤です。 data.gunosy.io この記事はGunosy Advent Calender 2019の4日目の記事です。昨日の記事は高橋さん(@tkhs0604)によるプロダクトマネージャーカンファレンス2019 参加レポート でした。 はじめに 背景 ベイズ統計 例: 継続率 事後分布のプロット 継続率以外の指標は？ おわりに 背景 GunosyではUI・ロジックの変更等を行う際にA/Bテストにより効果検証を行っています。 data.gunosy.io 上記のブログの通り、従来の（頻度論に基づく）仮説検定ではA/Bテストを開始する前に有意水準、検出力、効果量を定めてサンプルサイズを求めなければなりません。またサンプルサイズを定めても必要なサイズを満たすのに何日かかるかも不透明であり、施策の実行→A/Bテスト→
黒木玄 Gen Kuroki on Twitter: "ただし、 * かけ算順序問題 * ベイズ統計の教育問題 の場合には、通常のニセ科学問題やニセ医学問題の場合と違って、社会的に専門家とみなされる十分立派な地位についている人達による出版物にデタラメな話が書いてあることが普通。… https://t.co/kNdqRx2881"
ただし、 * かけ算順序問題 * ベイズ統計の教育問題 の場合には、通常のニセ科学問題やニセ医学問題の場合と違って、社会的に専門家とみなされる十分立派な地位についている人達による出版物にデタラメな話が書いてあることが普通。… https://t.co/kNdqRx2881
部屋着感なし！ユニクロの美シルエット大人スウェットでお仕事へ
あまりの美シルエットに3色も購入（もっちろん限定価格で）してしまったユニクロのスウェットクルーネックシャツ。本日はこれを着てお仕事へ。カジュアルＯＫでの現場での「聴く」お仕事ですが、このスウェットならＯＫと判断しました。 ◆トップス／ユニクロ スウェットクルーネックシャツ オフホワイト Ｓ ◆スカート／PLST シアーチェックプリーツスカート マロンチェック XS ◆アウター／PLST ダウンベスト ライトベージュ（2018） ◆靴／ナインウエスト （昔） ◆バッグ／ Mulberry ベイズウォーター （大昔）
茂木 信宏（地球惑星科学専攻 助教） 大畑 祥（名古屋大学宇宙地球環境研究所 助教） 吉田 淳（国立極地研究所 日本学術振興会特別研究員） 足立 光司（気象庁気象研究所 主任研究官） 発表のポイント 主要な気候強制因子の一つである黒色炭素の光学的物性値の現実的な範囲を解明しました。 微粒子の散乱波の位相・振幅の測定に基づく新しい観測手法によりこれを実現しました。 本成果により、リモートセンシングや気候モデリングで用いられる黒色炭素の複素屈折率の仮定値がより確かなものに更新され、気候の分析・予測の精度向上につながることが期待されます。 西部北太平洋上の大気から採取された粒子（エアロゾル）の電子顕微鏡写真の例 発表概要 東京大学大学院理学系研究科の茂木信宏助教らの研究グループは、太陽放射の吸収を通じた気候強制因子である黒色炭素（注1）について、大気放射計算に必要な光学的物性を初めて定量的に評価
どうも、コンサル部のテウです。 本記事は前回の記事の続きとなっており、「機械学習のチュートリアルコードは実行してみたんだけど、これだけで理解できるわけないじゃんー！」と思った方のための記事となります。 目次 始める前に 機械学習を入門するための方法として紹介されてある記事は既に多く存在すると思います。なぜイメージ分類モデルから機械学習を入門するの？って聞かれたら、「僕のバックグラウンドとしてイメージ分類タスクをやってましたので、これを活かしたアプローチが説明しやすい」と答えられます。あと、個人的な感想ですが、画像は視覚的にすぐ分かりやすいので複雑な Vector Space (Feature Space) のことを理解するのにも効果的な分野だと思います。 まぁ、しょうもない話より、早速ひとつづつ説明させていただきたいと思いますー！ 機械学習の一般的なプロセス 機械学習の一般的なプロセスを見
データ共有は既存の研究成果を活用することで、新技術の開発を加速させる期待が大きい（写真はイメージ＝ＴＤＫの全固体電池） ２３年度からデータマネジメント必須 研究開発のデジタル変革（ＤＸ）が日本の学術界の命題になっている。２０２３年度から公的資金による研究には、すべてデータマネジメントプランの策定が必要になる。研究データを研究室間で共有するなど、データの再利用が求められるためだ。ただ、研究者にとってデータは虎の子で、手の内を明かすメリットは見えにくい。物質・材料研究機構は早くからデータ共有に取り組み、成果を上げてきた。小さな国立研究開発法人（国研）が生み出したデータ整備の手法は、研究開発の新たなエコシステム（生態系）として期待される。（小寺貴之） 大御所、一笑に付すもＪＳＴ事業で若手活躍 「成膜装置が壊れるまで実験し続けたら、きれいな膜ができた。材料研究は泥臭い実験の繰り返し。人工知能（ＡＩ
Googleが今後28日間の新型コロナ感染者数・死亡者数などを示す「COVID-19 感染予測 (日本版)」はどういう仕組みと根拠で最終的な予測を出しているのか？
Googleが新たに公開した新型コロナ感染者数・死亡者数予測ツール「COVID-19 感染予測(日本版)」について、日本の厚生労働省は「前提条件によって結果は大きく異なる」という理由から、どのような前提条件を採用しているのかに関して問い合わせを行っています。一方、このCOVID-19 感染予測(日本版)の大本となった仕組みと根拠については、論文が公開されています。 Interpretable Sequence Learning forCOVID-19 Forecasting (PDFファイル)https://storage.googleapis.com/covid-external/COVID-19ForecastWhitePaper.pdf 2020年11月17日、Googleが日本における新型コロナウイルス感染症(COVID-19)の死亡者数・陽性者数・入院・療養等患者数を予測するツー
縄文時代人骨のライフヒストリーの解明｜事業の成果｜日本学術振興会
古人口学は、古人骨に基づき過去における人口現象（死亡率、性年齢構成など）を復元することを目的とします。従来の縄文人骨の研究では、 15歳時の平均余命は約16年で、65歳以上の高齢個体が全くありませんでした。しかし、人骨の死亡年齢の推定方法が信頼に足るものであったのか、また、人骨標本がその時代の人々の人口構成を反映しているのか、問題点がありました。狩猟採集民の民族学的調査の結果や宗門改帳に記録された江戸時代人など、近代以前の社会で高齢個体が皆無という集団は存在しないからです。また、従来の古人口学的研究では、高齢者の年齢を若く見積もるため、その割合が過小評価されるという批判がありました。 縄文人が何歳で死亡していたかを解明するために、ベイズ推定に基づいて縄文人骨の死亡年齢分布を求めました。ベイズ推定は、あらかじめ分かっている情報に基づいて未知のデータを分析する方法です。観察したのは骨盤の関節の
会社のDX推進に欠かせないデータサイエンティストですが、具体的にどのようなスキルを備えている必要があるのでしょうか。今回は一般社団法人データサイエンティスト協会が公開している「データサイエンティストスキルチェックリストver5」の内容に則り、データサイエンティストに求められる3つのスキルセットを解説します。 データサイエンティストに必要な3つのスキルセットとは？ データサイエンティストには、大きく分けて「データサイエンス力」「データエンジニアリング力」「ビジネス力」の3種類のスキルが求められます。 データサイエンス力 データサイエンス力は、企業のビジネス課題に関連するデータを情報科学理論に基づいて分析し、課題解決につなげる能力です。企業が効率的にデータを活用できるかどうかはデータサイエンティストの解析能力に大きく左右されるため、データサイエンティストにとって要のスキルと言えます。 データエ
この記事はBASE Advent Calendar 2019の20日目の記事です。 devblog.thebase.in DataStrategyの岡が担当します。 Prophet is 何？ ProphetはFacebook社製の時系列予測ライブラリです。RとPythonから利用でき下記gitで公開されています。 https://github.com/facebook/prophet 分析者仲間の間で「時系列予測ならまずこれを使っとけ」と言われるくらい高精度らしいのですが、私自身がイマイチ理論を把握してない & ググってもさらっとした解説の日本語ドキュメントしかない印象です。 Prophetの元となる論文は下記にて公開されています。 https://peerj.com/preprints/3190.pdf 冒頭だけ読むと、時系列分析の知見のない人でもドメイン知識を組み込みながら予測ができ
きちんと見えるジャケパンスタイルでの会合出席
今日は仕事で、ある会合に出席しました。足元ヒョウ柄ですが、バッグの中にミドルヒールの黒パンプスを忍ばせていまして、現場で履き替え。ガッツリ「きちんと見え」を狙ったコーデです。 ◆トップス／PLST ポリ2wayストレッチＶネックブラウス ブラック Ｓ→ この日と色違い ◆パンツ／PLST ポリ2WAYストレッチワイドパンツ 黒 XXS →この日と色違い ◆ジャケット／PLST ポリ2wayストレッチカラレーレスジャケットXS ライトグレー →この日と色違い ◆靴／ナインウエスト （大昔） ◆バッグ／ Mulberry ベイズウォーター （大昔） コスプレだと割り切って楽しもう！ 仕事も含めて基本カジュアルなわたくしにしては珍しいこのようないでたち。どうしても、ときどきありますよねー。役割にあわせて「らしくない」服装をしなくてはらなないとき。 そのような場合、「自分らしくなくて着心地が悪い」
はじめに 単一の分布を使ったモデル 正規分布 同時分布の設計 同時分布からのサンプリング Pyroコード ベルヌーイ分布 同時分布の設計 同時分布からのサンプリング Pyroコード カテゴリ分布 同時分布の設計 同時分布からのサンプリング pyroコード 混合モデル ガウス混合モデル 同時分布からのサンプリング Pyroコード ディリクレ過程混合モデル（某折過程モデル） 同時分布からのサンプリング Pyroコード 最後に はじめに Pyroで確率モデリングを書くときには「確率モデリング自体を知ること」と「Pyroの書き方を知ること」の両方が必要です。今回はPyroの書き方に重点をおいて、とある確率モデルを記述するためのPyroでのコード例を適当に記載します。 約束事として、観測変数（データ） $x$ に対して、このデータの生成にまつわるパラメータをすべてひっくるめて $\theta$ と記
この記事について 著者の馬場真哉様より、2019年7月10日に講談社より発売の、「RとStanではじめる ベイズ統計モデリングによるデータ分析入門」をご恵投いただきました。ありがとうございます！！ www.kspub.co.jp 事前に献本をいただけるということを伺っていたので、その時から「ご恵投いただきました！」とTwitterで報告するだけでなく、簡単にでも読んでみた感想を書こうと決めていました。 まだざっと読んだ段階で、コードを実際に走らせてもいないのですが（もちろん後でじっくり読みながら実行します）、感想や関連書籍との比較をしていきたいと思います。 本記事の方針 本書の「はじめに」の部分やサポートページには、以下のような方を対象読者としていると書かれています。本記事も、そのことを念頭に書いていこうと思います。 統計学の基礎やベイズの定理などの基本事項を学んでみたものの、その有効性が
株式会社ブレインパッドでデータサイエンティストをしている23新卒の泉です。 この記事はBrainPad Advent Calender 2023 24日目の記事シリーズ2です。 今日はクリスマスイブですね。ということで「ツリー」に関連して決定木について紹介します。 Bayesian CARTとは Bayesian CART(Bayesian classification and regression tree)は、Chipmanら(1998)において提案されたベイズ的な考え方に基づく決定木です。 Bayesian CARTの概要は次の通りです。 決定木とその終端ノードを確率変数とみなした上で尤度と事前分布を設定し、決定木の事後分布を導出します。 決定木の事後分布からメトロポリス・ヘイスティングス法を用いて大量の決定木をサンプリングします。 サンプリングした決定木の事後確率をもとに「よい」決
瀬川深 Segawa Shin on Twitter: "これはホントにそう思う。ベイズだの特異度だのと屁理屈捏ねてたんなら、抗原検査などお話にならないはずなのだが……。 https://t.co/eBLcWd8UFa"
これはホントにそう思う。ベイズだの特異度だのと屁理屈捏ねてたんなら、抗原検査などお話にならないはずなのだが……。 https://t.co/eBLcWd8UFa
ここまで5回（1,2,3,4,5）に渡って、「検査をすると患者が増える」「検査をすると医療崩壊」「検査をすると人権侵害」といったジャパンオリジナル・国策翼賛エセ医療・エセ科学デマゴギーについて実際の世界の統計と照合することによってそのペテンを暴いてきました。 面白いことに、連載開始前はネットで大暴れしていた「ベイズ推定をするとPCR検査は60%が偽陽性」とか言ったジャパンオリジナル・国策翼賛エセ医療・エセ科学デマゴギーのブログ、まとめサイト、Togetterまとめが蜘蛛の子を散らすように消えてしまいました。幾つかは保存していますが、ニセ科学批判・ニセ医療批判では、そこそこ知られた方々がこのデマゴギーに翼賛し、半年間暴れ回った挙げ句そっと消してしまったのには、その不誠実さに心底呆れています。 これらの方々が、なぜ仮説の検定や、仮説と事実との照合という科学のイロハのイを怠ったのかは謎です。どの
『計量経済学』（末石本）はエコノメトリクスのエッセンスを「オールインクルーシブ」で簡潔にまとめた必読の一冊 - 渋谷駅前で働くデータサイエンティストのブログ
計量経済学 ミクロデータ分析へのいざない 作者:末石 直也日本評論社Amazon データ分析業界の友人から「読んでみたら物凄く良かった」と勧められて買ったのが、こちらの一冊。同名の書籍は沢山あるので、ここでは著者の末石先生のお名前を取って「末石本」と呼ばせていただきますが、これが本当に物凄く良くて感嘆させられるばかりでした。 ということで、門外漢が書いて良いものかどうか迷うところですが簡単に書評をまとめてみました。特に操作変数法を中心とする因果推論・自然実験まわりの確かな知識を得たい人にはお薦めだということを最初に書き添えておきます。なお、いつもながらですが僕の理解があやふやなため書評の中には怪しい箇所もあるかと思いますので、お気付きの方はコメント欄なりでご指摘くださると幸いです。 本書の内容 第1章 線形回帰とOLS 第2章 操作変数法 第3章 プログラム評価 第4章 行列表記と漸近理論
0. 本記事について免責と想定読者本投稿は、浅見個人の意見や信念を多く含む"ポエム"です。必ずしも所属組織を代表する意見ではありません。 また、本記事の想定読者は、データ分析（データ活用）を担当する課に配属された行政職員です。特に専門職採用というわけでもなく、データ分析・モデリングの特別な教育を受けていない読者を想定しています。 あくまで行政職員をイメージしているため、民間企業では適切ではない事例も多いかと思います。ご了承ください。 データ活用の主語についても、あくまで「行政職員」を想定しています。「国民」を主語にしたデータ活用の課題（例えば、神Excel問題や煩雑な紙申請問題など）は本記事ではスコープ外としています。 なお、本記事では「政策」「施策」「事業」について、特に区別を設けず「政策」という言葉で統一しています。 要約1. 最初の一歩 まずメトリクスを定義して、監視する習慣をつけま
焼き鳥屋で刑法学者と意気投合してコインハイブ事件について書き出すだけの難儀なお仕事 - 白のカピバラの逆極限 S.144-3
JavaScript で仮想通貨を採掘するコインハイブというライブラリがありました。 コインハイブ事件というのは、この仮想通貨をマイニングするプログラムコードを自身の管理するウェブサイトに設置したところ、不正指令電磁的記録保管罪(刑法168条の3)に問われたというものです。 このコインハイブ事件に関して、「アプリ開発の実務を踏まえた不正指令電磁的記録に関する罪の一考察 －コインハイブ事件を契機としてー」というタイトルで千葉大学の紀要に書き、千葉大学のページ上で PDFでも公開されました。 https://opac.ll.chiba-u.jp/da/curator/900119535/S09127208-36-1-P056.PDF https://opac.ll.chiba-u.jp/da/curator/900119535/ 内容に入る前に、まずは、この事件に関わっている、被告人、弁護士、
「コロナは全員検査しろ」という人は、これを読んでいただきたい。そしてご自身の「勘違い」に向き合っていただきたい。「勘違い」を自分で修正することは、いつでもできますし、それができる人は賞賛されます。 ベイズ推定をおおまかに理解し、想像する 「ベイズ推定」（≒「ベイズ統計」「ベイズの定理」）は、今話題になっているコロナ感染症でPCRをやるかやらないか、という議論の背景を理解するために欠かせない考え方です。ベイズ推定を、数式でなく直感的にでも理解していないと「誰でも全員PCRしろ」という（現況では）誤謬から逃れられません。 ベイズ推定を直感的に把握できる、ものすごくわかりやすいページがありますからご紹介します。直感的な把握のためには前半分くらい、数式の手前まで読めばいいです。 先のページの図を参考に下図を描き、要素をコロナに置き換えました。 下図の縦割りの左側（先のページでの「買った人」）がコロ
大量のデータを分析して特徴点を見いだし、何らかの識別を行う仕組み（識別器）を作り出す「機械学習」（ML）やそれを生かした人工知能（AI）技術。これらをうまく活用すれば、より良いセキュリティ対策を実現できるのではないか――そんなコンセプトで研究を進め、ML／AIを活用した不正検知システムを提供するスタートアップ企業、ChillStackを立ち上げた伊東道明氏に、企業のセキュリティ対策にAIが求められる背景や、MLとセキュリティの掛け合わせが秘める可能性について尋ねた。 機械学習とセキュリティ、掛け合わせの相性が良い理由 伊東氏は法政大学でML関連の研究室に所属しているが、入学当初からセキュリティに興味を持ち、CTF（Capture The Flag）や「セキュリティ・キャンプ」などの場に参加しながら技術を磨いてきた。「ずっとセキュリティ関連の勉強をやってきたが、3年生になる時、新しいことを学
モチベーション 私のブログの方(Machine Learning For Algorithmic Trading 解説リンクまとめ)で上級者向けに日本語でアルゴリズム取引に関する本を翻訳、解説しているのですが、いきなり始めるにはかなり難易度が高いと思いました。 そこで、アルゴリズム取引の目標や、どういった分野を勉強するのか、そして、どういった予備知識があれば良いのかについてここでは紹介したいと思います。 ここで書いてある技術的なことや細かい部分はブログでコード付きで紹介しているので、興味ある部分はブログの記事を直接参考にする等ご自由にご活用くださいませ。 新しく始めたい方や既に始めているけど知識に穴がある方の参考になれば幸いです。 1.1 目標: アルファを見つけよう！ 投資の定量分析者の目標は、「将来の価格変化率を説明出来る変数=新しいアルファを持つ変数の探索」と「そのリターンをシステム
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MLflowのXGBoost拡張を読んでみる - 株式会社ホクソエムのブログ
新たな超高率機械学習トランジスタがAIのエネルギー消費量を99％削減する | TEXAL
『Pythonではじめる数理最適化』の7章「商品推薦のための興味のスコアリング」をStanで解く
トランプ政治再考――進化政治学と自己欺瞞の政治的リーダーシップ/伊藤隆太 - SYNODOS
新卒データサイエンティストたちの活躍。働きやすさと成長を実現する組織体制
データよりもストーリーを、相関よりも因果を。
ブラックボックス最適化と結晶構造解析の出会い – 機械学習で材料科学の新たな発見を導く
［AI・機械学習の数学］機械学習でよく使われる「ベイズの定理」を理解する
AIによるLinuxカーネルのチューニング--バイトダンスの新たな試み
太陽系に「ホット・ジュピター」が存在しないのは太陽系の年齢が理由かもしれない
A/Bテストの時間短縮に向けて 〜ベイズ統計によるA/Bテスト入門〜 - Gunosyデータ分析ブログ
Press Releases - 東京大学 大学院理学系研究科・理学部
【入門】イメージ分類モデルから入門する機械学習の基本概念まとめ | DevelopersIO
日本学術界の命題「研究開発ＤＸ」、小さな国立研究開発法人が先鞭 ニュースイッチ by 日刊工業新聞社
データサイエンティストに必要な3つのスキルセットとは？くわしく解説
Prophetのモデル式を1から理解する - BASEプロダクトチームブログ
【PyTorch・Pyro】モデリングレシピ - HELLO CYBERNETICS
「RとStanではじめる ベイズ統計モデリングによるデータ分析入門」書評 - nora_goes_far
ベイズ的方法に基づく決定木:Bayesian CART - Qiita
検査法の原理を知ればあり得ない「検査をすると患者が増える」エセ医療・エセ科学デマゴギー(前編) « ハーバー・ビジネス・オンライン
行政職員のためのデータ活用一歩前｜METI-DX 経済産業省DXオフィス
「コロナは全員PCRしろ」という人は「ベイズ推定」と検査の実効を理解する必要がある｜sheemer
機械学習／AIとセキュリティの組み合わせが秘める可能性と2つの課題
アルゴリズム取引を始めよう！ ～イントロダクション～ - Qiita