本記事の内容は新ブログに移行されました。 新しい記事へ こちらのブログにコメントをいただいても ご返信が遅れてしまう場合がございます。 予めご了承ください。 ご質問やフィードバックは 上記サイトへお願い致します。 今回は，確率モデルの潜在変数・パラメータの事後分布を求めるための繰り返し近似法である変分ベイズ法（Variational Bayesian methods）の解説とPythonで実装する方法をお伝えしていこうと思います。 本記事はpython実践講座シリーズの内容になります。その他の記事は，こちらの「Python入門講座/実践講座まとめ」をご覧ください。また，本記事の実装はPRML「パターン認識と機械学習＜第10章＞」に基づいています。演習問題は当サイトにて簡単に解答を載せていますので，参考にしていただければと思います。 【目次ページ】PRML演習問題解答を全力で分かりやすく解説
はじめに 形状のわからない関数(ブラックボックス関数)の最大値あるいは最小値を求める手法として、ベイズ最適化が広く利用されています。機械学習モデルのハイパーパラメーター最適化を中心に活用が進んでいますが、入力とそれに対する評価値さえ設計できればあらゆる問題に適用できます。 例えばFacebookでは、MLモデルのチューニングはもちろん、映像コーデックのエンコードパラメーター 1、AR/VRハードウェア設計、HHVM JITコンパイラのパラメーターチューニングにベイズ最適化を適用するため BoTorch や Axの開発を進めています (F8 2019の発表 Product Optimization with Adaptive Experimentation を参照)。 弊社では多くのサーバーシステムでGo言語が採用されていますが、サーバーのgoroutine数やキャッシュシステムのメモリーバ
前回までに、本邦を覆い尽くし、世界で唯一COVID-19対策に必須のPCR検査を抑制するという完全に誤った医療政策の論拠となっている「ジャパンオリジナルPCR検査抑制エセ医療・エセ科学デマゴギー」の中核として存在する根本的に誤ったベイズ推定について二回（１、２）にわたって解説してきました。 この根本的に誤ったベイズ推定は、医師個々人だけでなく、医師会、医療団体、メディアに浸透してしまい、間違いなく歴史に残る大医療不祥事を現在進行形で引き起こしています。 この誤ったベイズ推定は、自分で計算してみる、計算結果をもとに考えてみる、事実と照合してみる、文献を調べるといった科学的には当然の手順を踏めば、その日のうちにこれは根本的に誤っていると確信できるものです。 科学・工学研究者だけでなく、人文学研究者もおかしさに気がついている人が多く見られますが、これは学問としての原点が同一で、思考法、発想法が同
BigQuery MLでスロット使用量が急増しているプロジェクトやユーザーを異常検知する - yasuhisa's blog
背景 どうやって異常を検知するか BigQuery MLでの異常検知 検知できるモデルの種類 共通設定 データの前準備 モデルの学習 モデルを元にスロット使用量が異常に増加していないか予測する 所感 背景 BigQueryはオンデマンドとフラットレート(定額料金)がある オンデマンドはスキャン量がお金に直結するため、INFORMATION_SCHEMA.JOBS_BY_*などを使ってクエリ警察をしている方も多いはず INFORMATION_SCHEMAに代表されるデータ管理に役に立つ現場のノウハウを最近会社のTech Blogに書いたので、そちらも見てね 一方で、フラットレートに関しては定額使いたい放題のプランであるため、オンデマンドよりはクエリ警察をしていない場合もある 見れるなら見たいが、どうしても支出に直結するオンデマンドを優先して見てしまいがち。工数も限られている が、あまりに自由
連載目次 前回までは、特定の事象（できごと）が起こる確率の取り扱いやベイズの定理などについて見てきました。ここからは「確率分布」について見ていきます。 確率分布とは、全ての事象に対する確率を洗い出して、それらの事象がどのような確率で起こるかを表したもの……いわば全体像を表したものと考えていいでしょう。といっても、抽象的すぎて何のことか分からないかもしれませんね。しかし、具体例を見れば「なんだそんなことか」と簡単に分かる話です。 ここでは「分布」とはそもそもどういうものか、ということから始め、今回は離散分布の例としてベルヌーイ分布と二項分布を、次回は連続分布の例として正規分布とベータ分布を紹介します。併せて次回、ごく簡単にではありますが、事前分布や事後分布など、ベイズ統計に関する話題についても触れます。具体的には、今回と次回で以下のようなトピックを扱います。
「量子アニーリングの基礎」を読む 第5日 https://qiita.com/kaizen_nagoya/items/116a5a6add72a5bf1630
「量子アニーリングの基礎」西森秀稔, 大関真之, 共立出版, 2018 を読む https://qiita.com/kaizen_nagoya/items/29580dc526e142cb64e9 『量子アニーリングの基礎』正誤表 (西森秀稔・大関真之 著) 2019年6月20日更新 https://www.kyoritsu-pub.co.jp/app/file/goods_contents/3037.pdf 量子アニーリングの数理 東京工業大学 大学院理工学研究科 物性物理学専攻 西森 秀稔 https://repository.kulib.kyoto-u.ac.jp/dspace/bitstream/2433/189516/1/bussei_el_033203.pdf 本は、 １ 量子力学 ２ 熱力学、統計力学 がわかっている人にとっての丁寧 ここでは、どちらもわかっていないことを前提
AI技術を活かすためのスキル
現代社会は多くのデータで溢れていますが、価値はデータや予測ではなく、意思決定によって生まれます。本書では、データの分析スキルを、ビジネス上の課題をより良い意思決定をもって処方的に解決するための能力であるとし、多くのユースケースを交えて解説します。ビジネス上の問いの立て方からスタートし、達成したい成果を明らかにした上でそのためのアクションを逆算していく。不確実性や因果関係の処理によって生み出される問題なども詳しく論じます。 監訳者まえがき はじめに 1章 分析的思考とAIドリブン企業 1.1 AIとは何か 1.2 現在のAIが約束を果たせていないのはなぜか 1.3 どのようにして現状に至ったか 1.3.1 データ革命 1.4 実現されていない期待の物語 1.5 今日のAIドリブン企業に求められる分析スキル 1.6 この章の重要な論点 1.7 参考文献 2章 分析的思考入門 2.1 記述的、
クロス表とベイズの公式に基づく新型コロナPCR検査抑制論の検討（授業用資料）Ver.2 (PDFはVer.4) - 朴勝俊 Park SeungJoonのブログ
日本のPCR検査数(人口比)は先進国で最下位レベルです。ニュージーランドや台湾、韓国、中国などは少数でも感染者が見つかれば大量のPCR検査と隔離を行い、感染ゼロを目指していますが、日本は「専門家」たちがPCR検査の精度が低い、徹底的な検査を行うとニセ陽性が出るのでよくない、などと言う説を流布し、政府もそうした説明に影響されて住民に対する検査は徹底されていません。例えば、2021/7/1～8/16までの、東京都（人口1400万人の検査数は計54万2781件、陽性者数11万1699件、陽性率約20.6%です。他方で、東京オリンピックの選手・関係者の数万人には世界水準の徹底した検査と隔離が行われてきました（2021/7/1～8/16までの総計で73万0979件、陽性件数204件、陽性率約0.03%）[1]。 今回はクロス表とベイズの公式に基づいて、PCR検査の精度についてやさしく学び、コロナ対策
大人はどうする？ 前だけイン2020
日曜日だというのに朝から外仕事のhirariでございます。みなさま、いかがお過ごしですか？ 台風が気になります。進路に当たる地方のみなさま、どうかしっかり準備をなさって、くれぐれもお気をつけください。 ◆トップス／plst バックタックブラウス S ◆パンツ／plst リネンブレンドスティックパンツ パープル XS ◆靴／EVOL グリッターバレエパンプス ブラック ◆バッグ／ Mulberry ベイズウォーター （大昔） 人気検索ワード「前だけイン」 で、本日のお題は「前だけイン」です。 スタートから1年8カ月になりました当ブログ、毎日多くの方が検索ワードを辿って読みにきてくださるのですが、「前だけイン」は、その人気ワードのひとつ。 「前だけイン 終了」とか「前だけイン いつまで」とか「前だけイン 古い」とか「大人 前だけイン ダサい」（笑）、あるいは「前だけイン 2020」などの検索ワ
はじめに こんにちは。dely開発部の辻です。 本記事はdely Advent Calendar 2019の4日目の記事です。 qiita.com adventar.org 昨日は弊社CXO坪田が「突破するプロダクトマネジメント」という記事を書きました！ プロダクトマネージメントっていつの時代も課題山積ですよね。弊社も多分に漏れずたくさんの課題を抱えているわけですが、それらをどのように突破していくか様々な観点からの具体的な取り組みが書かれていますので興味のある方は是非読んでみてください。南無。 blog.tsubotax.com さて本日は「Jupyterもいいけど、SageMath使って可能性もっと伸ばそう！」ということで、普段Jupyter Notebook使ってるという人向けに、どうせならSageMathを使ってやれること増やしませんか？という内容になっています。そこで、SageMa
経緯 線虫がん検査（登録商標：N-NOSE）が（悪い意味で）話題になっています。 大まかな流れとしては、 株式会社HIROTSUバイオサイエンスが開発したN-NOSEが精度86%などと謳っていた 上松医師や週刊文春が、N-NOSEの開発プロセスにおいて不正行為があったと疑義を呈した HIROTSUバイオサイエンスが報道に強く抗議した 上記のようなものです。 bunshun.jp www.youtube.com hbio.jp 不正の疑義 疑義の内容としては、 検体の種別について遮蔽がおこなわれていなかった 判定に広津代表による判断が入っていた 再現性に乏しい といったものです。もし明確な判定基準が無く判定員の勘に相当する部分が大きいのだとすれば、線虫が判定すると謳う部分が疑わしくなりますし、個人の判断で振り分けたのであれば、人為的に、性能を高いほうに不当に評価するというバイアスをかける事に
生成 Deep Learning
以下、日本語版の動作確認で使用したコマンドラインの例です。 $ python 01_generate_data.py car_racing --total_episodes 200 --time_steps 300 $ python 02_train_vae.py --new_model $ python 03_generate_rnn_data.py $ python 04_train_rnn.py --new_model --batch_size 100 $ python 05_train_controller.py car_racing -n 4 -t 1 -e 4 --max_length 1000 賞賛の声 訳者まえがき まえがき 第I部 生成型ディープラーニング入門 1章 生成モデリング 1.1 生成モデリングとは何か？ 1.1.1 生成モデリングと識別モデリング 1.1.2
文章で人にアイディアを伝えるのって難しいんですね。 めげずにやっていきたい。 別の書き方で 2/3 派に反論していきたい。 まず問題と 2/3 派の模範解答を再掲する。 問題 ２人きょうだいの子供のうち、１人が男の子の場合、もう１人が女の子である確率はいくらか？ 解答 すべてのパターンはこう。 j k l m older older older older 男 男 女 女 男 女 男 女 younger younger younger younger *1 問題の条件からどちらも女性のペアである m は除外できる。 全パターンは j と k と l の３パターン。 そのうちもう一人が女の子のパターンは k と l の２パターン。 ゆえに 2/3 。 ここから反論 この問題を見て素直に表を書くならこうだろう。 g h i 男 男 女 男 女 女 *2 表（２）は、表（１）の中の h（男, 女
10万点以上の点群位置合わせ問題を2分で解く 金沢大学の広瀬修氏がアルゴリズムを考案：「写真からフェースモデルを復元」「顔認識」など 金沢大学の助教である広瀬修氏は、点群位置合わせ問題を解くための新たなアルゴリズムを考案した。点群位置合わせ問題をベイズ統計学に基づいて定式化することで、最高精度の解を最小計算時間で見つけることに成功したとしている。
今年の10冊 - 備忘録
恒例のエントリーです。以下、順不同で。 ジェイン・ジェイコブス（香西泰訳）『市場の倫理 統治の倫理』 市場の倫理 統治の倫理 (ちくま学芸文庫) 作者:ジェイン ジェイコブズ発売日: 2016/02/09メディア: 文庫 traindusoir.hatenablog.jp ケネス・アロー（村上泰亮訳）『組織の限界』 組織の限界 (ちくま学芸文庫) 作者:アロー,ケネス・J.発売日: 2017/03/08メディア: 文庫 アローといえば、一般均衡理論におけるアロー＝ドブルー・モデルや「アローの不可能性定理」によって知られるが、本書では、（サイモンやウィリアムソンにみられるような）組織の経済学について主に論じられる。組織の経済学では取引費用の概念が中心を占めることが多いが、本書の議論で中心を占めるのは情報の不完全性やシグナルである。また、ジェイコブス『市場の倫理 統治の倫理』にある取引を可能に
自律的に化学実験するロボット科学者、研究の自動化に成功 8日間で約700回の実験、人間なら数カ月 | Chem-Station (ケムステ)
ケムステニュース 自律的に化学実験するロボット科学者、研究の自動化に成功 8日間で約700回の実験、人間なら数カ月 2020/8/24 ケムステニュース, 化学, 化学一般, 化学合成, 海外ニュースより ロボット科学者, 光触媒 コメント: 0 投稿者: Zeolinite 英リバプール大学の研究チームが開発した 「A mobile robotic chemist」は、年中無休で化学実験を自律的に行う研究ロボットだ。人間だと数カ月かかるところを8日で完了し、研究の自動化を実証した。 (引用：7月15日 ITmedia) 実験の手間を省き、ミスを減らすために作業を自動化することは重要ですが、ラボスケールの有機合成実験において自動化が実現しているのは、GCやNMRなどのオートサンプラーによる自動測定や有機合成装置によるプログラミング運転など、部分的な作業がほとんどで、実験すべてを自動で行う
ホクソエムサポーターの白井です。 今回は前回 【翻訳】機械学習の技術的負債の重箱の隅をつつく (前編) の続きを紹介します。 blog.hoxo-m.com ※この記事は、Matthew McAteer氏によるブログ記事Nitpicking Machine Learning Technical Debtの和訳です。原著者の許可取得済みです。 後編では、コードのアンチパターンなど、エンジニアには身近な話題で、前編と比較して実践しやすいコンテンツも多いと思います。 Nitpicking Machine Learning Technical Debt (機械学習の技術的負債の重箱の隅をつつく) Part5 MLコードにある共通のダメなパターン Part6 構成の負債 (退屈だけど修正は簡単) Part7 解決への夢を打ち砕く実世界 Part8 奇妙なメタセクション サニティーチェック (Sani
多重共線性のシミュレーション - 井出草平の研究ノート
下記エントリーの続き。 ides.hatenablog.com こちらの教科書から多重共線性について Statistical Rethinking: A Bayesian Course with Examples in R and STAN (Chapman & Hall/CRC Texts in Statistical Science) 作者:McElreath, RichardChapman and Hall/CRCAmazon Richard McElreath - Statistical Rethinking_ A Bayesian Course with Examples in R and STAN 6.1. 多重共線性 一般に、回帰モデルに追加する潜在的な予測変数が多くあることは事実である。たとえば、霊長類のミルク・データの場合、我々が結果として選ぶどの列も予測するために利用可
機械学習における強化学習の一種である「Q学習」は、行動主体となるエージェントが現在の状況と未来の状況、そして得られる報酬から最適な答えを学習する手法です。そんなQ学習にベイズ推定の要素を取り込む研究が機械学習エンジニアのBrandon Da Silva氏によって行われています。 brandinho.github.io/bayesian-perspective-q-learning/ https://brandinho.github.io/bayesian-perspective-q-learning/ Q学習の基本的な考え方は「ある状態の価値(Q値)は、得られる報酬と次の時点の状態の価値から決まる」というもので、以下の式で表されます。「q(s, a)」は現在の状態からある行動を取った時の価値、「r」は得られる報酬、「q(s', a')」は次の地点での状態からある行動を取った時の価値を表して
『統計学を哲学する』(名古屋大学出版会) - 著者：大塚 淳 - 大塚 淳による本文抜粋 | 好きな書評家、読ませる書評。ALL REVIEWS
著者：大塚 淳出版社：名古屋大学出版会装丁：単行本（ソフトカバー）（248ページ）発売日：2020-10-26 ISBN-10：4815810036 ISBN-13：978-4815810030 内容紹介: 統計学は実験や臨床試験、社会調査だけでなく、ビッグデータ分析やAI開発でも不可欠である。ではなぜ統計は科学的な根拠になるのか？ 帰納推論や因果推論の背後に存在する枠組みを浮き彫りにし、科学的認識論としてデータサイエンスを捉え直す。科学と哲学を架橋する待望の書。 現代の科学において、ほとんど特権的な役割を担っているといってもよい統計学。そもそもなぜ統計は科学的な根拠になるのでしょうか。SNSでも話題となり、発売直後から品切れが続出するなど異例の売行きをみせている注目の新刊『統計学を哲学する』。今回は序章の冒頭抜粋を特別に公開します。本書が目指す「統計学を哲学する」とは、どのような試みなの
行動経済学で【レポート見落とし問題】をコストゼロで解決し三方ヨシの仕組みを提案☢️放射線科医ポンポン on Twitter: "このニュース、放射線診断医師は憂鬱なtweetが目立っていた。 私も同様である。 その理由はベイズ推定にある。 あなたが感度99%、特異度99%のHIV検査を受けたと仮定する。 なんと陽性の結果であった。 血液1滴でがん検査… https://t.co/reQQBbGBvl"
このニュース、放射線診断医師は憂鬱なtweetが目立っていた。 私も同様である。 その理由はベイズ推定にある。 あなたが感度99%、特異度99%のHIV検査を受けたと仮定する。 なんと陽性の結果であった。 血液1滴でがん検査… https://t.co/reQQBbGBvl
おはようございますまたはこんにちはまたはこんばんは，カイヤンです． 本記事はIQ1 Advent Calendar 2019（主催者 id:chakku000 ）における12月9日の記事です． 参考：IQ1 Advent Calendar 2018 2018/12/11の拙著記事「IQが1のデータ分析：respects いつも何度でも尋ねられること」 おことわり 今回は，ベイズ推論の特異学習理論（Watanabe理論，W理論）についての記事です．IQ1なので数学的に厳密な書き方でないどころか数式が登場しませんのでご了承ください． また，IQ1なために各論文を肯定的に読んでいます（理論が中心の紹介ですが一部の数値実験についても）．クリティカルリーディング要素はありません．申し訳ありません． よりおことわりらしいおことわりはIQ1AdCの雰囲気をぶち壊すので折り畳みます． IQ1AdCそのもの
[R] CausalImpact でできること, できないこと - ill-identified diary
概要Brodersen, Gallusser, Koehler, Remy, & Scott (2015) により提案され, R で実装された時系列因果推論フレームワーク, CausalImpact は, シンプルで分かりやすい difference in differences (DID) の因果推定理論に基づいており, マーケティングイベントがもたらすインパクトを計測するツールとして紹介されている. しかし, DID が非常にシンプルであれるのは, 厳格な仮定を置いているからであり, 利用する際には多くの注意が伴う. そこで今回は, より発展的な理論について考察したことを垂れ流してみる. あとついでに tsibble パッケージの使い方とかも少しだけ触れている. この問題は CausalImpact の考案以前からある議論についても振り返る必要があるので, まず Rubin (1974
![[R] CausalImpact でできること, できないこと - ill-identified diary](https://cdn-ak-scissors.b.st-hatena.com/image/square/74171644a04868719f87b790d8c2ed5c7db604a5/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fi%2Fill-identified%2F20191009%2F20191009025251.png)
黒木玄 Gen Kuroki on Twitter: "#統計 最近知ってあきれたのが、高校数学レベルの易しい話(実際に大学入試問題でも出題されている話)なのに、「感度」「特異度」「事前オッズ」「事後オッズ」「陽性尤度比」のような新たな用語を導入して、さらに「ベイズ」とか言い出す人達が沢山いること。医療統計という分野の話。"
#統計 最近知ってあきれたのが、高校数学レベルの易しい話(実際に大学入試問題でも出題されている話)なのに、「感度」「特異度」「事前オッズ」「事後オッズ」「陽性尤度比」のような新たな用語を導入して、さらに「ベイズ」とか言い出す人達が沢山いること。医療統計という分野の話。
物理キーボード不要 机の上で「指だけタイピング」を実現する手首型デバイス「TapType」【研究紹介】 2022年6月13日 スイスのETH Zurichの研究チームが開発した「TapType: Ten-finger text entry on everyday surfaces via Bayesian inference」は、フルサイズの物理キーボードで文字を入力するのと同じように、机上などの硬い表面で物理キーボードなしにタイピングが行える手首型ウェアラブルデバイスだ。外出先の机上にスマートフォンを置き、その周囲の机上で従来のQWERTYキーボードレイアウトでタイピングが行える。 ▲（a）スマートフォンへのテキスト入力、（b）タブレット端末へのタイピング、（c）モバイルシナリオでの音声フィードバックとの併用、（d）触覚フィードバックによるタイピングを補完するためのVR環境での応用 ke
心理学における理論の危機について - Computational Clinical Psychology Lab
この記事は，Open and Reproducible Science Advent Calendar 2019の8日目の記事です。 事前登録はよくても不必要？ 2019年の11月初めに，Aba SzollosiらのPreregistration is redundant, at bestというタイトルのプレプリントが出ました*1。事前登録は良くても不必要という感じの少々過激なタイトルということもあって，Brian Nosekがそれを以下のツイートで紹介をしてから，Twitter上で議論がなされていました。 New preprint: "Preregistration is redundant, at best". A brief piece by @djnavarro and colleagues critiquing the value and limits of preregistr
Optuna™は、オープンソースのハイパーパラメーター自動最適化フレームワークです。 「Optuna Meetup #1」では、Optunaのユーザー、導入を検討している方、また開発者を中心に、Optunaの様々な活用方法が共有されました。Yamazaki氏は、Optunaの開発のきっかけ、歴史、そして概要について発表をしました。全2回。前半は、Optuna開発の理由と、概要について。 社内用として開発され、毎日2万回ダウンロードされるまで成長した「Optuna」 Hiroyuki Vincent Yamazaki氏：Optunaの開発をしています、Yamazakiです。ふだんは、Preferred Networksというところでエンジニアをしています。今日は「Optuna」の紹介をします。 今回はMeetupの1回目なので、Optunaの基本的なところで、どういった問題を解いているかと、
KDD Cup2019 5位入賞！まだまだ新しい技術を身に付けたい。これからも技術者として挑戦を続けます。｜TO THE FUTURE｜日鉄ソリューションズ
世界中からデータ分析界隈の技術者が集まり能力を競う「KDD Cup」。この世界的な大会にNSSOLのフェローであり、グループ会社の金融エンジリアリング・グループ（FEG）の代表取締役社長である南 悦郎さんが初参加で5位入賞を果たしました。南さんはNSSOLでシステム研究開発センター所長を務めるなどAIを専門に活躍してきた技術者です。その南さんが闘ったKDD Cup2019とはどのようなものだったのでしょうか。 KDD Cup初の試み データのないデータ分析の課題に参加者が困惑？ ―― 国際的なデータ分析コンペティンションであるKDD Cupに5位入賞、おめでとうございます。今年はどのような大会でしたか。 南：39か国から2800チームほど登録がありましたが、実際に競技に加わったのは1200チームで5000人程度が参加したようです。 今回は初めての試みでトラックが3つに分かれていました。 1
GitHub Copilotの使用方法：Python、PyTorchを少しだけ実装してみた動画解説記事です - Qiita
GitHub Copilotの使用方法：Python、PyTorchを少しだけ実装してみた動画解説記事ですPythonGitHub機械学習DeepLearninggithubcopilot 本記事ではVScodeのGitHub Copilot拡張機能を使用しつつ、Python、PyTorchで実装を少しだけ試した内容を動画付きで紹介します。 本記事の内容 ０. GitHub Copilotとは １. GitHub CopilotでMNISTのDataLoaderを作成し、画像を描画してみる ２. 関数の作成・実行と、docstringの自動作成 ３. さいごに ０. GitHub Copilotとは 「GiHub Copilot」とは、コーディング時にコーディング内容をAIが自動提案（自動補完機能にほぼ似ている）してくれる機能です。 先に記述したこれから実装したい内容を解説したコメント文や
赤木智弘＠守ろう表現の自由❤️🇺🇦❤️🇷🇺 on Twitter: "ファイザーのワクチンには95%の感染予防が期待できるそうだけど、 これをPCR検査否定派がやっていたベイズ推定で計算してみると、あら不思議。 ファイザーのワクチンは無効という結論が容易に得られます。 （そもそもベイズ推定で計算することが間違い）"
ファイザーのワクチンには95%の感染予防が期待できるそうだけど、 これをPCR検査否定派がやっていたベイズ推定で計算してみると、あら不思議。 ファイザーのワクチンは無効という結論が容易に得られます。 （そもそもベイズ推定で計算することが間違い）
ポエムです。元々書きたかったエントリがあったのですが、長くなってしまったのでパーツ毎に切り出します。 自分のやりたい方向性やキャリア的なものを考えると、大体その中心には「データ」がいます。データに対してどう向き合い方はいくつかパターンがあると思います。 データを生成する Webで言えば、アプリケーションエンジニアがここに該当するのかなと思います ユーザーの活動をログとして記録する データを蓄積する 生成されたデータを継続的に蓄積していきます SREやデータ基盤を整備する人がここに該当するかなと思います データを活用する 貯蓄されたデータを使って意思決定に役立てたり、データからの未来の予測をします データサイエンスやR&D的なものはここに該当するかなと思います この3つに対して、これまで自分がどう向き合ってきたのか、これからどういう風になっていきたいのかをこのエントリでは整理してみます。 デ
ファイナンスのためのMCMC法によるベイズ分析
メタデータをダウンロード RIS形式 (EndNote、Reference Manager、ProCite、RefWorksとの互換性あり)
Amazon SageMakerを利用したエンタープライズのためのMLOps基盤ロードマップ | Amazon Web Services
Amazon Web Services ブログ Amazon SageMakerを利用したエンタープライズのためのMLOps基盤ロードマップ この記事はMLOps foundation roadmap for enterprises with Amazon SageMakerを翻訳したものです。 企業が組織全体で機械学習 (ML)の採用を進めるにつれて 、MLモデルの構築、学習、デプロイのための手動ワークフローがイノベーションのボトルネックになる傾向にあります。これを克服するために、企業はデータサイエンティスト、データエンジニア、MLエンジニア、IT、ビジネス関係者などの複数のペルソナがどのように協業すべきか、懸念事項、責任、スキルをどのように分離するか、AWSのサービスをどのようにして最適に使用するかなどについて明らかにし、明確な運用モデルを構築する必要があります。 このようなMLと運用
Pythonデータサイエンスハンドブック 第2版
Pythonのデータサイエンス用のツールを使いこなすための実用的な情報が詰め込まれたリファレンスの待望の改訂版です。IPythonとJupyter、NumPy、pandas、Matplotlib、scikit-learnを利用し、データの操作、可視化、行列計算、時系列解析、統計分析、機械学習、データモデルの構築、複雑な科学計算まで、幅広いトピックをカバー。それぞれのトピックについて、押さえておくべき基本、tips、便利なコマンドなどを紹介します。Pythonでデータ処理を行う人にとってはいつも手元に置いておきたい「使える」一冊です。 『Python Data Science Handbook, Second Edition』への称賛 訳者まえがき はじめに Ⅰ部 Jupyter：Pythonより優れたPython 1章 IPython、Jupyter入門 1.1 IPythonシェルの起動
2つのブログを初投稿させていただいてから早いもので数週間。 自己紹介 - AIソリューションアーキテクトのおしゃべり データ活用人材とはどんな人々か - AIソリューションアーキテクトのおしゃべり 思っていた以上に反響があり、 「面白くて、あっという間に読めた」 「ブログとリアルのキャラが一致しなくて困惑した」 「怪しい壺が買いたくなった」*1 など、数々のご好評をいただきまして非常に感謝してます。 時系列解析って何か色々あってわかりません！(憤怒) さて、本日取り上げたいのは時系列解析。 最近では新型コロナウイルスの感染者数という大々的に報じられる時系列データがあるのでイメージしやすくなったかもしれませんが、手法自体を学んでみると何だか色んな名前が飛び交っていて訳が分からない人も多いのでは。 時系列予測の手法1つとっても 「状態空間モデルはベイジアンなんや、ベイズが一番や！」 「どんな時
やることいっぱいの日の仕事服はチェックで気分をUP！
昨日のわたくしのヘタれブログに温かいリアクションいただきありがとうございます。残り時間との勝負になっていますが、自分なりのOKラインまでは持っていくべく鋭意努力中であります。 そんな本日の仕事服。 ◆インに着たタートル／ユニクロ 詳細不明 （昔） ◆トップス／PLST シアーチェック2WAYブラウスXS ◆スカート／PLST シザーチェックプリーツスカートXS ◆靴／詳細不明 ショートブーツ 黒 ◆バッグ／ Mulberry ベイズウォーター（大昔）
ベイズ×Factorization Machines & Matrix Factorizationの研究まとめ - Qiita
はじめに 今回は、Factorization Machines(FM)やMatrix Factorization(MF)とベイズを絡めた研究を調べたのでまとめていきたいと思います。 FMはICDM2010で提案されて以来、様々な方向に発展しています。 Deepと組み合わされた研究や、Fieldという概念を加えた研究などがその一例です。 実際、ICDM2010でもっとも引用されている論文がFMだそうです。すごいですね。 モデル自体がシンプルで扱いやすく、特徴量が色々入れられるなど、メリットが大きいことが理由の一つかと思います。 今回の記事では、SIGIR2019 で発表されたBayesian Personalized Feature Interaction Selection for Factorization Machines [Chen+, SIGIR2019]という論文に至るまでの流れ
ChatGPTと共に振り返る：2023年の読書記録と推奨書籍リスト - karaage. [からあげ]
2023年に読んだ書籍数の可視化 恒例のKindleの購入した書籍の年ごとの数を可視化しました。 284冊と2022年の300冊超えには少し届かない感じでした。なお、あくまでKindle書籍を購入したもので、紙の書籍は含まれていません（といっても20冊いかないくらい）。また、購入したものの読んでない本や、無料の書籍、セールで買った漫画なども含まれていることには注意ください。 グラフの可視化に関しては、去年まではPythonのプログラムを使っていたのですが、今年からChatGPTにおまかせにしました。楽ですね。やり方は以下記事を参照ください。 2023年に読んだ印象深かった本 紹介していきます。ご恵贈いただいた書籍も半分くらいあります。 ものづくり・電子工作関係 ものづくりの楽しさを呼び起こしてくれるような書籍を多く読みました。転職して、仕事ではハードウェアからはかなり距離ができてしまいまし
![ChatGPTと共に振り返る：2023年の読書記録と推奨書籍リスト - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/f458c62e48451b27f428f9f8ee283f253a0f9d86/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20231223%2F20231223235102.png)
マスクをしない人を「自分勝手」と判断する人の思考回路
2005年創業。厳選した書籍のハイライトを3000字にまとめて配信する書籍ダイジェストサービス「SERENDIP（セレンディップ）」を提供。国内の書籍だけではなく、まだ日本で出版されていない、欧米・アジアなど海外で話題の書籍も、週に1回、日本語のダイジェストにして配信。上場企業の経営層・管理職を中心に約８万人のビジネスパーソンが利用中。 https://www.serendip.site イノベーション的発想を磨く 経営戦略を描くヒントになる、イノベーションのヒントになる、マネジメント層のための知恵袋になる…。経営層・管理職に本当に役立つ書籍を厳選して紹介。 バックナンバー一覧 視野を広げるきっかけとなる書籍をビジネスパーソン向けに厳選し、ダイジェストにして配信する「SERENDIP（セレンディップ）」。この連載では、経営層・管理層の新たな発想のきっかけになる書籍を、SERENDIP編集部
Tyler Cowen “Ideological bias and argument from authority among economists” Marginal Revolution, September 5, 2019 と，いうのがモフセン・ジャブダーニとハジュン・チャンの新論文のテーマだ。以下は論文要旨からの抜粋。 19か国の経済学者に対してオンラインでのランダム化対照実験を行うことで，我々は経済学者たちの見解に対するイデオロギーバイアスの効果を検証した。我々は参加者に対して様々なテーマに関する有力な経済学者の言説を評価するよう求めるとともに，それぞれの言説の主張者の名前は参加者に知らせずにランダムに割り振った。各言説について，参加者は主流派経済学者の名前，イデオロギーの異なる非主流派ないしは主流派色の薄い経済学者の名前，名前なしのいずれかを提示された。我々は，イデオロギーの異
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【これなら分かる！】変分ベイズ詳解＆Python実装。最尤推定/MAP推定との比較まで。Beginaid
Goptunaを使ったGo言語におけるベイズ最適化の活用 | Research Blog
緊急執筆！ 地方新聞の一面を飾る「検査をすると患者が増える」エセ医療デマゴギーの実例 « ハーバー・ビジネス・オンライン
［AI・機械学習の数学］確率分布の基本、ベルヌーイ分布、二項分布を理解する
Jupyterもいいけど、SageMath使って可能性もっと伸ばそう！ - dely Tech Blog
線虫がん検査と、がん検査の性能の話 - Interdisciplinary
きょうだいベイズ問題（２） - ChieOsanai’s blog
10万点以上の点群位置合わせ問題を2分で解く 金沢大学の広瀬修氏がアルゴリズムを考案
【翻訳】機械学習の技術的負債の重箱の隅をつつく (後編) - 株式会社ホクソエムのブログ
機械学習の「Q学習」にベイズ推定を取り入れると一体何が起こるのか？
【IQ1AdC】W理論こと特異学習理論の重要論文公式10本ノック【12/9】 - カイヤン雑記帳
物理キーボード不要 机の上で「指だけタイピング」を実現する手首型デバイス「TapType」【研究紹介】
毎日2万回ダウンロードされるPreferred Networks（PFN）の“Optuna” 「探索空間」と「目的関数」でパラメーターを最適化する
データに関連するいくつかの見方と私 - yasuhisa's blog
時系列解析に散った子羊たちへの鎮魂歌 - AIソリューションアーキテクトのおしゃべり
タイラー・コーエン「（特に日本の）経済学者はイデオロギーバイアスがあって権威に弱い？」