モチベーション 私のブログの方(Machine Learning For Algorithmic Trading 解説リンクまとめ)で上級者向けに日本語でアルゴリズム取引に関する本を翻訳、解説しているのですが、いきなり始めるにはかなり難易度が高いと思いました。 そこで、アルゴリズム取引の目標や、どういった分野を勉強するのか、そして、どういった予備知識があれば良いのかについてここでは紹介したいと思います。 ここで書いてある技術的なことや細かい部分はブログでコード付きで紹介しているので、興味ある部分はブログの記事を直接参考にする等ご自由にご活用くださいませ。 新しく始めたい方や既に始めているけど知識に穴がある方の参考になれば幸いです。 1.1 目標: アルファを見つけよう！ 投資の定量分析者の目標は、「将来の価格変化率を説明出来る変数=新しいアルファを持つ変数の探索」と「そのリターンをシステム
Lightweight MMM：NumPyroで実装されたベイジアンMMMフレームワーク - 渋谷駅前で働くデータサイエンティストのブログ
以前「Ads carryover & shape effects付きのMedia Mix Modeling」という記事で取り上げたベイジアンMMMのtechnical report (Jin et al., 2017)ですが、当時RStanで実装されていたものが4年の時を経て時代の趨勢に沿う形でPythonベースのOSSとしてリリースされています。 それがLightweight MMM (LMMM)です。ベイジアンモデリング部分はNumPyroによるMCMCサンプラーで実装されており、さらにはモダンなMMMフレームワークにおいて標準的とされる予算配分の最適化ルーチンも実装されています。全体的な使い勝手としては、まだ開発途上の部分もあるので時々痒いところに手が届かない感があるものの、概ねRStanで実装したものと似たような感じに仕上がっているという印象です。 ということで、LMMMがどんな感
つゆぽん on Twitter: "Netflixの「計算が導く予測」、おもしろいので契約してる方は観てほしい。大数の法則→p値→標本抽出→ベイズ推定→機械学習をドキュメンタリータッチで描いてる。"
Netflixの「計算が導く予測」、おもしろいので契約してる方は観てほしい。大数の法則→p値→標本抽出→ベイズ推定→機械学習をドキュメンタリータッチで描いてる。
機械学習デザインパターン
本書は、機械学習で繰り返し登場する課題を30のパターン（データ表現、問題表現、モデルの訓練、再現性、対応性、運用性、説明性、公平性などに関するもの）に分類し、それぞれについてベストプラクティスを提示・解説するデザインパターン集です。すぐ動かせるコード例とデータセットを豊富に含み、手を動かしながら機械学習を学びたい初心者の実践的な入門書としても、現場のデータサイエンティストやエンジニアのリファレンスとしても有用な内容となっています。著者のGoogle Cloudのデータ分析＆AI部門トップとしての豊富な経験に基づく実用本位の一冊です。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ページの奥付でお手持ちの書
事の発端は、私が、最近炎上ぎみであった大澤昇平さん(id:Ohsaworks)のツイートはAIによるものだと思っているとツイートしたことです。 私は、この人のツイートはRT数をその報酬とするAIで自動生成しているものだとかねてから思っていて、ここのところこのAI、ずいぶんと学習が進んできたのか炎上させるのが格段にうまくなってきたなと感心している。 https://t.co/V1ZkUNkXq9 — やねうら王 (@yaneuraou) November 24, 2019 ※ 元のツイートはすでに削除されています。 このあと、大澤昇平さんが一連のツイートは「AIの過学習」であったとお詫びをされたことから、私が早い段階でそのことを見抜いていた「さすがやねさん！」と言う世界的なポーカープレイヤーである木原直哉さん(id:key_poker)と、「いやいや、やねさんのあのツイートはジョークでしょ」
What are Diffusion Models?
What are Diffusion Models? 本記事はWhat are diffusion Models?を許可を得て翻訳したものです。Diffusion Modelの日本語の記事がまったくなかったので勉強がてら、翻訳してみました。誤訳や誤植などありましたらお知らせください。 Diffusion modelはとても新しいタイプの生成モデルで、どのような複雑なデータ分布でも学習することができ、なおかつその分布を解析的に評価することができます。 近年ではDiffusion modelは高精度な画像を生成でき、GANでSOTAなモデルより高い精度を達成しています。 これまでGAN、VAE、Flowといった生成モデルについての記事を書いてきました。どれも高いクオリティの画像を生成できますが、一方でそれぞれ個々の問題を抱えていました。GANは敵対的学習の構造そのものに、学習の不安定さと多様性
統計学入門 「主義」 を心配するみなさまに 東京工業大学 渡辺澄夫 このファイルの目的 このファイルは統計学において 「主義」 を心配するみなさまの ための解説です。 １ 要約 いつも 何度でも 尋ねられる 質問 頻度主義 と ベイズ主義 は どちらが正しいですか。 このファイルの回答 １ 正しい主義は 存在しません。 好きな主義と 好きな方法を 使うことができます。 推測が当たるかどうか が問題です。 このファイルの回答 ２ 推測に 「主義」 は 不要です。 推測を当てるには 数理科学 が必要です。 このファイルの回答 ３ 「主義」 を争うことに 意義はありません。 論争をやめて 数理科学 へ進みましょう。 時間がないかたに このファイルを読むのがメンドウで 結論だけを知りたいかたは 最後のページをご覧ください。 ２ 統計的推測とは 統計的推測とは 未知である真の分布から データが得られ
TensorFlow Probabilityを試してみる(1): 定番のEight SchoolsのモデリングをRStanと比較する - 渋谷駅前で働くデータサイエンティストのブログ
先日の記事でも書いたように、どうもここ最近RStan周りの環境が色々厳しくなっている気がしていて、仮にRStanが今後環境面での不具合やミスマッチなどで使えなくなったらベイジアンモデリングやれなくなって困るかも。。。という危惧を最近抱きつつあります。 そこで代替手段として思いつくのが、JAGS, PyMC, PyStan, そしてTensorFlow Probability (TFP)。TFPを挙げたのは完全に身贔屓なんですが（笑）、Pythonで回せるものとして近年注目を集めているフレームワークとしては筆頭に近いのではないかと思います。ということで、贔屓の引き倒しみたいになりそうですが今回含めてちょっと連続してTFPでRStanと同じことをやってみる、というただそれだけの備忘録的な記事をだらだらと書いていこうと思います。 いつもながらですが、僕はコーディングに関してはド素人ですので間違っ
Ubie Discovery で機械学習エンジニアをしている @hagino3000 です。医療用AIの歴史および動向をキャッチアップするために調査した内容をまとめました。特に画像を入力として診断支援を行なうAIと比較して、自然言語で表現された自覚症状などを入力とするものを構築する上での課題に焦点をあてています。 Keywords: コンピューター支援診断システム(Computer Aided Diagnosis: CAD), Medical Diagnostic Systems, 症状チェッカー(Symptom Checker), 機械学習(ML), 自然言語処理(NLP) 背景 現在、医療用AIが最も成功を収めている領域は画像診断です。X線・内視鏡・皮膚腫瘍と様々な画像に適用されており、その診断性能が専門医を越えたとの報告もあります ([1], [2])。2018年にはAIが糖尿病網膜
蔓延防止等重点措置（まん防）の効果検証を「あえて」DID＋TSclustによる時系列クラスタリング＋CausalImpactでやってみた - 渋谷駅前で働くデータサイエンティストのブログ
少し前の話ですが、現在COVID-19の感染が拡大している地域で実施される「蔓延防止等重点措置（まん防）」に効果があったかどうかについて、計量経済学的な観点に基づいた政策評価レポートが公開されて話題になっていました。 追記 本日午前中に元のレポート自体が更新されていたようで*1、今回の記事はその更新を反映していない点悪しからずご了承ください。 で、結論はともかくその手法とアプローチについては色々と議論が起きているようです。例えば、上記のブログ記事では実際に東京都のデータで追試をしてみて、もう少し異なるやり方があるのではないかと指摘しています。 この辺は僕にとっても同様で、普段から同様のデータ分析を広告・マーケティング分野で手掛けている身としては「自分ならこうしたい」と思われるポイントが幾つかあり、折角データソースや背景となる行政措置の詳細などがレポート中で明記されているのだから、いっそ自分
このテーブルからクエリが「quick」ならDoc1が「news」ならDoc2が「fox」なら両方の文書が関連しているドキュメントとして候補になることがわかります。ドキュメントを絞り込んだ後どのように並べるかですが、おおまかに分けるとクエリと文書をベクトルに変換して類似度を比較するVector Space Modelと、関連度を文書とクエリが与えられたときの条件付き確率 $P(rel \mid q, d)$ と定義するProbabilistic Modelがあります。その中でも70年代に発明されたBM25というアルゴリズム ("Best Matching" の頭文字) はElasticsearchに採用されていることもあり広く使われているので、検索に携わっている方ならば一度はこの式を見たことがあるのではないでしょうか。 $$ BM25(q, d) = \sum_{t_{q} \in q} i
[翻訳]AI生成コンテンツの総合調査：GANからChatGPTまでのGenerative AIの歴史｜株式会社ガラパゴス
原文の総文字数15万字超え！生成AI研究の歴史をまとめた論文をChatGPTを使って翻訳しました。ところどころ日本語がおかしいところもありますが、15万もの文字翻訳するのめんどくさい！という方、参考程度にご覧ください。ポイントだけ読み進めるとサクッと把握できます。 こちらの翻訳です 本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。 脚注、参考文献、Appendixなどは本文をご覧ください。 概要【POINT1】ChatGPTはAIGCのカテゴリに属し、効率的で高品質なコンテンツ作成をします。 【POINT2】大規模モデルの利用で、意図抽出や生成結果が向上し、現実に近いコンテンツが生まれます。 【POINT3】この調査では、生成モデルの進歩や未解決の問題・将来の課題について解説しています。 最近、ChatGPT は、DALL-E-2 [1]や
![[翻訳]AI生成コンテンツの総合調査：GANからChatGPTまでのGenerative AIの歴史｜株式会社ガラパゴス](https://cdn-ak-scissors.b.st-hatena.com/image/square/42e972c45efb6ae68a15f6d7f0f7500c7abf73dd/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F102831564%2Frectangle_large_type_2_9569f338254fe055a87e1118321f258a.jpeg%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)
機械学習システムの信頼性を数値化する論文「 What’s your ML test score? A rubric for ML production systems」
機械学習システムの信頼性を数値化する論文「 What’s your ML test score? A rubric for ML production systems」 2020-04-19 NIPS206 にて開催された Reliable Machine Learning in the Wild - NIPS 2016 Workshop (2016) という、現実世界でどうやって信頼性の高い機械学習に取り組んでいくかについてのワークショップがある。 ここで Google から発表された What’s your ML test score? A rubric for ML production systems がとても面白く、身になるものが多かったのでメモがてら抄訳を残しておく。 PDFSlide発表動画もワークショップページにて公開されています。change logs2021-04-25
恐竜は小惑星衝突の前から衰退の道をたどっていたという研究結果
恐竜はかつて地球上に広く生息していましたが、約6600万年前に直径およそ10～15kmの小惑星が地球に衝突した影響で絶滅したと言われています。ところが、新たな研究結果により、「小惑星が衝突する前から恐竜は衰退し始めていた」可能性が示唆されています。 Dinosaur biodiversity declined well before the asteroid impact, influenced by ecological and environmental pressures | Nature Communications https://doi.org/10.1038/s41467-021-23754-0 Dinosaurs were in decline before the end, according to new study https://phys.org/news/2021
脳科学若手の会ワークショップ（2022.3.13） 神谷之康（京都大学・ATR） 概要 概念や仕組みをよく理解しないまま実験データの解析で使っている統計手法はありませんか。神経科学では大規模で多様なデータ取得が可能となり、統計解析の重要性が増しています。昔なら比較的無害だった統計の誤用が致命的な偽陽性を生み、論文を「フェイクニュース」にしてしまうことがあります。このワークショップでは、実験データ解析で最近よく使われるが授業ではあまり学ばない、効果量、サンプルサイズ設計、多重比較補正、交差検証、混合モデル、ベイズ推論、因果推論などの考え方のキモを、演習を交えて解説します。その後、参加者が作成する実験の事前登録（プレレジ）のサンプルについてディスカッションし、オープンで再現可能な研究実践法を身につけることを目指します。
研究室選択をミスった話
これは僕の愚痴。身バレしたくないから全部本当の話ではないけど、八割位は真実。 ~究室選択をミスった話~ 研究室選択をミスった。色々あって人より早い段階で決めなけれないけなかったのだが、大した知識もないまま適当に決めてしまった。あまりいい環境ではなかった。正直大学院を舐めていた。もっと研究に真摯な人たちがいっぱいいると思っていた。甘かった。大学院は自分の意志で研究を選んだ人の集まりなので、例え適当に研究室を選んだとしても、僕を知識でボコボコにしてくれる人がたくさんいるはずだと思っていた。研究室では知識をシェアする環境が整っており、全員が最先端の知識を持っていると思っていた。ろくに調べもせずにそんな環境にありつけると思ったら大間違いだった。 僕を知識でボコボコにするどころか、誰も大した知識を持ち合わせてなかった。ベイズの定理も知らねえのに機械学習やってんのは正気か？ バージョン管理ぐらいしろよ
統計検定準1級に受かるための勉強法・参考サイト
2022/02/15 初稿 2022/02/15 細かな修正 2022/04/20 一部リンク先の動画について注釈を追加 この度、無事に統計検定準1級に合格したので勉強法、参考にしたサイトなどを共有しようと思います。 バックグラウンド 非理数∧非情報系大学生 →高校数学は数学Ⅲまでできる。いわゆる大学数学は教養で軽く学んだ程度(偏微分、固有値ベクトルを求めるくらいはできる)。 機械学習に関しての予備知識は少しある。 統計WEB-BellCurveで2級範囲の内容は履修済みで2級に受かりそうな知識はあった。(自称) →過去問解いて合格できそうになったし今週末で2級申し込みするで～ →直前過ぎて無理ですと断られる →大学の試験期間に入る →気がつけば受けずじまい 件のワークブックが出版され、これがあるなら準1級いけるやろと思い初版で購入するも挫折 といったところです。 2021年12月の中頃く
京都大学などの共同研究チームは、生物の脳のように「揺らぐ」ニューロンとシナプスで学習を実現する新たなニューラル・ネットワークを構築した。この新しいニューラルネットワークが脳のいくつもの実験結果を再現することも発見した。 現在のニューラル・ネットワークは「最適化」という緻密な計算によって望ましい機能を実現するが、脳のニューロンやシナプスは強い「揺らぎ」を持ち、確率的に動作するため、最適化のような緻密な計算をしているようには見えない。さらに、最適化の計算には、脳とは比較にならないほど膨大なエネルギーを消費するという問題がある。 そこで研究チームは、「脳の学習は最適化ではなく、適切な具体例を生成するサンプリングではないか」と発想。確率的推定手法であるベイズ推定の理論の1つ、「ギブス・サンプリング」の理論を利用することで、脳のようにランダムなニューロンとシナプスだけで動作するニューラル・ネットワー
3大クラウドAWS、Azure、GCPの機能を比較したら見えてきたサービスごとの違いと特徴とは？ | 株式会社トップゲート
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
開発責任者がやるべきことの気づきと"Think Like a CTO" - クラウドワークス エンジニアブログ
1年をふりかえる 年の瀬ご多端の折、皆様におかれましては本年も大変お世話になりました。crowdworks.jpの開発をしているプロダクト開発部部長の@hihatsです。 本記事はクラウドワークスAdvent Calendar 2023 シリーズ2の25日目の記事です。 今回は、プロダクト開発部として今年取り組んできたことと、その中での気づき、「Think Like a CTO」という書籍の話にも触れていきます。 今年やってきたこと 技術的負債解消への取り組み 昨年のアドベントカレンダーでも書きましたが、2023年も技術的負債の解消に取り組んで参りました。 結果としては、フロントエンドでの注力の割合が大きかった一年でした。詳しくは@okuto_oyamaさんの1日目の記事をご覧ください。 記事にもありますが、Vue.js化をフロントエンドを触る全チームが行える体制に整えることで加速させてい
「ディープラーニングと物理学 オンライン」とはオンラインWeb会議システムを利用したセミナーです。2023年10月より、学習物理領域セミナーと合同で開催されています。 登録する際のメールアドレスは、できるだけ大学もしくは研究機関のものをご使用ください。 ZoomのミーティングURLおよびパスワードは、先着順300名様に限り、登録されたメールアドレスに送信されます。転載・転送は控えてください。 URLが掲載されたメールは当日の朝までに送られます。 参加したい方は下記よりお申し込みください。毎回開催時に参加URLのついたアナウンスのメールを送信します。 登録フォーム (締切は前日の夜11時までとします) 解約フォームは下記でございます。 解約フォーム 参加時の表示名は「登録時の名前＠登録した機関名」に設定してください。 ノイズを防ぐためのミュートへご協力ください。 DLAP世話人: 橋本幸士（
4-4_時系列データの解析
4-4. 時系列データの解析 東京大学 数理・情報教育研究センター 東京大学 数理・情報教育研究センター 北川源四郎 2020 CC BY-NC-SA 東京大学 数理・情報教育研究センター 4-4 時系列データ解析 東京大学 数理・情報教育研究センター 2020年5月11日 4-4. 時系列データの解析 東京大学 数理・情報教育研究センター 東京大学 数理・情報教育研究センター 北川源四郎 2020 CC BY-NC-SA 東京大学 数理・情報教育研究センター 概要 • 本節では，まず時系列とは何か，時系列データ解析の⽬的は何か など時系列データ解析の概略について学びます． • 次に，時系列データがもつトレンド，周期性，季節性，ノイズに ついてその意味を学ぶとともに、移動平均，階差などによる情報 抽出の⽅法とスペクトや相関関数による特徴可視化を学びます． • さらに，時系列モデルを⽤いた予
岩田健太郎先生、新論文「新型コロナウイルス感染症（COVID-19）の緩和に学校閉鎖は効果は？ ベイズ推定を使用した時系列分析 」【日本語訳】 - 勤務医開業つれづれ日記・３
新型コロナウイルスの学校の休校について岩田健太郎先生の新しい論文がプレプリントで出ております。査読はされていませんのでご注意ください。 www.preprints.org https://www.preprints.org/manuscript/202004.0058/v1 前回に引き続き、日本語訳させてもらっております（1）。大急ぎでしたので誤訳などありましたご指摘お願いいたします。 Was School Closure Effective in Mitigating Coronavirus Disease 2019 (COVID-19)? Time Series Analysis Using Bayesian Inference 新型コロナウイルス感染症（COVID-19）の緩和に学校閉鎖は効果は？ ベイズ推定を使用した時系列分析 Kentaro Iwata * , Asako Doi
あの「モンティ・ホール問題」で当選率33％が66％になる理由が分かり、生き上手になれる「ベイズの定理」の基礎知識
AIに欠かせない数学を、プログラミング言語Pythonを使って高校生の学習範囲から学び直す本連載『「AI」エンジニアになるための「基礎数学」再入門』。前回は「確率・確率分布」について学びました。今回のテーマである「ベイズの定理」は、そのもう少し高度な内容といえます。ぜひ、前回記事も併せてお読みください。 ベイズってどんな人？ トーマス・ベイズ（Thomas Bayes）は1702～1761年に実在したイギリスの人物です。彼の肩書は異色で、牧師でありながら数学者でもあります。そんな彼は「神の存在を方程式で説明できる」と主張したそうです。ベイズは牧師として活動する傍ら研究を重ね、後に解説する「ベイズの定理」を含む「ベイズ理論」を考案したという偉業を成しています。 ところが、その偉業はベイズの死後である1764年にRプライス（生命保険の創始者の一人）によって発見されました。その後、偉大な物理学者
{CausalImpact}を使う上での注意点を簡単にまとめてみた - 渋谷駅前で働くデータサイエンティストのブログ
実はこのネタは元々別のところでやり取りのあった話題だったりします。 色々な都合があってここ最近{CausalImpact}に触れる機会が自分に限らず周囲でも増えているのですが、若い人たちから「そもそも{CausalImpact}って何をしているんですか？使う際は何に気を付けたら良いですか？」などと聞かれることがちょくちょくあるので、備忘録も兼ねてまとめてみることにしました。いつもながらですが、内容に不備や誤解や理解不足がありましたらどしどしご指摘くださいm(_ _)m なお、{CausalImpact}パッケージそのものの簡潔な説明は随分昔に書きました。単純に使いたいだけならこちらの記事をお読みいただければ十分かと思います。 {bsts}をバックエンドとして動く、統計的因果推論を目的としたcounterfactual modelingフレームワーク どのようにcounterfactual
機械学習を使った野球データサイエンス - 打者・大谷翔平選手の20代をシュッと占ってみた - Lean Baseball
やったことは非常にシンプルでして. 大谷翔平選手の26〜29歳（2020〜2024年）までの打撃成績を, 一般的な打撃成績データ（安打, 本塁打, 三振etc...）を使った機械学習でそれっぽく出してみました 大谷翔平さんはやっぱ凄い（詳細はこの後で） まだまだ改良点や穴があるものの, 統計的にもアルゴリズム的にも十分に納得行くモノができたので一旦公開します. なお, どういったアプローチでやったか?特徴量はどうやって選んだか??については8/28, 29開催のPyCon JP 2020で発表します.*1 免責事項 言うてもおもちゃですしちょっとしたお遊びです. そのつもりでご覧ください. 一部のサンプルコードを除きコードおよび特徴量は公開しません. データはMLBのPublicな公開データセットであるLahman’s Baseball Databaseおよび, RETROSHEETを使っ
ポルノ利用が性犯罪を減らす可能性はそこそこ高い。ここ何十年間で世界中でポルノ視聴は容易になり、ポルノの製作数も飛躍的に増えている一方、性犯罪は劇的に減っている。しかし、時系列のデータなので、ポルノ視聴が影響したのか、他の要素が影響したのか統計的に判別することは容易ではない。相関を示すことができても、因果を示すのは大変だ。相関を示すことすら、上手くできないこともある。 1. なぜか信頼できると誤認されていた ある気鋭のネット論客が「めちゃくちゃ念入り」としている論文Kendall (2007) "Pornography, Rape, and the Internet"も粗が多い残念な分析になっていた。この論文はディスカッションペーパーで、上手く研究が進めばどこかの学術雑誌に掲載されているはずだが、そこまで行けなかったようだ*1。既にネット論客の人とはディスカッションをしたのだけれども、だらだ
ピーターソン国際経済研究所で行われたブランシャールとサマーズの今後の金利動向に関する対談の前半を、トランスクリプトを基にざっくりとまとめてみる。 対談ではまずブランシャールが以下の8項目の論点を挙げて議論の口火を切っている。 コロナ禍以前の35年間に、金融危機のような特定のイベントとは無関係に、世界の実質金利を小幅ながらコンスタントに低下させる構造的な力が働いていた。そうした力が反転したとは考えにくい。 今日の高金利はインフレとの戦いによるものであり、インフレが無ければ金利はもっと低かった。そしてインフレとの戦いがピークを迎えている今日でさえ、コロナ禍前ほどではないもの、実質金利は成長率より低い。 翌日物金利スワップとインフレスワップから予測される10年先の金利は0.8%であり、これは明らかに10年先の成長率より低い。目先はこの大小関係が逆転することがあるかもしれないが、長期的にはr-gは
最近話題の"Diffusion Model（拡散モデル）"について、簡潔にまとめてみた - AI・セキュリティのまとめのまとめ
OpenAIが先日発表したGLIDEにDiffusion Moldelが使用されているとのことで、最近話題のDiffusion Model（拡散モデル）について、まとめました。 サマリー 生成モデルとは Diffusion Model（拡散モデル）とは Forward diffusion process Reverse diffusion process 学習 応用例 画像生成 条件付き画像生成 画像変換 参考文献 サマリー ・Diffusion Model（拡散モデル）は、元データにノイズが徐々に付加されていき、最終的にガウシアンノイズとなるという前提を置き、その逆のプロセスをモデル化することでデータを生成する。 ・GANやVAEよりも高品質の画像を生成することに成功しており、様々な分野への応用が期待される。 生成モデルとは 生成モデルを使用することで、データ（ex. 画像）の生成プロセ
振り返りまとめを書きました。まずそちらをご覧ください ピーター・ターチン「公衆衛生政策はCOVID-19を止めるのにどのくらい効果的か」（2020年3月23日）で紹介されている手法をベースに日本のコロナ対策を評価します。 注意書き：使用している手法はごく単純なもので結果をすぐに真に受けるべきではありません。使っている理論やツールに関して私は初心者なので、間違いの指摘等はコメント欄等で歓迎します。またこれはあくまで個人的な活動です。所属機関とは関係ありません。 更新：2020年4月18日に更新しました SIRDモデルまず背景にある数学的モデルを説明します。理論的な話に興味のない方は飛ばしてください。 ベースになっているのはよく知られているSIRモデル（susceptible, infected and recovered model)です。これはこのように考えます。S[t]を時点tで未感染の
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
大量のデータをもとに自動的に反復学習する「機械学習」。近年、飛躍的な進歩を遂げている最新理論の基本的な概念と代表的な手法を難解な数式を使わず、中学生でもわかる平易な記述で解説することを目指したブルーバックス『はじめての機械学習』は、これから勉強を始める学生、機械学習について知りたいビジネスパーソン必読の書となりました。 しかし、数式にうとい人にもわかりやすく、という命題を最優先したために、執筆は「正確性に欠ける」という悩ましいジレンマとの闘いだったと著者は言います。 そこで、本当に機械学習のさわりである本書で入門した読者の"その後"ために、「もっと知りたい」「本格的に学びたい」と思った時に、どんな本が参考になるのか？ 「読者に欲求不満がたまるのではないか」と案じた著者が、"その先の道標"を紹介しつつ、学ぶべきポイントを説きます。 もっと知りたい ブルーバックスより刊行された『はじめての機械
Text-to-3Dがアツい 最近かなりText-to-3Dモデルがアツくなってきました。昨年9月末に発表されたDreamFusionから急速に発展し、11月にはMagic3DやLatent-NeRF, 12月にはSJCやDream3D, 今年に入って3月にはFantasia3DやText2Room, 今月5月にはOpenAIのShap-E, Text2NeRFが発表されるなど、ちょうど1年ほど前のText-to-Imageモデルの盛り上がり方を彷彿とさせます。 ※この記事は2023/5/29に執筆したものです その中で、5/25に発表された ProlificDreamerが強すぎるというのがあります。 まずこれを見てください。一番右がProlificDreamerで生成された3Dモデルです。左３つの既存手法はどこかもっさりとしているのに対し、ProlificDreamerはまるでどの視点
Marketing-Mix-Modeling（MMM）に関する所感や問題意識について - Leverages データ戦略ブログ
目的と背景 レバレジーズのデータ戦略室で室長をしている阪上です。 今回は、最近仕事で使うことがあり、調べているMarketing Mix Modeling（MMM）について簡単に紹介したいと思います。この分野に関して、あまり国内で盛り上がっていないように感じたため、僭越ながら少しでも関心を持つ方が増えることを願って記しました。 今回は具体的に自社でどのような分析を行ったかについては記しておりませんが、今後、別の記事で用意したいと思います。 MMMとは Marketing Mix Modeling（MMM）は各種メディアへの支出が、企業の売上にどのように影響を与えるのかを理解するために、あるいは最適なメディア投資を行うための支出の配分を決めるために使われます。主に回帰分析などの手法を用いて、時系列データである売上を同じく時系列データである各種メディアのインプレッションなどで説明づけるというア
外科医けいゆう氏というニセ医学批判を行っている医師がいます。 穏やかな語り口調で理性的な文章を書く人です。 たった1回のリツイートが誰かの健康を傷つけるかもしれません 外科医けいゆう氏がリツイートしていた内容を見てみます。 軽症の人への検査は不要 何度も批判してきた新型コロナPCR検査抑制論の初期に出てきた記事です。 2020年2月の段階の記事としても大いに問題があります。 「陽性的中率」というのは検査が仮に陽性だった場合に、どのくらいその結果が正しいか（＝本当にCOVID-19にかかっているのか）を示す確率です。 風邪のような症状を訴えても、COVID-19にかかっている可能性が現在のようにとても低い（＝集団の中での有病率が低い）状況で検査をすると、COVID-19にかかっていないのに検査結果が陽性と出る人の絶対数も多くなることになります。 すると、陽性という結果が出た人の中で、本当に感
はじめに 千葉大学の米倉です．今回は技術の解説の記事ではなく，研究者として企業で行っているデータ分析で感じたことを述べたいと思います．つまりはポエムです．僕は統計学者には珍しくヘルダーリンやツェランを読んでいるのでポエムには自信がある． 目次 1.OKOTOWARI 2.外れ値の存在 3.時系列データの扱い 4.ゴミデータなんてない 5.理解不足 6.頻度論的分析が多すぎる 7.初手ディープの危険性 8.ダメな分析の危険性 9.データの扱いが難しい 10.おわりに 1. OKOTOWARI 今回のポエムは特定の企業などそういった話ではなく，僕が個人なり会社なりで請け負った案件を通し気づいた・思ったことや，同業者から聞かされた話，ネットで見聞きした話しについてなど，様々な話に対してのものです．また僕が所属する企業の見解でもないです． 2. 外れ値の処理が甘いことが多い ほぼ言い切れますが，分
モデル予測経路積分制御 (Model Predictive Path Integral Control; MPPI) 入門
モデル予測経路積分制御 (Model Predictive Path Integral Control; MPPI) 入門 本記事は名古屋大学の本田康平（https://kohonda.github.io/ ）による寄稿です． はじめに ロボットの制御や運動計画で人気を博しているモデル予測制御 (MPC) ですが，MPCの中でもサンプルベースMPCは手頃に実装できる上に，性能もそこそこ良いため非常に使い勝手が良いです．サンプルベースMPCとは，有限時間将来までの制御入力のサンプルを複数用意して，それらを制御対象の予測モデルを用いて未来の状態を予測・評価して，制御入力を決定するというものです．これらは予測モデルやコスト関数が微分不可能であったり非線形性が強い場合でも利用できるので，とても使い勝手が良く，モデルベース強化学習などでもしばしば利用されます． 近年，サンプルベースMPCに対して確率
TensorFlow User Group ベイズ分科会の資料 PPLについて - HELLO CYBERNETICS
はじめに はじめに 作って遊ぶ機械学習。 の須山さんにお誘いを受け、TensorFlow User Group（通称TFUG）でPPLについてお話をしました。 その資料へのリンクを貼っておきます。また、今後もこの動向について興味がある方はぜひconnpassのTFUGにもご参加ください。 tfug-tokyo.connpass.com speakerdeck.com
集中力を上げるための本5選！ - サボログ×てんログ
いつも来ていただきありがとうございます。 サボログ×てんログ運営のサボり(@kuronopoem)です。 仕事でも作業でも資格試験でも、何をするにしても集中力はとても大事ですね。 集中力がある人は結果を出せることが多いです。 今回はそんなめちゃくちゃ重要な集中力を高めるための方法論などを示した本を紹介します。 Amazonで平均4以上の高評価のものに絞って紹介！ ヤバい集中力 1日ブッ通しでアタマが冴えわたる神ライフハック45 内容 自分を操る超集中力 内容 机に向かってすぐに集中する技術 内容 SINGLE TASK 一点集中術――「シングルタスクの原則」ですべての成果が最大になる 内容 「今、ここ」に意識を集中する練習 内容 まとめ ヤバい集中力 1日ブッ通しでアタマが冴えわたる神ライフハック45 ヤバい集中力 1日ブッ通しでアタマが冴えわたる神ライフハック45 [ 鈴木 祐 ] po
ビッグデータの発展とともに、さまざまな分野の研究がデータ駆動型に変わってきて、データサイエンスも今広く知られるようになりました。大学にデータサイエンスを学べる学部ができたり、講座やコースなども多く開催され、データサイエンティストを目指している人もたくさんいます。この記事では、統計学から機械学習やマーケティングまで、初心者がデータサイエンスを学ぶのにおすすめの本を80冊紹介します！ Part I: データサイエンス概論 1.『データサイエンス講義 』Rachel Schutt、Cathy O’Neil 著 本書では、データサイエンスを行う上で、どのようなプロセスが必要か、データサイエンティストとしてはどのようなスキルセットが必要で、どのような思考方法を選択する必要があるのかを実例を多数示しながら紹介します。 2.『戦略的データサイエンス入門 ―ビジネスに活かすコンセプトとテクニック』Fost
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
アルゴリズム取引を始めよう！ ～イントロダクション～ - Qiita
世界的なポーカープレイヤーのお二人がやねうら王のツイートを巡って… | やねうら王 公式サイト
Bayesian statistics
臨床診断支援AIの歴史から症状チェッカーの今後を展望する―エキスパートシステムから大規模言語モデルまで
クランフィールド検索実験から2019年のニューラルモデルまで - Qiita
実験データ解析再入門：論文を「フェイクニュース」にしないために
脳型AI新理論を提案、脳のシナプスの「揺らぎ」に着想＝京大など
Deep learning and Physics
あるポルノ視聴が性犯罪を減らしていそうだ論文の計量分析の問題点
サマーズ対ブランシャール：今後の金利を巡る議論 - himaginary’s diary
公衆衛生政策はCOVID-19を止めるのにどのくらい効果的か（日本版）｜筆の滑り
代表取締役の逝去に関するお知らせ（訃報） | 株式会社トップゲート
これだけは読んでおきたい！ 機械学習を学ぶ人のための厳選入門書（田口 善弘）
現在最強のText-to-3Dモデル"ProlificDreamer"をちゃんと理解する
ニセ医学批判を行う医師が流布する新型コロナPCR検査抑制論(ニセ医学)｜臨床獣医師の立場から
統計学研究者からみての企業でのデータ分析 - Qiita
【初学者向け】データサイエンスにオススメの本80冊！ | Octoparse