A/Bテストで想定外の結果が出たら？検定多重性の影響を定量的に分析する
※: 両側 p<0.10 （本A/Bテストにおける有意水準） この場合まず疑うべきはA/Bテストシステムのどこかにバグがあることです。なんらかの理由で購入頻度の高いユーザがZ群にばかり割り当てられたり、統計処理にミスがありp値が実際よりも低く出てしまったりということがあれば、まったく差がない群の間で見かけ上CVRに有意差が出てもおかしくありません。 しかしながらいくら調査してもシステム上の問題は見当たりませんでした。 『多重性の問題』の可能性があるも、それだけとも言い切れない 本A/Bテストにシステム的問題が見当たらない一方、統計手法的には1点問題がありました。それは検定多重性の問題です。検定多重性とは、3群以上の比較を行う際、本当は有意差が無いはずなのに有意差ありとなってしまう確率が2群の時よりも上がってしまう現象です。 このA/Bテストシステムは2群間での比較を前提にt検定で実装されて
Stable Diffusion の仕組みを理解する - ABEJA Tech Blog
この記事は、ABEJAアドベントカレンダー2022 の 19 日目の記事です。 こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井です。 世間では Diffusion Model 使った AI による画像生成が流行っているみたいですね。 自分は元々 Computer Vision 系の機械学習エンジニアだったんですが、この１年くらいは AI モデル開発ではなくもっぱらバックエンド開発メインでやっていて完全に乗り遅れた感あるので、この機会に有名な Diffusion Model の１つである Stable Diffusion v1 について調べてみました！*1 では早速本題に入りたいと思います！ Stable Diffusion v1 とは？ Denoising Diffusion Probabilistic Model（DDPM） 学習時の動作 for
ユーザの地域考慮＋機械学習モデルによるCTR改善 〜 ヤフー検索の入力補助機能での事例
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、検索統括本部の山本です。 Yahoo!検索では、入力補助機能の精度の改善をめざしています。検索クエリには地域によって検索数の分布が異なるものがあり、例えば「翔んで埼玉」というクエリは埼玉県を中心に検索数が多いです。そこで検索の入力を支援する機能にユーザの地域情報を用いるようにしたところ、CTR等の指標を改善できました。 本記事ではこのユーザの地域情報を用いた施策の検討、オフライン検証、A/Bテスト、本番リリースまで行った一連のプロセスを紹介します。先日開催されたYahoo! JAPAN Tech Conference（以下、YJTC）でお話しした内容をベースに、当日いただいた質問にもお答えします。 検索時にユーザを支援
9月新刊情報『入門 機械学習パイプライン』
『入門 機械学習パイプライン ―TensorFlowで学ぶワークフローの自動化』 Hannes Hapke, Catherine Nelson 著、中山 光樹 訳 2021年9月24日発売予定 384ページ（予定） ISBN978-4-87311-951-9 定価4,180円（税込） 機械学習を用いた本番システムの構築には、データの前処理やモデルの学習、デプロイなどのステップが必要です。しかし、これらのステップは手動で実行されることが多く、エラーの原因となっています。そこで本書では、TensorFlowのエコシステムを使用した機械学習パイプラインの構築方法について学びます。パイプラインを用いて各ステップを自動化することで、レガシーなシステムの保守から解放され、新しいモデルの開発に集中できるようになります。 本書の表紙の動物は、マッドパピー（Necturus maculosus）です。北米東
Andrew Ng: Deep Learning, Education, and Real-World AI | Lex Fridman Podcast #73
Andrew Ng is one of the most impactful educators, researchers, innovators, and leaders in artificial intelligence and technology space in general. He co-founded Coursera and Google Brain, launched deeplearning.ai, Landing.ai, and the AI fund, and was the Chief Scientist at Baidu. As a Stanford professor, and with Coursera and deeplearning.ai, he has helped educate and inspire millions of students
プリキュアで学ぶ劣モジュラ関数 - むしゃくしゃしてやった，今は反省している日記
Machine Learning Advent Calendar 2015 1日目の企画です． 機械学習・人工知能系の国際会議（ICML, NIPS, AAAIなど）のチュートリアルや論文を眺めたことのある人なら，Submodular Function（劣モジュラ関数）という単語に見覚えがあるかもしれません．実際，ICML 2013，AAAI 2015や今年のIBISでも劣モジュラ関数のチュートリアル講演がなされています．今回は，劣モジュラ関数についてプリキュアで解説したいと思います． 劣モジュラ関数とは 劣モジュラ関数は集合関数（ある集合の部分集合を引数に取り，実数値を返す関数）の一種です．具体的には以下の定義を満たす関数です． $f: 2^E \to \mathbb{R}$ が劣モジュラ関数 $\iff$ 全ての$X \subseteq Y$ と $i \not\in Y$ に対して
Mapping roads through deep learning and weakly supervised training
Mapping roads through deep learning and weakly supervised training Creating accurate maps today is a painstaking, time-consuming manual process, even with access to satellite imagery and mapping software. Many regions — particularly in the developing world — remain largely unmapped. To help close this gap, Facebook AI researchers and engineers have developed a new method that uses deep learning an
Bag of Wordsについて書いてみる - どん底から這い上がるまでの記録
Bag of Wordsについて書いてみます。 ほとんどの機械学習は入力として数値データを与えなければなりません。そのため、自然言語処理において自然言語で書かれたデータを何らかの形で数値に変換する必要があります。Bag of Wordsはそのための一つの方法になります。 Bag of Wordsって何？ 1. 数値変換 2. one hot vector 3. 足し合わせる pythonでの実装 gensimで実装 scikit-learnを使った実装 あわせて読みたい ゼロから作るDeepLearning おわり Bag of Wordsって何？ Bag of Wordsというのは自然言語処理において自然言語（人間が日常で使用している言語）で記述されたデータ、つまり文をベクトルで表現する方法のことです。 Bag of Wordsは次の３ステップで作ることができます。 数値変換 one h
AI Transformation Playbook How to lead your company into the AI era - Landing AI
AI Transformation Playbook How to lead your company into the AI era PLAYBOOK AI (Artificial Intelligence) technology is now poised to transform every industry, just as electricity did 100 years ago. Between now and 2030, it will create an estimated $13 trillion of GDP growth. While it has already created tremendous value in leading technology companies such as Google, Baidu, Microsoft and Facebook
ヤフー、AIでドラレコ映像を解析 ガソリン価格や駐車場の満空情報、行列のできる店をナビに反映 実証実験スタート - ITmedia NEWS
ヤフーは10月15日、ドライブレコーダーの映像をAI（人工知能）が解析することで、道路沿いにあるガソリンスタンドのガソリン価格や駐車場の満空情報といった視覚情報をデータ化する実証実験を始めたと発表した。得られるデータを検証しながら、自社の地図サービス「Yahoo! MAP」やアプリ「Yahoo!カーナビ」での活用を目指す。 実証実験では、東京都23区内を走るアスクルの配送用車両に搭載したドライブレコーダーの映像を活用。ガソリン価格や駐車場情報の他、渋滞や事故といった交通状況や、レストランの行列状況など、あらゆる場面を認識して地域情報に反映するような用途を検討する。 ドライブレコーダーの映像はヤフーが管理するサーバに直接送信し、アスクルはデータに関与しない。映像に映ったクルマのナンバープレートや歩行者にはマスキング処理を施し、個人を特定する目的では使用しないとしている。実証実験の期間は201
AWSの新サービス群に対する一行所感 - プログラマでありたい
今年もラスベガスで、AWSの最大のイベントre:Invent開催中です。初回のキーノートが終わった所ですが、怒涛のサービス発表で頭が混乱中です。整理のために、サービスに対する感想をつけてみます。間違っているかもしれないので、悪しからず。 AWS AppSync モバイル等での複数端末のデータ同期を見据えたソリューション。必要性はすごく解るが、それってCognito Syncでやりたかったことじゃないのかな？認証認可のサービスにデータ同期を加えた筋の悪さを解消に来たのか？ 2017/12/3 追記 中の人曰く、次のような役割分担とのこと AWSの新サービス群に対する一行所感 - プログラマでありたい ありがたし / Cognito Syncは「一つのIdentityに（≒一人の人間）が持つ」複数端末間での設定値等の同期のためのものだったので、前提と志向が違うのです > AppSync “それ
MoCoGAN: Decomposing Motion and Content for Video Generation | DL Hacks
はじめに 「GANで画像を生成してみた」系の記事はたくさんありますが、動画の生成はなかなかないんじゃないかと思います。 なぜなら、従来のGANによる動画生成1は人間の影らしきものを動かすのがやっとで、画像生成と比べて技術が遅れていたのです。しかし本日ご紹介するMoCoGAN2は、7月にarxivで論文が発表されたばかりの論文で、既存研究に比べて圧倒的に綺麗な動画を生成することができます。 この記事では、MoCoGANのArchitecture及び、Pytorchによる実装のポイントを解説していきます。 github上の実装はこちらになります。https://github.com/DLHacks/mocogan また筆者による実装はまだ公開されていないようなので、これがおそらく初の公開実装となるかと思います。（※17/9/30時点） スターをいただけると励みになります……!!! モデル 新規
名古屋で機械学習の勉強会をやっています
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog 勉強会お手伝い担当の iwasawa です。 今回は弊社の名古屋オフィスが会場提供をしている『機械学習 名古屋 分科会 ゼロから作る Deep Learning 読書会＋ハンズオン』をご紹介させていただきます。 『機械学習 名古屋 分科会 ゼロから作る Deep Learning 読書会＋ハンズオン』とは こんなの。 書籍『ゼロから作る Deep Learning』を輪読しつつ、合間にコードを書いたりする勉強会です。 『ゼロから作る Deep Learning』には Python によるサンプルコードが多く載っているのですが、この勉強会では Python だけでなく Ruby や Julia によるソースコードを提示することが定番
【Edward】MCMCの数学的基礎からStochastic Gradient Langevin Dynamicsの実装まで - Gunosyデータ分析ブログ
こんにちは。初めまして。 データ分析部新入りのmathetake(@mathetake)と申します。 先日個人ブログでこんなエントリを書いた人です: mathetake.hatenablog.com そんなこんなでTwitter就活芸人(?)として活動(?)してましたが、これからは真面目に頑張っていこうと思います。 今日はみんな大好きベイズモデリングおいて、事後分布推定に欠かせないアルゴリズム(群)の一つである*1 マルコフ連鎖モンテカルロ法(Markov chain Monte Carlo) 通称MCMCに関するエントリです。より具体的に、 MCMCの意義(§1.)から始め、マルコフ連鎖の数学的な基礎(§2.,3.,4.)、MCMCの代表的なアルゴリズムであるMetropolis-Hastings法(§5.)、その例の１つである*2Langevin Dynamics(§6.)、そして(僕
Tokyo r12 - R言語による回帰分析入門
[DL Hacks] Deterministic Variational Inference for RobustBayesian Neural Netw...Deep Learning JP
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
論文紹介: Generative Models are Unsupervised Predictors of Page Quality: A Colossal-Scale Study (WSDM 2021)
Mercari ML&Search Talk Vol.1 ~Personalization~
Multi-Armed Bandits and the Stitch Fix Experimentation Platform | Stitch Fix Technology – Multithreaded
Blog
http://datasci.interworks.com/patient_prediction