メタ学習（meta-learning）の紹介：Regression版で今年の東京の気温を当ててみました～ | GMOインターネット 次世代システム研究室
2018.10.01 メタ学習（meta-learning）の紹介：Regression版で今年の東京の気温を当ててみました～ こんにちは。次世代システム研究室のK.S.（女性、外国人）です。 夏休みはいかがでしたか？ 暑い日々がそろそろ終わり、これからは涼しくなって行くでしょう。では、来月の気温はどれくらいになるでしょうか？ 気温がよい感じで下がってくれれば、秋には綺麗な紅葉が見られるかな？ 紅葉を楽しみにしているので、機械学習の関連技術を利用し、東京の気温を予測してみたいなあと思いました。 最近、International Conference on Learning Representations (ICLR)といった有名な機械学習の学会が去年の3つの最優秀論文を発表しました。その中の一つは メタ学習についての論文 でした。発表結果を聞いて、え、meta-learningってなんです
状態空間モデルのれんしゅう（レストランの来客予測） - rmizutaの日記
はじめに 時系列解析を行う上で、状態空間モデルが現状使用できる手法の中で優れているのではと自分の中で話題だったので、 使ってみることにしました。 状態空間モデルを使うことの目的 時系列解析を行う上でもモデルの種類は無数にあるのですが、 どういう場合に状態空間モデルを使うのでしょうか？ この部分については以下のサイトに詳しく書かれていました。 https://logics-of-blue.com/%E3%81%AA%E3%81%9C%E7%8A%B6%E6%85%8B%E7%A9%BA%E9%96%93%E3%83%A2%E3%83%87%E3%83%AB%E3%82%92%E4%BD%BF%E3%81%86%E3%81%AE%E3%81%8B/ 状態空間モデルはデータが得られるプロセスとは何か？を重視したモデルであり、 回帰分析よりも各要因の影響が納得性の高い形で見ることができ、またその構
Neural Tangentsによる無限幅深層ニューラルネットワークの構築とベイズ推論
要点¶Neural TangentsはGoogle AIが開発したJAXのラッパーライブラリです。無限幅 (中間層のユニット数$\to \infty$)のニューラルネットワーク (以後, NN: neural networks)を高速かつ簡単に構築及び学習させることを目的としています。 Neural Tangentsでは無限幅のNNを学習させる手法としてNNGP (Neural Network Gaussian Process)と NTK (Neural Tangent Kernel)の2つを実装しています。 この記事ではNNGPとNTKの要点を紹介し、Neural Tangentsを用いた実装について紹介していきます。 Neural-Tangentsに関連する文献¶ Paper : https://arxiv.org/abs/1912.02803 OpenReview : https:/
Stan でパラメータに大小関係の制約をつける - ほくそ笑む
EC サイトなどでは、1 ページの読み込み時間の平均値が短いユーザほどコンバージョン率が高くなるという話があります。 この原因については、サクサク読み込みが終わる速いサイトの方がユーザは気前よく購入する、というわけではなく、単に速い回線を持つほどお金持ちなので購入しやすいという身も蓋もない話もあります。 今回はこの原因についてではなく、制約条件が付いた時のパラメータ推定の話をします。 とりあえず擬似データを作成しましょう。 true_cvr <- c(0.209, 0.126, 0.096, 0.093, 0.086, 0.077, 0.067, 0.057) load_time <- c("0-1", "1-3", "3-7", "7-13", "13-21", "21-35", "35-60", "60+") session <- c(1000, 6000, 4000, 1500, 7
『Pythonではじめる数理最適化』の7章「商品推薦のための興味のスコアリング」をStanで解く
この記事は確率的プログラミング言語 Advent Calendar 2023の12/8の記事です。 概要 『Pythonではじめる数理最適化』はいい本ですよね。親しみやすい実例、分かりやすい数式、きれいなPythonコードと三拍子そろっています (今年のアドカレで改訂版が近いうちに出ることを知りました)。 7章「商品推薦のための興味のスコアリング」では、「何日前に直近の閲覧があったか」と「閲覧回数」の二つの軸で興味のスコアを考えます。興味のスコアが単調減少であるという制約のもと、再閲覧の割合と推定値の二乗誤差を最小化するという凸二次計画問題として解いています。この記事ではStanで解くとこんな感じですというのを示します。メリットとしてベイズ信頼区間も推定されます。 データ 公式のリポジトリの7章のipynbファイルを途中まで実行して得られるデータフレームrf_dfを使用します。他の人の扱い
IPW推定の活用で工夫したこと｜グロービス・デジタル・プラットフォーム
はじめにこんにちは！グロービスのデータサイエンスチームでデータサイエンティストとして働いている菅沼です。 2021年7月からグロービスに参画し、ビジネススキルを動画で学べる GLOBIS 学び放題 というサービスについて、行動ログやアンケート調査データの分析を担当しています。 以前、GLOBIS学び放題における施策の効果検証に統計的因果推論を導入した取り組みについてご紹介しましたが、今回は統計的因果推論のIPW推定を実務に適用する際に工夫してきたことをご紹介できればと思います。 尚、IPW推定の詳細については、ここでは触れませんので、下記に記載の参考文献をご参照ください。 活用上の工夫とは前回の記事でも書きましたが、因果推論のテキストは理論面での記載は充実していても、実際の業務にどのように適用するかは現場担当者が考えることが求められます。因果推論の中で最もよく使われる手法の一つであるIPW
階層ベイズを用いた地域ごとの家賃の変化の推測 - Gakushukun1’s diary
目的 RStanによる階層ベイズを用いて, 日本の各地域ごとの家賃の変化を推測する. 今回は, e-statの日本の様々な町ごとの1991年と2000年の家賃のデータを用いて, 各地域の家賃の変化の推測を行う. その際, 日本全体で大まかな変化の傾向があることを仮定して, 階層ベイズモデルを適用する. 具体的には, データに含まれる67箇所の都市を6つの地域(北海道&東北, 関東, 中部, 関西, 中国&四国, 九州)に分類して, 次のようなモデルにより線形回帰を行う. (ただしはサンプル点の所属する地域を表す) このモデルでは, 地域のX(1991年の家賃)とY(2000年の家賃)の関係を示す線形モデルのパラメータが, 平均, 標準偏差の正規分布から生成されていると考える( も同様に平均, 標準偏差の正規分布から生成されているとする). また, 標準偏差は, ごとに定数1.0とをパラメー
スポーツを機械学習する ～ Jリーグを事例にした分析 ～② - Qiita
だいぶ期間があいてしまいましたが、以下の投稿の続きを報告したいと思います。 https://qiita.com/ryouta0506/items/100a2b252fbaeb73f493 続きといっても、使用するモデルを変えてみようというものです。 前回の報告では、得点はポアソン分布に従うと仮定しました。結果は、予測得点が０点・１点に集中して２点と予測するケースがほとんどありませんでした。サッカーにおいて３点より多いことは希少なので予測できなくても仕方がないと割り切れるのですが、やはり２～３点は相応の割合で予測できていないとうまくありません。そこで、他の確率分布を試したいと思います。 負の二項分布を使用 ポアソン分布は、その定義上、期待値=分散をいう関係にあります。これは、期待値が小さいとバラつきも小さくなり、大きくなると大きくなるということを意味します。サッカーの得点のように基本的に０点
Stanの関数を使ってRを拡張して高速化する - StatModeling Memorandum
（C++に自動で変換される）Stanの関数を使ってRを拡張できる機能が、Stan/RStanの2.16で実装開始されて2.17でほぼ完成しました。Rを高速化するためにC++（とRcpp）はあまり書きたくないけれど、Stanの関数なら書いてもいいよという僕得な機能です。この記事ではその方法を簡単に紹介します。 元にした資料はRStanの開発者であるBenさんがStanCon2018で発表したこちらの資料です。 ここでは例として、以下の2つの関数をRで使えるようにしましょう。 1) 機械学習分野でおなじみのlog_sum_exp関数 引数はN個の正の実数 2) データにemax modelという曲線をあてはめた場合の対数尤度を返す関数 引数はデータ（N個のXとYのペア）とパラメータの値 手順は簡単で以下だけです。 functionsブロックだけ書いたstanファイルを用意する R側でrstan
一般化ガンマ分布をStanに実装する
最近は生存時間解析 (survival analysis; 継続時間解析とも) を使った研究に勤しんでいるのですが，パラメトリックモデルについて勉強していたら，ガンマ分布・ワイブル分布・指数分布を包含する一般化ガンマ分布 (generalized gamma distribution) なる面白い分布が登場したので，これをStanに実装してみました。一般化ガンマ分布は非負の値を返す確率分布で，確率密度関数は以下の式で表されます。 この式ではrateパラメータをλ (逆数の1/λがscaleパラメータ)，2つの形状パラメータをg，wと置いています。gはガンマ分布の形状パラメータ，wはワイブル分布の形状パラメータに対応しています。g=1のときワイブル分布，w=1のときガンマ分布，g=w=1のとき指数分布と一致することが特徴です。他のパラメータ化の方法もありますが，他の分布との関係が分かりやすい
pystanによる将棋プロ棋士の実力値モデリング【先手と後手での実力差可視化】 - Qiita
こんな人におすすめ 将棋が好きな人 pystanによる統計モデリングに興味がある人 藤井聡太二冠の実力がすごいのかを知りたい人 この記事でやったこと 棋士ごとに先手、後手で実力値がどの程度違うかを検討 pystanを用いて将棋のプロ棋士の実力値をモデリング 棋士の実力は対局ごとにばらつきのある正規分布としてモデリング 将棋レーティングサイトから対局結果をスクレイピングした結果を使用 はじめに 藤井聡太二冠、強いですよね。テレビで取り上げられたりするなど将棋の露出度がましています。 プロの将棋でよく取り上げられる議題は、後手番は本当に不利なのか？というもの。普通に考えたら一手先にさせる分先手が有利そうです。事実としてプロの将棋では先手番の勝率の方がやや高くなっているそうです。(先手番勝率が53%程度) しかし、それは将棋界全体でみた場合のはなし。実際は、棋士ごとに先手、後手どちらが得意かとい
納豆と牛肉の「イケナイ」関係：空間的自己相関のモデリング | Sunny side up!
この記事は、Stan Advent Calendar 2019 10日目の記事です。 今回紹介する話は、僕の研究に関わるところなので、これまでの記事に比べて若干領域限定的な話です。 しかし、結構重要な問題を含んでいるので、「都道府県別のデータで相関みたぜいえーい」っていう感じの人はぜひ見てもらえればと思います。 納豆と牛肉のイケナイ関係 今回はいきなりタイトル回収しました。 実は最近、いろんな関心から都道府県別のデータをながめてたわけです。そういうときに便利なのがこのサイト。学術的にどれくらい正しいか知らないけど、ざっとしたことを知るには便利。 都道府県別統計とランキングで知る県民性 タイトルが若干ゆるいですが、まぁ便利です。 で、いろいろデータを見てたんです。そしたらね、発見しちゃったんです。 納豆と牛肉の消費量にすげぇ相関があることを。 相関係数 r = -.74。見て確信しましたね。
（サッカー解説）2点差は危険なスコアですね ← ??? - 驚異のアニヲタ社会復帰の予備
高校サッカーを見ていた。2017年度は前橋育英が初優勝で幕を閉じた。 どの試合だったか忘れてしまったが、2点差がついたときに解説が「2点差は危険」ということを言っていた。 調べてみると、やはりよく言われていることのようだが、実際にデータをとってみると、プレミアリーグでは2点差をひっくり返して勝つ確率は1.71%、Jリーグでは2点差からドローが5%、2点差から敗北5%だったらしい。 自分はユース年代のファンなので、せっかくJFA が公式に試合記録を出してくれるということもあって、冬の高校選手権の得点時間を抽出して、2点差が危険なのかどうかを解析したい。 JFA から公式記録PDF を取得するが、2009年(88回大会)から2017年(96回大会)まで存在していて、各大会47試合ある。ただし、2009年はPDF の都合でデータをパースできなかったので全部で379試合が対象である。 試合記録から
CM視聴の効果を推定する(負の二項分布編) - rmizutaの日記
はじめに 前回 は、ゼロ過剰ポアソンを用いてCM視聴がゲームのプレイ時間に与える効果の測定を行いました。 ゲームのプレイの有無に与える効果の部分はうまく推定できましたが、 ゲームをプレイする時間に与える効果はポアソン分布ではうまく推定することができませんでした。 この部分もうまく推定できるよう、階層ベイズやゼロ過剰負の二項分布等を試してみましたが、そちらはうまくいかず、最終的にゲームのプレイ時間をスケールすると普通の負の二項分布に当てはまりが良くなったので、その結果を書いていきます。 負の二項分布について 負の二項分布については下記の資料がわかりやすかったです。 https://www.slideshare.net/simizu706/ss-50994149 負の二項分布は、下記のようなある成功率pで、r回正解するまでに必要な失敗回数を示す分布で、過分散対策としてよく使われるようです。 （
rstanで分析をするのに必要なR力（りょく） - Knowledge As Practice
Stan Advent Calendar 2016 の 4日目です。非マニア枠です。 本日のエントリーは Stan を普通に使える人、情報科学・データ科学な人を対象にしていません。少し R に慣れてきて、ベイズ統計モデリングにも興味を持ち始めた人向け。ずばりターゲットは次のようなレベルの人です。 いざ R を使って分析するときには使い方を忘れていて検索しながら使う。 dplyr の使い方に慣れておらず、めんどくさくなって結果エクセルを使ってしまう。 つまり私。そんな中途半端なレベルな人（私）向けに『Stan と R でベイズ統計モデリング』（以下，アヒル本とします*1）を読んでいるときにつまずくであろうところを書いておきます。アヒル本を読む・理解するには、適度に R と ggplot2 を使えるスキルが必要だからです。 さて，R を使った統計分析の本をいくつか読んで、簡単な分析をできるよう
「RとStanではじめる ベイズ統計モデリングによるデータ分析入門」書評 - nora_goes_far
この記事について 著者の馬場真哉様より、2019年7月10日に講談社より発売の、「RとStanではじめる ベイズ統計モデリングによるデータ分析入門」をご恵投いただきました。ありがとうございます！！ www.kspub.co.jp 事前に献本をいただけるということを伺っていたので、その時から「ご恵投いただきました！」とTwitterで報告するだけでなく、簡単にでも読んでみた感想を書こうと決めていました。 まだざっと読んだ段階で、コードを実際に走らせてもいないのですが（もちろん後でじっくり読みながら実行します）、感想や関連書籍との比較をしていきたいと思います。 本記事の方針 本書の「はじめに」の部分やサポートページには、以下のような方を対象読者としていると書かれています。本記事も、そのことを念頭に書いていこうと思います。 統計学の基礎やベイズの定理などの基本事項を学んでみたものの、その有効性が
クラウドソーシングにおける真のラベル推定手法【RStanで実装】 - 名前はまだない
はじめに 最近、教師データを作成する際に質の高いデータが欲しいなとという思いが強くなってきました。 そんなときにクラウドソーシングにおけるラベルの品質管理という話を知りました。 少し調べてみましたので、まとめて用いられている手法を実装してみます。 クラウドソーシングの品質管理 クラウドソーシングにおいて、一人のワーカが行ったラベリングでは、機械学習の教師ラベルとして用いるには質が劣ってしまいます。 タスクの難易度により生まれる解答の個人差や金銭のみを目的としたワーカが、でたらめな回答をしてしまうことがあるためです。 この状態を解消するために、複数のワーカにラベリングを行ってもらい結果を統合します。 しかし、単純な多数決では上記のような質の悪いワーカの回答にひっぱられてしまい、得られたラベルの質も悪くなってしまいます。 そこで、複数のワーカのラベリングから真のラベルを推定してラベルの品質を高
DAG の構造学習を連続最適化問題に落とし込んで解く NO TEARS アルゴリズム - Qiita
NO TEARS アルゴリズムとは NO TEARS はデータから有向非巡回グラフ（Directed Acyclic Graph; DAG）を推定するためのアルゴリズムです。因果推論ライブラリ CausalNex の中で使われています。 $d$ 個の変数間の関係を知るために DAG を推定しようとすると、$d$ に対して計算量が急増化することは容易に想像できます。実際、DAG 学習問題は素直に取り組むと NP 困難となります。これを解消するために、NO TEARS アルゴリズムでは「非巡回」という条件を滑らかな関数で表現し、DAG の学習を連続最適化問題に落とし込みます。つまり、重み $W \in M_d\left(\mathbb{R}\right)$ のグラフ $G\left(W\right)$ があり得る DAG の集合 $\mathbb{D}$ に含まれているかという条件のもとでの最
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
By The Way: CmdStanRでGPU(OpenCL)を使う
stan推定後の可視化について Tokyo.R#94
