変数選択の検索結果1 - 4 件 / 4件

• あとで読む

  ランダムフォレストを使うなら変数選択はしなくてもいいのか？ - 静かなる名辞

  • 22 users
  • www.haya-programming.com
  • テクノロジー
  • 2023/08/10

  はじめに 表題の通りの話をたまに聞きます。「ランダムフォレストは内部で変数選択を行う。なので変数選択は必要ない」という主張です。 しかし個人的には、それはあくまでも 他の手法*1と比べれば変数選択しなかった場合の悪影響が少ない ということであって、ランダムフォレストであっても変数選択した方が良いんじゃ？　ということを昔からずっと思っていました。 検証してみます。 思考実験 実際に検証する前に思考実験を行います。 まずパターンA（変数選択なし）とパターンB（変数選択あり）の2通りを考えます。 パターンA 有効な変数：10個 無効な変数：90個 パターンB 有効な変数：10個 のみ（無効な変数なし） ランダムフォレストの弱分類器では、元々の変数の数の平方根くらいの数の変数を使うのが一般的です。そうすると、 パターンAの場合 弱分類器で使う変数は10個。うち有効なもの（の期待値）は1個。 パター

  • 機械学習
  • 数学
  • 統計
  • あとで読む
  • プログラミング
  • HotEntry

  
• あとで読む

  「回帰分析から分かること」と「変数選択」

  • 14 users
  • speakerdeck.com/shuntaros
  • テクノロジー
  • 2021/10/20

  10/23にp.11をアップデート

  • slide
  • 統計
  • *あとで読む
  • あとで読む

  
• あとで読む

  縮小事前分布によるベイズ的変数選択1: Bayesian Lasso - Qiita

  • 5 users
  • qiita.com/ssugasawa
  • テクノロジー
  • 2021/04/23

  東京大学・株式会社Nopareの菅澤です．今回から縮小事前分布を使ったベイズ的変数選択の方法について，背景の原理やRでの実装について数回に分けて紹介していこうと思います． 今回は正則化法として有名なLassoのベイズ版であるBayesian Lassoについて紹介していきます． 線形回帰モデル 以下のような線形回帰モデルを考えます． $$ y_i=x_{i}^T\beta+\varepsilon_i, \ \ \ \ i=1,\ldots,n. $$ ここで$y_i$は被説明変数，$x_i=(x_{i1},\ldots,x_{ip})^T$は説明変数のベクトル，$\beta=(\beta_1,\ldots,\beta_p)^T$は回帰係数のベクトル，$\varepsilon_i$は誤差項を表します．以下では簡単のために，$\varepsilon_i$は独立かつ$\varepsilon_i\

  • モデル

  
• あとで読む

  粘菌が開発のヒントに！機械学習のさらなる精度向上を目指して・新しい変数選択手法RACSIS（Random Combination Selection with Iterative Step） - Qiita

  • 5 users
  • qiita.com/mhrt-tech-biz-blog
  • テクノロジー
  • 2023/01/30

  粘菌が開発のヒントに！機械学習のさらなる精度向上を目指して・新しい変数選択手法RACSIS（Random Combination Selection with Iterative Step）機械学習データ分析経済学変数選択最適解探索 1.はじめに RACSIS（Random Combination Selection with Iterative Step）1は、全く新しい変数選択手法です。本稿では、なぜ今新しい変数選択手法を開発したのか、その経緯と開発のヒントになった粘菌の研究に触れた後、RACSISの中身について述べ、その応用事例についてもご紹介します。 2. 機械学習の精度向上の鍵を握る変数選択 変数選択は機械学習で重要なテーマの一つですが、これまで、なかなか進展がなく、精度向上の大きな足枷となっていました。どうしてかと言うと、あまりに組み合わせが膨大過ぎて、全探索による最適解探索が

  • 人工知能