はじめに データ分析：実用系 Kaggleで勝つデータ分析の技術 ウェブ最適化ではじめる機械学習 データ分析：因果推論 入門 統計的因果推論 計量経済学 大人の教養 世界標準の経営理論 科学的に正しい筋トレ 最強の教科書 落合務のパーフェクトレシピ はじめに 今回は、特にドメインを指定せず、読むと間違いなく誰にでも勉強になるであろうと感じた書籍を紹介します。 データ分析：実用系 Kaggleで勝つデータ分析の技術 Kaggleで勝つデータ分析の技術 作者:門脇 大輔,阪田 隆司,保坂 桂佑,平松 雄司発売日: 2019/10/09メディア: 単行本（ソフトカバー） "Kaggleで勝つ"と題名にはありますが、データ分析、特に予測モデルを作るようなケースで重要な基礎知識が実践的に学ぶことができる非常に良い本となっています。例えば、交差検証といえば、基本的には汎化誤差の推定量として統計学の本に
【プレスリリース】発表日:2019年8月22日熟練の研究者の「勘と経験」を誰でも簡単に再現～たった数分で単結晶構造解析の結果の事前評価が可能に～■ポイント▽従来の単結晶構造解析は、試料の選別や、高精度の解析結果を効率良く得るための計測条件を、熟練の研究者の「勘と経験」で決定していた。▽統計解析技術の1つである「ベイズ推論」を用いることで、選別した試料から得られる単結晶構造解析結果や、設定した
はじめに データとモデル 確率モデル 確率モデルを作る 複雑なモデルを使うことが最善手であるか モデルの具体的な作り方 モデルの仮定 アンサンブルモデル 点推定モデル 最尤推定 制約付き最尤推定※ （最大事後確率推定） ベイズ予測分布と点推定 ベイズ統計学 ベイズ予測分布を得ることの意義 ベイズ統計学の主題 特異モデルと正則モデル ベイズ統計学のまとめ はじめに ベイズだの頻度論だので盛り上がっているので、ぶん殴られる覚悟で書いてみます。 データとモデル 観測値がランダムに見える場合、それを確率変数 $X$ として扱います。 さて、今、$X$ には我々が知ることのできない真の分布 $q(X)$ があるとしましょう。もしも、$X$ を無限回観測し満遍なくデータを集められるとすれば、$q(X)$ の形状を把握することができるかもしれません。 ところが、そんなのは幻想であって実際に無限回の観測を
データ分析基盤の構築について共有するTECH PLAY主催のイベント「データ分析基盤Developers Night〜」。第4回となる今回は、「活用されるデータ基盤」がテーマです。メルカリでの機械学習を用いたデータ分析基盤の活用について、澁井雄介氏が登壇し知見を共有しました。 ※新型コロナウイルス対策のためオンライン開催に変更されています。 機械学習とシステムデザイン 澁井雄介 氏（以下、澁井）：メルカリの澁井と申します。今日は「機械学習とシステムデザイン」というテーマで話させてください。 先ほどマクロミルさんがデータ分析基盤の話をされましたが、私はデータ分析基盤の出口のほうでやっている機械学習とそれによるサービスの改善をやっています。出口のほうでどういった仕組みを作っているのか、メルカリの事例から共有できることをお話したいと思っています。 まずは自己紹介をさせてください。澁井と申します。
経済セミナー2022年6・7月号 通巻726号【特集】経済学と再現性問題 日本評論社Amazon 最近は計量経済学・統計学方面の方々との交流が多いんですが、そのご縁で『経済セミナー』の2022年6・7月号が再現性問題を取り上げていたと知り、入手して読んでみました。特集部分の目次を以下に引用すると、 特集＝ 経済学と再現性問題 【鼎談】再現性の問題にどう向き合うか？……川越敏司×會田剛史×新井康平 心理学における再現性の危機――課題と対応……大坪庸介 経済学における再現性の危機――経済実験での評価と対応……竹内幹 フィールド実験・実証研究における再現性……高野久紀 健全な研究慣習を身に付けるための実験・行動経済学101……山田克宣 再現性問題における統計学の役割と責任……マクリン謙一郎 という内容で、幾つかの分野にまたがって論じられています。特に、このブログ含めて個人的に度々お世話になってい
偽陽性者が1人出るかどうかという数字になります。 「日本人全員を対象にした大規模PCR検査をしろ」なんてことを言ってる人は、ほとんどいないと思うのですが罹患率0.005%というおかしな仮定で計算しています。 それにしてもこの人は凄い。 「特異度は感度より高いが、特異度が100％の検査は理論上、存在しない。理由はこうだ。」の後に一切その理由を書いていません。 誰かチェックしないのでしょうか？ EARLの医学ツイート 東北医科薬科大学病院感染症内科 福家良太氏 罹患率0.5%、感度70％、特異度99.997%として計算すると陽性的中率は99.15%です。 計算上ほぼ偽陽性は起こりません。 普通は1度の検査で陽性確定とはしないと思います。 患者への負担が大きい場合、再検査は必ず行うはずです。 この医師はたった1回の検査で確認もせずに重要なことを決定するのでしょうか？ 感染症専門医 岩田健太郎
損失関数・不均衡 不均衡データにおけるsampling ランク学習のListNetをChainerで実装してみた 不均衡データへの決定打となるか！？「Affinity loss」の論文を読む、実装する 不均衡データを損失関数で攻略してみる 解説編：オーバーサンプリング手法解説 (SMOTE, ADASYN, Borderline-SMOTE, Safe-level SMOTE) LightGBMでランキング学習 半教師あり学習のこれまでとこれから Struggling with data imbalance? Semi-supervised & Self-supervised learning help! 深層学習 転移学習：機械学習の次のフロンティアへの招待 ディープラーニングの判断根拠を理解する手法 DNC (Differentiable Neural Computers) の概要 +
『RとStanではじめるベイズ統計モデリングによるデータ分析入門』は「みどりぼん」に取って替わる次世代の統計モデリング＋ベイジアン入門書 - 渋谷駅前で働くデータサイエンティストのブログ
ここ2ヶ月ぐらいに渡って多くの方々からご著書をご恵贈たまわっているのですが、そのうちの一冊がこちら。かつて計量時系列分析を学んでいた頃に僕も大変お世話になった、Logics of Blueブログの馬場さんの手による『RとStanではじめるベイズ統計モデリングによるデータ分析入門』です。 実践Data Scienceシリーズ RとStanではじめる ベイズ統計モデリングによるデータ分析入門 作者:馬場 真哉出版社/メーカー: 講談社発売日: 2019/07/10メディア: 単行本 以前はベイズ統計モデリングの入門書というと「みどりぼん」こと『データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)』一択でしたが、皆さんもご存知のように既にメンテされていないWinBUGSを使っているなどout-of-dateな要素が多く、近年はこれに替わる良書
追記 再現性をチェックする実験を後日実施しています。併せてお読みください。 以前こんな記事を書きました。 この辺の話はとっくの昔に常識になっていると思っていたのですが、昨今様々な「モデル」が提唱されて公の場で喧伝されることが増えてきており、その中には明らかにこれらの記事で指摘されている問題に引っかかっているものがあるようなので、注意喚起も兼ねて改めてブログ記事として書いてみようと思います。 追記 (May 08, 2020) 本文中にも記事公開当初の初稿の時点でいくつか但し書きを入れてありますが、この記事で最も強調したかったことは「時系列データに対して多項式フィッティングを行うという本来あり得ないモデリングのやり方であっても、交差検証を行えば短期的な予測性能（汎化性能）を改善することができる」ということです。データセットにランダムウォークを選択したのは、単に極値が2つ以上ある時系列を生成し
上昌広氏が新型コロナウイルス対策に意見している（https://www.fsight.jp/articles/-/46472）が基本的な間違いが多い。ここに指摘しておく。 １．クリニックに風邪で受診する人に対して、新型コロナウイルスを検査すればいい 上氏は国内のコロナウイルス流行状況を把握するために外来受診の風邪患者で新型コロナウイルスの検査を推奨する。これはまったく不合理な間違いだ。 まず、日本では新型コロナウイルス感染者は20人程度しか見つかっていない（2020年2月5日本項記載時）。しかも全員が武漢との疫学リンクがはっきりしている。こういうフェーズのときに極めてコモンで日本中の外来にやってくる風邪患者にコロナウイルス検査を行うのはまったく不合理だ。金銭的にも労力的にも割に合わない。しかも検査が殺到してしまうと検査結果が出るのが遅くなる。ぼくは2001年の米国の炭疽菌騒動を経験したが、
ジューディア・パール『因果推論の科学』を読む：統計を、AIを、そして科学について考える人は、ぜひ一読を！ 英語圏ではすでにして評価の高い、ジューディア・パールの大著『因果推論の科学－－「なぜ？」の問いにどう答えるか』（原題はThe Book of Why）が、ついに翻訳刊行された。実は私は原書を読みかけて挫折していたのだが、このたび邦訳が出たのを機に、ついに読み通すことができた。そして、本書を読み通したことで得たものは大きい。 ジューディア・パールは、人工知能への確率論的アプローチの導入と、ベイジアンネットワークの開発により世界的名声を確立し、「人工知能分野の巨人」とも呼ばれる人物である。ベイジアンネットワークなんて初めて聞くという人もいるかもしれない。人口知能研究の歴史という観点からざっくりその位置づけを説明すると、かつてAI研究は、「エキスパートシステム」と呼ばれるアプローチを採ってい
「コペンハーゲン解釈」「多世界解釈」だけではない、量子力学の解釈を10個にまとめてみた『量子力学の諸解釈』 混迷する物理学が面白い。 原子や電子といった小さなスケールで世界を考えるとき、常識が通用しなくなっている。観察対象には実体があって、位置や速度を持っているという、当たり前のことが成立しなくなっている。 例えば、電子は粒子でありながら波でもある現象について。二重スリットを通過する電子は、干渉しあった波のような縞模様が出てくる。一方で、電子を一つずつ発射すると、粒子のように観測される。しかし、継続していくと、波のような干渉縞になる（粒子波動二重性）。 あるいは、観測によって、電子の振る舞いが劇的に変わる、波動関数の収縮について。スクリーン上の一点の電子を観測する実験を、波動関数の変化とする。電子を観測する前だとシュレーディンガー方程式に従って存在するが、ひとたび観測すると、従わなくなる。
はじめに 機械学習に関する実用的な知見を知るために、「Kaggleで勝つデータ分析の技術」を読んだので、Kaggle以外の場面でも活用できる話題をまとめてみた。本書は機械学習の基本的な内容も含んでいるが、この記事では機会学習に関する一通りの知識を持ち、実問題に利用している読者を想定してまとめた。従って、勾配ブースティング木の仕組みや、回帰タスクの評価方法等、基本的な内容については解説しない。本記事では、評価の落とし穴や、モデルを改善するための特徴量の工夫、チューニングのTipsについて紹介する。 特徴量 Tips 1: 欠損値の扱い データにはしばしば欠損値が含まれている。欠損値は、そもそも値が存在していない場合の他に、ユーザが意図して入力していない場合や、観測器のエラーによって取得できていない場合等、様々な理由によって生じる。欠損がランダムに発生していない限り、欠損しているという事実が何
翻訳について これは Roger R. Labbe 著 Kalman and Bayesian Filters in Python の翻訳です。英語版は CC BY 4.0 ライセンスで公開されています。 この翻訳は CC BY 4.0 ライセンスの許諾に基づいて公開されます。 PDF 版と Jupyter Notebook 版について この翻訳の PDF 版と Jupyter Notebook 版を BOOTH で販売しています。 謝辞 英語版の著者 Roger R. Labbe 氏に感謝します。 誤植を指摘して頂いた小山浩之氏 (https://twitter.com/0yama) に感謝します。
これまで総務で15年間勤務を続けてきた奥永 龍也さん。キャリアと安定した生活を捨てて、47歳未経験からのキャリアチェンジという前代未聞の挑戦の結果、彼を待ち受けていたものとは…。 47歳総務一筋15年のキャリアを捨てて、データサイエンティストへ（前編） これまで総務で15年間勤務を続けてきた奥永 龍也さん。 キャリアと安定した生活を捨てて、47歳未経験からのキャリアチェンジという前代未聞の挑戦の結果、彼を待ち受けていたものとは…。 努力すれば評価されるという環境で働きたい これまでの経歴を教えてください。 私は今まで、ある法人の総務でずっと働いていました。勤続15年です。結婚して子供も4人おり、安定した生活を送っていました。 プログラミングとは無縁の生活のように思えますが？ そうですね。プログラミングに興味を持ったのは、総務の仕事の中で、自分で公式HPを作成してみたいと思ったことと、業務効
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 R／RStudioでやさしく学ぶプログラミングとデータ分析 掌田津耶乃 データサイエンティストのための特徴量エンジニアリング Soledad Galli(著), 松田晃一(訳) 実践力をアップする Pythonによるアルゴリズムの教科書 クジラ飛行机 スッキリわかるサーブレット＆JSP入門 第4版 国本 大悟(著), 株式会社フレアリンク(監修) 徹底攻略 基本情報技術者教科書 令和6年度 株式会社わくわくスタディワール
実務で必須！２変数の関連性を正しく評価できるよう関連知識をまとめてみた - ABEJA Tech Blog
こんにちは、ABEJAの真壁孝嘉（@Takayoshi_ma）です。変数Aと変数Bにどれくらいの関連性があるの？このデータから何が言える？みたいなニーズって至る所にあるかと思います。その時に活用される様々な数学的指標たち、（自分含め）名前を知ってるだけだと危険だよなあって場面が近頃多い気がしたので、改めてメモ的な意味でブログを書いてみました。前半に（ピアソンの積率）相関係数に関する注意点を列挙したのち、後半にそれ以外の数学的指標の概要を列挙していこうと思います。 尚、このブログで度々登場する相関係数とはピアソンの積率相関係数を表すこととします。 相関係数の注意点 相関係数の概要 相関関係と因果関係は異なる概念 無相関であることと、独立であることは異なる概念 相関係数は外れ値に影響されやすい 選抜効果 相関係数の標準誤差 標本相関係数は母相関係数の不偏推定量ではない 2つの指標の関連度を測る
はじめに 千葉大学/Nospareの米倉です．今回は僕が専門にしている計算機統計学・ベイズ統計学周辺で僕が勝手にお勧めだと思う教科書を10冊簡単なコメント付きで紹介したいと思います．初学者向けといより，修士・博士課程位のレベルのが多いので，ややプロ向けです． お勧めのプログラミング言語 僕は普段Julia言語を用いています．特徴は非常に高速なのと，可読性の高さでしょうか．個人的にはPythonやRより優れていると感じていて，僕の周りの専門家でも使っている人が多いです． Robert and Casella "Monte Carlo Statistical Methods" この分野のバイブルと言えばバイブルみたいな感じですが，そう呼ぶにはちょっと頼りない感じもします．けどモンテカルロ法に興味がある人はマストバイです．色々な種類のモンテカルロ法が網羅的に紹介されています． Efron and
初学者の分かりやすさを優先するため，多少正確でない表現が混在することがあります。もし致命的な間違いがあればご指摘いただけると助かります。 はじめに 機械学習を勉強したことのある方であれば，変分ベイズ（VB：variational bayes）の難しさには辟易したことがあるでしょう。私自身，学部生時代に意気揚々と機械学習のバイブルと言われている「パターン認識と機械学習（通称PRML）」を手に取って中身をペラペラめくってみたのですが，あまりの難しさから途方に暮れてしまったことを覚えています。 機械学習の登竜門は，変分ベイズ（変分推論）だと私は考えています。また，VAE（変分オートエンコーダ；variational autoencoder）に代表されるように，変分ベイズは最近の深層学習ブームにおいて理論面の立役者となっている側面もあります。一方で，多くの書籍やWeb上の資料では式変形の行間が詰ま
統計学を哲学する 作者:大塚 淳発売日: 2020/10/26メディア: 単行本（ソフトカバー） 本書は応用統計学にも造詣の深い科学哲学者大塚淳による統計学の哲学の入門書になる．序章では本書について「データサイエンティストのための哲学入門，かつ哲学者のためのデータサイエンス入門」だとある． これまで読んだ統計学の哲学についてはソーバーの「科学と哲学」がなかなか面白かった．本書ではソーバー本では扱っていなかった因果推論や深層学習についても論じられていて，そのあたりも勉強したいと思って手に取った一冊になる． 序章 統計学を哲学する？ 序章では本書のねらいと構成が書かれている．ねらいとしては，上記の入門書というだけでなく，「統計は確固とした数理理論であり，そこに哲学的思弁が入り込む余地はない」とか「統計は単なるツールであり，深遠な哲学とは無縁だ」とかいう誤解を解きたいということが挙げられている．
はじめに 前回は年齢による実力の変化を考えずに各騎士の実力を評価しました。年齢による実力の衰えは明白であるため、このモデルで異なる世代の棋士の比較は正当ではありませんでした。 その後、インターネットで検索をすると、統計モデリングでの棋士の順位付けをしている記事がいくつかありました。[1][2] また、stanの書籍にも同様な手法が載ってます。[3] しかし、年齢効果による実力の変化を取り入れたモデルはまだないようですので、次はこの変化をモデル化して、世代をまたいで実力を比較できるモデルを構築してみます。一見、実力をローカルレベルモデル等のノイズ入り時系列モデルで表すことが出来そうですが、それだけでは新しい世代が有利なモデルのままになります。年齢による実力の増減を別個に取り入れる必要があります。 データ 用いるデータは、前回の記事「ベイズ統計モデリングを使って、藤井聡太と全盛期の羽生善治を比
東京大学松尾研究室 強化学習サマースクール2020 第5回 https://deeplearning.jp/reinforcement_cource-2020s/Read less
国のコロナウイルス対策がどのように変化してきたのか、検査は充分に行われてきたのかを振り返ります。 同時にPCR検査抑制論を唱える人達がどのようなことを言ってきたのかを時系列でまとめます。 1月16日 コロナウイルス感染症の国内初患者を確認 1月28日 武漢市滞在歴のないコロナウイルス感染患者を国内初確認(武漢市からのツアー客との接触歴あり) 新型肺炎、国内で人から人感染か 日本人患者を初確認 中国湖北省武漢市で発生した新型コロナウイルスによる肺炎について、厚生労働省は28日、国内で新たに3人の患者を確認したと明らかにした。うち1人は武漢滞在歴のない日本人で、1月に武漢からのツアー客を乗せたバスの運転手をしていた。日本人の感染確認は初めて。国内でも人から人への感染が広がっている恐れがある。 https://www.nikkei.com/article/DGXMZO54945630Y0A120
PyCon JP 2019で見たセッションの聴講記録20個分 / 資料・動画・関連リンクなど - フリーランチ食べたい
2019年9月16日/17日に開催されたPyCon JP 2019で自分が直接/YouTubeで聴講したセッションについてのまとめです。主に下記の内容を書いています。 スピーカーURL 配信動画 スライド 発表内で出てきたライブラリなどのURL 自分の感想 「あのセッションで話していたライブラリなんだっけ」と思い出したい方やざっくり内容が知りたい方に読んでいただければ幸いです。PyCon JPに自分も発表者としても参加し、スタッフとして参加し、Webサイトの開発もしたので、それについては改めて書きたいと思います。 pycon.jp PythonとAutoML / 芝田 将 スピーカー: https://twitter.com/c_bata_ 動画: https://www.youtube.com/watch?v=Whkwu46DgBs スライド: https://www.slideshar
8行のデータで理解する階層ベイズ - Qiita
学習効果を統計的に評価したい！ こんにちは グロービスではさまざまな教育事業を展開していますが、多くの人に学習を継続してもらうためには、研修をしたりコンテンツを視聴してもらったりするだけでなく、その学習効果を測定してユーザーにフィードバックすることが重要です。このとき、だれが見ても明らかな効果が出れば良いのですが、受講前後の成績変化のばらつきが大きかったりデータが少なかったりして、必ずしも分かりやすい結果が得られるとは限りません。そういった場合にデータを丁寧に紐解いて、どの程度効果があったのかを明らかにするのも分析の仕事のひとつです。 今回は階層ベイズモデルという統計モデルを使って、高校における学力コーチングの成果についてのデータを分析します。階層ベイズはやや高度な統計モデルというイメージがありますが、この記事ではたった8行のデータを例にしてその概要を説明してみたいと思います。 想定読者
機械学習の歴史 - AI.doll
WikipediaのTimeline of machine learningというページに機械学習の歴史がまとめられた表があったので、あとから見返しやすいように全て日本語にしてみた。 日本語訳はガバガバかもしれないので心配な人は元ページを見てね。 ムムッってとこがあったらコメントで教えてほしい 年表 1763 ベイズの定理のベース トマス・ベイズ(Thomas Bayes)の著書, "An Essay towards solving a Problem in Doctorine of Chances"がベイズが死んだ2年後, 彼の友人により修正・編集され出版された. 1805 最小二乗 アドリアン=マリ・ルジャンドル(Adrien-Marie Legendre)が最小二乗(méthode des moindres carrés)について記述. 1812 ベイズの定理 ピエール=シモン・ラプ
データサイエンスエキスパート ゲームクリア 攻略チートシート配布 攻略指針 図書館を巡ってアイテム収集 図書館の初見殺しトラップ攻略 参考書籍 統計基礎 統計学（初歩） 統計学（高度） ベイズ統計 分散分析 数学基礎 線形代数 微積分 計算基礎 情報全般 データベース アルゴリズム モデリング・AIと評価 歴史・応用分野・AIなど 多変量解析 時系列解析 グラフィカルモデル テキスト分析 因果推論 機械学習・モデル評価・ニューラルネットワーク データサイエンスエキスパート ゲームクリア 日本統計学会が主催するデータサイエンスエキスパート試験に合格した。 www.toukei-kentei.jp データサイエンスエキスパートは、統計検定より実践寄りであるデータサイエンスシリーズの最上位資格という位置付け。下位資格には「データサイエンス基礎」や「データサイエンス発展」があるが簡単そうだったので
ゲームコミュニティ事業部のデータエンジニア（β版）の池田です。 この記事は、Tech KAYAC Advent Calendar 2019 の7日目です。 今回もredash周りの話で、Lobiでの分析事例の話をしていきたいと思います。 （本ブログではredashおじさん化していますね。 ） Lobiでの分析環境の概要 ゲームコミュニティ事業部では主要サービスとして Lobi を開発・運営しています。 現在のLobiにおける分析環境は、以下の図のようになっています。 分析環境の図 アプリケーションが行動ログやアクセスログを出力し、それをFluentdやKinesis Data Firehoseを使ってS3バケットへ転送しています。その後@fujiwaraさんのrinを使ってRedshiftにロードしています。この周辺に関しては、ソーシャルゲーム事業部での記事と同様ですので、詳しくはそちらを
使える統計モデル10選（後編） 前回の記事では、使える統計モデル10選の前編として、主に回帰モデルに焦点を絞って紹介しました。 今回はその後編に当たる生成モデル編です。生成モデル（generative model）は、端的に言うと、コンピュータシミュレーションによりデータを人工的に作ることができるモデルです。データが作られる過程をうまく表現したモデルを構築することができれば、予測だけではなく異常検知やデータ圧縮など幅広いタスクに応用することができます。 生成系（教師なし系） 回帰モデルと同様、生成モデルも数個のパラメータから構成される簡単なものから、複数のモデルを巧みに組み合わせた複雑なものまで無限に存在します。ここでは、データ圧縮から自然言語処理、ソーシャルネット解析までさまざまなデータ解析のタスクで利用されている代表的な生成モデルを5つ選んで紹介します。また、生成モデルのすべては潜在変
土地被覆分類とは？ 衛星画像や航空写真などのリモートセンシングデータを分析し、地表のさまざまなカバータイプ（例えば、森林、農地、水域、都市地域など）を識別するプロセスです。土地被覆分類は地球環境のモニタリング、土地利用計画、生態系の管理、気候変動の研究など、多くの応用分野で利用されます。 以前の記事で利用した環境省生物多様性センターの植生図をはじめ、国土地理院の地理院地図、産総研のシームレス地質図などが作成され公開されています。 GEEには土地被覆分類を行うためのオブジェクトとしてee.Classifierというものが用意されています。これを利用することで機械学習を利用した土地被覆分類を行うことができます。 ee.Classifierが対応している主要な機械学習モデルは以下の通りです。 決定木(Decision Tree)：条件分岐によってグループに分けられる木の構造をしたものです。回帰に
はてなは10年前のリニューアルで失敗したんだろうな
今のはてなは女叩きのメッカと言っていい状態で、特に最近運営が手を入れるまで半年ぐらい主に増田の女叩き記事が延々毎日複数個ホッテントリ入りしていた。 元々弱者男性論が幅を利かしているところで、そこまでは許容範囲なのだがそこで男性社会での疎外や表現規制の主題を扱えばいいのに女叩きの方に行ってしまい、雪だるま式にルサンチマンやデマで埋まってしまう。 更に最近だとコロナ初期での反PCR運動という反技術ラッダイトムーブメントの中心となり社会に甚大な悪影響を与えたのが記憶に新しい。 はてなは2010年頃からブクマリニューアルとか日経との提携とか「キャズムを超える」為の施策を色々やってたんだが、その結果キャズム超え出来ずに土着化したようなユーザーの楽園になってしまったんじゃないかと思われる。 創業当初の風景創業当初のはてなは個性的な「変な会社」で、技術志向のユーザーと運営の距離が近かった。障害が発生した
ベイズ深層学習(3.3~3.4)
筑波大HCOMP研究室の勉強会資料です． 内容はベイズ深層学習(著 須山敦志）の3.3から3.4節です． 日本一（誇張）ベイズ線形回帰の計算を丁寧に書いたつもりです． 本に誤記の"可能性"があります．（自分の計算が間違っている可能性もある.) 違うとかあれば連絡ください．
ビッグデータの発展とともに、データサイエンスは今広く知られるようになりました。大学にデータサイエンスを学べる学部ができたり、データサイエンティストを目指している人もたくさんいるでしょう。この記事では、統計学から機械学習やマーケティングまで、初心者がデータサイエンスを学ぶのにおすすめの本を80冊紹介します！ Part I: データサイエンス概論1.『データサイエンス講義 』Rachel Schutt、Cathy O'Neil 著 本書では、データサイエンスを行う上で、どのようなプロセスが必要か、データサイエンティストとしてはどのようなスキルセットが必要で、どのような思考方法を選択する必要があるのかを実例を多数示しながら紹介します。 2.『戦略的データサイエンス入門 ―ビジネスに活かすコンセプトとテクニック』Foster Provost、Tom Fawcett著 本書は、データをビジネスに活か
2022年版：実務の現場で働くデータサイエンティスト向け推薦書籍リスト（初級5冊＋中級8冊＋テーマ別14冊） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by ElasticComputeFarm from Pixabay) 今年も恒例の推薦書籍リストの季節がやって参りました。……なのですが、相変わらず続くCOVID-19の影響*1でデータ分析業界及び隣接分野の新刊書を読む機会が減ったままにつき、例年とほぼ同じラインナップになっている点、予めご容赦いただければと思います。 初級向け5冊 総論 R・Pythonによるデータ分析プログラミング 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別14冊 回帰モデル PRML 機械学習の実践 Deep Learning 統計的因果推論 ウェブ最適化 ベイズ統計 時系列分析 グラフ・ネットワーク分析 SQL コメントなど 初級向け5冊 初級向け書籍リストはあまり出入りがないのが通例ですが、今回も微妙に入れ替わりがあります。 総論 AI・データ分析プロジェクトのすべて[ビジネス力×
＊この記事は統計学や機械学習を専門としていない学生が書いた主観的なまとめ記事です。間違いが含まれている可能性があります。 統計学・機械学習を学んでいると、たくさんの手法や考えが出てきてよくわからなくなります。 特に自分が何かに取り組んでいるときには、今やっている手法が全体から見てどういうものなのか、より良い手法が無いのかが気になってしまいます。 まるで地図を持たず森の中を彷徨っているような感覚です。 そこで、統計学・機械学習で使われる概念や手法を自分なりにまとめて頭を整理したいと思います。 以下のような図になりました。 以下にそれぞれを説明します。 数理科学 統計学・機械学習のベースとなる学問です。 主に解析学、代数学、幾何学からなります。 微分積分学と線形代数学が基本になってるのは言うまでもないと思います。 その他に個人的に関わりが深いと思う分野を３つ挙げます。 確率論 大数の法則(中心
今年の3月から機械学習の勉強を始めて9ヶ月たったのでその振り返りと今後機械学習に入門する人の参考になればという記事です。 巷の記事だと「数学何もわからない人向けの機械学習~」みたいなものが多いので「数学チョットワカル人向け」に勉強方法をまとめてみようと思いました。 前提として筆者は大学で数学を専攻しており、社会人になってからはプログラミングを生業としております。 # 前提知識のおさらいいきなり機械学習入門～のような書籍に入る前に、基礎知識としてこの辺を抑えておくと良いと思います。 ## 線形代数:大学1年レベル機械学習の説明はほとんど行列の計算として表現されますので大前提として。手を動かして計算問題を解くのもおすすめです。 プログラミングのための線形代数 https://www.amazon.co.jp/dp/4274065782 ## 基礎統計(頻度主義):大学1年レベル正規分布や指数分
思考整理メモ：本の価値と編集者の役割～8年間の出版社勤めを終えて～ - 重ね描き日記（rmaruy_blogあらため）
本日、2020年11月30日をもって、8年8カ月勤務した理工系出版社を退職した。明日からは出版を離れ、違う業界で働くことになる。 本とは何か、出版・編集とはどんな仕事なのか、自分なりに模索し続けてきた日々だった。気持ちがまだ編集者であるうちに、いまの考えを書いておこうと思う。 できたこと、できなかったこと 本を「書きたい人」「読みたい人」はいなくならない 本には「作品」としての価値がある 「書かなくてもいい」ものだからこそ、本に力が宿る 本は「編集者がつくる」のではない 著者と編集者の「同床異夢」が生む奇跡 おわりに 「出版業界ってどうなの？」「本もこれから大変だろうね」。出版社に内定が決まって以来、何度となく投げかけられてきた言葉だ。自分としても、「本の役割」や「出版社・編集者の存在意義」について、入社以前から自問自答してきた*1。 いまの時代、本は要るのか？ 出版社は要るのか？ 編集者
人の心を動かすのは簡単ではない。事実やデータを示しても一筋縄ではいかない。ではどうしたらいいのか。それをわかりやすく説いているのが、ターリ・シャーロット氏だ。「確証バイアス」から逃れられる人はほとんどいないが、その存在を知っておくだけでも、きっと大きな意味があるだろう――。 ※本稿は、大野和基インタビュー・編『自由の奪還』（PHP新書）を一部抜粋・編集したものです。 人の心を動かすのはストーリーと個人的な経験 ――前著"The Optimism Bias"（邦訳『脳は楽観的に考える』柏書房）は世界的に話題を呼びました。そこから"The Influential Mind"（邦訳『事実はなぜ人の意見を変えられないのか』白揚社）を上梓しましたが、二冊の共通点は何ですか？ 【シャーロット】どちらの本も、私の研究分野である認知神経科学と心理学、そして行動経済学を組み合わせた研究について述べています。
データサイエンスのための統計学入門 第2版
データサイエンスにおいて重要な統計学と機械学習に関する52の基本概念と関連用語について、簡潔な説明とその知識の背景となる最低限の数式、グラフ、RとPythonのコードを提示し、多面的なアプローチにより、深い理解を促します。データの分類、分析、モデル化、予測という一連のデータサイエンスのプロセスにおいて統計学の必要な項目と不必要な項目を明確にし、統計学の基本と実践的なデータサイエンス技法を効率よく学ぶことができます。データサイエンス分野における昨今のPython人気を反映し、第1版ではRのみの対応だったコードが、今回の改訂でPythonにも対応。コードはすべてGitHubからダウンロード可能です。 日本語版まえがき 訳者まえがき まえがき 1章 探索的データ分析 1.1 構造化データの諸要素 1.1.1 さらに学ぶために 1.2 テーブルデータ 1.2.1 データフレームとインデックス付け
データサイエンスによる日韓のコロナ対策比較｜筆の滑り
振り返りまとめを書きました。まずそちらをご覧ください。 ベイジアンモデリングという手法を使って日本と韓国のコロナ対策の有効性を考えます。 SIRDモデルまず背景にある数学的モデルを説明します。理論的な話に興味のない方は飛ばしてください。 ベースになっているのはよく知られているSIRDモデル（susceptible, infected, recovered and death model)です。これはこのように考えます。S[t]を時点tで未感染の人の数、I[t]を今感染している人の数（アクティブ）、R[t]を回復した人、D[t]を死亡した人の数とします。感染している人は各時点である確率βで未感染の人に病気をうつします。今感染している人はある確率aで回復し、確率dで死亡します。一旦回復すると免疫がついてもう病気にはかからなくなります。これを式にまとめてみましょう。Pは人口です。 新型コロナウイ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
（データを扱う）ビジネスマン全てにおすすめの本 - HELLO CYBERNETICS
東大・理研、熟練の研究者の「勘と経験」を誰でも簡単に再現できる技術を開発 - 日本経済新聞
ベイズ統計 - HELLO CYBERNETICS
メルカリのデータ分析を支える機械学習システムのデザインパターン
再現性問題のはなし - 渋谷駅前で働くデータサイエンティストのブログ
ベイズの定理を悪用し、コロナウイルスPCR検査の有用性を否定する医師達｜臨床獣医師の立場から
機械学習・アルゴリズム関連まとめ - Qiita
改めて、汎化性能と交差検証のはなし - 渋谷駅前で働くデータサイエンティストのブログ
「「新型肺炎」日本の対策は大間違い」、は大間違い
ジューディア・パール『因果推論の科学』を読む：統計を、AIを、そして科学について考える人は、ぜひ一読を！ - HONZ
「コペンハーゲン解釈」「多世界解釈」だけではない、量子力学の解釈を10個にまとめてみた『量子力学の諸解釈』
「Kaggleで勝つデータ分析の技術」から見る実用的な機械学習の知見
Python で学ぶベイズフィルタとカルマンフィルタ (翻訳) - inzkyk.xyz
DIVIC | 【卒業生インタビュー】47歳総務一筋15年のキャリアを捨てて、データサイエンティストへ転職（前編）
計算機統計学・ベイズ統計学周辺でのお勧めの教科書10冊 - Qiita
【徹底解説】変分ベイズをはじめからていねいに | Academaid
書評 「統計学を哲学する」 - shorebird 進化心理学中心の書評など
ベイズ統計モデリングを使って藤井聡太と全盛期の羽生善治を比べてみた② - ベストモデル
Control as Inference (強化学習とベイズ統計)
国のコロナウイルス対策とPCR検査抑制論の推移｜臨床獣医師の立場から
23/7/5 データサイエンスエキスパート合格 チートシートと攻略ガイド - LWのサイゼリヤ
redash + Google Colabによる分析環境 - KAYAC engineers' blog
使える統計モデル10選（後編） | AIdrops
【GEE】ランダムフォレストで土地被覆分類を行う【衛星データ解析】 - LabCode
2021年データサイエンスにオススメの本80冊！｜Octoparse Japan
統計学・機械学習を自分なりに概観してみた - Qiita
数学に強いエンジニアむけの機械学習勉強法
数学力のある方が事実を捻じ曲げる...心理学が明かす「バイアスにかかる人の特徴」