「未経験文系から3ヶ月でデータサイエンティストになって一発逆転」はここで終わり (2020/7/31 更新) - todo-mentor’s diary
データサイエンティストを生業にする手段と実態について述べる。 途中、具体例・境界値の例として私個人の話もするが、なるべく一般性のある話をする。 この記事で言いたいことは具体的には4つだ。 プログラミングスクールをディスるなら代わりの入門方法を提供しようよ。 もう「未経験文系から3ヶ月でデータサイエンティストで一発逆転物語」を止めろ。*1 おじさんは人生逆転したいなら真面目にやれ。 若者はワンチャンじゃなくて、ちゃんと化け物になれよ。 この記事についてはパブリック・ドメインとして転載・改変・リンク記載を自由にしてよいです。 (続き書いた) a. 入門は辛いが… b. 思考停止でプログラミングスクールに通うな。 なろう系・始めてみよう系資料一覧 （最速・最短ルート用） まずは動かしてみよう。強くてニューゲームが体験出来るぞ！ 入門以前の本 一般向け業界本 (AI業界と展望がわかる本) 技術者入
オシャレ家電は確かに良い。なんかスゲー良い感じの生活が送れそうな雰囲気が漂ってる。 でもな？お前へ本当に必要なのはそんなんじゃねぇだろ！できれば家事を減らしたいだろ！そのためなら数万円出せるタイプだろお前らは！ このエントリはそんなズボラなお前らに送るリストだ。 もしも「コレもズボラにオススメ！」ってのがあれば教えてくれ多分買うぞ。 シャープ ウォーターオーブン ヘルシオ AX-XA30(スチームオーブン電子レンジ)電子レンジは非常に有用な自動調理家電の一種だ。 こちらは2022年のモデルで価格はおおよそ9万円、最新2023年モデルがおおよそ13万円であることを考えると10万円切りはお得。なにせ最新モデルと比較して出来ることが大幅に変わらないのに1年型落ちで数万円の差がある。 電子レンジの主要機能である加熱のほか、焼くことや蒸す事が可能なので、スーパーに売ってるフライパンで焼くだけ的な出来
ほとんどの人は他人の意見に全く興味がない。
「ライターになりたいけど、どうすればいいですか？」 と、相談を受けたことがある。 しかしライターは「なる」ものではない。「やる」ものだ。そこに誰の許可も必要ない。 本質的には何かしら文章を書いて、公開すればだれでもライターを名乗れる。 そこで、「書けば、ライターを名乗ることができます」と回答した。 すると彼は「仕事を取るにはどうしたらいいでしょう」と言う。 確かに、お客さんを捕まえて仕事を出してもらうには、書くこととは全く別のスキルが求められる。 そこで、「メディアを探して売り込む方法がわからない、ということでしょうか？」と尋ねた。 しかしそこで彼は首を振った。 営業や売り込みが苦手で、それはしたくないのだという。 しかも実績がないので、どうせ断られるだろう、と言うのだ。 しかし、そういうことは、やってみないとわからないはずだ。 「書いたものをブログなどで公開していれば、実績にできますし、
全くのゼロから「駆け出しデータサイエンティスト」を育てる方法論 - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 「データサイエンティスト」の第一次ブーム勃興から6年余り、人工知能ブームに便乗した第二次ブームで人口に膾炙してから3年余り、気が付いたら何やかんや言われながらもデータサイエンティスト及びその類似職が、じわじわと日本国内の産業各分野・企業各社に広まりつつあるように僕の目には映ります。 そういう背景がある中で、ここ1年ぐらいの間にそこかしこで目立つようになってきたのが「ゼロからデータサイエンティストを育てたいのだがどうしたら良いか」という相談や議論。割とあるあるなのが「取引先がデータサイエンティストを採用して商談の席に同席させるようになって、彼らがデータサイエンスの知識を駆使してビシバシ突っ込んでくるのだが、こちらにデータサイエンティストがいないので対応できない」みたいなお話。これは実はUSでも同様だと聞くので*1、案外洋の東西を問わない課題なのかもしれま
2023年版：実務データ分析を手掛けるデータサイエンティスト向け推薦書籍リスト（初級6冊＋中級8冊＋テーマ別15冊） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by wal_172619 from Pixabay) 去年で恒例の推薦書籍リストの更新は一旦終了したつもりだったんですが、記事を公開して以降に「これは新たにリスト入りさせないわけにはいかない！」という書籍が幾つも現れる事態になりましたので、前言撤回して今年も推薦書籍リストを公開しようと思います。 初級向け6冊 実務総論 データサイエンス総論 R・Pythonによるデータ分析プログラミング 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別15冊 回帰モデル PRML 機械学習の実践 Deep Learning / NN 統計的因果推論 ベイズ統計学 時系列分析 グラフ・ネットワーク分析 データ基盤 コメントや補足説明など 完全なる余談 初級向け6冊 今回は新たに加わったテキストがあります。 実務総論 AI・データ分析プロジェクトのすべて[ビジネス力×技術力＝価値創出
実務の専門家として機械学習や統計分析を手掛けたい人にオススメの書籍初級5冊＆中級8冊＋テーマ別11冊（2020年2月版） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) この記事は以下のオススメ書籍リスト記事のアップデートです。 毎回の断り書きで恐縮ですが、この記事では「データサイエンティストや機械学習エンジニアなどデータ分析の実務の専門家として」*1機械学習や統計分析を手掛けていきたいという、主に初級ないし中級ぐらいのスキルレベルの人たちにお薦めしたい書籍を、初級向け5冊・中級向け8冊及び細かいテーマ別に11冊、それぞれ挙げていきます。スタンスとしては相変わらず「当座の最終到達点を『中級』に置いた時に最初に読んで内容をマスターしておくべき書籍」を初級に置いているので、世の中のこの手のお薦め書籍リストに比べると若干ハードな内容のものが初級向けに多いかもしれません。 後はちょっと気が早いかもしれませんが、機械学習パートに関しては「AutoML時代にあっても実務の専門家であれば知っておくべき知識」を収めた書籍を選んでおきま
『標準ベイズ統計学』はベイズ統計学をきちんと基礎から日本語で学びたいという人にとって必携の一冊 - 渋谷駅前で働くデータサイエンティストのブログ
標準 ベイズ統計学 朝倉書店Amazon 発刊当時に話題になっていた『標準ベイズ統計学』。実は訳者のお一人、菅澤翔之助さんからオフィス宛てでご恵贈いただいていたのですが、親父の没後処理やら自分のDVTやら実家の片付けやらで全く手が回らずオフィスに置いたままにしてしまっていたのでした。で、この度改めて拝読してみたら「何故もっと早く読まなかったんだ」と後悔するくらいあまりにも内容が素晴らしかったので、遅まきながら書評記事を書こうと思い立った次第です。 ベイズ統計学というと、殆ど詳しくない人だと「ベイズの定理以外に何があるの？」という印象ぐらいしかないかもしれませんし、一方でとりあえず技法としてやり方だけ覚えてしまった人だと「とりあえずMCMC回せばいいんだよね？」みたいな雑な理解になってしまうかもしれません。いずれにせよこれまで邦書ではベイズ統計学というと超初歩か実装重視かの二択が多かったせい
LLM chatbotが人類にもたらすのは、絶望なのか希望なのか - 渋谷駅前で働くデータサイエンティストのブログ
ちょっと前に以下のようなことを放言したら、思いの外反響が多くてちょっとびっくりしたのでした。それだけ、現代のLLM chatbot / generative AIの台頭に期待と不安を抱いている人が多いということの裏返しなのでしょう。 既に色々コメントが出ているけど、我々人類が「知的労働」だと思っていることの大半が実は「過去実績をなぞって適当にその場に合わせて組み立てているだけ」なんじゃないかと訝っているので、そういう「自称知的労働」は多分LLMで代替されると思う。新奇なものを生み出す仕事は相変わらず残る https://t.co/GGK41vSDcn— TJO (@TJO_datasci) 2023年3月15日 昨年の年末振り返り記事でも話題にしたChatGPT（そして後続の各種LLM chatbot）ですが、今年に入ってからの話題の広がり方には想像を超えるものがあり、ついに朝の情報番組な
4/4 に第一子を出産し、昨日で生後 1 ヶ月を迎えました！そして、子どもの日の今日は初節句になります！🎏 色々な方にお祝いしていただき、大変ながらも幸せな 1 ヶ月を過ごしています。 初めての育児でわからないことだらけですが、無事に 1 ヶ月を過ごしてみて、色々と工夫していることをまとめます。 👶 工夫していること Alexa の活用 我が家には Echo Show 5 があり、Alexaを日常的に利用しています。 Google Homeもありますが、「オーケーグーグル」よりも「アレクサ」の方が言いやすいので、日常使いはめっきり Alexa です。 Echo Show 5 (エコーショー5) 第2世代 - スマートディスプレイ with Alexa、2メガピクセルカメラ付き、チャコール AmazonAmazon Alexa とぴよログを連携 「ぴよログ」というアプリで授乳やミルク、お
COVID-19 日本国内の潜在的な陽性者数を推定する試み - StatModeling Memorandum
日本国内の潜在的な陽性者数を推定することは有益ですが、簡単ではありません。PCR検査がランダムになっていないことが推定を難しくしています。有症状者が検査されやすいというselection biasがあるからです。この記事ではいくつか仮定を置いて潜在的な陽性者数を推定したいと思います。 仮定 全国民のうち潜在的に陽性になっている割合 この割合は年代によらず一定と仮定します。ここでは と書きます（posはpositiveの略）。例えば0.0001なら日本人約1億2千万人中、おおよそ12000人が潜在的に陽性になっている計算です。 なお、国民の年代別人口の値はこのページの令和2年3月報 （令和元年10月確定値，令和2年3月概算値） （PDF：301KB） の「2019年10月1日現在（確定値）」の総人口 男女計の値を使用しました。 陽性者中の有症状者の割合 若年層で無症状が多いなど、年代で異なる
米NYでリス狂暴化！ 襲撃相次ぐ
後ろ足で立つリス。米ニューヨークのセントラルパークで（2007年1月5日撮影、資料写真）。(c)STAN HONDA / AFP 【12月31日 AFP】災難続きの2020年が終わりに近づく中、米ニューヨーク市クイーンズ（Queens）地区で狂暴化したリスの襲撃が相次ぎ、市民の悩みの種がまた一つ増えている。 同地区のリゴパーク（Rego Park）の周辺住民からリスに襲われたという通報がこの1か月で複数回あった。女性1人が手をかまれ、緊急治療を受けた。 ある住民は地元メディアに、凶暴な個体や群れに遭遇したときに備えて、外出の際は催涙スプレーを携帯していると語った。子どもたちが心配だと話す住民もいた。 ミシェリン・フレデリック（Micheline Frederick）さんは地元局のABC7に、リスにかみつかれたり、首を引っかかれたりしたことについて、「いつのまにか金網マッチが始まっていて、負
「データ分析をやるならRとPythonのどちらを使うべき？」への個人的な回答 - 渋谷駅前で働くデータサイエンティストのブログ
(Background image by Pixabay) 最近また「データ分析をやるならRとPythonのどちらでやるべきか」という話題が出ていたようです。 言語仕様やその他の使い勝手という点では、大体この記事に書いてあることを参考にすれば良いと思います。その上で、人には当然ながら趣味嗜好がありますので、個々人が好みだと思う方を使えば良い話ではあります。 とは言え、僕自身もクソコードの羅列ながらこのブログにR & Pythonのコードを載せているということもあるので、便乗して今回の記事では僕個人の意見と感想も書いてみようと思います。いつもながらど素人の意見（特にPythonは本業ではない）なのと、自分がメインに使っているRでもtidyverseをほとんど使わないなど割とout-of-dateな使い方をしているということもあり、読んでいておかしなところなどあればどしどしご指摘くださると有難
アウン・サン・スー・チー氏。米ニューヨークのコロンビア大学で（2012年9月22日撮影、資料写真）。(c)Stan HONDA / AFP 【7月27日 AFP】ミャンマーの軍事政権は26日、同国で昨年実施された総選挙は「自由かつ公正」ではなかったとして、選挙結果を無効とした。同選挙では、今年2月のクーデターで拘束されたアウン・サン・スー・チー（Aung San Suu Kyi）国家顧問の政党、国民民主連盟（NLD）が国軍系野党を抑え圧勝していた。 【写真特集】ミャンマー 拡大する抗議デモ 軍事政権の選挙管理委員会は、調査の結果、1100万件以上の不正が確認されたと発表。テイン・ソー（Thein Soe）選管委員長は「（NLDは）新型コロナウイルス関連の制限措置を悪用することで、非NLD系の政党と候補者から国家権力を奪おうとした」と主張し、「自由かつ公正ではなかったため、2020年選挙の結
趣味は食材採取とそれを使った冒険スペクタクル料理。週に一度はなにかを捕まえて食べるようにしている。最近は製麺機を使った麺作りが趣味。（動画インタビュー） 前の記事：雪上車に乗って岩盤浴に行きたい（デジタルリマスター） ＞ 個人サイト 私的標本 趣味の製麺 これがハラール屋台村 八潮スタンだ。 カーナビに案内されて到着したのは、首都高６号線の八潮パーキングエリアからすぐ近くの場所。電車ならTX八潮駅から北に徒歩８分くらいだろうか。 さらに北へ行くと八潮市役所があり、そのあたりが「カラチの空（ファルーダの取材をした店）」などのパキスタン料理店が点在するエリアである。 平屋の大きな建物に「ハラール屋台村 八潮スタン」の文字。一見すると大型アウトドアショップのようでもある。前は何があった場所なのだろうとグーグルマップを開いてみると、酒市場ヤマダ八潮南店が表示された。 日本の国旗も掲げているので、無
慶應義塾大学・株式会社Nospareの菅澤です． 今回はベイズ統計学を勉強するための参考書の順番 (私見) について紹介していきます． 3年ほど前に『日本語で学べるベイズ統計学の教科書10冊』を紹介しましたが，今回は「どのような順番でどの参考書を読んでいくと比較的スムーズに勉強が進められるのか」に焦点を当て，比較的最近の書籍や英語の書籍まで含めて紹介していきます． まずは全体的なフローのイメージを提示しておきます． 今回の記事では，「ベイズ統計学を勉強すること」のスタートとゴールを以下のように定めます． (スタート) 統計学の基礎的な内容 (統計検定2級程度の内容) は身についている (ゴール) ベイズモデリングに関する最新の論文がある程度理解して読め，自力でモデルを組んだり実装することができる また，このゴールへの道のりとして，大きく2通りのルートを想定します． (ルートA: フルスクラ
東京大学・株式会社Nospareの菅澤です． 今回はベイズ統計学を勉強する上で個人的にオススメな日本語の教科書10冊を簡単に紹介したいと思います． 一般的な方法論・基礎理論 中妻照雄『入門ベイズ統計学』 簡単な例と実践的な例を使ってベイズ推論の考え方が導入された後，マルコフ連鎖モンテカルロ法(MCMC)の基礎的な事項がまとめられています．基本的な数理統計学が理解できていれば十分読める内容になっている印象です．この本の続編である中妻照雄『実践ベイズ統計学』では，ファクターモデルやそのポートフォリオ選択への応用，ベイズ的線形回帰モデル，モデル平均化法などのより発展した内容について丁寧に解説されています． 伊庭幸人・種村正美・大森裕浩・和合肇・佐藤整尚・高橋明彦『計算統計II』 かなりボリュームのある内容の本です．基本的な話題として，MCMCの基礎や標準的な統計モデルにおけるベイズ推論に関して数
2024年版：独断と偏見で選ぶ、データ分析職の方々にお薦めしたいホットトピックス＆定番の書籍リスト - 渋谷駅前で働くデータサイエンティストのブログ
毎年四の五の言いながら書いている推薦書籍リスト記事ですが、何だかんだで今年も書くことにしました。なお昨年度版の記事を上にリンクしておきましたので、以前のバージョンを読まれたい方はそちらをお読みください。 今回のバージョンでは、趣向をちょっと変えて「定番」と「注目分野」というように分けました。何故こうしたかというと、平たく言って 「初級＆中級向け」推薦書籍リストは定番化していて毎年あまり変更点がない 逆に直近のホットトピックスに関するテキストは毎年入れ替わりが激し過ぎて網羅しづらい という課題があり、特に2点目についてはあまりにもデータサイエンス関連書籍の新規刊行が多過ぎる＆僕自身がその流れについていけておらず完全に浦島太郎状態ですので、万人向けに等しくウケるようなリストを作るのは今回をもって完全に諦めたというのが実態です。 その上で、前回まで踏襲されていた定番書籍リストはバルクで提示すると
2019-nCoVについてのメモとリンク
リンク集目次 国内外の状況 政府機関・国際機関等 学術情報 疫学論文 分子生物学／ウイルス学論文 臨床論文 インフォデミック関係 ワクチン関係 変異株関係 時系列メモ目次 新型コロナウイルス（2020年1月6日，11日） インペリグループによる患者数推定（2020年1月18日） 患者数急増，西浦さんたちの論文（2020年1月20日，23日） WHOはPHEIC宣言せず（2020年1月23-24日） 絶対リスクと相対リスク（2020年1月26日） 研究ラッシュが起こるかも（2020年1月27日） なぜ新感染症でなく指定感染症なのか？ なぜ厚労省令でなく閣議決定なのか？（2020年1月27日） コロナウイルスに対する個人防御（2020年1月27日） 国内ヒト＝ヒト感染発生（2020年1月28日） フォローアップセンター設置，緊急避難等（2020年1月29日） PHEICの宣言（2020年1月3
『ウェブ最適化ではじめる機械学習』はモダンなUI/UX改善の枠組みを学ぶ上で至適の一冊 - 渋谷駅前で働くデータサイエンティストのブログ
ウェブ最適化ではじめる機械学習 ―A/Bテスト、メタヒューリスティクス、バンディットアルゴリズムからベイズ最適化まで 作者:飯塚 修平発売日: 2020/11/19メディア: 単行本（ソフトカバー） こちらの書籍を著者の飯塚修平さんからご恵贈いただきました*1。テーマとしてはウェブ最適化即ちいわゆるUI/UX改善で、そのアプローチについて包括的にまとめた内容です。ちなみに本書は著者ご自身の修士・博士論文の内容に沿ったもので、いわば大学院での研究の集大成とも言えるものなのだそうです。 と書くと、いかにも「ガッチガチの研究」本に見えるかもしれませんが、引用されている事例などには一般のユーザー・消費者でもある我々にも馴染み深いものが多く、意外と取っ付きやすい内容だなと個人的には感じました。また、A/Bテスト・バンディット・ベイズ最適化とそれぞれ個別に専門書が書かれることが多く、別々に学ぶ羽目にな
時系列モデル(ARIMA/Prophet/NNなど)を統一的なAPIで扱えるPythonライブラリ「Darts」がかなり便利 - フリーランチ食べたい
時系列モデルを扱う上でデファクトスタンダードになりそうなPythonライブラリが出てきました。 時系列モデルを扱うPythonライブラリは、 scikit-learn のようなデファクトスタンダードなものがありません。そのため時系列モデルを用いて実装を行うためには、様々なライブラリのAPIなどの仕様を理解しつつ、それに合わせてデータ整形を行い、評価する必要があり、これはなかなか辛い作業でした。 スイスの企業 Unit8 が今年(2020年)6月末に公開した Darts はまさにこういった課題を解決するライブラリです。時系列に関する様々なモデルを scikit-learn ベースのAPIで統一的に扱うことができます。 github.com Darts は現在、下記のモデルに対応しています。内側では statsmodels 、 Prophet(stan) 、 Pytorch などを使っていて、
西浦先生らによる実効再生産数の統計モデルを解説＆拡張する試み - StatModeling Memorandum
先日の西浦先生のニコ生の発表を聞いていない人はぜひ聞いてください。 モデルとデータを以下のリポジトリでオープンにしていただいたので、モデルについて僕が分かる範囲内で少し解説を加えたいと思います。 github.com 実効再生産数を推定するコードが2種類ありまして、最尤推定（Maximum Likelihood Estimation, MLE）を使ったMLE版（Sungmok Jungさん作成）と 、ベイズ推定版（Andrei Akhmetzhanovさん作成）があります。どちらもコンセプトはほぼ同じで、実装が若干異なります。この記事では、ベイズ推定版（以降、元コードと呼びます）の流れを簡単に説明し、その後でその拡張を試みます。 ベイズ推定版の流れ 大きく分けて「データの集計」「back projection」「実効再生産数の推定」の3つの部分からなります。 データの集計 まずは日付ごとの
東京大学・株式会社Nospareの菅澤です． 今回は状態空間モデルによる時系列予測手法を用いた因果効果の推定手法であるCausalImpactについて紹介します． CausalImpactとは CausalImpactはGoogleによって開発された因果効果推定の方法です．手法の詳細はBrodersen et al. (2015, AoAS)に記載されており，手法を実装したRパッケージも公開されています． CausalImpactは，ある介入が時間変化するアウトカムにどのような影響を与えるかを推定（推測）するための手法です．時間変化するアウトカム（時系列データ）に対して因果効果を推定する有名な方法としてDifference-in-Difference (DID)がありますが，DIDよりも緩い仮定のもとで時間変化する因果効果を推定できる方法として知られています． CausalImpactのコ
各本の立ち位置について どんな軸で立ち位置を説明しようか悩みますが、今回は「対象読者レベル」と「時系列との関係」についての二軸で「独断と偏見」で位置づけしてみました。 はじめに 仕事でデータ分析に関して種々のデータに色々な手法を使ったりするのですが、分析していると時系列のデータが意外と多い。 数値予測や異常検知などは時刻と共に記録されていることが多いです。 この時系列データに関する知識を付けるために網羅的に本を読んで、知識を付けようと思いました。 今回はその中で、「どの本にどんな事が書いてあって、他の本との関係性は？」を書評にすることで、皆さんの本の購入の手助けになればと思っています。 「この本の立ち位置も調べて」 「時系列本ならこの本入れなアカン」 などあれば教えてください。 時系列分析のためのブックガイドと同じようなコンセプトの記事です。 時系列データに対する「python,Rどっちが
2021年版：データサイエンティストを初めとするデータ分析職向け推薦書籍リスト（初級5冊＋中級8冊＋テーマ別14冊） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pexels from Pixabay) 今年も恒例の推薦書籍リストの季節がやって参りました。……なのですが、昨年はCOVID-19の影響で*1データ分析業界及び隣接分野の新刊書を読む機会が減ってしまいましたので、例年に比べてラインナップの変更をほとんど検討しないままでリストアップしている点、予めご容赦いただければと思います。 そして今回の記事では、これまで以上に「実務家向け」「実践的」であることを重視しています。そのため昨年までのリストに比べて大幅に刷新されているカテゴリもあったりします。また、末尾に僕なんぞが選ぶよりもずっと優れた推薦書籍リストへのリンクも付しておきました。併せて参考にしていただけると幸いです。 初級向け5冊 総論 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別14冊 PRML 機械学習の実践 Deep Learning 統計的因果推論
一般的な時系列のモデリング＆予測に、機械学習系の手法よりも古典的な計量時系列分析の方が向いている理由を考えてみた（追記あり） - 渋谷駅前で働くデータサイエンティストのブログ
この記事は、以下の@icoxfog417さんによる問題提起に合わせたちょっとした実験をまとめたものです。 時系列予測の問題において、機械学習のモデルより既存の統計モデル(ARMAモデルなど)の方が予測精度において優良な結果が出るという研究。データへの適合=予測精度の向上ではないことも実験で示している。機械学習の研究では統計モデルとの比較も入れるべきという提言をしている。 https://t.co/jboGhYSX6E— piqcy (@icoxfog417) September 16, 2019 この点について僕はこんなコメントをしたのですが。 だいぶ以前から「一般的な時系列データ予測の問題は単位根過程や季節調整など非定常過程との戦いなので、本質的に定常過程を想定する機械学習手法での予測は計量時系列分析など非定常過程も考慮した古典的なモデルによる予測には及ばない」と言い続けてきたけど、やっ
Pythonで作って学ぶ統計モデリング 近年、AIや機械学習、深層学習といった用語に代表されるように、多種多様のデータを高度なアルゴリズムと計算機の力で解析し、将来予測などの価値を生み出す技術に注目が集まっています。 これらの技術の土台となっているのが、本記事で解説する統計モデリング（statistical modeling） と呼ばれる考え方です。元々は手計算が可能なレベルの比較的シンプルな数学的仮定を置いてデータを解析する方法論として発展しましたが、近年の計算機の性能発達に伴い、従来では取り扱えなかったより複雑なモデルを利用した高度な解析を実施する事例が増えてきています。特に、現在実践で広く使われている機械学習のモデルや、複雑な非線形関数を組み合わせた深層学習モデルなども、その多くは突き詰めれば統計モデルの一種であることが言えます。したがって、統計モデリングはそれ自体がデータ解析に対し
※ キャンペーンは終了しました。たくさんのご応募、ありがとうございました。 「いいなと思った気持ちを気軽に伝えられる」はてなスターが新しくなりました！ はてなブログのフィードバック機能のひとつの「はてなスター」を、1/11にリニューアルしました！ はてなスターは、読んだブログやコメントにワンクリックで★を付けられるサービスで、ブログやコメントを読んだときの「いいな」という気持ちや「共感」を気軽にフィードバックすることができます。リニューアルの詳細はこちらをご覧ください。 リニューアルを記念して、期間中にスターを使ってくださった方にプレゼントもご用意しました。これまではてなスターを押したことがない方も、いつも使ってくださっている方も、この機会にぜひ新しくなったはてなスターを使ってみてください！ はてなスターの使い方 基本編 はてなスターの使い方 応用編 もっと詳しい使い方はこちら 現在確認で
こんにちは，株式会社Nospare・千葉大学の小林です．本記事ではGelman and Vehtari (2020)の`What are the most important statistical ideas of the past 50 years?'について紹介します．この論文は過去50年において最も重要だとされる次の8つのアイディアが取り上げられています． 8つのアイデア 反事実（counterfactual）に基づく因果推論 ブートストラップとシミュレーションに基づいた推論 オーバーパラメータ（overparameterized）モデルと正則化（ガウス過程，Lasso, horseshoe, ベイズnonparametric priorなど） ベイズマルチレベル（階層）モデル 汎用的な計算アルゴリズム（EM, MCMC, SMC, HMC, 変分法など） 適応的決定分析（ベイズ最
i-D
A global platform for emerging talent, i-D celebrates fashion, culture, individuality and youth.
PostgreSQL Client から自作 DBMS に接続する - goropikariの備忘録
最近、Go の練習がてら書いていた自作 DBMS に PostgreSQL client で接続できるようになったので、そのやり方を残しておきます。(これから紹介するサンプルコードはすべて Python ですが) github.com psql --version psql (PostgreSQL) 13.2 pgcon の資料と PostgreSQL の公式 Document、加えて PostgreSQL server と client 間に流れるパケットを眺めると、自作DBMSは client から接続されたときにどういうパケットを返せばいいのかが見えてきます。 https://www.pgcon.org/2014/schedule/attachments/330_postgres-for-the-wire.pdf https://www.postgresql.org/docs/13/
なぜ飲み物がグラスの縁に伸びているの? 拡大するとグラスの縁にストローの役割を果たす隙間(筒)が一体成型されたような描写があります。 そこだけ気圧が低くなり飲み物が引き上げられる、という仕組みでしょうか。 低重力下で飲み物が飲みやすく飛散しないようにとのアイデア商品でしょう。 劇場版「閃光のハサウェイ」は逆シャアの続きなの? ベルチルの続きなの? おさらいとなりますが、 ■劇場版「逆襲のシャア」(ハイ・ストリーマー)では暴走するクェスを止めようと出撃したハサウェイですが、チェーン・アギの撃ったグレネードが不可抗力でハサウェイに当たりそうになるのをクェスがかばって被弾、撃沈。クェスを殺されたハサウェイは逆上し、チェーンを撃ちます。 ■一方、小説版「逆襲のシャア ベルトーチカ・チルドレン」ではハサウェイがクェスを撃ち、それがそのままハサウェイのトラウマとなり、鬱状態を引き起こしています。「ベル
これは何 データマネジメント・データ分析に関する書籍・記事・ツールをまとめます。 特に価値が高いと思う書籍・記事を上に並べています。 どのような分野が存在するのか概観します。 全て読むのは大変なので、興味があったり業務に関連のある分野から目を通しましょう。 対象読者 データ分析をやってみたいが何から手をつければいいのかわからない人 書籍 webに転がっている記事は断片的です。 まずは書籍を読んで体系だった知識を仕入れて、その後にwebの記事で肉付けするのをおすすめします。 データ分析全般 データ解析の実務プロセス入門 https://www.amazon.co.jp/dp/4627817711/ データマネジメント データマネジメントが30分でわかる本 https://www.amazon.co.jp/dp/B085W4YSZJ 実践的データ基盤への処方箋 https://www.amaz
Ruby 3.2 のIRBの新機能 - Qiita
これはRubyアドベントカレンダー2022の22日目の記事です。 binding.irb のすすめ 8年前に 今更聞けないpryの使い方と便利プラグイン集 という記事を書き、そこから長い間 binding.pry を愛用していた。binding.irb も binding.pry も使ったことがないよ、という人はご一読をお勧めしたい。 当時PryにあったIRBに対する優位性のうち、時間が経っても常に使い続けた機能といえば binding.pryの存在、$ (show-source)、@ (whereami)、ls とその -G (grep) オプション、デバッグ機能 (要pry-byebugプラグイン) という感じで、他はまあたまに使うかもねくらいの感じになったのだが、なんとこれらはRuby 3.2ではIRBで全て使えるようになった。その上、Gemfileに何も書かなくてもデフォルトで使え
企業で働くデータサイエンティストになって10年が経ちました - 渋谷駅前で働くデータサイエンティストのブログ
TL;DR 10年前の落ちこぼれポスドクが今は立派なデータサイエンティストになれたっぽいので、ポエムを書きました。業界事情の振り返りと、仕事の話、知名度が上がることの良し悪し、キャリアの話などを綴っています。 時が経つのは早いもので、落ちこぼれポスドクだった僕が企業転職をし、データサイエンティストになって今日で10年が経ちました。自分の中ではデータサイエンティストに転じたのはついこの前のことのように思える一方で、あまりにも多くの様々な体験をしてきたせいか「もっと時間が経っている気がするのにまだ10年しか経っていないのか」という気もしています。 今でも時々SNSで話題に上る回顧録を書いたのが3年前のことなんですが、それ以降は相変わらず同じく現職に留まり続けていることもあり、有体に言えばそれほど大きく変わったことはありません。なので、新たに3年間の振り返りを書くのではなく、回顧録で書き漏らした
ベイズ統計・ベイズ機械学習を始めよう コンピュータやネットワークの技術進化により，これまでにないほどの多種多様なデータを取り扱う環境が整ってきました．中でも統計学や機械学習は，限られたデータから将来を予測することや，データに潜む特徴的なパターンを抽出する技術として注目されています．これらのデータ解析を行うためのツールはオープンソースとして配布されていることが多いため，初学者でも手軽に手を出せるようになってきています． しかし，データ解析を目的に合わせて適切に使いこなすことは依然としてハードルが高いようです．この原因の一つが，統計学や機械学習が多種多様な設計思想から作られたアルゴリズムの集合体であることが挙げられます．毎年のように国際学会や産業界で新たな手法が考案・開発されており，一人のエンジニアがそれらの新技術を１つ１つキャッチアップしていくのは非常に困難になってきています． １つの解決策
5年ぶりの投稿です 5年の間に結婚（事実婚だけど）して息子が生まれ、あと5日で一歳になろうとしているので、これからの0歳児パパママのためになる文章を書こうと思い立ちました 自分たちが実施してよかったこと、やっておけばよかったこと、買ってよかったもの、いらなかったものなど書いていきます ポリシー 写真とビデオは品質良くたくさん撮ろう カメラについて 保育園大好き 1. パパ友ママ友ができた 2. 社交的になった気がする 3. 親たちも社会とのつながりが持てる 夫婦で飲みに行きたい 赤ちゃんから離れる時間が必要 赤ちゃんと旅行に行くには 病院の心得 授乳 tips 睡眠 tips 離乳食 tips お風呂 tips 洗濯 tips おむつ tips 乗り物系 tips 移動系 tips 赤ちゃんスペース tips 0歳児の育児の大変さ 自分の心境の変化 すでに0歳児が恋しい お下がりがありがた
『RとStanではじめるベイズ統計モデリングによるデータ分析入門』は「みどりぼん」に取って替わる次世代の統計モデリング＋ベイジアン入門書 - 渋谷駅前で働くデータサイエンティストのブログ
ここ2ヶ月ぐらいに渡って多くの方々からご著書をご恵贈たまわっているのですが、そのうちの一冊がこちら。かつて計量時系列分析を学んでいた頃に僕も大変お世話になった、Logics of Blueブログの馬場さんの手による『RとStanではじめるベイズ統計モデリングによるデータ分析入門』です。 実践Data Scienceシリーズ RとStanではじめる ベイズ統計モデリングによるデータ分析入門 作者:馬場 真哉出版社/メーカー: 講談社発売日: 2019/07/10メディア: 単行本 以前はベイズ統計モデリングの入門書というと「みどりぼん」こと『データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)』一択でしたが、皆さんもご存知のように既にメンテされていないWinBUGSを使っているなどout-of-dateな要素が多く、近年はこれに替わる良書
映画とビジュアルエフェクト(VFX)は切っても切れない仲になっており、視聴者が想像する以上に映像中のさまざまなものがコンピューターで生成されています。VFXに慣れてしまった現代では「これもきっとCGだろう」と考えられがちですが、映画「ターミネーター2」では一見CGにしか見えない映像が実はCGではなく実写だったことが明らかになっています。 Those Bullet Effects In Terminator 2 Weren’t CGI | Hackaday https://hackaday.com/2021/11/14/those-bullet-effects-in-terminator-2-werent-cgi/ ターミネーター2の中で、ロバート・パトリック氏が演じるT-1000には銃がきかないという設定があります。そして銃で撃たれた時、液体金属でできたT-1000の体の上では金属が損傷を
はじめに 前回は年齢による実力の変化を考えずに各騎士の実力を評価しました。年齢による実力の衰えは明白であるため、このモデルで異なる世代の棋士の比較は正当ではありませんでした。 その後、インターネットで検索をすると、統計モデリングでの棋士の順位付けをしている記事がいくつかありました。[1][2] また、stanの書籍にも同様な手法が載ってます。[3] しかし、年齢効果による実力の変化を取り入れたモデルはまだないようですので、次はこの変化をモデル化して、世代をまたいで実力を比較できるモデルを構築してみます。一見、実力をローカルレベルモデル等のノイズ入り時系列モデルで表すことが出来そうですが、それだけでは新しい世代が有利なモデルのままになります。年齢による実力の増減を別個に取り入れる必要があります。 データ 用いるデータは、前回の記事「ベイズ統計モデリングを使って、藤井聡太と全盛期の羽生善治を比
8行のデータで理解する階層ベイズ - Qiita
学習効果を統計的に評価したい！ こんにちは グロービスではさまざまな教育事業を展開していますが、多くの人に学習を継続してもらうためには、研修をしたりコンテンツを視聴してもらったりするだけでなく、その学習効果を測定してユーザーにフィードバックすることが重要です。このとき、だれが見ても明らかな効果が出れば良いのですが、受講前後の成績変化のばらつきが大きかったりデータが少なかったりして、必ずしも分かりやすい結果が得られるとは限りません。そういった場合にデータを丁寧に紐解いて、どの程度効果があったのかを明らかにするのも分析の仕事のひとつです。 今回は階層ベイズモデルという統計モデルを使って、高校における学力コーチングの成果についてのデータを分析します。階層ベイズはやや高度な統計モデルというイメージがありますが、この記事ではたった8行のデータを例にしてその概要を説明してみたいと思います。 想定読者
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ズボラ人間へオシャレ家電なんかより本当に必要なモノを挙げていく
エンジニア夫婦の育児生活（誕生〜１ヶ月） - そこに仁義はあるのか(仮)
ミャンマー軍事政権、総選挙の結果無効に スー・チー氏政党圧勝
埼玉県八潮市に誕生した「八潮スタン ハラール屋台村」の楽しみ方
ベイズ統計学を勉強する参考書のフロー - Qiita
日本語で学べるベイズ統計学の教科書10冊 - Qiita
状態空間モデルを用いた因果効果の推定: CausalImpact - Qiita
時系列データ関連の本10冊読んだので書評書く。+4冊更新 2021年11月 - Qiita
Pythonで作って学ぶ統計モデリング | AIdrops
みんなの「推し」に、新しくなったはてなスターを押そう！ プレゼントキャンペーン - 週刊はてなブログ
【論文紹介】統計学の過去50年における最も重要なアイディアとは？ - Qiita
【劇場版】閃光のハサウェイの疑問点を解説・考察します
データマネジメント・データ分析に役立つ情報をまとめる - Qiita
ベイズ統計・ベイズ機械学習を始めよう | AIdrops
0歳児の育て方 - metalunk’s blog
ターミネーター2の弾丸効果は実はCGではなかった、貴重なメイキング映像が公開中
ベイズ統計モデリングを使って藤井聡太と全盛期の羽生善治を比べてみた② - ベストモデル