「未経験文系から3ヶ月でデータサイエンティストになって一発逆転」はここで終わり (2020/7/31 更新) - todo-mentor’s diary
データサイエンティストを生業にする手段と実態について述べる。 途中、具体例・境界値の例として私個人の話もするが、なるべく一般性のある話をする。 この記事で言いたいことは具体的には4つだ。 プログラミングスクールをディスるなら代わりの入門方法を提供しようよ。 もう「未経験文系から3ヶ月でデータサイエンティストで一発逆転物語」を止めろ。*1 おじさんは人生逆転したいなら真面目にやれ。 若者はワンチャンじゃなくて、ちゃんと化け物になれよ。 この記事についてはパブリック・ドメインとして転載・改変・リンク記載を自由にしてよいです。 (続き書いた) a. 入門は辛いが… b. 思考停止でプログラミングスクールに通うな。 なろう系・始めてみよう系資料一覧 （最速・最短ルート用） まずは動かしてみよう。強くてニューゲームが体験出来るぞ！ 入門以前の本 一般向け業界本 (AI業界と展望がわかる本) 技術者入
マクロ経済学という分野は、残念ながらもう所謂オワコンになってしまった。正しく言うと、実を言うとDSGEはもうだめです。突然こんなこと言ってごめんね。でも本当です。こんな感じだろう。 結論から言うと、データを見るふりをして実は全くデータを見ておらず、はっきりいってモデル化に失敗したからだ。とくに予測能力が兎角ないのが致命的だったと思う。予測能力がない結果、モデル・理論を通して将来の政策談義を結局は出来ないので、政策提言すらまともにできず、役立たずの烙印を押された。政策評価・提案等の役目は統計的手法を上手く用いている、応用ミクロの研究者が主に担うことになった。 そもそもの始まりは、合理的期待形成仮説というバカげた仮定に基づいて、数学音痴がmathinessにまみれたリアルビジネスサイクル(RBC)理論などという、さらにバカげた理論を推し進めた点であろう。それに呼応してニューケインジアンモデルが
2023年版：実務データ分析を手掛けるデータサイエンティスト向け推薦書籍リスト（初級6冊＋中級8冊＋テーマ別15冊） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by wal_172619 from Pixabay) 去年で恒例の推薦書籍リストの更新は一旦終了したつもりだったんですが、記事を公開して以降に「これは新たにリスト入りさせないわけにはいかない！」という書籍が幾つも現れる事態になりましたので、前言撤回して今年も推薦書籍リストを公開しようと思います。 初級向け6冊 実務総論 データサイエンス総論 R・Pythonによるデータ分析プログラミング 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別15冊 回帰モデル PRML 機械学習の実践 Deep Learning / NN 統計的因果推論 ベイズ統計学 時系列分析 グラフ・ネットワーク分析 データ基盤 コメントや補足説明など 完全なる余談 初級向け6冊 今回は新たに加わったテキストがあります。 実務総論 AI・データ分析プロジェクトのすべて[ビジネス力×技術力＝価値創出
実務の専門家として機械学習や統計分析を手掛けたい人にオススメの書籍初級5冊＆中級8冊＋テーマ別11冊（2020年2月版） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) この記事は以下のオススメ書籍リスト記事のアップデートです。 毎回の断り書きで恐縮ですが、この記事では「データサイエンティストや機械学習エンジニアなどデータ分析の実務の専門家として」*1機械学習や統計分析を手掛けていきたいという、主に初級ないし中級ぐらいのスキルレベルの人たちにお薦めしたい書籍を、初級向け5冊・中級向け8冊及び細かいテーマ別に11冊、それぞれ挙げていきます。スタンスとしては相変わらず「当座の最終到達点を『中級』に置いた時に最初に読んで内容をマスターしておくべき書籍」を初級に置いているので、世の中のこの手のお薦め書籍リストに比べると若干ハードな内容のものが初級向けに多いかもしれません。 後はちょっと気が早いかもしれませんが、機械学習パートに関しては「AutoML時代にあっても実務の専門家であれば知っておくべき知識」を収めた書籍を選んでおきま
はじめまして、ティアフォー技術本部 Planning / Controlチームで開発を行っている堀部と申します。 今回は状態推定の王道技術「カルマンフィルター」が実際に自動運転で用いられるまでの道のりやノウハウなどを書いていこうと思います。 みなさんはカルマンフィルターという言葉を聞いたことがありますでしょうか。 カルマンフィルターとは「状態推定」と呼ばれる技術の一種であり、自動運転においては現在の走行状態、例えば車速や自分の位置を知るために用いられます。 非常に有名な手法で、簡単に使えて性能も高く、状態推定と言えばまずカルマンフィルターと言われるほど不動の地位を確立しており、幅広いアプリケーションで利用されています。 使い勝手に定評のあるカルマンフィルターですが、実際に自動運転のシステムとして実用レベルで動かすためには多くの地道な作業が必要になります。 この記事では、カルマンフィルターが
2024年版：独断と偏見で選ぶ、データ分析職の方々にお薦めしたいホットトピックス＆定番の書籍リスト - 渋谷駅前で働くデータサイエンティストのブログ
毎年四の五の言いながら書いている推薦書籍リスト記事ですが、何だかんだで今年も書くことにしました。なお昨年度版の記事を上にリンクしておきましたので、以前のバージョンを読まれたい方はそちらをお読みください。 今回のバージョンでは、趣向をちょっと変えて「定番」と「注目分野」というように分けました。何故こうしたかというと、平たく言って 「初級＆中級向け」推薦書籍リストは定番化していて毎年あまり変更点がない 逆に直近のホットトピックスに関するテキストは毎年入れ替わりが激し過ぎて網羅しづらい という課題があり、特に2点目についてはあまりにもデータサイエンス関連書籍の新規刊行が多過ぎる＆僕自身がその流れについていけておらず完全に浦島太郎状態ですので、万人向けに等しくウケるようなリストを作るのは今回をもって完全に諦めたというのが実態です。 その上で、前回まで踏襲されていた定番書籍リストはバルクで提示すると
こんにちはkamikawaです 今回は無料で利用できる機械学習、データサイエンスに関するサイトや書籍をまとめました 私自身も機械学習プロジェクトに関わった経験があるのですが、ここに載せたサイトや資料を勉強に使っていました 機械学習エンジニアを目指す人必見です 入門者レベル〜応用・発展レベルまで幅広く載せていますレベルは個人の見解です。(あくまでも参考程度に) 日本語のものと英語のものを紹介します 海外の大学の講義もあるので英語の勉強にも使えます 海外でのキャリアを考えている方も必見です 対象読者 機械学習を学びたいけどお金をかけたくない人 独学で機械学習を身につけたい人 機械学習エンジニアになりたい人 発展的な機械学習を学びたい人 日本語 Python 三重大学奥村教授のサイト 機械学習、様々な分析、スクレイピング、データ可視化、地図データ、CV、統計など幅広い分野を扱っている R編もある
2021年版：データサイエンティストを初めとするデータ分析職向け推薦書籍リスト（初級5冊＋中級8冊＋テーマ別14冊） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pexels from Pixabay) 今年も恒例の推薦書籍リストの季節がやって参りました。……なのですが、昨年はCOVID-19の影響で*1データ分析業界及び隣接分野の新刊書を読む機会が減ってしまいましたので、例年に比べてラインナップの変更をほとんど検討しないままでリストアップしている点、予めご容赦いただければと思います。 そして今回の記事では、これまで以上に「実務家向け」「実践的」であることを重視しています。そのため昨年までのリストに比べて大幅に刷新されているカテゴリもあったりします。また、末尾に僕なんぞが選ぶよりもずっと優れた推薦書籍リストへのリンクも付しておきました。併せて参考にしていただけると幸いです。 初級向け5冊 総論 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別14冊 PRML 機械学習の実践 Deep Learning 統計的因果推論
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 東京工業大学、NTTコミュニケーション科学基礎研究所、京都大学に所属する研究者らが発表した論文「E.S.P.: Extra-Sensory Puck in Air Hockey using the Projection-Based Illusion」は、エアホッケーのパックを「消える魔球」のように意図的に見えなくする手法や、運動方向を「曲がる魔球」のように操作する手法を提案した研究報告だ。 打って高速に動くパックに追従した錯覚パターンを遅れなく投影することで、物理法則を無視したさまざまな状況を相手プレイヤーに知覚させる。 このシステムでは、高速プロジェクターと高速カメラをそれぞれ1台使用し
実践 時系列解析
時系列データが使われる範囲は広く、医療データ、金融分析、経済予測、天気予報など、さまざまな分野で使われています。本書は時系列データを通してデータ解析手法を学んでゆくアプローチで、データのクリーニング、プロットの方法、入出力など基本的なトピックについてひととおりカバーしてから、さまざまな分野の事例を数多く取り上げ、統計的手法と機械学習手法の両方を時系列データに適用し、また人気のオープンソースツールも積極的に取り入れた手法を紹介します。プログラムにはRとPythonの両方を利用。データセットやコードはGitHubからダウンロード可能です。 はじめに 1章 時系列の概論と簡単な歴史 1.1 時系列の多様な用途の歴史 1.1.1 時系列問題としての医学 1.1.2 気象予測 1.1.3 経済成長の予測 1.1.4 天文学 1.2 時系列解析の人気に火がつく 1.3 統計的時系列解析の起源 1.4
カルマンフィルターについて - Qiita
はじめに 千葉大学/Nospareの米倉です．今回はカルマンフィルターについて解説していきたいと思います． カルマンフィルターで何が出来るの？ フィルターとあるように，カルマンフィルターが出来る基本的なことは線形ガウス状態空間モデルのフィルタリング密度を逐次的に求めることです．ここで２つのキーワード，「線形ガウス状態空間モデル」と「フィルタリング密度」という単語が出てきましたので，まずはそれらについて解説します． 線形ガウス状態空間モデルとは 状態空間モデルとは2つの確率過程からなります．1つは潜在変数・状態変数・隠れ変数といわれるもので，これは直接観測できないがマルコフ連鎖に従う変数だとモデリングされます．例えば景気の良し・悪し等，概念として存在するけれど直接は観測できないものを想像してください．2つめは観測値で，これは直接観測できるもの，つまりデータです．ただし変数に依存して観測される
ベイズ統計・ベイズ機械学習を始めよう コンピュータやネットワークの技術進化により，これまでにないほどの多種多様なデータを取り扱う環境が整ってきました．中でも統計学や機械学習は，限られたデータから将来を予測することや，データに潜む特徴的なパターンを抽出する技術として注目されています．これらのデータ解析を行うためのツールはオープンソースとして配布されていることが多いため，初学者でも手軽に手を出せるようになってきています． しかし，データ解析を目的に合わせて適切に使いこなすことは依然としてハードルが高いようです．この原因の一つが，統計学や機械学習が多種多様な設計思想から作られたアルゴリズムの集合体であることが挙げられます．毎年のように国際学会や産業界で新たな手法が考案・開発されており，一人のエンジニアがそれらの新技術を１つ１つキャッチアップしていくのは非常に困難になってきています． １つの解決策
損失関数・不均衡 不均衡データにおけるsampling ランク学習のListNetをChainerで実装してみた 不均衡データへの決定打となるか！？「Affinity loss」の論文を読む、実装する 不均衡データを損失関数で攻略してみる 解説編：オーバーサンプリング手法解説 (SMOTE, ADASYN, Borderline-SMOTE, Safe-level SMOTE) LightGBMでランキング学習 半教師あり学習のこれまでとこれから Struggling with data imbalance? Semi-supervised & Self-supervised learning help! 深層学習 転移学習：機械学習の次のフロンティアへの招待 ディープラーニングの判断根拠を理解する手法 DNC (Differentiable Neural Computers) の概要 +
翻訳について これは Roger R. Labbe 著 Kalman and Bayesian Filters in Python の翻訳です。英語版は CC BY 4.0 ライセンスで公開されています。 この翻訳は CC BY 4.0 ライセンスの許諾に基づいて公開されます。 PDF 版と Jupyter Notebook 版について この翻訳の PDF 版と Jupyter Notebook 版を BOOTH で販売しています。 謝辞 英語版の著者 Roger R. Labbe 氏に感謝します。 誤植を指摘して頂いた小山浩之氏 (https://twitter.com/0yama) に感謝します。
実践カルマンフィルタ
Sampling-free Epistemic Uncertainty Estimation Using Approximated Variance Propagation (ICCV2019 oral)
データサイエンスエキスパート ゲームクリア 攻略チートシート配布 攻略指針 図書館を巡ってアイテム収集 図書館の初見殺しトラップ攻略 参考書籍 統計基礎 統計学（初歩） 統計学（高度） ベイズ統計 分散分析 数学基礎 線形代数 微積分 計算基礎 情報全般 データベース アルゴリズム モデリング・AIと評価 歴史・応用分野・AIなど 多変量解析 時系列解析 グラフィカルモデル テキスト分析 因果推論 機械学習・モデル評価・ニューラルネットワーク データサイエンスエキスパート ゲームクリア 日本統計学会が主催するデータサイエンスエキスパート試験に合格した。 www.toukei-kentei.jp データサイエンスエキスパートは、統計検定より実践寄りであるデータサイエンスシリーズの最上位資格という位置付け。下位資格には「データサイエンス基礎」や「データサイエンス発展」があるが簡単そうだったので
使える統計モデル10選（後編） 前回の記事では、使える統計モデル10選の前編として、主に回帰モデルに焦点を絞って紹介しました。 今回はその後編に当たる生成モデル編です。生成モデル（generative model）は、端的に言うと、コンピュータシミュレーションによりデータを人工的に作ることができるモデルです。データが作られる過程をうまく表現したモデルを構築することができれば、予測だけではなく異常検知やデータ圧縮など幅広いタスクに応用することができます。 生成系（教師なし系） 回帰モデルと同様、生成モデルも数個のパラメータから構成される簡単なものから、複数のモデルを巧みに組み合わせた複雑なものまで無限に存在します。ここでは、データ圧縮から自然言語処理、ソーシャルネット解析までさまざまなデータ解析のタスクで利用されている代表的な生成モデルを5つ選んで紹介します。また、生成モデルのすべては潜在変
2022年版：実務の現場で働くデータサイエンティスト向け推薦書籍リスト（初級5冊＋中級8冊＋テーマ別14冊） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by ElasticComputeFarm from Pixabay) 今年も恒例の推薦書籍リストの季節がやって参りました。……なのですが、相変わらず続くCOVID-19の影響*1でデータ分析業界及び隣接分野の新刊書を読む機会が減ったままにつき、例年とほぼ同じラインナップになっている点、予めご容赦いただければと思います。 初級向け5冊 総論 R・Pythonによるデータ分析プログラミング 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別14冊 回帰モデル PRML 機械学習の実践 Deep Learning 統計的因果推論 ウェブ最適化 ベイズ統計 時系列分析 グラフ・ネットワーク分析 SQL コメントなど 初級向け5冊 初級向け書籍リストはあまり出入りがないのが通例ですが、今回も微妙に入れ替わりがあります。 総論 AI・データ分析プロジェクトのすべて[ビジネス力×
＊この記事は統計学や機械学習を専門としていない学生が書いた主観的なまとめ記事です。間違いが含まれている可能性があります。 統計学・機械学習を学んでいると、たくさんの手法や考えが出てきてよくわからなくなります。 特に自分が何かに取り組んでいるときには、今やっている手法が全体から見てどういうものなのか、より良い手法が無いのかが気になってしまいます。 まるで地図を持たず森の中を彷徨っているような感覚です。 そこで、統計学・機械学習で使われる概念や手法を自分なりにまとめて頭を整理したいと思います。 以下のような図になりました。 以下にそれぞれを説明します。 数理科学 統計学・機械学習のベースとなる学問です。 主に解析学、代数学、幾何学からなります。 微分積分学と線形代数学が基本になってるのは言うまでもないと思います。 その他に個人的に関わりが深いと思う分野を３つ挙げます。 確率論 大数の法則(中心
タイトルの通り、CausalImpactをPythonで試してみます。 下記本を元にし、RからPythonで書き直し、同様の効果が推定できるか試してみます。 導入 pyが最初につくのに注意します。 pip install pycausalimpact データの作成 statsmodelsのcigarデータを使います。 CausalImpactはデータフレームの一番左をyとし、それ以降が予測に使う変数となるため、その形となるようにpivotと並び替えを行います。 import statsmodels.api as sm df = sm.datasets.get_rdataset('Cigar', 'Ecdat').data #上記本の初期加工を関数化しておく def create_data(df): tmp = df[(df['year']>=70) & (~df['state'].isin
以前、『結局、統計モデリングとは何なのか』という記事を書きました。 この記事は、その名の通り、「そもそも」何が統計モデリングで、何が統計モデリングではないのかということを扱った記事です。 今回は、「統計モデリングとは何か」を理解した方に向けて、実際に「統計モデリング力」を鍛えるためにはどうするかを書いていきたいと思います。 この記事の目的と対象者 上記でも述べたようにこの記事の目的は、どのように「統計モデリング力」を鍛えるかを書くことです。 統計学に入門するところから、高度な統計モデルを扱えるようになるまでの勉強法について書いています。 したがって、統計初心者からそれなりに理解している人までの幅広い層が想定読者となります。 ところどころで、プログラム言語で実際に手を動かしながら学ぶタイプの本を紹介することもありますので、そういった本を読むためにはPythonまたはRの知識が必要になります。
本記事は，自然言語処理 Advent Calendar 2019 - Qiita です． はじめに 本記事ではトピックモデルと呼ばれるモデル・分野の中で最も有名なLatent Dirchlet Allocation, 通称LDA*1 とその周りのトピックモデルに関して,どんな資料があるのか？,どういった研究があるのか? といったことに主眼をおいてトピックモデルの研究とかを昔していた私の独断と偏見によるリストアップを行いました. 私の頭は2017年くらいで止まっているので、間違っている点があったり、今の主流とは異なる可能性もありますが、 暖かくご指摘いただけると助かります. Latent Dirchlet Allocation[Blei+,03]を始めとするトピックモデルを学ぶに当たって 何が参考になるのか どういった研究があるのか？ 実際にどうやって使うのか？(まだ出来てないよ・・・) と
コンピュータビジョン分野のトップカンファレンスであるECCV2022の論文紹介（後編） - NTT Communications Engineers' Blog
目次 目次 はじめに ECCV2022のトラッキング論文 ピックアップした論文 Towards Grand Unification of Object Tracking Tracking Objects As Pixel-Wise Distributions Particle Video Revisited: Tracking through Occlusions Using Point Trajectories XMem: Long-Term Video Object Segmentation with an Atkinson-Shiffrin Memory Model 最後に はじめに この記事は前回の記事の後編です。ECCV2022で紹介されたトラッキングに関する論文をいくつかご紹介します。 engineers.ntt.com ECCV2022のトラッキング論文 1645本の論文の中
プログラミング問題を解けばエンジニアの戦闘力がわかる！？レーティング機能公開 - paiza times
こんにちは、吉岡(@yoshiokatsuneo)です。 paizaでは、S・A・B・C・Dと5つのランクにわかれたプログラミングスキルチェック問題を公開しています。 スキルチェック問題を解いてこのランクを獲得することで、paizaでは、最初の書類選考なしで求人応募ができるようになっています。 paizaは、ユーザーのプログラミングスキルをより正確に評価できる方法を探し続けており、今回、「エンジニア戦闘力」「レーティング」という数字でスキルを可視化する方法を実験的に取り入れることになりましたので、どのようなものかご説明していきます。 ※記事公開時（2019/09/10）はβ版として「エンジニア戦闘力」という数値も用いていましたが、2019/11/21公開の正式版では「レーティング」に統一されました。 スキルランクの課題について 従来のスキルランクはわかりやすいのですが、場合によっては以下の
カルマンフィルタの使い方 - Qiita
はじめに 書かれていること この記事では具体例を示しながらカルマンフィルタとは何か、何が出来るのかをついて解説します。カルマンフィルタについては、様々な方が既に解説記事・書籍を投稿しておりますが、初学者（特に組み込み技術者）にとって「じゃあ具体的にどう解釈すればよいの？どう実装すればいいの？」といったところが弱い気がして、もったいないと感じたため、その辺を補完する記事が書ければと思っています。 さて、この記事は下記の順で解説します。 カルマンフィルタとは何か なぜカルマンフィルタを使うのか 具体的な実装例 応用例 自分のモチベーションとしては、最近カルマンフィルタを勉強して、「なんて便利な道具なんだ！」と感じたため、それを共有する目的で記載しております。すこしでも「便利だなあ」と感じていただければ幸いです。また、この記事は、組み込み技術者としての私の視点から見た解釈で記載しております。もし
カルマンフィルタを実装してみる！ドローンに使用される姿勢推定システムの作り方 - ABEJA Tech Blog
はじめに こんにちは、ABEJAの栗林です！ 私はもともと機械工学・制御工学の出身であり、車からロボットまで幅広く機械が大好きです。今回はそんな私がドローンを作るために取り組んでいた飛行制御システムの一部をご紹介できればと思い記事を書いています。 機械学習等は使わず、制御工学のアプローチにはなりますがIoTなどに興味がある方に読んでいただければ幸いです！ Raspberry Pi zeroを用いた、ドローン用の簡易な姿勢角推定装置を実装する方法をまとめています 実際にドローンに搭載するものは500Hz程度での計算が必要になるのでCで実装する必要がありますが、理論の確認ではRaspberry Piでも十分かと思われます。10000円程度で姿勢角推定装置を自作できます！ 概要 ドローンなどの小型無人航空機(SUAV：Small Unmanned Aerial Vehicle)において、飛行制御
AIを使って映像から通行量(歩行者量)を調査するソフトを作ったけど、最初は解析精度が低くて使い物にならず、いろいろ苦労してカウントの精度を上げた話です。車両の映像解析をした時にも苦労しましたが、歩行者は車両より小さい上バラバラの方向に移動するので、まったく別の苦労がありました。解析結果のムービーはこちら。映像解析は面白い＆奥深いですねえ。 サマリー ・歩行者量を正しくカウントするための要件 ・物体検出の手法と学習モデルの選定 ・軌跡の描画機能によるノイズの発見と除去 ・トラッキング方法の検証と機能追加 ・正しいカウントを実現するための機能追加 ・まとめ 歩行者量を正しくカウントするための要件 以前、車両の通行量を映像解析し際にトラッキングしたり、速度を出したりしててそれなりの結果が出せたので、「歩行者も楽勝では？」と考えてソフトを開発しましたがとんでもなく苦労しました。 そもそも「映像から
2019年7月5日、LINE株式会社が主催するAI技術者向けの勉強会「LINE AI Talk #02」が開催されました。第2回となる今回のテーマは「信号処理」。AI関連技術を活用したさまざまなサービスを開発しているLINEの取り組みだけでなく、この分野の第一人者をゲストスピーカーに招き、最新の知見を学びます。プレゼンテーション「深層学習を用いた複数マイクロホンの音源分離」に登壇したのは、LINE株式会社Research Labsに所属し、工学博士でもある戸上真人氏。深層学習を用いた音源分離の取り組みと、その仕組みを解説します。講演資料はこちら 深層学習を用いた複数マイクロホンの音源分離 戸上真人氏（以下、戸上）：それではLINEから、音の技術の研究と、この分野の動向についてお話したいと思います。 簡単に自己紹介ですが、私はLINEのResearch Labsに2018年の6月から研究員と
プログラミングのための確率統計-Ohmsha
第I部 確率そのものの話 第1章 確率とは 第2章 複数の確率変数のからみあい 第3章 離散値の確率分布 第4章 連続値の確率分布 第5章 共分散行列と多次元正規分布と楕円 第II部 確率を役立てる話 第6章 推定と検定 第7章 擬似乱数 第8章 いろいろな応用 付録 付録A 本書で使う数学の基礎事項 付録B 近似式と不等式 付録C 確率論の補足 第I部 確率そのものの話 第1章 確率とは 1.1 数学の立場 1.2 三つの扉（モンティホール問題） ――― 飛行船視点 1.2.1 モンティホール問題 1.2.2 正しい答とよくある勘違い 1.2.3 飛行船視点への翻訳 1.3 三つ組(Ω,F, P) ――― 神様視点 1.4 確率変数 1.5 確率分布 1.6 現場流の略記法 1.6.1 確率変数の記法 1.6.2 確率の記法 1.7は裏方 1.7.1の正体にはこだわらない 1.7.2のと
ぼくは医学統計学と疫学が専門です。これらのデータ解析には主にRを使います。 かれこれ15年ほどRを使ってきました。当時、Rに関するまとまった情報は『The R Tips』しかありませんでした。時は流れ、今はたくさんR本やサイトがあります。しかし、たくさんありすぎて何を見れば良いのか迷いますよね？ そこで、ぼくの経験に基づき、おすすめする有益なR本・サイトをまとめてみました！ RとRStudioの環境構築 矢内先生の「RとRStudioのインストール方法の解説」サイト 基礎（網羅的） Rではじめるデータサイエンス RユーザーのためのRStudio実践入門 The R Tips Rクックブック 宋先生の「Rプログラミング入門の入門」サイト データハンドリング特化 宋先生の「dplyr入門 (dplyr 1.0.0対応)」Webページ 宋先生の「tidyr入門」Webページ 可視化特化 Rグラフ
A non-mathematical introduction to Kalman Filters for programmers - Pravesh Koirala
Read my manifesto on Code as an alternative to Mathematics. Code for this article can be found on this Colab Notebook should you choose to follow along. Why Kalman Filters? Kalman filters are ingenius. If you have never heard of them, then a very intuitive (and arguably reductive) way to think about them is to consider them as a funnel where you pour information from multiple noisy sources to cond
[R] CausalImpact でできること, できないこと - ill-identified diary
概要Brodersen, Gallusser, Koehler, Remy, & Scott (2015) により提案され, R で実装された時系列因果推論フレームワーク, CausalImpact は, シンプルで分かりやすい difference in differences (DID) の因果推定理論に基づいており, マーケティングイベントがもたらすインパクトを計測するツールとして紹介されている. しかし, DID が非常にシンプルであれるのは, 厳格な仮定を置いているからであり, 利用する際には多くの注意が伴う. そこで今回は, より発展的な理論について考察したことを垂れ流してみる. あとついでに tsibble パッケージの使い方とかも少しだけ触れている. この問題は CausalImpact の考案以前からある議論についても振り返る必要があるので, まず Rubin (1974
![[R] CausalImpact でできること, できないこと - ill-identified diary](https://cdn-ak-scissors.b.st-hatena.com/image/square/74171644a04868719f87b790d8c2ed5c7db604a5/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fi%2Fill-identified%2F20191009%2F20191009025251.png)
2つのブログを初投稿させていただいてから早いもので数週間。 自己紹介 - AIソリューションアーキテクトのおしゃべり データ活用人材とはどんな人々か - AIソリューションアーキテクトのおしゃべり 思っていた以上に反響があり、 「面白くて、あっという間に読めた」 「ブログとリアルのキャラが一致しなくて困惑した」 「怪しい壺が買いたくなった」*1 など、数々のご好評をいただきまして非常に感謝してます。 時系列解析って何か色々あってわかりません！(憤怒) さて、本日取り上げたいのは時系列解析。 最近では新型コロナウイルスの感染者数という大々的に報じられる時系列データがあるのでイメージしやすくなったかもしれませんが、手法自体を学んでみると何だか色んな名前が飛び交っていて訳が分からない人も多いのでは。 時系列予測の手法1つとっても 「状態空間モデルはベイジアンなんや、ベイズが一番や！」 「どんな時
機械学習モデルの精度を競うコンペティションプラットフォーム「Kaggle」 大久保渉太氏（以下、大久保）：本日の流れです。本日はこれらの目次の内容を通して、みなさんにKaggle Grandmasterの仕事や働く環境を一歩踏み込んで紹介できればと思っています。まずは私たちが取り組んでいるKaggleの紹介をしたいと思います。 Kaggleをご存じの方もけっこういると思いますが、機械学習モデルの精度を競うコンペティションのプラットフォームです。このKaggleに参加している人をKagglerと呼びます。DeNAには、Kaggle Grandmaster4名など、世界トップクラスのKagglerが数多く在籍しています。 図のように、Kaggleではスポンサーが出した課題に対して参加者が機械学習の予測モデルを提出してそのスコアを競っています。成績上位者であるKaggle Grandmaster
Nospare on Twitter: "カルマンフィルターについて解説します！ https://t.co/HCtnAo6KJZ"
カルマンフィルターについて解説します！ https://t.co/HCtnAo6KJZ
前回エントリで紹介したコーエンの感染症モデルに対する指摘は実は彼のブログエントリの前半部分で、後半部分では彼の感染症学者に対する率直な疑問が書き連ねられている。それへの応答がメールであったとのことで、メールの文章をコーエンがMRの別エントリに上げている。 メールの送信者は数学と土木工学の学位を取得した後に感染症学の道に進んだが、以下の点に幻滅して民間企業のクオンツアナリストの職に就き、感染症学を捨てたことを後悔していないとのこと。 重要な予測期間についてのデータが限られていて不正確な場合も多く、予測の信頼区間が非常に大きい。 以前に観測された疫病でない限り、モデル構造を正しく特定しないと予測がまったく役に立たないくらいその動学は不明。 政府の対応（効果的な接触追跡など）と個人の行動（社会的隔離、マスク着用など）に比べればモデルは二の次。 以下はその送信者のコーエンの疑問への回答の概要。 感
テレプレゼンスPJ インターン参加レポート - NTT Communications Engineers' Blog
はじめに こんにちは、2月14日から2月25日までNTTコミュニケーションズの職場体験型インターンシップに参加させていただきました関根です。インターンシップにはテレプレゼンスエンジニアとして参加し、VR酔いを軽減するテーマに取り組みました。この記事では、私が体験したインターンシップの内容について紹介できればと思います。 テレプレゼンスロボットとは テレプレゼンスロボットとは、遠隔操作技術や映像転送技術などを組み合わせることにより、遠隔地であっても、まるでその場にいるように活動できるロボットです。 参考: テレプレゼンスのイメージがわかる動画 今回扱ったテレプレゼンスロボットは、HMD(ヘッドマウントディスプレイ)を使用してカメラの向きの操作と、HMDへのリアルタイム映像表示ができるロボットです。3つのサーボモータによりカメラの姿勢をHMDの姿勢と同期させることができ、2つのカメラの映像をネ
時間依存性を考慮したWord Embeddingsのまとめ - Sansan Tech Blog
はじめに こんにちは、DSOC研究開発部の橋本です。最近買ってよかったな、と思ったものは「詰め替えそのまま」です。これはシャンプーやトリートメントの詰め替えをそのままホルダーにかけて使うことができるようになるグッズで、文字通り（比較的安い）詰め替えをそのまま・簡単に使えるようになる点、お風呂の床に詰め替えを置かなくて済むようになる点という2つの点から非常に良いです。気になる人はぜひググって買ってみてください。 詰め替えそのままの話はさておき、今回時間依存性を考慮したword embeddingsの話をします。 時間に依存するword embeddingsの必要性 現在では、word embeddingsはもはや一般的なツールになりつつあると思います。学習済みのword embeddingsを適用して特徴量とし、何かしらの機械学習アルゴリズムにかける、というのもよく行われていると思います。し
MKT on Twitter: "カルマンフィルタを勉強し始める前の自分に見せたい資料 https://t.co/yZgfvQsCwb"
カルマンフィルタを勉強し始める前の自分に見せたい資料 https://t.co/yZgfvQsCwb
裏口からのカルマンフィルタ入門
ユーザー視点でのざっくりしたカルマンフィルタの解説です 正確なことは各自勉強してください． この講演は日本船舶海洋工学会 関西支部KFR（関西船舶海洋流体力学研究会）開催の 第349回KFRセミナー「カルマンフィルタの基礎・応用技術講座」 で行ったものです．
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
若き統計学者の英国: いかにしてマクロ経済学はオワコンになったか
カルマンフィルターが自動運転の自己位置推定で使われるまで - TIER IV Tech Blog
無料、独学で機械学習エンジニアになる！~機械学習が学べる無料サイト、書籍~ - Qiita
「消える魔球」「曲がる魔球」が打てるエアホッケー 東工大などが技術開発
ベイズ統計・ベイズ機械学習を始めよう | AIdrops
機械学習・アルゴリズム関連まとめ - Qiita
Python で学ぶベイズフィルタとカルマンフィルタ (翻訳) - inzkyk.xyz
23/7/5 データサイエンスエキスパート合格 チートシートと攻略ガイド - LWのサイゼリヤ
使える統計モデル10選（後編） | AIdrops
統計学・機械学習を自分なりに概観してみた - Qiita
)
Pythonで因果推論したい(CausalImpact) - あれもPython,これもPython
統計初心者が統計モデリング力を鍛えるための勉強法 - Qiita
トピックモデルを俯瞰して学ぶ - ひつじの〜と 備忘録
AIで通行量調査の映像解析精度を上げるのに苦労した - Qiita
深層学習を用いて音源を分離する––LINE Research Labsが研究成果を解説
データ解析に役立つおすすめR本とサイトをまとめました。 - Open Box with STAT
時系列解析に散った子羊たちへの鎮魂歌 - AIソリューションアーキテクトのおしゃべり
成績に応じて業務時間中にKaggleができる 世界トップクラスのKagglerが在籍する、DeNAの「Kaggle社内ランク制度」
感染症学者についてのある視点 - himaginary’s diary