「わけがわかる機械学習」という本を書きました。 一言でいうと、「機械学習はなぜそんなことをしたいか・してもいいか」を解説する入門本です。 わけがわかる機械学習 ── 現実の問題を解くために、しくみを理解する 作者: 中谷秀洋出版社/メーカー: 技術評論社発売日: 2019/08/28メディア: 単行本（ソフトカバー）この商品を含むブログを見る 目次を見るとわかりますが、機械学習の本をうたっていながら、なぜか確率の章が 3 個もあります。ページ数にして約80ページ。全体の 1/3 が確率の話です。 - 0章： はじめに - 1章： 機械学習ことはじめ - 2章： 確率 - 3章： 連続確率と正規分布 - 4章： 線形回帰 - 5章： ベイズ確率 - 6章： ベイズ線形回帰 - 7章： 分類問題 - 8章： 最適化 - 9章： モデル選択 - 10章： おわりに - 付録A： 本書で用いる数学
ネット上でたびたび話題になる問題がある。 問題（１） ２人きょうだいの子供のうち、１人が男の子の場合、もう１人が女の子である確率はいくらか？ 適当な名前がないので、いま私が「きょうだいベイズ問題」と名付けた。 ネット上の議論では答えは 2/3 だというのが定説になっている。 例えばこのサイト http://taustation.com/conditional-probability-brother/ では「区別なしの場合」というセクションでこれを扱っており、2/3 としている。 最近つらつら考えて 2/3 は間違い。正解は 1/2 だ。 という結論に達した。2/3 派がどこをどう間違っているのかも判った。 「観点の違いであって 1/2 も 2/3 もどちらも正しい」という意見もちょくちょく見るが、あれも間違いである。 1/2 でしかありえない。 この件については「完全に理解した」と言ってい
August 02, 2021 大塚淳『統計学を哲学する』を読む [追記：この記事について大塚さんご本人からリプライをいただいています。] 昨年出版された大塚淳『統計学を哲学する』は、日本人の統計学の哲学者によるはじめての「統計学の哲学の本」である。こうした科学哲学の先端の領域になかなか日本の研究者が切り込めて来なかった中で、ついにこうした本が出版されるようになったことは大変慶賀すべきことだと思う。さらに言えば、本書は決してただの解説書ではなく、大塚さんの独自のアイデアに溢れた、統計学の哲学の研究書である。特に、ベイズ主義と古典統計をそれぞれ内在主義と外在主義の認識論になぞらえて認識論的含意を取り出そうとするあたりは、他の追随を許さない独自の議論が多く展開されている。本書は今後日本で統計学の哲学について議論する際に常に出発点となることだろう。本書は非哲学者も含めて広いリーダーシップを獲得し
移り変わる「データサイエンティストの『常識』」について考える - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 先日、こんな話題を見かけました。 【夏なので怖い話】 こないだ、いかにもエリートな男性と知り合ったんですよ 彼は年収1000万で飛ぶ鳥を落とす勢いのデータサイエンティストだっていうじゃないですか それでふとAICの話題を持ちかけたんです 「あー現実であまり使わない数学の話はわかりません」 …おわかりいただけただろうか？— ゆうな (@kawauSOgood) 2019年8月14日 で、悪ノリした僕はこんなアンケートをやってみたのでした。 データサイエンティストという肩書きで年収1000万円以上の高給取りが、知らなかったとしても許される項目はどれですか— TJO (@TJO_datasci) 2019年8月15日 このアンケート結果こそが、今回の記事を書こうと思ったきっかけです。ある程度知識のある方ならお分かりかと思いますが、ここで挙げた「AIC」「正則
TL;DR（思ったよりもかなりの長文になってしまったので*1、時間がないという方は1番目と2番目のセクションの冒頭だけお読みください） しんゆうさんの舌鋒鋭いブログ＆note記事にはいつも楽しませていただいているのですが、この記事は一点僕のデータ分析業界の認識に新たな視点を与える話題があって特に目を引きました。それが以下の箇所です。 資格があるわけでもないので名乗るのは自由だし、未経験だろうが文系だろうがそれはどうでもいいのだけど、傍から見ていると「サイエンティスト」と名乗っているわりには「サイエンス」な話をしていないなぁとは思っている。（中略） 現在起きている第３次データサイエンティストブームは「データサイエンティストと名乗りたい人」が盛り上げているように見える。 （太字筆者） この問題は、このブログの前々回の記事でも取り上げています。 ただ、僕はこういう「データサイエンティストになりた
原著：ペドロ・ドミンゴス 翻訳：神嶌 敏弘 イラスト：六七質 出版社：講談社 発行日：2021-04-21 ISBN：978-4062192231 本書は，ペドロ・ドミンゴス著『The Master Algorithm』の翻訳書で，近年の人工知能技術の進展を支える機械学習についての解説書です．機械学習とは，作業手順を明示的に指示しなくても，それをデータから学ぶ能力を計算機に与える技術です．この機械学習について，計算機科学や統計学の高度な知識を前提とせずに，その内側に踏み込んで仕組みを明らかにし，この技術の可能性と課題を論じています． 出版社ホームページ 版元ドットコム Googleブックス ネット書店：Amazon 楽天ブックス honto 紀伊國屋書店 電子書籍：Amazon 楽天ブックス honto 紀伊國屋書店 Apple 読書ログ： 読書メーター（電子版） ブクログ（電子版） 図書
実践 時系列解析
時系列データが使われる範囲は広く、医療データ、金融分析、経済予測、天気予報など、さまざまな分野で使われています。本書は時系列データを通してデータ解析手法を学んでゆくアプローチで、データのクリーニング、プロットの方法、入出力など基本的なトピックについてひととおりカバーしてから、さまざまな分野の事例を数多く取り上げ、統計的手法と機械学習手法の両方を時系列データに適用し、また人気のオープンソースツールも積極的に取り入れた手法を紹介します。プログラムにはRとPythonの両方を利用。データセットやコードはGitHubからダウンロード可能です。 はじめに 1章 時系列の概論と簡単な歴史 1.1 時系列の多様な用途の歴史 1.1.1 時系列問題としての医学 1.1.2 気象予測 1.1.3 経済成長の予測 1.1.4 天文学 1.2 時系列解析の人気に火がつく 1.3 統計的時系列解析の起源 1.4
カルマンフィルターについて - Qiita
はじめに 千葉大学/Nospareの米倉です．今回はカルマンフィルターについて解説していきたいと思います． カルマンフィルターで何が出来るの？ フィルターとあるように，カルマンフィルターが出来る基本的なことは線形ガウス状態空間モデルのフィルタリング密度を逐次的に求めることです．ここで２つのキーワード，「線形ガウス状態空間モデル」と「フィルタリング密度」という単語が出てきましたので，まずはそれらについて解説します． 線形ガウス状態空間モデルとは 状態空間モデルとは2つの確率過程からなります．1つは潜在変数・状態変数・隠れ変数といわれるもので，これは直接観測できないがマルコフ連鎖に従う変数だとモデリングされます．例えば景気の良し・悪し等，概念として存在するけれど直接は観測できないものを想像してください．2つめは観測値で，これは直接観測できるもの，つまりデータです．ただし変数に依存して観測される
こんにちは！虎の穴ラボのNSSです。 虎の穴ラボではオライリー・ジャパン社の定期購読サービスを利用しており、 毎月新刊をいち早く読めるようになっています。 今回は12/24に刊行された「Pythonによるファイナンス(第２版)」を読んだ感想を共有したいと思います。 www.oreilly.co.jp 読もうと思ったきっかけ 数年前から少しだけ投資をしていたので、タイトルから興味を惹かれました。 Pythonを使って自分の投資ポートフォリオを評価したり、自動取引ができたら楽しそうだと思いました。 目次 目次 日本語版まえがき まえがき 第1部 Pythonとファイナンス 1章 なぜファイナンスにPythonを使うのか 1.1 プログラミング言語Python 1.1.1 Pythonの大まかな歴史 1.1.2 Pythonエコシステム 1.1.3 Pythonのユーザ層 1.1.4 科学スタ
研究開発プロジェクトを先に進めるためにどのようなAI技術を使用すればいいのだろうか。本稿では、その一助とすべく、機械学習とディープラーニング（深層学習）の違いについて概説し、それぞれをどのように適用すべきかについて説明する。 科学技術の急速な成長と進化のおかげもありますが、研究開発プロジェクトを先に進めるためにどのようなAI（人工知能）技術を使用するかを理解し、定めることは困難です。本稿では、その一助とすべく、機械学習とディープラーニング（深層学習）の違いについて概説し、それぞれをどのように適用すべきかについて説明します。 定義：機械学習vs.ディープラーニング 機械学習とディープラーニングの両方において、エンジニアはMATLABなどのソフトウェアツールを使用して、コンピュータがサンプルデータセットから学習することで、データの傾向や特性を識別できるようにします。 まず機械学習の場合、学習デ
紹介論文 Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches (RecSys 2019) 日本語では「本当にそんなに進捗出てるの？ -或いは最近のNN推薦手法に対する警鐘-」という感じだろうか。 元論文はこちら https://arxiv.org/pdf/1907.06902.pdf 概要 DNNが登場してから推薦分野でもDeepXXな手法が増えている 新手法の登場頻度が高いため、代表的なタスクであるtopN推薦に対してすらSOTAが何か追えなくなっている そこでトップ会議（KDD, SIGIR, WWW, RecSys）のDNN関連研究18本を追試した 18本のうち、現実的な努力を行った上で再現できたのが7本 （RecSysでの発表によると、）
2019年6月28日の明治大学での講義資料です。 できるだけ数式を使わずに『機械学習のおさらい』『自動ハイパーパラメタ最適化』『Optuna の使い方』『ベイズ最適化の応用事例』について説明しています。 ●Optuna : https://github.com/pfnet/optunaRead less
この感染は拡大か収束か：再生産数 R の物理的意味と決定 ～単純なモデル方程式に基づく行動変容の判断のために～ | RAD-IT21
京都大学エネルギー理工学研究所 准教授 佐賀県立伊万里高等学校出身。京都大学理学部卒。九州大学大学院総合理工学研究科修了。博士（工学）。 自然科学研究機構核融合科学研究所助手（現助教）、東京大学高温プラズマ研究センター、東京大学大学院工学系研究科原子力国際専攻准教授を経て2013年2月より現職（宇治キャンパス）。 専門：プラズマ理工学、核融合学、プラズマ計測、分光学。科学教育。 趣味：ピアノ。囲碁。元フィギュアスケート選手。 ５回転ジャンプと核融合発電、人類はどちらを先に手にするでしょうか。世代を超えた継続的かつ効率的な育成システム構築が重要でしょう。 印刷用PDF 1. はじめに 2019年末、中国湖北省武漢で発生した新型コロナ肺炎（後にCOVID-19と命名）は、2020年2-3月現在、世界的な猛威を振い[1]、3月12日には、（遅きに失した感もあるが）世界保健機関（WHO）がパンデミ
こんにちは，株式会社Nospare・千葉大学の小林です．本記事ではGelman and Vehtari (2020)の`What are the most important statistical ideas of the past 50 years?'について紹介します．この論文は過去50年において最も重要だとされる次の8つのアイディアが取り上げられています． 8つのアイデア 反事実（counterfactual）に基づく因果推論 ブートストラップとシミュレーションに基づいた推論 オーバーパラメータ（overparameterized）モデルと正則化（ガウス過程，Lasso, horseshoe, ベイズnonparametric priorなど） ベイズマルチレベル（階層）モデル 汎用的な計算アルゴリズム（EM, MCMC, SMC, HMC, 変分法など） 適応的決定分析（ベイズ最
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 デザインディレクション・ブック 橋本 陽夫 現場のプロがやさしく書いたWebサイトの分析・改善の教科書【改訂3版 GA4対応】 小川 卓 解釈可能なAI Ajay Thampi(著), 松田晃一(翻訳) PowerPoint 目指せ達人 基本&活用術 Office 2021 & Microsoft 365対応 PowerPoint基本＆活用術編集部 ランサムウェア対策 実践ガイド 田中啓介, 山重徹 TODによるサステナ
記事中央に時間割を作っていますが、画像に講座リンクが繋がっています。 0. 対象読者 ・データサイエンス,統計,機械学習,AIに興味あり ・大学時代に専攻していなかった ・学習に大金を費やすのは難しい ・独学が厳しい領域だと感じている ・中学生の初級レベルの英語ならわかる この記事を読むのに向いてない方 ・英語を一切学ぶつもりはない ・データサイエンス分野に興味が無く、簡単に概要だけ知りたい (この場合はお金をかけて入門講座や家庭教師を頼んだ方がいい) 1. はじめに 1-1. まだまだ自学しよう 2020年の5月にタダで学べるデータサイエンス名著5冊を記事として書きました。 続編です。 この頃にはウイルスも8月までには収まっているだろう。という根拠のない予測をしていましたが、 まだ自粛ムードが漂う。 きっとデータサイエンティストを目指して入社した新卒の方もいらっしゃるでしょう。 採用した
統計学とは何か、そしてベイズ統計学の話 - hidekatsu-izuno 日々の記録
細々と統計学を調べ続けているが、最近ようやく統計学というものが何なのか、おぼろげながらわかるようになってきた（なお、統計学ができるようになってきたわけではない） 統計学を知る前の自分と今の自分をくらべたとき、間違いなく違うのは統計学に対する信頼だろう。以前は、統計学は数学の一分野であり、正しい分析手法を使えば真の答えが得られるものだと思っていた。しかし、実際には統計学者ジョージ・ボックスが言ったとされる「すべての（統計）モデルは間違っている、だが中には役立つものもある）」という言葉の方が実態に近い。 統計学は基本的に「不可能なことを可能にする（不良設定問題を扱う）」学問だ。例えば、1、3、5 という数字の列から何が言えるだろうか。確実なことは3つの実数値が観測された、ということだけで、それ以上のことは想像するしかない。奇数列かもしれないし、乱数から３つの値を取得した際に偶然それっぽい数字が
こんにちは、AppBrewでアルバイトをしている@Leoです。 自然言語処理の研究室に最近入った大学生で、趣味はKaggleと競技プログラミングです。 AppBrewでは、LIPSの投稿を使ったデータ分析をしています。 今日の記事では、弊社のアプリLIPSにて投稿ジャンルを機械学習を使って自動推定した方法を紹介します。 自然言語処理・確率関係全然わからない！という人でも読みやすい内容になっていると思うので、最後まで読んでいただけると幸いです！ LIPSにおけるジャンル 教師データの作成 ナイーブベイズ 単語分割 モデルの実装 分類結果 おわりに LIPSにおけるジャンル 最近、LIPSにジャンル機能が追加されました。 これは投稿されたクチコミにジャンルを設定できる機能です。 適切にジャンルを設定すると、投稿を検索するときにジャンルを使って絞り込めるなどの利点があります。 ジャンルは7種類（
第一位 Focal Loss for Dense Object Detection 物体検知のためのFocal Loss これは不均衡データに対処するための損失関数Focal Lossを提案した論文なのですが, とにかくそのシンプルさにやられました. 画像のFLの式を見てください. たったこれだけです. ptは正解ラベルに対する予測値なのですが, ptが大きければ大きいほど損失値をしっかり抑えられるように設計された関数となっています. 正解ラベルに対して0.6と予測するサンプルを学習に重要視せず, 0.3とか0.1とか予測しちゃうサンプルにしっかりと重要視するのです. 自分も7月くらいまでは不均衡データに関する研究していたのですが, 自分が考えた多くのアイディアが結局Focal Lossの下位互換に帰結してしまうのです. しかもこの損失関数の汎用性は非常に高く, あらゆるタスクに入れること
世界有数の研究者やITエンジニアが集うAI企業Preferred Networks（PFN）。秋葉拓哉さんは、同社で機械学習基盤の執行役員を務めている。前職は国立情報学研究所の特任助教で、世界最高峰の国際会議で多数の論文が採択される研究者だった。さらに競技プログラミングのコンテスト「TopCoder」では、世界で数十人しかいない「ターゲット」というレベルに達し、データ分析コンペティション「Kaggle」では、世界で200人ほどの「Kaggle Grandmaster」の称号を得ている。 競技プログラミングとKaggleでその道を究めた秋葉さんは、習得したスキルや知識をどのように業務に生かしているのか。挫折を味わいながらも、それを乗り越えてきた秋葉さんのキャリアをひもとく。【松本香織、羽田顕人、斎藤公也】 〈Profile〉 秋葉 拓哉（あきば・たくや） 株式会社Preferred Netw
限定の先行販売*1で紙版を入手した『Kaggleで勝つデータ分析の技術』（技術評論社）を読みました。なお電子版をご恵贈いただく予定です。 gihyo.jp 10月7日の発売を待たずして Amazon*2のベストセラー1位になるなど、注目を集めています。 既に著者の一人である threecourse さんは、執筆者視点で見どころを紹介しています*3。 本記事では一人の読者、そして Kaggler の視点で書評を記します。なお私は既に1年以上 Kaggle に取り組んでおり、一定程度の知識を有している視点からの書評になります*4。 本書の魅力 1. データ分析コンペのテーブルデータコンペに注力して書かれた「教科書」である 2. 技法のみならず筆者および関係者の実体験に基づいた集合知も言語化されている 3. コードが公開されている どんな人に本書はお勧めか Kaggleに取り組んだ経験があり、更
これは何 データマネジメント・データ分析に関する書籍・記事・ツールをまとめます。 特に価値が高いと思う書籍・記事を上に並べています。 どのような分野が存在するのか概観します。 全て読むのは大変なので、興味があったり業務に関連のある分野から目を通しましょう。 対象読者 データ分析をやってみたいが何から手をつければいいのかわからない人 書籍 webに転がっている記事は断片的です。 まずは書籍を読んで体系だった知識を仕入れて、その後にwebの記事で肉付けするのをおすすめします。 データ分析全般 データ解析の実務プロセス入門 https://www.amazon.co.jp/dp/4627817711/ データマネジメント データマネジメントが30分でわかる本 https://www.amazon.co.jp/dp/B085W4YSZJ 実践的データ基盤への処方箋 https://www.amaz
Pythonによるファイナンス 第2版
さまざまな分野で威力を発揮するPythonは、ファイナンスの分野でも重要なテクノロジーとして急成長を遂げています。本書は、Pythonを使った金融工学の初歩的な基本事項からアルゴリズム取引やデリバティブ分析までカバーし、必要なプログラミング、機械学習や深層学習を利用したデータ分析、統計などについて、数理と実用面から詳しく解説します。「データ駆動型アプローチ」と「AIファーストファイナンス」を軸に、これからのファイナンスに必要な戦略と実践力を体得できることを目的とします。 目次 日本語版まえがき まえがき 第1部 Pythonとファイナンス 1章 なぜファイナンスにPythonを使うのか 1.1 プログラミング言語Python 1.1.1 Pythonの大まかな歴史 1.1.2 Pythonエコシステム 1.1.3 Pythonのユーザ層 1.1.4 科学スタック 1.2 ファイナンスにお
By Matthew Yohe, CC BY-SA 3.0 十代の子たちの不幸を説明するもっとも有望な要因 「テレビなんてぶち壊せ / 新聞なんて投げ捨てろ / 田舎に行こう / 家を建てよう」――ジョン・プライン アメリカで広まっている十代の不幸について，興味を引く議論が続いている．発端は，疾病対策予防センター (CDC) の調査報告だ．これによると，アメリカの高校生たちのあいだで，哀しみや無力感が増えてきている．とくに女の子で顕著だ．たんに，聞き取り調査に対してみんながこれまでとちがう回答をしているあだけじゃない――十代の自殺者も増えているし，不安や鬱の症状も増えている．2012年～2013年ごろから，事態が悪化しはじめている． Source: Twenge (2020) 考えうる理由のひとつは，「2011年よりも世の中がずっとひどくなってしまったから」というものだ．テイラー・ローレン
前回、長野県の新聞トップシェアの県紙である信濃毎日新聞7/21朝刊1面トップを飾った「新型コロナ 妊婦にＰＣＲ検査実施へ 県、希望者に無料で」という記事と付属するネット未転載の囲み記事が、ジャパンオリジナルエセ医療・エセ科学デマゴギーに深刻に汚染されているという事を実際にその記事の数値的検証を行うことによって解明しました。 予定では今回は、本シリーズ17回の続きに戻すはずですが、文春オンラインで、興味深い記事が公開されました。 ●たった1人の感染者が地方都市にコロナを持ち込むとどうなるか？《島根で実際に起きた“舞台クラスター”波及騒動》2020/07/23安藤 華奈 文春オンライン 筆者は把握していなかったのですが、東京で舞台観劇をした大学生の女性が、感染者接触追跡調査の結果PCR検査を受診することとなり、SARS-CoV-2に感染していたという事が判明したとの記事で、ご本人は無症状だった
新卒データサイエンティストの成長ストーリー #3 RecSys 2022 参加レポート - techtekt
まえがき こんにちは。デジタルテクノロジー統括部アナリティクスグループ新卒の安藤です。前の記事から3ヶ月も空いてしまいました......。 先日9/19-23に行われた国際学会RecSys 2022をオンラインで聴講したので、その報告として記事を書くことにしました。パーソルキャリアからは私を含め3名以上が参加したと聞いています。 The ACM Conference on Recommender Systems、通称RecSysは推薦システムに関するトップカンファレンスであり、ジョブマッチとは密接な関わりがある分野です。 推薦システムの最先端がどのようなものであるかを知ることでビジネスに活かしたいとの思いから参加を申し出た、という経緯です。 (かなり直前の申請でしたが許可をいただくことが出来ました。この場を借りて改めてお礼申し上げます......！) 非常に興味深い発表が多数ありましたが、
効果検証においてABテストによる単純比較以上のことをやろうすると、因果推論の各種手法を用いることになります。しかし、因果推論は主義や用語などが統一されておらず、いつ何を使えばいいかが分からないというハードルがあります。 そんな因果推論の手法を整理し、初～中級者にとって学習・活用の見通しが立てやすいようにまとめたものが本記事です。 2023/12/6追記 もともとこの記事は「もう迷わない！効果検証のための因果推論手法のチートシート」というタイトルだったのですが、"迷わない" はどう考えても言い過ぎだったので、タイトルを修正しました。沢山手法があるけど違いが分からなくて混乱しがち、というのが執筆のモチベーションです。むしろ 迷子のお伴 として活用していただけると幸いです。 特にフローチャートの部分は、これに従っておけばOKという主張ではなく、あくまで手法間の関係を整理するためのもの、そしてこう
統計学テキスト
統計学テキスト 公開ページ このテキストは，京都女子大学現代社会学部の講義「統計学」，および佛教大学通信教育部の数学教員養成課程「確率論」の教科書として使っていたものです。出版するには受講者数が少なすぎるをよいことに，細かい改訂を繰り返して現在の形になっています。 「数式がちゃんと書いてある文系向けの統計のテキスト」がほしかったということで，講義のテキストに使ってくださっている ところもあり，とても喜んでいます（理系や技術系でもこのテキストは使えるらしく，ありがたいコメントをいただいています）。 利用の条件等は本文の「まえがき」をごらんください。(小波秀雄) 「統計学入門」 関連URL 公開時の日記 「統計学入門」ダウンロード 2020年末時点の版もダウンロードできます 新しい版をダウンロードするときには，その前にブラウザで「再読み込み」をしてください． 更新履歴 2013/03/11:公
情報数理科学VII
機械学習手法の定式化を前半で学び、それらの基礎となるパラメータ推定理論を後半で扱う。 演習では講義で扱ったアルゴリズムの実践を行う。 Ⅰ．教師あり学習 １．最小二乗法 ２．過学習と正則化 ３．交差検証 ４．正則化付き経験リスク最小化 ５．カーネル法 Ⅱ．教師なし学習 １．ハードクラスタリング問題 ２．ソフトクラスタリング問題 ３．次元削減問題 Ⅲ．ベイズ推論 １．各問題の確率論的定式化 ２．推定理論 Ⅳ．凸最適化 １．凸関数 ２．双対問題 ３．最適化法
こんにちは、Research Internの荒尾(@karolis_ml)です。 日進月歩の勢いで研究が進んでいる深層学習ですが、教師あり学習でもっとも大事なデータのアノテーション、応用分野ではまだまだ大変ですよね。例えば、犬の写真から犬種を判断する分類器を作ろうとして教師データが必要になったとき、あなたは以下の画像にどんなラベルをつけるでしょうか? 出典: Pixabay 犬好きの方は正しくアラスカンマラミュート、そうではない方は似た有名犬種であるシベリアンハスキーと答えられたことでしょう。マラミュートの茶色い目(かわいい)や小さめの尖った耳(かわいい)を見分けて正しくラベル付けをするのは、決して簡単ではありません。 このようなアノテーションの分野に関して当ブログでは以前、Bounding BoxやSegmentationの効率化についての研究サーベイを行いましたが、この犬種分類のような
はじめに データサイエンティストを志してみようと思っていろいろ調べたけど、ロードマップを調べても情報が多くてどれをやればいいかわからなくなったので頭の整理も兼ねて初めて記事を書いてみました。 多分知識がついたら増えるので加筆修正します。 初学者なので的外れな部分もあると思いますが、こんなのが足りないとか教えていただいたら加筆したいと思います。 筆者スペック ・MARCH文系卒 ・学部は経営学部 ・３０代前半 ・新卒で商社で７年、メーカーで３年営業 現在３社目 ・プログラミング歴０ データサイエンティストを目指すきっかけ ・会社に仕事をさせてもらう人生ではなく自分で仕事を選べるようになりたいという目標の為。 ・転職を繰り返した結果待遇は生活できるぐらいにはなったけど、 これからの人生とか考えた時に転勤とか含めどうしても会社に身柄を拘束された人生しか見えなかったこと。 ・結婚とか考えた時に収入
Jun-ichi_Kawa on Twitter: "大学移ったばかり、42歳准教授なんて、ほんとこれからの人じゃん。2回受診、センターにも電話して生きてる間には検査受けられなかったとか、気の毒すぎる。RT-qPCRに事前確率だのベイズ算数だの言ってた人たち、この結果に加担した自覚持… https://t.co/htsrkkGTc7"
大学移ったばかり、42歳准教授なんて、ほんとこれからの人じゃん。2回受診、センターにも電話して生きてる間には検査受けられなかったとか、気の毒すぎる。RT-qPCRに事前確率だのベイズ算数だの言ってた人たち、この結果に加担した自覚持… https://t.co/htsrkkGTc7
国友直人のホームページ
私のホーム・ページにようこそ 制作協力：福井崇人・一場知之/最後の訂正:2023年1月15日 [ 英語 | 日本語 ] 研究・教育活動の主な分野 統計学、計量経済学、数理・計量ファイナンス、経済統計学、データサイエンス(統計科学) 最近の活動 社会協力活動 国土交通省第三者委員会委員(建設工事受注動態統計調査の不適切処理問題, 2021.12.23-2022.1.14) 報告書, 国土交通省 研究協力 経済時系列解析プログラム・季節調整法X12SIML(佐藤整尚先生, 2023.2.1) 日本語解説, 英語解説 新刊 「データ分析のための統計学入門」("OpenIntro Statistics, 4th Edition" by D.Diez, M.Cetinkaya-Rundel and C.Barr, 日本語印刷版(誤植訂正版), 日本統計協会, 小暮厚之氏・吉田靖氏と共訳,2021年3
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 R／RStudioでやさしく学ぶプログラミングとデータ分析 掌田津耶乃 データサイエンティストのための特徴量エンジニアリング Soledad Galli(著), 松田晃一(訳) 実践力をアップする Pythonによるアルゴリズムの教科書 クジラ飛行机 スッキリわかるサーブレット＆JSP入門 第4版 国本 大悟(著), 株式会社フレアリンク(監修) 徹底攻略 基本情報技術者教科書 令和6年度 株式会社わくわくスタディワール
企業で働くデータサイエンティストになって10年が経ちました - 渋谷駅前で働くデータサイエンティストのブログ
TL;DR 10年前の落ちこぼれポスドクが今は立派なデータサイエンティストになれたっぽいので、ポエムを書きました。業界事情の振り返りと、仕事の話、知名度が上がることの良し悪し、キャリアの話などを綴っています。 時が経つのは早いもので、落ちこぼれポスドクだった僕が企業転職をし、データサイエンティストになって今日で10年が経ちました。自分の中ではデータサイエンティストに転じたのはついこの前のことのように思える一方で、あまりにも多くの様々な体験をしてきたせいか「もっと時間が経っている気がするのにまだ10年しか経っていないのか」という気もしています。 今でも時々SNSで話題に上る回顧録を書いたのが3年前のことなんですが、それ以降は相変わらず同じく現職に留まり続けていることもあり、有体に言えばそれほど大きく変わったことはありません。なので、新たに3年間の振り返りを書くのではなく、回顧録で書き漏らした
recsys-python
Home recsys-python | Pythonによる推薦システム演習問題集 概要 recsys-pythonはPythonによる推薦システムの演習問題集です。推薦システムの基本である、評価履歴や評価値行列の扱いから、内容ベース推薦システム、近傍ベース協調フィルタリング、推薦システムの評価などに関する問題を取り揃えています。現時点では、13章構成で全163問用意しています。今後、内容を変更したり、問題を追加、削除したりすることもあります。 動機 言語処理100本ノックを参考にさせて頂き、推薦システム版の演習問題集を開発したいと思ったのがきっかけです。個人での学習に加え、大学での授業や研究室等でご活用いただければ幸いです。 到達目標 Pythonを学習しながら推薦システムの基本を修得できる。 評価履歴や評価値行列を扱いながらNumPyによる行列演算やベクトル演算を修得できる。 数式をP
データサイエンス設計マニュアル
本書は広い視野からデータサイエンス全体を俯瞰し、問題を解決する上で重要なことは何か、その設計原則に焦点を当てた入門書です。データを収集、分析、解釈するためのシステムを構築するために必要な、確率・統計の基礎から線形代数、スコアとランキング、統計分析、データマンジング、可視化、数学的モデル、回帰、機械学習まで広範囲にわたってカバーするだけでなく、思考プロセスも重視します。著者は、ニューヨーク州立大学ストーニーブルック校で長年にわたりコンピュータサイエンス教育に携わってきた計算機科学者で、統計学と計算機科学の枠を越えた新しい学問としてデータサイエンスを捉え直し、著者独自のアプローチでデータサイエンスの本質に迫ります。 1章データサイエンスとは 1.1 計算機科学、データサイエンス、リアルサイエンス 1.2 データについての興味深い問い 1.3 データの性質 1.4 分類と回帰 1.5 データサイ
ベイズ統計・ベイズ機械学習を始めよう コンピュータやネットワークの技術進化により，これまでにないほどの多種多様なデータを取り扱う環境が整ってきました．中でも統計学や機械学習は，限られたデータから将来を予測することや，データに潜む特徴的なパターンを抽出する技術として注目されています．これらのデータ解析を行うためのツールはオープンソースとして配布されていることが多いため，初学者でも手軽に手を出せるようになってきています． しかし，データ解析を目的に合わせて適切に使いこなすことは依然としてハードルが高いようです．この原因の一つが，統計学や機械学習が多種多様な設計思想から作られたアルゴリズムの集合体であることが挙げられます．毎年のように国際学会や産業界で新たな手法が考案・開発されており，一人のエンジニアがそれらの新技術を１つ１つキャッチアップしていくのは非常に困難になってきています． １つの解決策
検索体験を向上する Query Understanding とは 本記事は Recruit Engineers Advent Calendar 2019 – Adventar 25日目（最終日！）の記事です． はじめまして．リクルートテクノロジーズの河野 晋策です． 私は，Qassチームというリクルート横断の検索改善を行うチームにて検索改善を行っています． Qassチームは，検索基盤の運用や検索改善を行っているチームです． 詳しくは以下の記事をご覧ください． 「いい検索」を考える 検索組織の機械学習実行基盤 リクルート全社検索基盤のアーキテクチャ、採用技術、開発体制はどうなっているのか Elasticsearch＋Hadoopベースの大規模検索基盤大解剖 Argoによる機械学習実行基盤の構築・運用からみえてきたこと (CNDT2019, OSDT2019) 本記事の想定読者：検索初学者の方
近年優秀なエンジニアに対して報酬を多く支払う企業が増えてきています。 実際アメリがのAmazonも大幅な賃上げを行い、話題となりました。 日本国内でもエンジニアの年収が高い企業を知りたい！と思っている エンジニアの皆様お待たせいたしました。 年収1000万以上の求人をまとめてみましたので、参考までにご覧ください。 フリービット株式会社 【募集ポジション/年収】 エンジニアリングマネージャー候補：1000万円〜1500万円 【求める人材】 当社の Vision に共感いただき、プロダクトの継続的な成長を支える開発体制を実現するため、エンジニア組織の強化を担っていただける方を募集しています。 組織づくりや人員のマネジメントなどの組織拡大を一緒に担っていただける方を探しています。 【具体的な業務内容】 ・エンジニア組織としての課題発見・解決、及び成長戦略の立案・実行 ・開発チームの体制構築と、そ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習の本なのに、なぜか確率の話が 1/3 を占める「わけがわかる機械学習」 - 木曜不足
きょうだいベイズ問題の答えは 2/3 ではない - ChieOsanai’s blog
Daily Life:大塚淳『統計学を哲学する』を読む
データサイエンティストに王道無し - 渋谷駅前で働くデータサイエンティストのブログ
マスターアルゴリズム ー 世界を再構築する「究極の機械学習」
Pythonによるファイナンス(第２版)を読んだ感想 - 虎の穴開発室ブログ
機械学習とディープラーニング、どちらを使えばいいのか
RecSys 2019 ベストペーパーを読んだメモ - Qiita
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
【論文紹介】統計学の過去50年における最も重要なアイディアとは？ - Qiita
【動画でも】タダで学べる有名大学レベルのデータサイエンス【そう、courseraならね。】 - Qiita
ナイーブベイズを使って1日で100万件の投稿をジャンル分けした話 - AppBrew Tech Blog
2019年、俺の読んだ論文50本全部解説(俺的ベスト3付き) - Qiita
「Kaggle Grandmaster」PFN秋葉氏は、スキ...
【書評】『Kaggleで勝つデータ分析の技術』（技術評論社） - u++の備忘録
データマネジメント・データ分析に役立つ情報をまとめる - Qiita
ノア・スミス「やっぱりもしかしてスマホがわるいのかも」（2023年3月2日）
島根県の事例からも数字で明らかになる「検査をすると患者が増える」説のデタラメさ « ハーバー・ビジネス・オンライン
効果検証のための因果推論手法のチートシート - Qiita
ノイズのある教師データを用いた機械学習に関する研究サーベイ - ABEJA Tech Blog
ど素人初学者データサイエンティストロードマップまとめのまとめ - Qiita
ベイズ統計・ベイズ機械学習を始めよう | AIdrops
検索体験を向上する Query Understanding とは | Recruit Tech Blog
年収が1000万円以上のエンジニアの求人をまとめてみた - Qiita