Interpretable Machine Learning
Interpretable Machine Learning A Guide for Making Black Box Models Explainable. Christoph Molnar 2021-05-31 要約 機械学習は、製品や処理、研究を改善するための大きな可能性を秘めています。 しかし、コンピュータは通常、予測の説明をしません。これが機械学習を採用する障壁となっています。 本書は、機械学習モデルや、その判断を解釈可能なものにすることについて書かれています。 解釈可能性とは何かを説明した後、決定木、決定規則、線形回帰などの単純で解釈可能なモデルについて学びます。 その後の章では、特徴量の重要度 (feature importance)やALE(accumulated local effects)や、個々の予測を説明するLIMEやシャープレイ値のようなモデルに非依存な手法(mo
コロナ前のデータで訓練された機械学習モデル、現在完全に破綻 | ScanNetSecurity
ガートナー社によると、新型コロナのパンデミック以前にビジネスを行うために構築された機械学習モデルは、経済がロックダウンから立ち直るにつれもはや有効ではなくなり、企業は機械学習と企業データ管理において新たな課題に直面することになるという。 同社の調査グループは、「新型コロナの余波による極端な混乱により ... 過去のデータに基づいた多くのモデルが無価値になってしまった」と報告している。 例えば、製品推奨エンジンやネクスト・ベスト・オファーに機械学習を一般的に使用している企業は、そのアプローチを再考する必要があるだろう。教師あり機械学習モデルを再訓練するに十分なコロナ後のデータがないため、機械学習技術の幅を広げる必要がある。
データサイエンスにオススメの本80冊！ - Qiita
文字数が超えるため、本の画像をて削除しました。興味がある方は、元記事をご覧ください。 2019年データサイエンスにオススメの本80冊！ ビッグデータの発展とともに、データサイエンスは今広く知られるようになりました。大学にデータサイエンスを学べる学部ができたり、データサイエンティストを目指している人もたくさんいるでしょう。この記事では、統計学から機械学習やマーケティングまで、初心者がデータサイエンスを学ぶのにおすすめの本を80冊紹介します！ #Part I: データサイエンス概論 1.『データサイエンス講義 』Rachel Schutt、Cathy O'Neil 著 本書では、データサイエンスを行う上で、どのようなプロセスが必要か、データサイエンティストとしてはどのようなスキルセットが必要で、どのような思考方法を選択する必要があるのかを実例を多数示しながら紹介します。 2.『戦略的データサイ
金融×データ 変化する経済 - 日本経済新聞
NIKKEI Primeについて 朝夕刊や電子版ではお伝えしきれない情報をお届けします。今後も様々な切り口でサービスを開始予定です。
AIのバイアスのほんとうの問題は人間が気づかないバイアスだ - Qiita
これまでにも何度か紹介してきた、シリコンバレーのA16Zというトップクラスのベンチャーキャピタルの気鋭のアナリスト、ベネディクト・エバンスが、「AIのバイアス」についての考察をまとめていました。 いわゆる「AIのバイアス」といえば、例えば、白人の方が黒人より多い画像データで作ったAIシステムは白人を認識するのは得意だが黒人はそうでない、といったもののように、私達にとって想像つきやすいものについつい目が行ってしまいがちです。しかし実は、私達人間には認識すらできないもの、例えば光の当たり加減や、音の領域などがバイアスとしてデータに入ってきてしまった場合におきるAIのバイアスこそが、難しい問題なのではないかとベネディクトは言います。 いつものように、鋭い考察でいろいろな角度からAIのバイアスに切り込んでいきますが、彼のエッセイがおもしろいのは、もちろん彼の分析力、クリティカル・シンキング能力が素
機械学習の適用範囲を大幅に拡張、理研が手法を確立：自社商品を購入しなかった人のデータも推定 - ＠IT
理化学研究所の研究チームは、いわゆる「負のデータ」を収集できないために機械学習の分類技術を適用できなかった分野でも、分類技術が利用可能になる手法を確立した。「正のデータとその信頼度情報」だけから、分類境界を学習する。 理化学研究所（理研）は2018年11月26日、データを「正」（当てはまる）と「負」（当てはまらない）の2つに分ける機械学習の分類問題について、正のデータとその信頼度（正信頼度）の情報だけから、分類境界を学習する手法を開発したと発表した。 これまで負のデータを収集できないために機械学習の分類技術を適用できなかった幅広い分野でも、分類技術が利用可能になる。 開発したのは同研究所の革新知能統合研究センター不完全情報学習チームに所属する研修生の石田隆氏（東京大学大学院新領域創成科学研究科博士課程）と研究員のガン・ニュー氏、チームリーダーの杉山将氏の研究チーム。 弱い「教師あり学習」を
NNが心理学と生理学から離れていった瞬間：Back propagationに関するNature論文(1986)の意義を考える - 渋谷駅前で働くデータサイエンティストのブログ
(Fig. 1 from Rumelhart, Hinton & Williams, Nature, 1986) これはちょっとした小ネタです。僕自身はニューラルネットワーク (Neural Network, NN)の学術的専門家でもなければ況してやNNの研究史家でもないので、たかだか僕自身がかつて脳の研究者だった頃に把握していた事由に基づいて、極めていい加減な私見を書いているに過ぎないことを予めお断りしておきます。よって、この辺の事情に詳しい方いらっしゃいましたら、後学のためにも是非ご遠慮なくツッコミを入れて下さると有難いですm(_ _)m 先日のことですが、@tmaeharaさんがこんなことを呟いておられました。 オリジナル論文 https://t.co/kXfu8jIat3 これです．本当にただチェインルールで微分して勾配法しているだけにしか見えない……．— ™ (@tmaehara
Pythonデータサイエンスハンドブック
第3刷正誤表 2020年12月7日更新 p.69、脚注 【誤】 https://raw.githubusercontent.com/jakevdp/PythonDataScienceHandbook/master/notebooks/data/preident_heights.csv 【正】 https://raw.githubusercontent.com/jakevdp/PythonDataScienceHandbook/master/notebooks/data/Seattle2014.csv 目次 訳者まえがき はじめに 1章 IPython：Pythonより優れた Python 1.1 シェルか notebookか 1.1.1 IPythonシェルの起動 1.1.2 Jupyter notebookの起動 1.2 IPythonのヘルプシステムとドキュメント 1.2.1 ?文字を
結局、機械学習と統計学は何が違うのか？ - Qiita
これは私達の行っているデータサイエンスのトレーニングで、日本でもグローバルでもよく聞かれる質問です。実は2年ほど前にこの質問に正面から真摯に答えていた"Machine Learning vs. Statistics"という、とても素晴らしい記事があるのですが、今日は、そちらの記事をみなさんに紹介してみたいと思います。 ちなみに、筆者のTom FawcettとDrew HardinはSilicon Valley Data Scienceというデータサイエンスのコンサルティング会社で、多くの有名企業がデータサイエンスを使ってビジネスの問題を解決するための支援を行っていました。ちなみに、その会社の方は去年、Appleに買収されています。さらに、Tomは、「Data Science for Business」(翻訳書：戦略的データサイエンス入門 ―ビジネスに活かすコンセプトとテクニック）という有名
【保存版】エンジニアが機械学習を学ぶために読むべき厳選書籍4冊【機械学習 入門書】
機械学習を含む人工知能を扱えるITエンジニアの人材不足は深刻で、GoogleやAppleなどのIT大手の会社は挙って人材獲得競争を行なっています。 米大手人材サービスのglassdoorによると、アメリカでの機械学習エンジニアの平均年収は$120,931（約1350万円）となっています。未経験者〜1年までの機械学習エンジニアの年収でも、$100,551（約1121万円）と非常に高額です。 対して、日本のリクルートTech総研が実施した30代前半のエンジニアの年収調査では、システム開発（Web・オープン系）の平均年収で512万円というデータがあります。 冒頭でも触れた通り、これから機械学習エンジニアの不足は明らかであり、より一層、給料の高騰が期待できるわけです！現在、ソフトウェアエンジニアとして活躍されている方々も、キャリアップを目指して機械学習を勉強されている方も多いはずです。 そこで、本
MITやAdobeら、グラフィックデザインにおいて見る人が重要と認識する箇所をリアルタイムにヒートマップ予測する機械学習モデルを論文にて発表
MITやAdobeら、グラフィックデザインにおいて見る人が重要と認識する箇所をリアルタイムにヒートマップ予測する機械学習モデルを論文にて発表 2017-12-10 MIT CSAIL、ハーバード大学SEAS、Adobe Systems、Adobe Researchの研究者らは、グラフィックデザインとデータビジュアライゼーションにおいて、機械学習で人が重要と認識する箇所をリアルタイムに予測する提案を論文にて発表しました。 Learning Visual Importance for Graphic Designs and Data Visualizations （左が入力画像で右が重要度を予測した画像。重要度が高いほど暖かい色が示される） 本稿では、ポスターや広告などのグラフィックデザイン、データを視覚化した資料、この2つにおいて、人がその範囲内でどう見ているかを重要度ヒートマップでフィード
データサイエンティストを目指して半年で学んだことまとめ - Qiita
はじめに 本記事では、データサイエンティストを目指して勉強した半年間で学んだこと、気付いたことをまとめます。これからデータサイエンティストを目指して勉強する人の参考になればと思います。 最初の一手 個人的にではありますが、最初はアプローチの理解から始めると思いますが、数式とプログラミングの両方を勉強する方が良いと思います。数式→プログラミング or プログラミング→数式の順序はどちらでも良いと思いますが、プログラミング（フレームワーク）のみはやめた方が良いと思います。出力結果の解釈で苦労することになるので、理論、数式はしっかり理解した方が良いです。 プログラミング、フレームワークの力で、機械学習ができるのは事実ですが、作ったモデルや予測結果の説明ができなければ価値がありません。 そして、モデルは作るだけでなく、評価・改善していく必要があります。その際に、グリッドサーチのようにモデルのパラメ
If文から機械学習への道
機械学習とif文が地続きであることを解説しました。 ver.2 質問への回答を追加し、顧客価値の小問に図を追加してわかりやすくかみ砕きました。Read less
深層学習を超えた手法とは何か : 思考のカケラ
最近、深層学習の精度を超えた手法が発表されています。 今回は、昨日（6月17日）ニュースになったDeepmindによるPredictron（自動計画＋強化学習）も含めて、紹介します。
機械学習を学ぶ上で個人的に最強と思う教科書 - Qiita
動機 いわずもがなですが、機械学習の勉強にはとても時間が掛かります。 でも、同じ勉強時間を費やしたとしても、教材の良し悪しで捗り方が大きく変わってくることは、誰もが実感していることだと思います。 そこで、本記事ではテーマごとに私が考える最強の教科書をリストしていこうと思います。 ディープラーニング（アルゴリズムの理解） 「Deep Learning」An MIT Press book, 2016/12 発行 http://www.deeplearningbook.org/ 印刷本も売られてますが、上のWebページでいつでもタダで読めます。（版権上の問題でPDFの形では配布できない＆してないそうです） この本は、ここ数年のディープラーニングの進歩のうち研究者の間ではメジャーとなっているであろうテーマはすべて書いてある、ともいえる内容の広さがありつつ、それぞれのテーマについて理論的背景と具体的
実タスクで機械学習を導入するまでの壁とその壁の突破方法 - yasuhisa's blog
社内で機械学習の案件があった際に、機械学習の経験者しか担当できないと後々の引き継ぎで問題が起こりがちです。これを防ぐために、機械学習に興味があり、これまで機械学習を経験したことがないエンジニアにも担当できる体制を整えられることが望ましいです。しかし、機械学習のことに詳しく知らないディレクターやエンジニアにとっては、どのような機械学習の理解段階ならばタスクを任せられるかの判断をするのはなかなか困難です。そこで、このエントリでは機械学習を実タスクでやるまでに乗り越えるべき壁だと私が思っているものについて説明します。 第一の壁: 綺麗なデータで機械学習の問題を解ける 講義で扱われるような綺麗なデータを扱える 行列形式になっていて、欠損値や異常値もない 上記のデータを回帰や分類問題として解くことができる 実際に解く際にはライブラリを使って解いてよい 手法を評価する上で何を行なえばよいか(Preci
AIベンチャーの雄が総務省の開発指針に反対する理由
人工知能（AI）の開発者が研究開発に当たって留意すべき原則「AI開発ガイドライン（仮称）」の素案を策定するため総務省が設置した産官学会議から、AIスタートアップのPreferred Networks（PFN）が離脱していたことが明らかになった。 Preferred Networksは深層学習（ディープラーニング）開発のスタートアップ企業で、深層学習フレームワーク「Chainer」の開発元としても知られる。 総務省 情報通信政策研究所は、同ガイドライン素案策定のための産官学会議「AIネットワーク社会推進会議」を主催している。2016年12月には、素案策定に向けた論点整理を公開した。 この素案は、日本政府がOECD（経済協力開発機構）などに提案することを目的に策定するもので、「日本の法制度に直接反映させることを想定したものではない」（同研究所）という。 だがこの方針に対し、2017年1月まで同
アルゴリズム取引のシステムを開発・運用してみて分かったこと
趣味でアルゴリズム取引のシステムを開発・運用してみたことで得られた知見について、社内のテーマ自由な勉強会で発表しました。
【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本 - Qiita
【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本本機械学習数学データ分析データサイエンス Update版2023年版データ分析の100冊を書きましたよ！ 必読10冊を更新。データサイエンス、データ分析、機械学習周りでおすすめ図書10選のような記事は良く見ますが、網羅的な紹介記事はあまり見かけないので自分が欲しいと思い書きました。私よりたくさん読んでいる方は多々いらっしゃると思いますが、記事を書いてくださいな。 別の観点でデータ分析プロジェクトのフェーズ毎の参考書籍紹介という記事を新たに書きました。 データ分析の各フェーズ（データ分析プロジェクト全体-ビジネス状況の理解-データの理解-データの準備-モデルの作成-評価-展開）毎に参考書籍を紹介しています。 本記事の対象と想定 Qiitaはプログラマやコンピューター系技術者のための記事と思っ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
人間参加型（human-in-the-loop）機械学習とは？
