こんにちは。デジタルテクノロジー統括部でアナリストをしているY・Nです。 パーソルキャリアのデジタルテクノロジー統括部は、一般社団法人データサイエンティスト協会が定める「データサイエンティストに求められるスキルセット」を基に、以下の3つのグループが組織されています。 ビジネスグループ アナリティクスグループ エンジニアグループ 出典：データサイエンティスト協会 これらの3グループが互いに連携しあい、AI（ここでは機械学習による予測モデルを指すことにします）によって様々な業務を自動化させたり、意思決定の補助に利用させるプロジェクトに取り組んでいます。 その際、「AIの判断根拠をどの程度（どの様に）見せれば良いか」ということが常にビジネスグループで議題に上がります。殊にAIの予測結果を人間（特に営業部門の人）が見た上で意思決定の補助として利用する場合に顕著で、判断根拠が表示されないブラックボッ
『施策デザインのための機械学習入門』という本を技術評論社さんから出版します - Counterfactualを知りたい
Twitterでたびたび告知させていただいていますが、『施策デザインのための機械学習入門』という本を技術評論社さんから出させていただきます。紙版は8月4日発売（本記事公開の翌日）、電子版は7月30日にすでに発売されています。 gihyo.jp www.amazon.co.jp 本書の概要は次の通りです。 予測に基づいた広告配信や商品推薦など，ビジネス施策の個別化や高性能化のために機械学習を利用することが一般的になってきています。その一方で，多くの機械学習エンジニアやデータサイエンティストが，手元のデータに対して良い精度を発揮する予測モデルを得たにもかかわらず，実際のビジネス現場では望ましい結果を得られないという厄介で不可解な現象に直面しています。実はこの問題は，機械学習の実践において本来必要なはずのステップを無視してしまうことに起因すると考えられます。機械学習を用いてビジネス施策をデザイン
※1 Pythonコードは、Google Colaboratoryのジュピター・ノートブックの環境で実行することにより動作します。 詳細は、本教材の「参考テキスト」p.159～を参照ください。 ※2「clst.csv」のデータの一部については、自然科学研究機構 国立天文台より２次利用の許可を得て掲載しております。 出典：国立天文台編「理科年表2021」，丸善出版(2020)
何となくデータを見ることで目的など生まれない 何かいいことが見つかるかもしれないからと何の目的も無しにデータを見るのは時間の無駄である。 データ分析は意思決定のために行っているはずだ。であれば何らかの意思決定という目的が無ければどんなに数字をいじくりまわしたところで「それで？」で終わるだけになる。それは時間の無駄としか表現のしようがない。 なおここでいう「データ分析」とは手元にあるデータを何とかするということに限らず「特定の目的の意思決定を支援するための一連のプロセス」を指す。詳しいことは近日中に記事を書く。 まず目的ありき。そして必要だったらデータ分析をする。逆ではない データ分析は手段である。目的を果たすために必要であるから行うのであり、データがあるから、導入したツールがあるから、新しい手法を勉強したからと分析して解決すべき問題への道に繋がっていたとしてもそれは偶然に過ぎない。 中小企
データサイエンティストがやらかしがちな過ちトップ10（海外記事紹介） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) "Top 10 Statistics Mistakes Made by Data Scientists"という刺激的なタイトルの記事が出ているのをKDnuggets経由で知りました。「データサイエンティストがやらかしがちな統計学的な誤りトップ10」ということで、いかにもなあるある事例が色々載っていて面白いです。 ということで、今回はこの記事を全訳にならない範囲で抄訳して、その内容を吟味してみようと思います（直訳しても意味が取りづらい箇所が多かったためかなりの部分を抄訳ながら意訳しています：こういう訳の方が良いなどのコメントあれば是非お寄せください）。言わずもがなですが、こういう海外記事紹介をやる時はネタ切れということです、悪しからず。。。 元記事の内容 1. Not fully understand objective function（目的関数が何か
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
機械学習プロジェクトでは python を始めとした言語 + それに付随したライブラリを使います。 僕も python 触りたての頃はローカルマシン上にひとつ python 環境を作り、必要なライブラリをインストールして使っていました。環境の分離ということはあまり意識しておらず、やったとしてもプロジェクトごとに anaconda や pyenv, venv などで個別環境を作って切り分けるレベルでした。 しかし上記の方法だと困ったことが起ることがあります。例えば… global な環境が壊れてしまってすべて壊れる。 これは各環境が global な環境に依存しているために起こります。 python 以外の変更で環境は突如として壊れます。例えば brew install hoge したら Mecab が使えなくなっちゃったとかはあるあるだと思います >_< linux / Mac / Win
2021年版：データサイエンティストを初めとするデータ分析職向け推薦書籍リスト（初級5冊＋中級8冊＋テーマ別14冊） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pexels from Pixabay) 今年も恒例の推薦書籍リストの季節がやって参りました。……なのですが、昨年はCOVID-19の影響で*1データ分析業界及び隣接分野の新刊書を読む機会が減ってしまいましたので、例年に比べてラインナップの変更をほとんど検討しないままでリストアップしている点、予めご容赦いただければと思います。 そして今回の記事では、これまで以上に「実務家向け」「実践的」であることを重視しています。そのため昨年までのリストに比べて大幅に刷新されているカテゴリもあったりします。また、末尾に僕なんぞが選ぶよりもずっと優れた推薦書籍リストへのリンクも付しておきました。併せて参考にしていただけると幸いです。 初級向け5冊 総論 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別14冊 PRML 機械学習の実践 Deep Learning 統計的因果推論
Data Engineering Study #20 "Introduction to Data Analytics with SQL" Book
Data Engineering Study #20「10年戦えるデータ分析入門」回・前半の発表資料です。
ChatGPTを使ってデータサイエンティストの生産性を爆上げする活用術をまとめました！ また、データサイエンティストがChatGPTを活用するための記事をまとめているので、こちらもぜひ参考にしてみてください。 データ前処理 「ChatGPTを使用すると、「データを分析可能な形に前処理して」といった大雑把なリクエストに対しても、すんなりと対応し、データ前処理を行ってくれます。」 今のところ、大量のデータを前処理する際にChatGPTを利用する場合は、ChatGPTに実際の前処理を行わせるのではなく、前処理用のサンプルコードを教えてもらう方が良いでしょう。 ただし、近い将来にはCSVやExcelを直接アップロード＆ダウンロード可能な「Code Interpreter」というプラグインが追加される予定とのことで、実務利用が大いに現実味を帯びると考えられます。 詳細は以下のページで紹介しています！
東大が無料公開している超良質なPython/Data Science/Cloud教材まとめ (*随時更新)
東京大学 がちょっとびっくりするくらいの超良質な教材を無料公開していたので、まとめました Python入門講座 東大の Python 入門が無料公開されています。scikit-learnといった 機械学習 関連についても説明されています。ホントいいです Python プログラ...
Follow me on Twitter @Jacqmelinek for breaking crypto news, memes and more. Welcome back to Chain Reaction. Although there are a lot of builders in the crypto space, the total money being invested int
実践的データサイエンス はじめに データ分析のためにコンピュータを利用する際、RおよびPython言語のいずれかを使うことが多いと思います(Julia言語は高レベル・高パフォーマンスな技術計算のための言語で今後期待が膨らみます）。これらの2つの言語では、データ操作や可視化、データ分析、モデリングに使われるライブラリが豊富にあり、 どれを使うのが良いのか迷うような状況が続いていました。しかしその状態は落ち着きを見せ、成熟期を迎えつつあります。 R言語ではパイプ演算子の登場によりデータフレームに対する操作に大きな変化が生じ、tidyverseによるデータ読み込みからデータ整形、可視化までが可能になりました。またtidyverseのような、機械や人間の双方が扱いやすいパッケージが増えてきました。特にR言語の強力な一面でもあったデータ分析の操作はtidymodelsに代表されるパッケージがユーザの
株式会社nehanは、プログラミング不要の分析ツールnehan上にて、作成した分析プロセスをPythonコードとして出力できる機能の提供を開始いたしました。 分系ツールnehanは「"データ分析は前処理の時間が8割"の常識を覆す」をテーマに、プログラミング不要で様々な分析業務を可能にするサービスです。 2019年5月の提供開始以降、50社以上の企業様よりお問い合わせを頂戴し、また、導入企業様より業務効率化実感の声を多くいただいております。 Pythonコード出力機能は、プログラミング不要で作成した分析プロセスを、Pythonコードに変換し出力する機能です。これにより、プログラムを書くより早くプログラムを作成することが可能になり、業務効率化を実現できます。 この機能の最大の魅力は、データ活用における「分析ロジックやアルゴリズムのシステム組み込み」をプログラミング不要で実現できることです。 例
Good Data Analysis | Machine Learning | Google for Developers
Good Data Analysis Stay organized with collections Save and categorize content based on your preferences. Author: Patrick Riley Special thanks to: Diane Tang, Rehan Khan, Elizabeth Tucker, Amir Najmi, Hilary Hutchinson, Joel Darnauer, Dale Neal, Aner Ben-Artzi, Sanders Kleinfeld, David Westbrook, and Barry Rosenberg. History Last Major Update: Jun. 2019 An earlier version of some of this material
データサイエンティスト・機械学習エンジニア・データアーキテクトの定義とスキル要件（2021年版） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Dirk Wouters from Pixabay) この記事は毎年恒例のスキル要件記事の2021年版です。昨年版は以下のリンクからご覧ください。 今回は、試験的に「データアーキテクト」についても触れています（詳細は後述）。残り2つの職種については基本的な内容はそれほど大きくは変わっていませんが、先般公開した推薦書籍リスト記事の時と同じ変更点が一つだけあります。それは「機械学習エンジニアのスキル要件」は今回は想定していない（というか例示できない）という点です。これまた詳細は後述しますが、端的に言えば「分野ごとの細分化が過剰に進んでいる」という印象があるためです。 ということで、前回までとは違って「職種ごと」に定義とスキル要件（書けるようであれば）を挙げていくスタイルになっています。なお、言わずもがなですが以下に挙げる3職種の説明は僕個人のこれまでの経験や見聞や伝聞をもと
データサイエンティストはどこまでエンジニアリングをすべきか？ | CyberAgent Developers Blog
AI事業本部 Dynalystでデータサイエンティストをしている藤田です。 Dynalystの開発チーム内にはデータサイエンス（以降DS）チームがあり、そこにはデータサイエンティスト・機械学習エンジニア（以降まとめてデータサイエンティストと呼ぶ）たちが所属しています。私がこのチームで働く中で、「プロダクト所属のデータサイエンティストがどこまでエンジニアリングをすべきなのか」ということを考えることがあったのでまとめてみました。当然これは一般的な答えではなく、人・チーム・組織の現状や目指すべきところによって答えは変わるので、あくまで1チームの1個人が考えたこととして読んでもらえればと思います。 プロダクト所属と横断DS組織所属 エンジニアリング云々の話をする前に、まずプロダクト所属と横断DS組織所属のデータサイエンティストの違いについて軽く説明します。両者のメリット・デメリットについても書きた
測れない数値を測る
政党支持率を探る世論調査は、何を食べたいかを客に尋ねる食堂の店主に似ている。売り上げならば前日の伝票を見ればわかる。知りたいのは明日の注文だ。聞かれた方も「いつもの」と即答できる人もいれば、同じメニューを毎日にらむ人もいる。明日の注文、つまり、次の選挙の得票率はどのように予測すればよいのだろうか。 報道機関が世論調査で調べている政党支持率は、無作為に選んだ有権者に「支持している政党はどれですか」と尋ねた結果をそのまま集計したものだ。当人の望むと望まざるに関わらず、すべての有権者を同じ確率で選ぶといういささか乱暴な手法を使っているのは、その方法でしか偏り（バイアス）のないデータが得られないからだ。その新聞の購読者やテレビ局の視聴者でない人をも巻き込む性質から、調査結果は公開されている。 政党支持率は、選挙の予測得票率ではない。自民党の支持率は選挙で一度もとったことがない高い水準を維持している
クライアントワーク（受託）のJamstack開発でNuxt 3を提案・実装する / Reject Conference - Vue Fes Japan Online 2022
機械学習の概要や歴史から、botやWebアプリの作成まで網羅した、初心者向けの全24回の学習教材を米MicrosoftがGitHub上に無償公開している。12時間程度で学べるという。
著者のIan Xiao氏は、顧客企業に機械学習ソリューションを提供するカナダの企業DESSAにおいて「契約リード（Engagement Lead）」という肩書で機械学習プロジェクトを指揮管理しています。同氏がMediumに投稿した記事「データサイエンスはつまらない（パート1）」では、データサイエンス職におけるつまらない側面が解説されています。 同氏の甥はコンピュータサイエンスの修士課程で勉強しており、卒業後はデータサイエンス職に就きたいと考えていると聞いて、同氏は甥が正しい判断を下せるようにデータサイエンス職における「つまらない」側面をあえて伝えようと決意しました。 データサイエンス職を志望する若者は、仕事に就けば機械学習モデルの構築のような知的にエキサイティングな業務に携われると思い込んでいます。しかし、現実には業務時間のほとんどを退屈でつまらない仕事に関わることになる、と同氏は指摘しま
まえがき データ分析はなんて広いんだろう。影響力の強まりに応じ、自然・社会・人間ほぼすべてが対象となりどんどん拡大していく。対象に応じ手法も広がり複雑化し、学ぶべきことが多すぎる。データサイエンティスト協会のスキルチェックリストVer.3.001（ごめんもう4.00が出てるね）も500超の項目があります。読むべき図書も良書と思われるものだけでも増え続けており、もう手に負えない状況です。 ただ、これはやってはだめだ、ここを知らないと道に迷う、という絶対に知っておくべき点は学べる範囲だと思います。本書では、データ分析において間違えやすい、誤解しやすい点を共有し、データ分析全体をよくする目的で、かつ データ分析の入門書・専門書に分野ごとには書かれてはいますが1つにまとまっておらず目に触れにくいもの データ分析の入門書・専門書でもスルーされていたり場合によっては誤っていると思われるもの で自分なり
はじめに 筆者はかつてデータサイエンティストだった者です。 統計や機械学習をバリバリ使いこなしてデータを分析し、将来の売り上げ予測や要因分析、施策の効果検証などをすることに憧れてこの世界に入りましたが、そうした時間は全体の1割ほどに過ぎず、残り9割の時間の戦いに疲れて戦場を後にしました。 なぜデータサイエンティストは戦わなければならないのだろう。 おそらく一因としてあるのが、データサイエンティストという言葉がバズワード化しすぎてしまったせいで、その定義の輪郭が失われてしまったことだと思います。 整理された定義は、言わずと知れた尾崎隆さんのデータサイエンティスト・機械学習エンジニア・データアーキテクトの定義とスキル要件（2021年版）に記載されています。 しかし、専門家でも意見が別れる定義を素人がはっきりと分かるはずもなく、過度な期待が寄せられることで討死してしまうデータサイエンティストが少
ブレインパッド社内勉強会での発表スライドを公開しました 本スライドは #OpenBP の活動の一環として公開しています https://twitter.com/search?q=%23OpenBP&src=hashtag_click #OpenBPとは→ https://note.mu/ysdyt/n/n46160f3348fe
はじめに データ分析：実用系 Kaggleで勝つデータ分析の技術 ウェブ最適化ではじめる機械学習 データ分析：因果推論 入門 統計的因果推論 計量経済学 大人の教養 世界標準の経営理論 科学的に正しい筋トレ 最強の教科書 落合務のパーフェクトレシピ はじめに 今回は、特にドメインを指定せず、読むと間違いなく誰にでも勉強になるであろうと感じた書籍を紹介します。 データ分析：実用系 Kaggleで勝つデータ分析の技術 Kaggleで勝つデータ分析の技術 作者:門脇 大輔,阪田 隆司,保坂 桂佑,平松 雄司発売日: 2019/10/09メディア: 単行本（ソフトカバー） "Kaggleで勝つ"と題名にはありますが、データ分析、特に予測モデルを作るようなケースで重要な基礎知識が実践的に学ぶことができる非常に良い本となっています。例えば、交差検証といえば、基本的には汎化誤差の推定量として統計学の本に
それでも「データ分析」で仕事をしたい人のためのデータ分析業界長期予とこれからの選択肢について/shirogane kogyo8
それでも「データ分析」で仕事をしたい人のためのデータ分析業界長期予とこれからの選択肢について/shirogane kogyo8
1985年、福島県生まれ。慶應義塾大学文学部卒業。IT系ニュースサイトを運営するアイティメディアで情報システム部に在籍し、エンタープライズIT領域において年間60本ほどのイベントを企画。2018年10月、フリーに転向。現在は記者、広報、イベント企画、ブランドアンバサダー、マネージャーとして、行政から民間まで幅広く記事執筆、企画運営に奔走している。著書『ルポ 日本のDX最前線』（集英社インターナショナル） Twitter：https://twitter.com/sakaisaketen 酒井真弓のDX最前線 2018年に経済産業省のレポートが「DXの壁」を指摘したように、日本では、DX（デジタルトランスフォーメーション）が遅れているとよく言われている。また、「日本はもはやIT後進国」「なぜアメリカのGAFAや中国のBATHと渡り合える企業が日本では生まれないのか」などの悲観的な意見もしばしば
エンジニアからデータサイエンティストへのキャリアチェンジのお供に「Pythonではじめる数理最適化」は良い教科書になるかもしれない - Lean Baseball
良い本良い魚良いお酒でした 秋も深まり, 緊急事態宣言が解除された今日このごろ, お酒を片手に読書がだいぶ捗るようになりました📖 酒と魚の話はさておき*1, 長いこと友人かつRetty時代の元同僚である岩永さん（とその仲間たち）*2が, 「Pythonではじめる数理最適化」なる書籍を出しました*3. Pythonではじめる数理最適化 ―ケーススタディでモデリングのスキルを身につけよう― 作者:岩永二郎,石原響太,西村直樹,田中一樹オーム社Amazon エンジニアな自分が読んだ感想として, 数理最適化でモデリングをする人だけでなく, エンジニアからデータサイエンティストへのキャリアチェンジを考えている人も必読なのでは? と思ったので, メモ代わりに感想（とちょっとしたコンテンツ）を残したいと思います. TL;DR 現実の課題・問題（主に仕事）をデータサイエンティストとして解きたい方の参考書
データサイエンティストの「真の実力」を測るための効果的な面接方法 - 渋谷駅前で働くデータサイエンティストのブログ
(Image by neo tam from Pixabay) 最近こんな記事が出ていたようですが、僕にとっては既視感満載の話題でした。何故かというと、実は現職に来る以前に既にここで書かれている面接方法を実務担当者面接の責任者として実践していたからです。ちなみにその方法は2013年ぐらい当時のテック系メディアで記事として取り上げられていたものなのですが、残念なことに現在どれほど検索してもその記事が見つかりません……。 その内容自体はしばらく前に英語版Quoraに書いていたり*1もっと遡ればTwitterに書いたりしていたのですが、そう言えばブログには書いていなかったなと思い出したので、改めてブログ記事にしてみようと思います。なお、ここに書かれている内容は僕の現在の職務とは一切関係がないことを予めお断りしておきます。 データサイエンティストに必要なのは「解決する力」であって「瞬発力」ではない
■ 本講座の位置づけ 何らかの事業を起こすにしろ、会社に入るにしろここから先の時代においてデータドリブンな分析力、問題解決力、データ利活用に対する皮膚感覚的な理解は不可欠である。 本講座は、高校1-2年程度の数学の知識、スキル、Excelで基本的なことができる程度の素養はあるが、データ分析、データの利活用についてさして経験のあるわけではない人に対して、データの大切さと力、分析の楽しさを実感してもらうことを通じ、現代社会を生き抜くため最低限、基礎となるデータリテラシー、データで考える力を身につけてもらうことを目指す。 ■ 身につけてもらうことを目指す技能 - データ社会に対するパースペクティブ - 各種関連バズワードの適切な理解 - データの意味合いを理解するための基礎となる力 - データに騙されないようになるための基礎となる力 - 数字のハンドリング力、数量的分析力 - 基本的な問題解決能
データサイエンス100本ノックを、Google ColabとAzure Notebooksで気軽に行いたい！ - Qiita
データサイエンス100本ノックを、Google ColabとAzure Notebooksで気軽に行いたい！PythonAzureデータサイエンス100本ノックGoogleColaboratory はじめに 2020年6月15日に、データサイエンティスト協会より発表されました「データサイエンス100本ノック（構造化データ加工編）」の素晴らしさに感動した私は早速ドリルを解き、めくるめくデータサイエンスの大冒険をエンジョイしていた。 しかし、ふと気づくとOriginalのデータサイエンス100本ノック（構造化データ加工編）はDocker形式で提供されており、実践的な演習が可能である一方でお手軽感はかった。同じ思いの人も数多く存在すると考え、より気軽に100本ノックするためにGoogle ColabとAzure Notebookで実行可能な演習スクリプトと解答編スクリプトを作成した。なお、作成者
実践カルマンフィルタ
Sampling-free Epistemic Uncertainty Estimation Using Approximated Variance Propagation (ICCV2019 oral)
現在、多くのデータ活用シーンで、SQLを使ったデータ取得業務が行われているものの、SQLが書ける人材の不足により業務が担当部署に集中しやすく、また複雑なSQLは保守性が低下しやすいことから、業務が属人化しやすいといった課題を抱える現場が多い。 分析ツール「nehan」は、分析者の作業時間を短縮し、思考する時間を増やすことで、データ活用によるビジネス改善を促進させるサービス。 今回提供されるSQLビルダー機能は、SQLのスキルがなくても簡単な操作でデータの取得が可能となっており、データ加工プロセスを見える化することで、保守性が向上。業務の属人性をなくし、SQL業務の効率化・民主化による、ビジネスにおけるデータ活用の促進を実現する。 GoogleBigQuery上のデータを、SQLビルダーで集計・結合する例 自動作成されたSQL SQLビルダーと「nehan」の既存機能を組み合わせることで、デ
データサイエンティストの基本的な副業の流れ データサイエンティストのsatomacoto（@satomacoto）です。普段は、解析に必要なIoTデバイスやWebアプリのソフトウェア開発から機械学習モデルの開発・デプロイまで携わるソフトウェアエンジニア/データサイエンティストとして働いています。本稿では、データサイエンティストとして短期間で成果を出すために気をつけていることについて執筆します。 1.契約前・オンボーディング 一口にデータサイエンスの案件といっても、その言葉が表す職務は、「モデル開発」「特徴量エンジニアリング」といったデータサイエンスそのものに関わるところから「アーキテクチャ」「データ整備」といったソフトウェア・インフラに関わるものまで広範囲に及びます。 契約前・オンボーディングでは、クライアントがどこまでの範囲をどの程度の期間で実現したいか、そして限られた自分の時間でどこま
プログラマーもいない。データサイエンティストもいない。そもそも開発未経験だ。そんな組織でも、ボタン操作だけで独自の物体検知AIシステムを構築できるサービスがはじまった。 株式会社ヒューマノーム研究所は2月18日、「Humanome Eyes Workstation(ヒューマノーム・アイズ・ワークステーション)」の販売開始を発表した。ヒューマノーム・アイズ・ワークステーションは、プログラムを1行も書くことなくボタン操作で開発可能なプラットフォームだ。 本製品は、専門人材の育成や開発の外注前に、まずは自分たちでトライアルAIを作って試すことで「今、本当に欲しいAI」を見極めて本格開発に移りたい企業向けとなっている。 ＞＞「Humanome Eyes Workstation」 AI作成への第一歩を後押しする統合システムプレスリリースによると、人工知能開発に適した高性能ハードウェアに、AI学習環境
データ分析プロジェクトの品質をキープしつつ効率的な検証をサポートする一時ファイル群の管理 - クックパッド開発者ブログ
研究開発部の takahi_i です。本稿はデータ分析、 機械学習関係のプロジェクトで数多く生成される一時オブジェクトおよびそれらのオブジェクトを保持するファイル（一時ファイル）を管理する取り組みについて解説します。 本稿の前半はデータを分析するプロジェクトの一般的なフローと起こりがちな問題（コードの品質管理）について解説します。後半はプログラム上で生成されるオブジェクト群をファイルに自動でキャッシュを管理するツール（Hideout）を使って、コードを整理整頓しやすくする施策について紹介します。 データを分析するプロジェクトの一般的なフロー まずデータを処理するプロジェクトや機械学習プロジェクトの典型的なフローについて考えてみます。まずは単純に機械学習器を取得した入力に対して適用するプロジェクト、次にもう少し複雑な事例、アプリケーションで利用するデータを生成するプロジェクトのフローについて
Googleが最新の天気予報ソフトを開発、めっちゃ当たるってよ2023.11.16 08:00150,044 Thomas Germain -Gizmodo US- ［原文］ （ R.Mitsubori ） 明日天気になあれ。 ついに、｢今日どんな服装で出かけたらいいか｣ロボットが教えてくれる時代が来ましたよ。GoogleのAI部門であるGoogle DeepMindは、従来のシステムを90％以上上回る最新の天気予報モデルを発表しました。その名も｢GraphCast｣という機械学習モデルで、天気予報アプリよりも早く正確に、しかも効率的にこの先10日間のお天気を教えてくれます。 現地時間の14日、Googleの研究チームは論文を発表。そのなかで｢我々はこれが、天気予報の転換点になると確信しています｣と記しています。 大量の過去気象データから未来を予測現在の天気予報は一般的に｢数値天気予報（N
令和の｢データサイエンティスト｣に必要な能力
データサイエンティストに必要な能力 データサイエンティストという仕事が注目を集めています。インターネットの普及などITが進化したことで、企業が取り扱えるデータが格段に増えました。ビジネスにおいて、ヒト、モノ、金に次ぐ4つ目の経営資源として、データの活用が重要な要素となってきたのです。データを整理・分析し、ビジネスに活用する役割を担うのがデータサイエンティストです。 一般社団法人データサイエンティスト協会では、データサイエンティストに求められるスキルとして、3つの能力を定義しています。ビジネス力、データサイエンス力、データエンジニアリング力の3つです。 データを分析するだけであれば、データサイエンス力さえあればよいかもしれません。しかし、実際のデータサイエンティストには、データを処理すること（データエンジニアリング力）、分析すること（データサイエンス力）、その結果をビジネスに活用すること（ビ
近年さまざまな企業でディープラーニングの導入・普及が進んでいる。しかし、多くの企業は、ディープラーニングを活用する上で必要な2つの物を用意するところでつまづく。1つは膨大な量のデータと、データを処理できる能力を有するGPUなどの高価な計算機だ。 一方で、少量のデータから特徴を抽出し、学習と推論を行える技術がある。それが今回紹介するスパースモデリングだ。スパースモデリングについて、京都のAI企業、HACARUSのデータサイエンティストである増井隆治氏に話を聞いた。 増井隆治氏 中学生の頃からプログラミングに興味を持ち、鈴鹿高専で情報学の基礎を学び、その後京都大学に編入し、より高度な数学を学ぶ。大学の実験で仲良くなった大関先生の紹介でHACARUSでアルバイトを始める。3年間のアルバイトの後、HACARUS初の新卒として入社。データサイエンティストの仕事に邁進している。 スパースモデリングとは
「機械学習とビジネスを橋渡しするものこそ評価指標であり, "全てのビジネスは条件付期待値の最大化問題として書ける"」という話の問題点と代替案 - ill-identified diary
概要 はじめに I. 条件付き期待値が全てか? i 条件付き「期待値」だけでよいのか? ii 条件付き期待値の条件とはなにか? メディアミックスモデルを例に 外挿と選択バイアス 補足: 条件付き期待値の条件付けに関して II. 機械学習の性能評価 ≠ ビジネスモデル なのか? 分類モデルと確率の推定 確率推定の評価はできるのか III. こういう話の教科書・参考書はないのか? まとめ 参考文献 概要 『機械学習とビジネスを橋渡しするものこそ評価指標であり, ”全てのビジネスは条件付期待値の最大化問題として書ける”仮説についての一考察 - 株式会社ホクソエムのブログ』というブログ記事に対する私の昨日の twitter での連続投稿の話を書き改め, 説明不足な部分を補った. 昨日と同様に, (I) 条件付き期待値だけでよいか, (II) ビジネスモデルと機械学習の性能評価は一致しないのか, (
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AIプロジェクトにおける説明可能性の方針 - techtekt
「高等学校における「情報II」のためのデータサイエンス・データ解析入門」｜統計学習の指導のために（先生向け）
目的無きデータ分析は無駄である｜データ分析とインテリジェンス
Pythonやデータサイエンティスト入門が無料に | Ledge.ai
機械学習のための環境構築とその管理 - nykergoto’s blog
データ分析の効率が10倍上がるデータサイエンティストのためのChatGPTの活用術 - Qiita
TechCrunch | Startup and Technology News
Practical Data Science with R and Python: 実践的データサイエンス
世界初、分析ツールnehanにPythonコード出力機能登場。プログラミング不要でプログラムを作れる！？
AI Project Management Anti Pattern
米Microsoftが機械学習のオリジナル教材を無償公開 AIとデータサイエンスについても順次リリース
データサイエンスはつまらない（パート1）【前編】 | AI専門ニュースメディア AINOW
ヤバいデータ分析（書籍・記事であまり扱われてないが重要なこと） - Qiita
データサイエンティストの終わりなき戦い - Qiita
「因果関係」をとらえるために / To grasp causal relationship
（データを扱う）ビジネスマン全てにおすすめの本 - HELLO CYBERNETICS
ワークマン「Excel経営」が超進化！次のデータ分析ツールに選んだのは？
データ・ドリブン社会の創発と戦略 | 安宅 和人 | SFC-GC
分析ツール「nehan」、プログラミング不要でSQLを作成・データ取得を可能にするSQLビルダー機能の提供を開始
データサイエンティストが副業で成果を出すためのチェックリスト | Offers Magazine
プログラミング不要のAI開発ツール登場、マウスで操作するだけ | Ledge.ai
Googleが最新の天気予報ソフトを開発、めっちゃ当たるってよ
スパースモデリングとは｜仕組み・強み・ディープラーニングとの違いを解説 | Ledge.ai