上のチャートには、2024年の1月と2月の支出が記録されていて、このチャートをゴールドシュタイン氏は毎朝確認する。 まず、ゴールドシュタイン氏は支出を｢固定費（Fixed）｣と｢変動費（Variable）｣の2項目に大別する。その下に食費、家族、娯楽、罪悪感のある楽しみなどといったカテゴリーを設けている。 それぞれのカテゴリーに対して、年初からその日までの支出合計額、予算に占める割合、予算の残りなどを詳細に追跡する。 右のチャートには、支出の内訳が別のビジュアルで示されている。四角形が大きければ大きいほど、支出が多いということだ。｢罪悪感のある楽しみ（Guilty Pleasures）｣や｢アパートメント（Apartment）｣という名の支出が予算において大きな比重を占めている一方で、｢友人と社会（Friends / Social）｣と｢教育（Education）｣は小さい、つまり予算に占
データ分析のためのSQLを書けるようになるために
はじめに 本稿では分析用クエリをスラスラ書けるようになるまでの勉強方法や書き方のコツをまとめてみました。具体的には、自分がクエリを書けるようになるまでに利用した教材と、普段クエリを書く際に意識していることを言語化しています。 想定読者として、SQLをガンガン書く予定の新卒のデータアナリスト/データサイエンティストを想定しています。 勉強方法 基礎の基礎をサッと座学で勉強してから、実践教材で実際にクエリを書くのが望ましいです。 実務で使える分析クエリを書けるようになるためには、実務経験を積むのが一番良いですが、だからといって座学を御座なりにして良いというわけではありません。SQLに自信がない人は、一度基礎に立ち返って文法の理解度を確認した方が良いと思います。 書籍 SQL 第2版: ゼロからはじめるデータベース操作 前提として、SQLに関する書籍の多くがデータベース運用/構築に関する書籍がほ
Googleが最新の天気予報ソフトを開発、めっちゃ当たるってよ2023.11.16 08:00150,044 Thomas Germain -Gizmodo US- ［原文］ （ R.Mitsubori ） 明日天気になあれ。 ついに、｢今日どんな服装で出かけたらいいか｣ロボットが教えてくれる時代が来ましたよ。GoogleのAI部門であるGoogle DeepMindは、従来のシステムを90％以上上回る最新の天気予報モデルを発表しました。その名も｢GraphCast｣という機械学習モデルで、天気予報アプリよりも早く正確に、しかも効率的にこの先10日間のお天気を教えてくれます。 現地時間の14日、Googleの研究チームは論文を発表。そのなかで｢我々はこれが、天気予報の転換点になると確信しています｣と記しています。 大量の過去気象データから未来を予測現在の天気予報は一般的に｢数値天気予報（N
まえがき データ分析はなんて広いんだろう。影響力の強まりに応じ、自然・社会・人間ほぼすべてが対象となりどんどん拡大していく。対象に応じ手法も広がり複雑化し、学ぶべきことが多すぎる。データサイエンティスト協会のスキルチェックリストVer.3.001（ごめんもう4.00が出てるね）も500超の項目があります。読むべき図書も良書と思われるものだけでも増え続けており、もう手に負えない状況です。 ただ、これはやってはだめだ、ここを知らないと道に迷う、という絶対に知っておくべき点は学べる範囲だと思います。本書では、データ分析において間違えやすい、誤解しやすい点を共有し、データ分析全体をよくする目的で、かつ データ分析の入門書・専門書に分野ごとには書かれてはいますが1つにまとまっておらず目に触れにくいもの データ分析の入門書・専門書でもスルーされていたり場合によっては誤っていると思われるもの で自分なり
グーグル・ディープマインドやファーウェイなど、AI研究で先頭を走っている企業が、気象予測AIモデルを相次ぎ発表した。既存の天気予報に迫る予測精度を記録しているというこれらのAIの利用には大きな利点がある。 by Melissa Heikkilä2023.08.09 6 9 この記事は米国版ニュースレターを一部再編集したものです。 猛暑の夏を迎えている。ここロンドンも暑い。扇風機の風を最強にしてこの記事を書いているが、それでも脳が溶けてしまいそうな暑さである。7月には記録的な暑さが襲った。 気候危機が深刻化するにつれ、容赦ない熱波、ハリケーン、洪水といった極端な気象現象がますます頻発するようになり、正確な気象予報を出すことがこれまで以上に重要になっている。 AIは、正確な気象予報に役立つという証を次々に打ち立ててきた。ここ1年ほどで、気象予報にAIを活用する動きが盛んになっていた。 エヌビデ
Data Engineering Study #20 "Introduction to Data Analytics with SQL" Book
Data Engineering Study #20「10年戦えるデータ分析入門」回・前半の発表資料です。
エンジニア・データ分析職の方々にお薦めしたい、LLM時代に不可欠な教養が身に付くテキスト3選 - 渋谷駅前で働くデータサイエンティストのブログ
（『IT Text 自然語処理の基礎』より） 3ヶ月ほど前に空前のLLMブームについて概観する記事を書きましたが、それ以降も世間のLLMに対する狂騒ぶりは収まるどころかますます拍車がかかるという有様で、あまつさえ僕自身の仕事における日常業務にもじわじわと影響が及びつつあり、今後も良きにつけ悪しきにつけLLMと共生し続ける必要がありそうだと感じている今日この頃です。 そんな猫も杓子もLLMに群がるが如き空前のブームを受けて、エンジニアやデータ分析職の方々の中には「LLMに興味はあるんだけど世の中にあまりにも多くのLLM関連コンテンツが溢れ返っていて何から手をつけたら良いのか分からない」という向きもあるように見受けられます。そこで、僕も断じてLLM以下生成AIの専門家などではないのですが、個人的に「このテキストを読めばLLM時代を生き抜くことが出来そうだ」と感じた書籍を、全くの独断と偏見で3冊
ChatGPTを使ってデータサイエンティストの生産性を爆上げする活用術をまとめました！ また、データサイエンティストがChatGPTを活用するための記事をまとめているので、こちらもぜひ参考にしてみてください。 データ前処理 「ChatGPTを使用すると、「データを分析可能な形に前処理して」といった大雑把なリクエストに対しても、すんなりと対応し、データ前処理を行ってくれます。」 今のところ、大量のデータを前処理する際にChatGPTを利用する場合は、ChatGPTに実際の前処理を行わせるのではなく、前処理用のサンプルコードを教えてもらう方が良いでしょう。 ただし、近い将来にはCSVやExcelを直接アップロード＆ダウンロード可能な「Code Interpreter」というプラグインが追加される予定とのことで、実務利用が大いに現実味を帯びると考えられます。 詳細は以下のページで紹介しています！
はじめに 当記事を開いてくださりありがとうございます。私は表題の通り、私は一般にメガベンチャーと呼ばれる自社開発企業で機械学習エンジニアとして勤務しはじめてからわずか半年で、鬱を発症し退職することになったものです。この会社は待遇も良く、社風としても労働者思いのとても素晴らしい会社であったと私自身振り返って思います。 そんな会社に運よく入社することができた私ですが、わずか半年で「鬱状態」と心療内科から診断を受け休職し、会社制度により退職することになりました。「え？そんなに素晴らしい環境なのにメンタル弱すぎでは？」と思われる方もいらっしゃることでしょう。返す言葉が全くありません。おっしゃる通りです。 しかし同時に、「何故鬱になったの？」と思われる方もいらっしゃるのではないでしょうか。本記事ではこの点について鬱を発症した本人の目線から「どうしてそんなことが起きてしまったのか」という点について考察
chatGPTにアドバイスをもらったらデータサイエンスを知って1週間の友人がコンペで上位6.5%に入った話
先日、データ解析のセミナーを開催しました。 未経験の方でも、2時間で予測モデルを作成することができるハンズオンセミナーでした。 好評だったので、その内容をYouTubeにまとめたのでご興味ある方はご覧ください。 このハンズオンセミナーで予測モデルの作り方を知った友人がchatGPTにアドバイスをもらって、データサイエンスのコンペティションサイトに応募したところ、上位6.5%に入ることができたという報告を受け、驚愕しました。 chatGPTを上手く使えば素人がプロに勝つことも十分できるのだなと実感しました。 友人が参加したデータサイエンスのコンペは、SIGNATEの糖尿病予測問題でした。 以下のような進め方をしたとのことでした。 まず、問題の概要を説明して、どのように進めていけば良いかを確認したそうです。 そうすると、chatGPTからデータサイエンスの問題を解くための手順を一覧化してくれて
はじめに 因果推論を行う手法の1つとして、線形回帰が挙げられます。今回は、その線形回帰の拡張とも言えるリッジ回帰(Ridge回帰)やラッソ回帰(Lasso回帰)を用いて因果効果を推定してみるとどうなるのか、Pythonによるシミュレーションと共にまとめました。内容に誤り等ございましたら、ぜひご指摘いただけますと幸いです。 結論 リッジ回帰やラッソ回帰を用いると、うまく因果効果を推定することができません。 これは、リッジ回帰やラッソ回帰を行うことで、線形回帰（線形回帰モデルをOLS推定）による推定値よりも汎化誤差が小さくなる一方で、不偏性と呼ばれる因果効果をバイアスなく推定するために必要な性質が失われてしまうからです。 通常の線形回帰における最小二乗法(OLS)では、下記の損失関数を最小化するパラメータを求めます。
GitHub - Kanaries/pygwalker: PyGWalker: Turn your pandas dataframe into an interactive UI for visual analysis
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
令和の｢データサイエンティスト｣に必要な能力
データサイエンティストに必要な能力 データサイエンティストという仕事が注目を集めています。インターネットの普及などITが進化したことで、企業が取り扱えるデータが格段に増えました。ビジネスにおいて、ヒト、モノ、金に次ぐ4つ目の経営資源として、データの活用が重要な要素となってきたのです。データを整理・分析し、ビジネスに活用する役割を担うのがデータサイエンティストです。 一般社団法人データサイエンティスト協会では、データサイエンティストに求められるスキルとして、3つの能力を定義しています。ビジネス力、データサイエンス力、データエンジニアリング力の3つです。 データを分析するだけであれば、データサイエンス力さえあればよいかもしれません。しかし、実際のデータサイエンティストには、データを処理すること（データエンジニアリング力）、分析すること（データサイエンス力）、その結果をビジネスに活用すること（ビ
「データ分析の民主化」の在り方を、「社員全員Excel経営」が「社員全員データサイエンス経営」へと進化していった事例に見る - 渋谷駅前で働くデータサイエンティストのブログ
以前こんな記事を書いたことがあります。 「社員全員Excel経営」で名高い、ワークマン社のサクセスストーリーを論評したものです。2012年にCIOに就任した土屋哲雄常務のリーダーシップのもと、取引データの完全電子化を皮切りに「全社員がExcelを使いこなして数字とデータで経営する」戦略へと移行し、社内のExcelデータ分析資格を一定以上取得しないと管理職に昇進できないとか、はたまた幹部クラスの企画・経営会議ではデータに基づかない議論や提案は相手にすらされないとか、「Excelを社員全員が使えるようになるだけでもここまで企業カルチャーは変わり得るのか」という事例のオンパレードで、関連記事や書籍を読んでいて舌を巻いたのを覚えています。まさしく「ワークマンのすごいデータ活用」だったのです。 一方、個人的に強く印象を受けたのが土屋常務が様々なところでコメントしていた「我が社には突出したデータサイエ
Deep Learning入門
はじめてDeep Learningに触れる方を対象に、Deep Learningの基礎とポイントをできるだけ分かりやすく解説します。
1985年、福島県生まれ。慶應義塾大学文学部卒業。IT系ニュースサイトを運営するアイティメディアで情報システム部に在籍し、エンタープライズIT領域において年間60本ほどのイベントを企画。2018年10月、フリーに転向。現在は記者、広報、イベント企画、ブランドアンバサダー、マネージャーとして、行政から民間まで幅広く記事執筆、企画運営に奔走している。著書『ルポ 日本のDX最前線』（集英社インターナショナル） Twitter：https://twitter.com/sakaisaketen 酒井真弓のDX最前線 2018年に経済産業省のレポートが「DXの壁」を指摘したように、日本では、DX（デジタルトランスフォーメーション）が遅れているとよく言われている。また、「日本はもはやIT後進国」「なぜアメリカのGAFAや中国のBATHと渡り合える企業が日本では生まれないのか」などの悲観的な意見もしばしば
「北欧、暮らしの道具店」のメルマガをABテストで改善した話｜Kurashicom Tech Blog
こんにちは。デザイナーの白木です。 前回はクラシコムのUXリサーチについてお話しましたが、今回は「北欧、暮らしの道具店」のメルマガをABテストの手法を使って改善した話をしたいと思います。 「北欧、暮らしの道具店」通常のメルマガは商品紹介がメインですが、それとは別に当店のアプリを紹介するメルマガも配信しています。 これまではメルマガ登録者全員に配信していたのですが、その中にはアプリをすでにご利用いただいている方も多くいらっしゃるため、アプリのダウンロードには繋がりにくいという課題がありました。 そこでアプリ紹介メルマガを配信する対象をメルマガの新規登録者に絞ることにしました。新規登録者は当店を知って間もない方が多いと思われるため、アプリについて知ってもらえる良い機会になると考えたからです。 内容も見直し、いくつかのパターンを配信して効果を検証してみました。 ※本来同じ期間に複数のパターンをテ
年間2,200名以上の社会人が受講する、データサイエンスを学ぶビジネススクール「datamix」。同スクールを運営する、株式会社データミックスのオンライントークイベント「データサイエンス業界の転職と副業の“今”」に、同社の立川裕之氏と福山耀平氏が登壇。データサイエンスを学んで独立した立川氏と、転職支援や副業の紹介を行っている福山氏が、データサイエンス業界の働き方について解説します。後編では、転職・副業における最大の強みや、転職の成功事例のパターンなどを紹介しています。 取締役に近いポジションなら、年収3,000万円以上も 福山耀平氏（以下、福山）：ちょうど昨日、ある大手の損保企業の担当者と話していたら、データサイエンティストのチームの統括ができて、経営層としゃべれる人材を募集されていました。これはもちろんチームを率いた経験など、難易度は高くなるんですけど、取締役に近いポジションの仕事です。
About the Open Edition The 3rd edition of Python for Data Analysis is now available as an “Open Access” HTML version on this site https://wesmckinney.com/book in addition to the usual print and e-book formats. This edition was initially published in August 2022 and will have errata fixed periodically over the coming months and years. If you encounter any errata, please report them here. In general
はじめに 前回は、Streamlitのインストールから簡単にライブラリ呼び出しができることをご紹介しました(前回の記事はこちら）。今回は、実際のウェブアプリケーションのように、よりインタラクティブに操作できるアプリケーションをStreamlitで作るための機能を紹介します。 ーーー翻訳ここからーーー データ可視化はデータを表示させるだけではなく、美しいレイアウトが必要になることがあります。Streamlitを活用することにより、HTML、CSS、その他のフロントエンドの技術を知らなくとも、スピーディにイケてるウェブアプリを作ることができます。 ウィジェット ウィジェットをアプリケーション内に使うことで、ユーザーがインタラクティブにデータを表示することができます。 STREAMLIT.TEXT_INPUT/STREAMLIT.NUMBER_INPUT Streamlit.text_input
DATAFLUCT Tech Blog
2022-08-27 データ抽出に特化したAirbyteによるEL(T) 環境構築の実践 データ基盤 Airbyte ELT こんにちは。今回は、データ基盤の構築の一部を実際に体験してみたいと思います。 データ基盤を作成するにあたり、まずは、社内に眠る様々なデータを集めてくる必要があります。前回の記事では、その機能を「収集」と紹介していました。 データ基盤とは何か… データ基盤 データ分析基盤 実践 2022-08-18 Metaflowでモデルの学習をpipeline化するまで MLOps Metaflow Pipeline 皆さんは「MLOps」について取り組んでいらっしゃるでしょうか。私は2018年頃からデータクレンジングや機械学習モデルの構築や運用をしてきましたが、当時の日本で私の耳にはMLOpsという言葉が入ってくることはありませんでした。 ただMLOpsの元となった「Dev…
この度、3年半に渡って勤めたメルカリを2022年5月に退職し、この夏からロンドンのMetaにSenior Machine Learning Engineerとして転職することが決まりました！わいわい✌('ω')。その過程で、東京およびロンドンのBig Tech合計5社を数ヶ月かけて対策をし面接に臨んだので、そこで得たノウハウをここで共有できたらと思います。面接を受ける際にNDA（Non Disclosure Agreement）にサインするので具体的な面接の詳細には触れられませんが、伝えられる範囲でできる限り記述しています。 また、Metaから最終的に提示されたオファー条件を最後に記載してあります。なにぶん日本においては給与の話は燃えやすいということもあり、その部分だけ某日本の有名エンジニアに倣って有料にしてあるのですが、ご興味のある方は是非ご購入いただければと思います（1コイン分の金額で
依然として高まり続ける「データサイエンティスト」への関心と、それを追う「データエンジニア」と - 渋谷駅前で働くデータサイエンティストのブログ
今回の記事はいつものようにネタが見つからなくて困ったので窮余の一策としての与太話です。話題はこのブログで時々やっている「データサイエンティスト＆関連職に関するGoogle Trendsを用いた意識調査」です。 ちなみに、某協会が学生向けのアンケートで意識調査を行った結果が最近報じられていて、SEやコンサルタントなど他職種と比べた場合にどれくらいの立ち位置にあるかの参考になるかもしれません。 対象となる職種 完全に独断と偏見に基づきますが、今年のスキル要件記事で定義した「データサイエンティスト」「機械学習エンジニア」「データアーキテクト」の3つと、さらに後二者の言い換えもしくは類似概念とされそうな「データエンジニア」「AIエンジニア」の2つを加えた、計5つを今回の調査対象としました。 特に「データエンジニア」についてはやはり「データアーキテクト」という語がいわば玄人の間で使われているのに対し
政府の保有データを公開するサイトが一部、開店休業の状態になっている。誰もが簡単に使える「オープンデータ」のはずなのに、2割以上のデータにアクセスできない部分がある。欧米ではデータを活用した成果が目立ち始めた。出遅れる日本にはデジタル社会の土台を機能させるための意識改革が欠かせない。「リクエストされたページは見つかりません」。政府のサイトで作業を進めるとこんなメッセージが現れた。サイトは政府が
Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した
Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した 2022-03-08 Google の非公式ブログで、The Unofficial Google Data Science Blog というデータサイエンスをテーマにしたブログがある。 その中で、 Practical advice for analysis of large, complex data sets の記事を元にして作られた Google Developers Guides: Machine Learning Guides > Good Data Analysis を昨日見かけて読んでいたら素晴らしいドキュメントだったので、ここでその感動を共有したかったので筆をとったしだい。 Good Data Analysis の概
国内で情報技術（ＩＴ）分野のエンジニアの獲得競争が激化している。自動運転への対応を迫られる自動車メーカーをはじめデジタル化の加速に伴い、さまざまな産業で人工知能（ＡＩ）など従来手掛けてこなかった先端技術の取り込みが課題となっているためだ。 東京・日本橋のとあるオフィス。カジュアルな服装の従業員が立ち乗りの電動二輪車で指定された通路を動き回る。 トヨタ自動車傘下で自動運転技術や実験都市（スマートシティー）の開発などを手掛けるウーブン・プラネット・ホールディングス（ＨＤ）の本社にはソファやハンモックのほか卓球台やゲームなど娯楽道具もあちこちに置かれている。
MDR Schemaは、物質・材料研究機構(NIMS)が運営する材料データリポジトリ「Materials Data Repository (MDR)」が採用するメタデータスキーマです。MDRは、材料データプラットフォームDICEが提供するサービスの一つで、公的研究資金による研究成果を公開することで、新たな研究に繋げることを目的とするリポジトリサービスです。研究論文や、論文に付随する研究データ、および研究に資するプログラムなど、公知となった成果にDOIを付与して公開しており、データの引用やダウンロードが可能です。 MDRの詳細については、DICEのWebサイトをご覧ください。 MDR Schemaは、MDRでのデータ登録や検索の利便性の観点から、論文や研究データを登録する際に必要とする最低限のメタデータ項目を定義しています。本スキーマは、材料科学の幅広い分野からフィードバックを得ることを目的
こんにちは、Mobility Technologiesのデータエンジニアの渡部徹太郎です。 データサイエンティストの皆さん、以下のような状況になったことないでしょうか。 データの加工処理が遅いからインスタンスタイプを上げたが速くならなかった機械学習の学習が遅いから、GPUを増やしたが、速くならなかった こういったときは以下の資料を見てください。きっと解決します！ スライドへのリンク この資料は、先日社内の勉強会で説明した資料になります。 We're Hiring!
こんにちは。デジタルテクノロジー統括部でアナリストをしているY・Nです。 パーソルキャリアのデジタルテクノロジー統括部は、一般社団法人データサイエンティスト協会が定める「データサイエンティストに求められるスキルセット」を基に、以下の3つのグループが組織されています。 ビジネスグループ アナリティクスグループ エンジニアグループ 出典：データサイエンティスト協会 これらの3グループが互いに連携しあい、AI（ここでは機械学習による予測モデルを指すことにします）によって様々な業務を自動化させたり、意思決定の補助に利用させるプロジェクトに取り組んでいます。 その際、「AIの判断根拠をどの程度（どの様に）見せれば良いか」ということが常にビジネスグループで議題に上がります。殊にAIの予測結果を人間（特に営業部門の人）が見た上で意思決定の補助として利用する場合に顕著で、判断根拠が表示されないブラックボッ
2021年度版「データサイエンティスト スキルチェックリストver.4」およびデータサイエンス領域タスクリスト ver.3」を発表ニュース｜一般社団法人データサイエンティスト協会
HOME ニュース プレスリリースの記事一覧 2021年度版「データサイエンティスト スキルチェックリストver.4」およびデータサイエンス領域タスクリスト ver.3」を発表 2021年度版「データサイエンティスト スキルチェックリストver.4」およびデータサイエンス領域タスクリスト ver.3」を発表 このたび、データサイエンティスト協会 スキル定義委員会（委員長：安宅 和人、副委員長：佐伯 諭）は、11月16日（火）に開催した「データサイエンティスト協会8thシンポジウム」内において発表した、データサイエンティストに必要とされるスキルをまとめた「データサイエンティスト スキルチェックリスト」の第4版を公開いたしました。 本内容は、2019年に第3版として公開したデータサイエンティストの「ミッション、スキルセット、定義、スキルレベル」および「スキルチェックリスト」を、現在のビジネス環
Modern Data Stack / モダンデータスタックというトレンドについて - satoshihirose.log
はじめに Modern Data Stack ? Modern Data Stack の特徴やメリット、関連するトレンド データインフラのクラウドサービス化 / Data infrastructure as a service データ連携サービスの発展 ELT! ELT! ELT! Reverse ETL テンプレート化された SQL and YAML などによるデータの管理 セマンティックレイヤーの凋落と Headless BI 計算フレームワーク (Computation Frameworks) 分析プロセスの民主化、データガバナンスとデータメッシュの試み プロダクト組み込み用データサービス リアルタイム Analytics Engineer の登場 各社ファウンダーが考える Modern Data Stack さいごに Further Readings はじめに Modern Dat
Python open source libraries for scaling time series forecasting solutions
By Francesca Lazzeri. This article is an extract from the book Machine Learning for Time Series Forecasting with Python, also by Lazzeri, published by Wiley. In the first and second articles in this series, I showed how to perform feature engineering on time series data with Python and how to automate the Machine Learning lifecycle for time series forecasting. In this third and concluding article,
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper and first released at this page. Disclaimer: The team releasing GPT-2 also wrote a model card for their model. Content from this model card has been written by the Hugging Face tea
エンジニアからデータサイエンティストへのキャリアチェンジのお供に「Pythonではじめる数理最適化」は良い教科書になるかもしれない - Lean Baseball
良い本良い魚良いお酒でした 秋も深まり, 緊急事態宣言が解除された今日このごろ, お酒を片手に読書がだいぶ捗るようになりました📖 酒と魚の話はさておき*1, 長いこと友人かつRetty時代の元同僚である岩永さん（とその仲間たち）*2が, 「Pythonではじめる数理最適化」なる書籍を出しました*3. Pythonではじめる数理最適化 ―ケーススタディでモデリングのスキルを身につけよう― 作者:岩永二郎,石原響太,西村直樹,田中一樹オーム社Amazon エンジニアな自分が読んだ感想として, 数理最適化でモデリングをする人だけでなく, エンジニアからデータサイエンティストへのキャリアチェンジを考えている人も必読なのでは? と思ったので, メモ代わりに感想（とちょっとしたコンテンツ）を残したいと思います. TL;DR 現実の課題・問題（主に仕事）をデータサイエンティストとして解きたい方の参考書
Download our executive summary for a profile of today's working data scientist and their tools
Michigan Publishing, 2021 ISBN 978-1-60785-746-4 (hardcover): Purchase from Amazon ISBN 978-1-60785-747-1 (electronic) Free download from Univ. Michigan Publishing
※1 Pythonコードは、Google Colaboratoryのジュピター・ノートブックの環境で実行することにより動作します。 詳細は、本教材の「参考テキスト」p.159～を参照ください。 ※2「clst.csv」のデータの一部については、自然科学研究機構 国立天文台より２次利用の許可を得て掲載しております。 出典：国立天文台編「理科年表2021」，丸善出版(2020)
PPSのメリット 先の通り、二次関係𝑦=𝑥² の相関係数は0となりますが、PPS は𝑥から𝑦が0.67 、𝑦から𝑥のPPSは0となります。相関では関係の有無がわからない非線形関係もPPSなら検出することができます。 ブログでは、kaggle「タイタニック生存予測」での比較例も示されていました。 『「中程度の負の相関（-0.55）」があったTicketPriceとClass（客室クラス）のPPSをみると「TicketPriceはClass （客室クラス）の強い予測因子（0.9PPS）、Class （客室クラス）はTicketPriceを0.2PPSで予測するだけ」という関係にあった』とあります。 ※Datasetのカラム名 Fare⇒TicketPrice,Ticket⇒TicketID,Pclass⇒Class,Embarked⇒Portに変えてる? TicketPriceでC
www.cheatsheets.aqeel-anwar.com
This page contains cheat sheets for various Machine Learning related topics that can come in handy either during ML/DS interviews, or your daily data-scientist life. The page is updated continuously for more cheatsheets.
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
36歳でFIREしたデータサイエンティストが、資産形成に役立てた3つのチャートを共有してくれた
Googleが最新の天気予報ソフトを開発、めっちゃ当たるってよ
ヤバいデータ分析（書籍・記事であまり扱われてないが重要なこと） - Qiita
グーグル、ファーウェイのAIで気象予報はどう変わるか？
データ分析の効率が10倍上がるデータサイエンティストのためのChatGPTの活用術 - Qiita
自社開発メガベンチャーをわずか半年で鬱退職した雑魚エンジニアの話｜JoanOfArc
リッジ回帰やラッソ回帰で因果推論できるのか？ - Qiita
ワークマン「Excel経営」が超進化！次のデータ分析ツールに選んだのは？
データサイエンスを学び、休職中でも年収1,000万超で転職 副業や転職前に知っておきたい、高評価のポイント
Python for Data Analysis, 3E
STREAMLITを活用してデータ可視化アプリを作ろう （パート2） | TC3株式会社｜GIG INNOVATED.
メルカリを退職してロンドンのMetaに転職します 〜 外資Big Tech転職活動体験記｜松岡玲音｜note
政府オープンデータ「開店休業」 2割にアクセス不備 チャートは語る - 日本経済新聞
国内でＩＴ人材獲得競争過熱、年収3500万円提示も－車や電機で需要増
GitHub - nims-dpfc/mdr-schema: MDR Schema
データサイエンティスト向け性能問題対応の基礎 | MoT Lab (GO Inc. Engineering Blog)
AIプロジェクトにおける説明可能性の方針 - techtekt
https://github.com/oreilly-japan/data-science-on-aws-jp/tree/main/workshop
openai-community/gpt2 · Hugging Face
State of Data Science and Machine Learning 2021
Introduction to Probability for Data Science
「高等学校における「情報II」のためのデータサイエンス・データ解析入門」｜統計学習の指導のために（先生向け）
「相関係数よ、安らかに眠れ」～ 新たなスコアPPSの紹介 - Qiita