[B! 統計] tettu0402のブックマーク

【保存版】データサイエンティスト転職を決めるポートフォリオのガイドライン【書籍化決定】 - Qiita

書籍化されました本記事をベースに監修者の村上さんが１冊の本にまとめてくれました（感謝）データサイエンティストのキャリア面やポートフォリオの細かい部分をさらに追加・ブラッシュアップした内容になっています。まえがきはじめに皆さん、「データサイエンティスト」という職種をご存知でしょうか？この数年間で、AIやディープラーニングといったバズワードと共にデータサイエンティストというワードも、よく耳にするようになりました。最新の技術を扱えて、年収も高い非常に魅力的な職業なため、データサイエンティストへの転職を検討されている方もいらっしゃるのではないでしょうか？実際、データサイエンティスト職への就職・転職希望者は年々増加しています。しかし、未経験の人材を育成できる会社はまだまだ少なく、未経験からの転職は転職希望者の増加に伴い高まっています。データサイエンティストは求められるスキルの幅が広く

tettu0402 2020/11/26

リンク

データ視覚化のプロが選ぶデータ分析のオススメ本32選

データ分析&データ視覚化のコンサルティングをしております、永田ゆかりと申します。これまで2000人以上の方にデータ分析や活用の研修・トレーニング講師、企業への分析コンサルティングをさせていただいており、仕事をさせていただく中で必要な本を読み続けているうちに、気がついたらデータ分析領域の本を200冊以上読んでいました。中でもデータビジュアライゼーション・視覚化の領域に関しては私自身の得意領域ということもあり、数多く読み込んでいます。本記事では数多くのクライアントの方々との問題解決に役立った知識・ノウハウが書かれている良書をご紹介させていただきますので、是非最後までご覧ください。データ可視化そのものについて知りたいたは、こちらの記事からどうぞ。データ可視化とは？その重要性や手法、よくある課題と解決策を解説データ分析における視覚化（ビジュアライゼーション）系のおすすめの本17選1 S

tettu0402 2020/03/23

リンク

ビジネスで使えるPythonを使った統計的データ分析手法まとめ - Qiita

概要 WEB系のサービスで色々な試作を実施した後に効果を検証するのは非常に重要だと思いますが、そのやり方として基本的な統計学が十分に使えると思っています。今回は基本的な統計学からビジネスで使える試作の効果検証、データ分析を目的にPython+JupyterLab(Docker)を使った統計的データ分析のやり方をまとめました。また今回使ったnotebookは以下にもありますのでご参考ください。 https://github.com/hikarut/Data-Science/tree/master/notebooks/statisticsSample 環境以下を参考にDockerでJupyterLabが使える状態を前提とします。 Dockerで起動したJupyterLabでvimキーバインドを使う

tettu0402 2020/03/22

リンク

決定木の可視化ライブラリ「dtreeviz」が凄かったのでまとめる - St_Hakky’s blog

こんにちは。決定木の可視化といえば、正直scikit-learnとgraphvizを使うやつしかやったことがなかったのですが、先日以下の記事をみて衝撃を受けました。そこで今回は、以下の解説記事中で紹介されていたライブラリ「dtreeviz」についてまとめます。 explained.ai dtreevizの概要 dtreevizとはより良い決定木の可視化を目指して作られたライブラリです。解説記事 : How to visualize decision trees Github : GitHub - parrt/dtreeviz: A python machine learning library for structured data. Sample Imagesdtreeviz/testing/samples at master · parrt/dtreeviz · GitHub 多

tettu0402 2018/10/01

リンク

[Kaggle]0から本当に機械学習を理解するために学ぶべきこと～一流のデータサイエンティストを例に～ - Qiita

「機械学習が出来るようになりたい」そう思いつつも、中々身についた感じがしない。そんな方々に向けて、Kaggleで公開されているデータ分析の手順を追いかけながら、そこで必要とされている知識を解説したいと思います。全体像を把握することで、より理解が進むはずです。 1. データを分析するために必要な統計的知識機械学習の目的は未知の事柄を推定することです。そのために既にあるデータから何らかの法則性を見つけ出す為に様々な手法が考えられてきました。統計学はご存知でしょうか？　機械学習はデータを扱うという点で統計学と深い関係があります。平均値や標準偏差などは聞いたことがあると思います。統計学はそれらの情報をこねくり回すことによって、限られたデータから本当の全体像を推定します。例えば、選挙の結果を開示前に知りたいときに、投票者全員に聞ければ良いですが、そうもいきません。そこで、統計学は様々な方法を使

tettu0402 2018/07/16

リンク

データサイエンティストによる統計入門 ― k平均法でデータをクラスタリングしてみよう！｜ハイクラス転職・求人情報サイト AMBI（アンビ）

データサイエンティストによる統計入門 ― k平均法でデータをクラスタリングしてみよう！ビッグデータ、データサイエンス、人工知能など、統計学を主軸においた分野が隆盛ですが、統計学には高いハードルを感じる方も少なくないでしょう。k平均法を実際に手を動かしながら理解することで、データ分析を身近に感じることができます。はじめまして、藤井健人（@studies）と申します。イタンジ株式会社でデータ基盤周りの運用を担当しています。「ビッグデータ」「データサイエンス」「人工知能」といったバズワードに代表されるように、統計学を主軸においた分野の隆盛が日常となって久しいです。しかし「統計学は学問的な要素があり難しい」という印象を持たれやすく、「実務に活かすのはハードルが高い、怖い」と感じる方も少なくないのではないでしょうか。そういった方を対象に、今回は統計学の手法の一つであるk平均法を学んでいただ

tettu0402 2018/04/14

リンク

初心者でもほぼ無料でR言語を勉強できるコンテンツ10選 - paiza開発日誌

Photo by Hermann Kaser こんにちは。谷口がお送りします。 IT エンジニアの方の中には「R言語を学習したい」という方も多くいらっしゃるかと思います。 R言語は、データ分析やデータ処理に特化したオープンソースのプログラミング言語です。システムを開発をする他のプログラムミング言語とは位置付けが異なり、統計解析機能が付いていて、解析処理やその結果をグラフィカルに表示することができます。そのため、多量のデータ解析が求められるソーシャルゲームの解析や、リサーチ、データマイニング、アソシエーション分析が必要な業務の求人が増えています。また近年データサイエンティストが注目されていることもあり、今後求人が増えることが予想されます。そこで今回は、プログラミング未経験～初心者の方が、なるべくコストをかけずにR言語に触れられて、学習に役立てられるコンテンツを10件ご紹介していきます。

tettu0402 2015/06/05

リンク

データサイエンティストというかデータ分析職に就くための最低限のスキル要件とは - 渋谷駅前で働くデータサイエンティストのブログ

追記（2017年7月）こちらのスキル要件ですが、2017年版を新たに書きましたので是非そちらをご覧ください。「データサイエンティストというかデータ分析職に就くためのスキル要件」という話題が某所であったんですが、僕にとって馴染みのあるTokyoR界隈で実際に企業のデータ分析職で活躍している人たちのスキルを眺めてみるに、みどりぼん程度の統計学の知識はじパタ程度の機械学習の知識 RかPythonでコードが組める SQLが書けるというのが全員の最大公約数＝下限ラインかなぁと。そんなわけで、ちょろっと色々与太話を書いてみます。なお僕の周りの半径5mに限った真実かもしれませんので、皆さん自身がどこかのデータサイエンティスト（）募集に応募して蹴られたとしても何の保証もいたしかねますので悪しからず。統計学の知識は「みどりぼん以上」データ解析のための統計モデリング入門――一般化線形モデル・階層

tettu0402 2015/03/14

リンク

統計解析 & R言語超初心者入門資料まとめ

興味を持ち続けていた統計解析や、R言語の勉強をはじめました！　まだまだ初歩の初歩ですが、この記事がいつか偉大な一歩になれるように頑張っていく所存ですw まずは、R言語や統計解析に関する入門記事や、モチベーションがアップしそうな記事をまとめていきます！ (02/23 11:00) 初学者の人にお勧めな資料にフォーカスしてまとめ直し 🍮 [スライド] 統計学入門統計学の全体像をつかむのに最適なスライドです。初歩…とはちょっと呼べないくらい内容が深いです！ 🏈 [スライド] 初めての「R」統計解析を始めるときにWindowsな方も、Macな方もとっつきやすのが『R』です。このRを完全初心者をターゲットに説明をしていただけている資料です。超わかりやすいです！ 🍄 [デスクトップアプリケーション] R用のIDE: RStudioRStudio RStudioはR言語用のIDEです。Wind

tettu0402 2014/02/17

リンク

食事パターンと自殺との関連について | 現在までの成果 | 多目的コホート研究 | 国立研究開発法人国立がん研究センター　がん対策研究所予防関連プロジェクト

-「多目的コホート研究（JPHC研究）」からの成果報告- 私たちは、いろいろな生活習慣と、がん・脳卒中・心筋梗塞などの病気との関係を明らかにし、日本人の生活習慣病予防に役立てるための研究を行っています。平成２年（1990年）と平成５年（1993年）に、岩手県二戸、秋田県横手、長野県佐久、沖縄県中部、東京都葛飾区、茨城県水戸、新潟県長岡、高知県中央東、長崎県上五島、沖縄県宮古、大阪府吹田の11保健所（呼称は2011年現在）管内にお住まいだった40～69歳の方々のうち、研究開始から５年後に行った食事調査票に回答した男女約９万名を2005年まで追跡した調査結果にもとづいて、食事パターンと自殺との関連を調べた結果を、専門誌で論文発表しましたので紹介します(British Journal of Psychiatry 2013年203巻422-7ページ)。我が国における自殺者は、2012年に15年ぶ

tettu0402 2013/12/12

これか。帰ったら読む。

リンク

私はこうやってマーケティングデータを集めています。 : LINE Corporation ディレクターブログ

今年も熱い夏がやってきました。ロックフェスと事業計画の熱い夏が！というわけでこんにちは、佐々木です。今回は、「予算（事業計画）って、どうやって（何を根拠に）立てているんですか？」というスタッフの質問に答えるために、事業計画のために集めた資料の出典を紹介します。なお、資料の多くは私が担当するブログ関連事業のものですので、ネットならではのマーケティングデータの集め方といった内容になります。限定的な分野ですが、なにかの参考になれば幸いです。総務省情報通信政策研究所（IICP) ・総務省情報通信政策研究所まずは総務省調べのデータ。大規模なリサーチ結果を無料で利用できるので、とても重宝します。例1）「ブログ･SNSの経済効果の推計」（PDF）例2）「ブログの実態に関する調査研究」報告書本文（PDF）矢野経済研究所・矢野経済研究所ブログ関連の市場調査で優れたレポートを発表して

tettu0402 2013/10/10

リンク

2013年秋版：データサイエンティストを目指すなら揃えておくべき10冊 - 渋谷駅前で働くデータサイエンティストのブログ

5ヶ月前に書いた記事がだいぶ陳腐化してきた*1気がするので、それ以降出版された書籍や、他にも学術的知識を得るだけでなく「データサイエンティストとして働く上で必要なスキル」について書かれた書籍などを加えて、「2013年秋版」の10冊をチョイスしてみました。これはあくまでも「データサイエンティストを目指す上で必要な素地が既にある程度備わっている人」向けのスタートアップとしての10冊です。実際にはこの10冊では知識が足りなくなる場面の方が多いので、その場合は適宜発展的な書籍に当たってどんどん独習していくことをお薦めします。逆に、本当にゼロからスタートする初学者の人にはこれでもかなり辛いかもなので、今回は見なかったことにしてください、ということで。。。そうそう、相変わらずですが僕個人はアフィリエイトやってないので、こちらのリンクから書籍を購入されても儲かるのは僕ではなくはてなです（笑）。（※

tettu0402 2013/10/09

統計
data

リンク

Rで計量時系列分析～CRANパッケージ総ざらい～

第33回R勉強会＠東京（#TokyoR）の発表内容です。 http://atnd.org/events/42438 当日見ながら実行できるように先行公開します。

tettu0402 2013/09/01

リンク

単純な集計とデータサイエンスによる分析とで結果が食い違うかもしれない3ケース - 渋谷駅前で働くデータサイエンティストのブログ

一般に、データ分析の大半はそれほど高度なテクニックの類を必要としないものです。僕も常日頃から口に出して言うことが多いんですが、「統計学だの機械学習だのの出番なんてそもそも少なくて当たり前」。工数もかかるし、できればやらない方が良いです。ぶっちゃけ単純な四則演算で十分なケースの方が多数派でしょう。なので、普段はDB上でSQL（というかHiveなど）でサクッと四則演算だけで集計処理を済ませてしまって、その結果だけを表示するようにしておいた方が圧倒的に楽で手っ取り早いはず。多くのBIツールもそういう考えのもとで作られていると思います。ところがどっこい。世の中には、単純な四則演算での集計結果と、データサイエンスを駆使した分析結果とで、食い違ってしまうケースが何故かあることが知られています。どちらかと言うとレアケースだとは思いますが、その矛盾をおざなりにするととんでもないことになることも多々あり

tettu0402 2013/08/07

リンク

データサイエンティストは「アルゴリズム実装系」と「アドホック分析系」とに分けた方が良いかも - 渋谷駅前で働くデータサイエンティストのブログ

最近色々なデータ分析の現場の方々と意見交換したり一緒に飲んだりするようになり、ますます現場ごとの仕事のやり方の違いや雰囲気の違い、はたまた価値観の違いといったことについてそこそこ深く知るようになってきました。おかげさまで、今の僕の立ち位置は「データサイエンティストのエバンジェリスト」みたいな感じになってきておりまして*1、むしろもっと本業*2を頑張らねばと焦っているところです（笑）。ということでそんな中で思うようになってきたことを今回はちろっと。最近何となく感じてる「データサイエンティスト」の境界線について実は「データサイエンティスト」そのものと他の職種との境界線も変わってきたのかなという気がしてる一方で、「データサイエンティスト」の「中」にも内部区分としての境界線が引けそうだなぁという気もしてます、という。データサイエンティストの新・3要素まず、5月の講演会でお話した「データサ

tettu0402 2013/08/02

リンク

カイ二乗検定 - 大人になってからの再学習

キーワード：統計、カイ2乗検定（χ2乗検定）観測データの分布には誤差が含まれるため、理論的に求まる分布と完全には一致しない。そこで次のような疑問がおこる。「観測されたデータの分布は、理論値の分布とほぼ同じと見なせるだろうか？」これを判断するのがカイ2乗検定。それにしても、「ほぼ同じ」って。。その表現は曖昧じゃない？曖昧に見えるかもしれないけど、この「ほぼ同じ」という表現は、確率できちんと表すことができる表現で、「ほぼ同じ」＝「5%の確率で違うかもしれないけど、95%の確率で同じと言ってしまって大丈夫！」というような意味を持つ。カイ2乗検定によって次のような問いに答えることができる。（例１）通行人100人を無作為に抽出したら男：女の比率が59:41だった。これは「男女比が1:1の集団から、ランダムに抽出された100人である」と言えるか。（このくらいのバラつきは普通にあるこ

tettu0402 2013/08/02

リンク

データサイエンティストレベル表 - shakezoの日記

プログラマレベルというページがとても面白かったのでデータサイエンティスト版つくってみました。データサイエンティストの定義は[twitter:@TJO_datasci]さんのQuantitative analystに準拠しつつ技術面に焦点をあててレベル分けしています。レベル0 このレベルの人はデータ分析をしたことがありません。最近テレビでよく目にするビッグデータについては何だが凄そうというイメージは持っています。そしてデータサイエンティストという言葉を知らない人が大半です。ありがちな発言「ビッグデータってすごいらしいね」レベル1 レベル1の人達は仕事や大学等の課題でExcelを用いた集計や簡単な相関分析などを実施したことがあります。ただし分析にあまり興味を持っておらずデータをニヤニヤしながら眺めている上位レベルの人達を変人だと思っています。彼らにとってビッグデータやデータサイエンティ

tettu0402 2013/07/16

リンク

世論調査やネット調査をどう読む？

参院選の投開票日をひかえて、テレビや新聞各社による「世論調査」やネット企業による「アンケート調査」が行われ、選挙情勢が盛んに報じられている。今回の参院選は、インターネットを選挙活動に活用できる「ネット選挙」が解禁されたこともあり、ネットを活用した調査も目立つ。一方、固定電話などを使った従来の手法によるマスメディアの世論調査が偏向しているという批判もネットで散見されるようになった。私たちは日々、ニュースとして流れてくるこれらの調査をどう受け止め、活用すればよいのか。政治学者、東京大学先端科学技術研究センターの菅原琢准教授に聞いた。