Python pandas 欠損値/外れ値/離散化の処理 - StatsFragments
データの前処理にはいくつかの工程がある。書籍「データ分析プロセス」には 欠損など 前処理に必要なデータ特性の考慮とその対処方法が詳しく記載されている。 が、書籍のサンプルは R なので、Python でどうやればよいかよく分からない。同じことを pandas でやりたい。 データ分析プロセス (シリーズ Useful R 2) 作者: 福島真太朗,金明哲出版社/メーカー: 共立出版発売日: 2015/06/25メディア: 単行本この商品を含むブログ (2件) を見る とはいえ、pandas 自身は統計的 / 機械学習的な前処理手法は持っていない。また Python には R と比べると統計的な前処理手法のパッケージは少なく、自分で実装しないと使えない方法も多い。ここではそういった方法は省略し、pandas でできる前処理 / 可視化を中心に書く。 また、方法自体の説明は記載しないので、詳細
データの不備を統計的に見抜く (Gelman's Secret Weapon) - ほくそ笑む
リクルートの高柳さん、Yahooの簑田さんと共同で翻訳した本が出版されます。 「みんなのR」(原題：R for Everyone)です。 みんなのR -データ分析と統計解析の新しい教科書- 作者: Jared P. Lander,Tokyo.R（協力）,高柳慎一,牧山幸史,簑田高志出版社/メーカー: マイナビ発売日: 2015/06/30メディア: 単行本（ソフトカバー）この商品を含むブログ (7件) を見る この本は、統計言語 R のインストール・基本的な使い方から始まり、統計解析の基礎からちょっと高度な話題まで、幅広く取り扱っています。 特徴としては、 RStudio の使用を推奨 グラフィクスはすべて ggplot2 を使用 plyr, data.table, stringr といった、モダンな便利パッケージを使用*1 説明に使用されるデータはすべて Web からダウンロード可能 R
位置情報にまつわるデータ補間技術
第45回 データマイニング+WEB ＠東京 ( #TokyoWebmining 45th ) － オープンデータ 最前線と未来 祭り －の発表資料です http://www.eventbrite.com/e/45-web-tokyowebmining-45th--tickets-16532655618
CodeIQについてのお知らせ
2018年4月25日をもちまして、 『CodeIQ』のプログラミング腕試しサービス、年収確約スカウトサービスは、 ITエンジニアのための年収確約スカウトサービス『moffers by CodeIQ』https://moffers.jp/ へ一本化いたしました。 これまで多くのITエンジニアの方に『CodeIQ』をご利用いただきまして、 改めて心より深く御礼申し上げます。 また、エンジニアのためのWebマガジン「CodeIQ MAGAZINE」は、 リクナビNEXTジャーナル( https://next.rikunabi.com/journal/ )に一部の記事の移行を予定しております。 今後は『moffers by CodeIQ』にて、 ITエンジニアの皆様のより良い転職をサポートするために、より一層努めてまいりますので、 引き続きご愛顧のほど何卒よろしくお願い申し上げます。 また、Cod
分析ツールと統計学、数学者と統計学者の関係は
東京大学医学部卒(生物統計学専攻)。東京大学大学院医学系研究科医療コミュニケーション学分野助教、大学病院医療情報ネットワーク研究センター副センター長、ダナファーバー/ハーバードがん研究センター客員研究員を経て、現在はデータを活用する様々なプロジェクトにおいて調査、分析、システム開発および人材育成に従事する。著書に『統計学が最強の学問である』(ダイヤモンド社)、『1億人のための統計解析』(日経BP社)などがある。 『統計学が最強の学問である［実践編］』発刊記念対談 35万部を突破したベストセラー『統計学が最強の学問である』の続編、『統計学が最強の学問である［実践編］』の出版を記念し、著者・西内啓氏をホストに統計学をめぐるシリーズ対談の連載がスタートします。 ゲストは前統計学会会長、気鋭の経済学者、統計学者など。普段は知ることのできない統計学者の斬新な視点と意見をお楽しみください。 バックナン
第1回 Rは統計解析のブッシュナイフだ - 実践！ Rで学ぶ統計解析の基礎 - ＠IT
今ほど統計解析が必要とされる時代はありません。オープンソースの統計処理言語・環境の「R」を使って実践的な統計解析のテクニックとリテラシーを習得しましょう！ 読者にとってRは、世に溢れるデータの密林を切り開くための“ブッシュナイフ”となることでしょう（編集部） 統計解析の必要性とリテラシー 21世紀になって、経営学者の故ピーター・ドラッカー氏が言うところの知識労働者は、ますます統計解析を必要する局面が増えてきました。この状況は、20世紀後半から21世紀に起きた計算機能力の増大とインターネットの発展を基礎に、3つの大きな潮流が現れたことがキッカケとなっているように思います。その3つの潮流とは、オープンソース、オープンデータ、そしてオープンアイデアです。後ろの2つは今筆者が名付けました。 オープンソースは、皆さんがご存知のように、Linux、Apache、Perl、Python、RubyなどのO
次の10年、「統計分析」こそテクノロジー分野でいちばんホットな職業になる
The Top Three hottest new majors for a career in technology : Microsoft JobsBlog マイクロソフトの採用活動などを記しているブログ「Microsoft JobsBlog」に8月23日付けでポストされたエントリ「The Top Three hottest new majors for a career in technology」（テクノロジー分野でもっとも熱い、3つの専門性とは）では、長期的に見て次の3つがホットな分野だと挙げられています。 Data Mining/Machine Learning/AI/Natural Language Processing （データマイニング／機械学習／人工知能／自然言語処理） Business Intelligence/Competitive Intelligence （ビジ
素人の僕が、データ分析に自信を持つようになったある発見 - 人と組織と、fukui's blog
2010年03月13日 22:01 カテゴリ事業家養成講座 素人の僕が、データ分析に自信を持つようになったある発見 Posted by fukuidayo Tweet 僕は1999年に就職活動をしました。会社は全部で8社ぐらい？受けたのかな。 受かった会社の選考よりも、落ちた会社の選考のほうが覚えているもので、あるシンクタンクを受けたときに提出したレポートの出来の悪さと、あるコンサルティング会社を受けたときに出たケーススタディーの答案を前に、頭が真っ白になったときのことは、今でもたまに思い出します。 どうやって分析し、自分の見解を示せば良いのか、まるでわからなかったのです。 それから数年がたち、僕はケーススタディーを受ける側ではなく、つくる側になりました。 データの見方を教え、伝える側になったのです。 そうなれたのは、データを分析する。ということに関して、助言を与え続けてくれた先輩・上司が
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
%26utm_content%3Dlivedoor)
データビジュアライゼーションの美