統計的仮説検定の「p値」にこだわってはいけないのか - StatsBeginner: 初学者の統計学習ノート
（タイトルにやや語弊ありますが、「こだわってはいけない」というような禁止的な議論をしている人とか、「p値はもはや完全に無意味である」というような極端な主張をしている人がいるわけではないということは理解しています。） 検定のロジックはけっこう凄い さっき、 http://www.anlyznews.com/2016/03/p.html 確かにp値に「こだわりすぎる」のはよくないんだと思いますが、伝統的に教えられている、F分布やt分布などに従う検定統計量に持ち込んで議論する方法それ自体は、なかなかよくできたものですよね。 よく出来ています。理解せずに振り回す人がいけないのです。 https://ask.fm/uncorrelated/answers/134682189373 というコメントを読んだんですが、確かに、統計学初学者として検定のロジックにはけっこう感心します。 「その大小が人間にとっ
開発者がビッグデータ分析にPythonを使う時によくやる間違い | POSTD
システムの構築、新しい技術の習得、PythonやDevOpsなどに情熱を注ぐソフトウェア開発者です。現在はチューリッヒを拠点とするビッグデータのスタートアップで働いており、データ分析およびデータ管理ソリューションのためのPythonの技術を磨いています。 1 はじめに Python は開発時間を短縮できるという点で一般的に評価の高い言語です。しかし、Pythonを使って効率よくデータ分析をするには、思わぬ落とし穴があります。動的かつオープンソースのシステムであるという特徴は、初めは開発を容易にしてくれますが、大規模システムの破綻の原因になり得ます。ライブラリが複雑で実行時間が遅く、データの完全性を考慮した設計になっていないので、開発時間の短縮どころか、すぐに時間を使い果たしてしまう可能性があるのです。 この記事ではPythonやビッグデータで作業をする時に、最も時間を無駄にしがちな事柄につ
「僕はRとこんな風につきあってます」、データ分析の入門書『楽しいR』刊行記念対談【前編】
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
分析経験ゼロから、NTTぷららがデータサイエンスチームを立ち上げた理由 | IT Leaders
IT Leaders トップ ＞ 経営課題一覧 ＞ データ活用 ＞ インタビュー ＞ 分析経験ゼロから、NTTぷららがデータサイエンスチームを立ち上げた理由 データ活用 データ活用記事一覧へ [インタビュー] 分析経験ゼロから、NTTぷららがデータサイエンスチームを立ち上げた理由 2013年5月14日(火)緒方 啓吾（IT Leaders編集部） リスト データ分析人材の不足が指摘される中、情報システム部門主導で、データサイエンティストチームを立ち上げたNTTぷらら。同チームの堀内氏と安達氏に、設立の背景や狙いを聞いた。 データ分析チームを作ったワケ —データサイエンティストのチームを社内に設立されたと伺いました。 堀内 実は、社内ではデータサイエンティストという言葉は使っていないんですが、システムを担当する技術部門の中に、データ分析の専任チームを置いています。メンバーは、私を含めて6名。
データ分析を「させる（依頼する）」側に最低限知っていて欲しい4つの分析コンセプト - 渋谷駅前で働くデータサイエンティストのブログ
世の中データ分析部門を立ち上げる企業が増えてきて、「データサイエンティスト」と名乗ろうが名乗るまいがデータ分析者を置いて様々なビジネス上のデータを分析させるところが目立ってきました。 でも、一方で実際のデータ分析者たちが何をやっていて、どういうアウトプットを出しているのか？について、きちんと理解している人はあまり多くなさそうに見えます。うっかりすると、「金とデータは渡すから良きに計らえ」*1ってところも少なくないかも。。。 それではあまりにもざっくりし過ぎているので、実際のデータ分析者がどんなことをしているのかを、超絶大ざっぱに4つに分けてみました*2。即ち、「回帰・分類・推定・予測」の4つのコンセプトです。今回はこの4つのコンセプトについて、データ分析を「させる（依頼する）」側の人たちに出来る限り分かりやすく説明してみようと思います。 ということで、データ分析を「させる（依頼する）」側の
Webデータ分析＆データサイエンスで役立つ統計学・機械学習系の分析手法10選 - 銀座で働くデータサイエンティストのブログ
追記 2016年3月に以下の記事によってこの内容はupdateされています。今後はそちらをお読み下さい。 主に自分向けのまとめという意味合いが強いんですが（笑）、僕が実際に2013年6月現在webデータ分析＆データサイエンスの実務でツール・ライブラリ・パッケージを利用しているものに限って、統計学・機械学習系の分析手法を10個挙げて紹介してみようと思います。 追記 回帰分析（特に線形重回帰分析） 独立性の検定（カイ二乗検定・フィッシャーの正確確率検定） 主成分分析(PCA) / 因子分析 クラスタリング 決定木 / 回帰木 サポートベクターマシン(SVM) ロジスティック回帰 ランダムフォレスト アソシエーション分析（バスケット分析・相関ルール抽出） 計量時系列分析 おわりに おまけ1：「素性ベクトル＋分類ラベル」なるデータ前処理 おまけ2：グラフ理論*10 {igraph}パッケージでグラ
エクセルだけで統計処理する卒論・ゼミ論用アンケート調査のオススメ方法 part1
ところが，そうした学生も12月近くになってから後悔するんです． 「先生，出来ました．こんなデータが出ましたよ」 って意気揚々と報告すると，指導教員から 「じゃあ，そのデータをちゃんと統計処理にかけてから解釈を論述してね」 って言われ， 「はて？統計処理ってなんぞ？データを統計処理にかけるって，どういう意味なのか分かりません」 という状況になり，ちょっとくらい悩んだフリはするものの，そのまま提出間際まで放ったらかしてギリギリになってからバタバタするも， 「やべぇ，明後日が提出締切なのにコンビニのバイトが詰まっててパソコンの前に座る時間が無いぞぉ」 というパターンが日本中，いえ世界中の大学で繰り広げられているわけです． 今回の記事では，統計処理をエクセルだけでやるというニッチなものではなく， 「きっちり統計処理しなければいけないのに，残念ながら社会的重要度は低いアンケート調査」 つまり，卒論や
2015新卒就活戦線におけるデータ分析者候補生争奪戦を眺めてみて - 渋谷駅前で働くデータサイエンティストのブログ
（※このエントリで述べている内容はあくまでも業界全体の状況を表す一般論であり、弊社をはじめどこか個別の企業を指したものではありません） 最近は技術系のネタばっかりなので、たまにはデータサイエンティスト（死語）にまつわる与太話でもしてみようかと思います*1。キャリア談義系与太話と言えば、この時期にふさわしいのはやっぱり今春の新卒就活戦線ネタですかね。 よくよく考えると、昨年7～8月期に「データサイエンティスト」が大ブレークして以降最初の新卒採用期が実は今春の2015新卒対象採用なわけで、実際問題として結構な影響があったのではないかと思ってます。ちなみに僕も2回ほど弊社の新卒データ分析者採用イベントに出てまして、今春の状況というか「雰囲気」は何となく感じていた次第です。 急速にデータ分析者候補生の「スキル採用」が普及した 今年特に目立ったのがこれですねー。割と色々な企業で採用審査時にコーディン
中古マンション売買データを分析してみた(1) - 築年数と駅からの距離は価格にどう影響するか - About connecting the dots.
新しい年度になって消費税も上がったことで，3月までの駆け込み消費*1の反動でマンションとか全く売れていないんだろうなぁと思う今日この頃です*2．個人的な趣味でいうと新築よりは中古派ですので，増税前に無理矢理ローン組んだ人がさくっと数年で手放したのを買うのとかが，味があってよいと思うわけですけれども．2015年に消費税が10%にあがる公算も高そうですしね． さて，先日こんな興味深い記事を拝見いたしました． 徒歩5分vsバス利用、中古マンションの値下がり具合を可視化 - マンションチラシの定点観測 | マンション選びのお役立ち情報ブログ REINSといえば，不動産会社御用達の物件データベースなわけですが，当然のことながら業者専用のデータベースなので，私のような一般の人はみることができません．と思っていたら，上記記事で紹介があるように，中古物件の成約済みデータに関しては閲覧可能なんですね． 上記
2014年春版：ビジネスにおけるデータ分析のプロを目指すなら揃えておくべき12冊 - 渋谷駅前で働くデータサイエンティストのブログ
さて、前回リストの記事から半年ぐらい経ちましたよーということで、それ以降に発刊された書籍などを吟味した上で更新したリストをお届けしたいと思います。といっても引き続き今回のリストにも入っているものが多いので変わり映えしないかもですが。。。 前回同様、統計学や機械学習にまつわる学術的な知識を得るだけにとどまらず、ビジネスにおけるデータ分析のプロとして知っておきたい知識を得るために必要な書籍もリストに入れてあります。 確率論まわりの基礎理論についての書籍は僕自身が勉強途中なので割愛しました*1。またコーディングまわりの本は一旦割愛してあります。というか僕はエンジニアとは言い難い身なので（泣）、コーディングまわりや詳細な実装プロセスなどは適宜必要な本を読んで下さいということで。。。 そして改めての断り書きですが、これは「ある程度既に統計学や機械学習などに馴染みがあってそれなりにPythonでコード
データの分析をタダで引き受けてはならない10の理由 - ネガティブにデータサイエンティストでもないブログ
それなりの分析屋であれば誰もが経験があることでしょう。データを扱えない人から、データを扱える人と思われるために、分析の依頼をされることが。それも軽い気持ちから始まるタダ（無償、無料）の場合が。 そう呼ばれたくない実務者が多いのに、それを叫ぶ組織が多いという不思議な昨今のデータサイエンティストの流行はそろそろ終わってほしいのですが、データの分析という行為自体はいつの時代も不滅です。 私も企業や大学、知人や家族などからデータの分析を頼まれることがよくあります。もうしょっちゅうです。もちろんネットや金融やらのビッグデータに限ることではありません。だいたい相手は私が本業でやっているニッチな統計処理なんて理解していません。ただ、なんとなく、あいつに聞けばいいみたいな風に思っているだけでしょう。それはEXCELの使い方から、簡単な統計処理の説明といった参考書でも読めば即解決なことや、クローリングや統計
たとえ有償でも絶対に引き受けてはいけないデータ分析依頼の3タイプ - 渋谷駅前で働くデータサイエンティストのブログ
id:dscaさんのタダでは引き受けてはいけないネタが大ブレークしてるみたいですね。 データの分析をタダで引き受けてはならない10の理由 - ネガティブにデータサイエンティストでもないブログ 受託系便利屋的なポジションの悲哀が大変よく透けて見える良記事だと思うんですが、一方で仮に金を取ったとしても引き受けてはいけない案件というのもよくあるものです。 ということで、便乗して「たとえ有償でも絶対に引き受けてはいけないデータ分析依頼の3タイプ」とか僕がこれまで経験してきた様々な現場and/or案件での事例を踏まえて、適当に吹聴してみようと思います。 なお、「前処理が煩雑」とか「DB整備が貧弱でCSVでデータをやり取りしなければならない」というような構造的な問題点は別物なので、今回は割愛しましたごめんなさい。 （※これは他所の様々な現場での話を聞き取ってまとめた話であり、現職場の話ではありません！
どんなデータでも(※)線形分離可能にしてしまう技術，Vanishing Component Analysis(ICML 2013)を紹介してきました - a lonely miner
急に蒸し暑くなってきましたね．でぶちんなのでけっこうこたえます．タイトルはちょっと釣り気味．ビビっと来た方は是非論文に目を通してみてください:) 例によって，仲間内でやっている小さな勉強会で論文紹介をしてきましたので，そのご紹介です．ぼくの専門というか興味の中心は自然言語処理なので，ふだんはそっち方面を追っているのですが，勉強会では機械学習方面を中心にいろいろ読んでみてます． 今回は岡野原さんのこのツイートで興味を持った以下の論文を読ませていただきました．名前もかっこいい．ヴァニッシングコンポーネントアナリシス！ ICML2013のbestpaper。データ中の集合（例えば画像中の8の字など）が0になるような生成多項式を求める（=集合のコンパクトな表現）効率的なアルゴリズムを提案し教師有学習時の特徴生成などに使える。すごい http://t.co/DedSoyLaJR — 岡野原 大輔 (
消費者の無意識に訴える「ポチリング・マネジメント」にまつわる5つのキーワード
オムニチャネル時代では、自社商品/サービス（以下、商品）に対して、（1）消費者の気持ちを振り向かせ、（2）買う気にさせ、（3）実際の購買行動を行わせる、という3つのステップの適切な運用の成否が、ビジネスの勝敗を決定づける。ECサイトの場合は、これに（0）自社商品が買えるサイトに消費者を連れてくる、というさらなるハードルが加わる。 そこで本稿では、この4ステップを適切にマネジメントすることで、自社商品の「ポチる」を促す仕組み、仮称「ポチリング・マネジメント」について一つの提言を行いたい。キーワードは、「エスノグラフィー」「ビッグデータ」「データサイエンス」「データ・サイエンティスト」「ソフト・スキル」の5つだ。 1．エスノグラフィー 筆者はマーケティング業界が「エスノグラフィー」を単純に「観察手法」と訳したことが、その本質を矮小化させたと考えている。 消費におけるエスノグラフィーとは、「消費
データ分析の重要性を理解するための入門書５冊 - UNIX的なアレ
はじめに 今回紹介する本は玄人向けではなく「データ分析が重要そうだけど、なんだかよくわかんないと思っている人」向けです。 昨今ではデータマイニングという単語がエンジニアやマーケティング担当者のものだけでなく、経営レイヤーでも重要視されてきています。 ビッグデータというバズワード的なものも頻繁に言われ始めて、めんどくさい上司とかはとにかく口にし出すような状況ではないでしょうか？（想像です） 勉強しないと！と思いはするものの、統計やらHadoopやらRやら、それにまつわるものが多すぎて何から手をつけていいのかわからないもの。 というわけで、私が最近読んだ中でも「何ができるものなのか」という浅く広いテーマについて触れている本をいくつか紹介します。 統計学 統計学が最強の学問である 作者:西内 啓ダイヤモンド社Amazon cakesの連載をまとめた本ですが、統計学がどういった分野に使われているの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
エクセルだけで統計処理する卒論・ゼミ論用アンケート調査のオススメ方法 part3
エクセルだけで統計処理する卒論・ゼミ論用アンケート調査のオススメ方法 part2
データ分析というお仕事のこれまでとこれから(HCMPL2014)
IDEA * IDEA