はじめに ダッシュボードの作成過程を理解していただくように、前の記事ダッシュボードを作ってみたらそんなに難しくないでは、データを簡単なチャートで反映させました。 今回の記事はその記事の続きみたいなもの。少し実践的なデータ分析の話題をしたいと思います。例えば、売上データから、“何が売れているのか”、また“何が売れていないのか”などを判断できて、解決策の提案になれるなど。最近よく触れる小売業から始めましょう。一回の記事で説明しきれないので、二、三回にするかなと思います。 データ分析の現状 デジタル化の影響で、小売業は現在さまざまな課題を抱えています。 ①消費者のニーズが多様化、細分化してきています。今は単なる商品力だけではモノが売れない時代となっているので、高度な顧客分析によって、消費者の顕在ニーズと潜在ニーズを見極めて、つまり消費者心理や購買行動の理解力を高めないといけません。 ②インターネ

2018年の実質賃金の前年同月比の伸び率の大半がマイナスであることが大きく報道された。 www.yomiuri.co.jp これは1月30日に実施された野党合同ヒアリングがきっかけであるので，参加した当事者として話をまとめておく。 今，厚労省が東京都の500人以上の事業所について，本来全数調査すべきところを3分の1程度しか調査していなかったこと等が問題となっている。 しかし，実はもっと重大な問題がその裏に隠れている。 私がヒアリングに呼ばれたのもそれが理由。 簡単に言うと，2018年1月から賃金の算出方向が変更され，従来よりも2000円程度高くでるようになった。 高くなった要因は①サンプルの半分入替②ベンチマーク更新③3倍補正である。 ベンチマークと言うのは，要するに賃金を算出する際の係数のようなものと思えばよい。この更新の影響が大半を占めている。 そして，③の3倍補正というのは，約3分の

若い人が「就職が楽になったから安倍政権支持」みたいなことを言ってるのを見ると心が痛い感じがするので、公開されてる政府統計でわかるようなことを、ちょこっと書いておきます。 あらすじ。 生産年齢人口は2012年以降に激減 労働者の高齢化が進行 増加したのは安い仕事 企業の採用文化に大きな変化なし では行ってみましょー。 1. 生産年齢人口は2012年以降に激減 生産年齢人口（15〜64 歳） は、平成7（1995）年に8716万人でピークを迎え、昨年2017年の確定値で7591万6千人と、1100万人ほど減少しました。 長期のグラフはこんな感じです。*1 1千万人規模の変化というのはそれだけで非常に強烈ですが、特に2010年代前半の減少が顕著なのが見て取れると思います。 ここで起きているのは団塊世代の高齢者区分入りです。出生数が260万人を超えていた昭和22-24年（1947-49年）の第一次

この本，最初は良かったんですが途中から「カイ二乗検定」やら「t検定」やら「重回帰分析」やらよく分からん単語がいっぱい出てきて途中で挫折，もっと初心者向けの本を探すことに 調べてみると，『今はマンガで統計学を学べるような本が結構出ている』ということでした 『マンガなら僕でも簡単に読めるはず』という楽観的な考えが頭を支配し，すぐに6冊の統計学に関するマンガを購入． 『マンガだけで統計学の基礎をマスターすることはできるのか』についての検証してみました． マンガでわかる統計学入門 マンガでやさしくわかる統計学 オーム社のマンガでわかるシリーズ マンガ統計手法入門 まとめ マンガでわかる統計学入門 実は以前，このブログ内で理系大学生へのオススメ参考書を紹介しました． その記事内で私が激推ししていた，オーム社のマンガでわかるシリーズがあるのですが，統計学に関しては悲しいことにKindle版が出ておらず

ついにその時が来た。 「5%の確率で性器を露出するドラえもん」が消滅したのだ。 知らない方のために説明すると、「5%の確率で性器を露出するドラえもん」とは、二時間に一回ランダムでドラえもんのひみつ道具をつぶやく人気のTwitterBOTだ。 通常は「どこでもドア」「タケコプター」等、普通の道具をつぶやいているのだが、名前の通り5%の確率でひみつ道具ではなく「チンポ（ﾎﾞﾛﾝ」とつぶやくのがミソである。 初めは数千人のフォロワーの時期が長かったが、ある時期からこんな噂が広がるようになった。 「5%の確率で性器を露出するドラえもん」がチンポを出した時に、ソーシャルゲームのガチャを引いたら、超レアなカードが出た と。 それ以降、ソシャゲのレアカードを求めた人が殺到し、ドラえもんの出す道具に多くの注目が集まるようになった。 5%の確率でチンポが出た時は、瞬時に10000回以上のRTがされ、多くの人

■(2017年7月19日追記）「しがらみのない奇抜な提言は”AI”ではなく製作者側の意図」との証言がありましたので別途まとめました→ https://togetter.com/li/1131398 ■因果関係と相関関係について ・因果関係がないのに相関関係があらわれる４つのケースをまとめてみたよ（質問テンプレート付き） http://takehiko-i-hayashi.hatenablog.com/entry/20130418/1366232166 ・相関関係と因果関係の違いが一発でわかる具体例5選 http://atarimae.biz/archives/7374 続きを読む

はじめに Excelにデータを集めようとするとき、数式とVBAを駆使して行う方法が一般的です。 キーを使って複数のデータを結合するときには、Accessなども用いられます。 ですが、データが増えてくると下記のような課題が発生してきます。 収集に必要な手順が増え、数式やVBAが複雑化する データ収集に長い時間がかかる サイズが巨大化して格納しきれなくなる これらの課題を解消するツールとして PowerQuery を紹介します。 PowerQueryとは 2016年に公開されたMicrosoft製のデータ分析用Excelアドインであり、Excel2010以降に対応しています。 ファイル・DB・Webサービス等からデータを読み込み、変換・加工してExcelのシートに出力できます。 VBAのマクロの記録と同じように、画面上で操作するとクエリ（読み込み手順の定義）が生成されます。 複雑な加工をしない

おつかれさまです．今回はタイトルの通り，ベイズ学習を勉強する上で参考になる教科書やウェブの資料，論文等を紹介したいと思います． ベイズ学習は確率推論に基づいた機械学習アルゴリズムの構築論です．ベイズ学習を使えば，あらゆる形式のデータに対して，未観測値の予測や隠れた構造を発見するための統一的なアプローチをとることができるため，特に現代の機械学習アルゴリズムを深く理解し使いこなすためには必須の方法論になっています． １，　ベイズ学習の位置づけ まず，データサイエンスにおける他の方法論と，ベイズ学習の位置づけを簡単に俯瞰したいと思います． 僕の知る限り，ベイズ学習は1990年代ごろから登場してきた機械学習の方法論で，既存の学習アルゴリズムを確率モデルによって構築し，学習や予測の計算をすべて確率推論（条件付き分布と周辺分布の計算）で解決してしまおうという試みによってはじまりました．これにより，従来

前回の「ゲームプログラマからデータサイエンティストに転職しました」 の記事でもお話したとおり、5月からデータ解析する人になりました。 とはいえ、データ解析に関しては未経験。 少しでも不安を減らすために、4月の有給消化期間は統計学のお勉強しました。 今回はおすすめしてもらった中で読んで良かった本の紹介、そして読んだ本の簡単なまとめを書いて行きたいと思います。 ※前提: 4月時点の自分の知識に関して 自分は大学は情報科学を専攻していたが、難しい数式は苦手 統計学は1コマ分受講していたが、単語を覚えている程度でかなりあやうい まず一番最初に読みたい本 「完全独習 統計学入門」 「簡単に統計学の全体像がつかめる入門書はないか」とTwitterで相談したら、こちらの本を数名の方が薦めて下さった。 完全独習 統計学入門 作者: 小島寛之出版社/メーカー: ダイヤモンド社発売日: 2006/09/28メ

世界は数字であふれている。政治家の支持率から健康食品が病気のリスクを下げる確率まで、ニュースや広告を介して、新たな数字が次々とわたしたちに届けられる。しかしながら、その数字がどのようにつくられ、どのような意味を持つのかを真に理解することは容易ではない。特に、数字の送り手に悪意がある場合には注意が必要だ。50年以上前に出版された世界的ベストセラーの『統計でウソをつく法』で知られるように、統計を恣意的に用いれば、多くの人を欺くことはそれほど困難ではないのだ。 それでは、きちんとした科学研究室・大学によって裏付けられたデータならば無条件で信用できるのだろうか。そうではない、と統計学の講師でもある著者のアレックス・ラインハートはいう。科学者たちに悪意があり、統計学を歪めて使用しているわけではない。科学者たちもまた、わたしたち一般市民と同様に統計学をきちんと理解していないというのだ。 科学者は、統計

Pythonで統計学を勉強するメリット 統計学を学ぶにあたって、Pythonを利用するメリットを確認しておきましょう。 近年の統計業務は、Pythonを使ったアプリケーションで行うケースが増えており、Web上のノウハウや書籍が充実しています。これらを活用することで、統計学の知識が乏しい状態でも、Pythonを切り口として学習を進めやすくなっています。 煩雑な計算を省略できる Pythonは科学計算処理に必要なライブラリが充実しています。Pythonのライブラリには、統計で用いられる専門的な計算式が内包されており、基礎的な考え方さえ理解していれば、具体的な計算式を知らずとも実践的な統計を実行可能です。もちろん読書や座学でも学習は可能ですが、Pythonを利用することで「煩雑な計算の理解」に時間を取られずにすむため「統計を使ってできること」をダイレクトに理解し易くなるでしょう。 データが簡単に

本稿では統計学・データマイニング・機械学習関連書籍について 内容が易しいこと。数学力（特に微積・線形代数）を求められないこと 入手しやすいこと。絶版や学会に入らないと入手不可などではない、値段が安いこと 実務に繋げやすいこと。 持ち運びしやすいこと。忙しい新社会人が通勤中や休み時間ポケットからさっと取り出し、継続して勉強出来ること を主眼に選定したお薦め書籍を紹介します。 （満たせない要望も多いですが） 主な対象者は、文系で数学や統計学をやってこなかった、 プログラミングもわからない（Excelで四則演算やマウス操作くらいは使える） けどいつかマーケティングやデータマイニングやってやるぜ！ って考えてる新卒の方です。 筆者自身は経済学科出身の文系で、あまり数学力に自信がないなりに Web企業でデータマイニングをしているという人間です。 ここで紹介している内容で 「統計学・機械学習・データマ

追記（2017年7月） こちらのスキル要件ですが、2017年版を新たに書きましたので是非そちらをご覧ください。 「データサイエンティストというかデータ分析職に就くためのスキル要件」という話題が某所であったんですが、僕にとって馴染みのあるTokyoR界隈で実際に企業のデータ分析職で活躍している人たちのスキルを眺めてみるに、 みどりぼん程度の統計学の知識 はじパタ程度の機械学習の知識 RかPythonでコードが組める SQLが書ける というのが全員の最大公約数＝下限ラインかなぁと。そんなわけで、ちょろっと色々与太話を書いてみます。なお僕の周りの半径5mに限った真実かもしれませんので、皆さん自身がどこかのデータサイエンティスト（）募集に応募して蹴られたとしても何の保証もいたしかねますので悪しからず。 統計学の知識は「みどりぼん以上」 データ解析のための統計モデリング入門――一般化線形モデル・階層

2016 - 12 - 24 統計・R・Stan関連の本、用途別のオススメ10冊 書評 R Stan 年末年始向けに、比較的読みやすい本を中心にオススメします。 統計学 入門 色々読んでみましたが、現在決定版と言えるものは存在しないように思えました。個人的には、シグマと 積分 の復習、場合の数・数え上げの方法、確率、確率変数、確率密度、度数分布と ヒストグラム 、代表値・平均・分散、確率分布、同時分布、周辺分布、確率変数の変数変換、検定、散布図と箱ひげ図、回帰、相関あたりをRなどを使いながらシンプルに説明していく本があるといいと思うのですが、なかなかバランスのとれたいい本がありません。初歩の初歩しか説明してない、グラフが少ない、検定にページを割きすぎ、分厚い、ちょっと難しいなどの不満点があります。立ち読みして自分にあった本を選ぶのがいいと思います。ネットで検索して調べるのでもいいと思います

整然データとは、1) 個々の変数が1つの列をなす、2) 個々の観測が1つの行をなす、3) 個々の観測の構成単位の類型が1つの表をなす、4) 個々の値が1つのセルをなす、という4つの条件を満たした表型のデータのことであり、構造と意味が合致するという特徴を持つ。R言語などを用いたデータ分析の際には非常に有用な概念である。 はじめに データ分析の際には、データが扱いやすい形式になっている必要がある。データの中身がぐちゃぐちゃになっていたり、データの形式が統一されていなかったりすれば、分析は骨の折れる作業となる。 それでは、どのようなものがデータ分析において扱いやすい形式のデータになるのだろうか。この問題に対する唯一の正しい解答というものは存在しない。しかし、表の形式で表すことができるデータを考える場合、ハドリー・ウィッカム (Hadley Wickham) 氏が提唱した整然データ (tidy d

はじめに 数年前に「オンラインで無料で読める統計書22冊」という記事を書いた。タイトルにあるように、オンラインで無料で読める統計書として、入門者向けから高度なものまで合わせて22冊紹介した。 その後、オンラインで無料で読める統計書をさらに発掘したので、ここに紹介しておきたい。今回新しく紹介するのは、32冊である。「オンラインで無料で読める統計書22冊」と合わせてご覧いただきたい。 統計学の入門 まずは、統計学を始めて学ぶ人に向けて書かれた書籍を紹介しよう。 村上正康・安田正實．(1989). 『統計学演習』東京：培風館． 統計学を始めて学ぶ人のための入門書。 記述統計、確率分布、推定・検定の基礎、簡単な線形回帰といった内容を扱っている。入門書としてはオーソドックスなところを扱っていると言えよう。 中澤港．(2003).『Rによる統計解析の基礎』東京：ピアソン・エデュケーション． 統計学を始

石井准教授の作成した「統計解析ソフトRのスクリプト集」をオンラインで公開します。名古屋大学教育学部の「心理・教育の統計学」の授業で実際に使用されている教材です。学習・研究にご活用下さい。 2016.4.5 Ver. 4.0βを公開しました。棒グラフオプション、オメガ係数、効果量、標本サイズの推定などの記述が加わりました。 2015.3.18 Ver. 3.0βを公開しました。記述統計量の算出の部分を統一的にしたのと、データ例を書籍にあわせて変えています。 2014.11.4 Ver. 2.2βを公開しました。 統計解析ソフトＲのスクリプト集 (PDF) 下記のサイトでは、シラバスと講義資料が公開されています。あわせてご活用下さい。 「心理・教育の統計学」（名大の授業） 講義資料 (PDF) ーーー はじめに　石井秀宗 この冊子は，心理学や教育学の研究でよく用いられる統計手法に関して，統計解

米国FDAで公認され、ハーバード大学やイェール大学の授業で利用されるようになり、世間での認知度が着実に上昇している統計用プログラミング環境のRだが、ユーザーなのか、ユーザーになりたいのか、ユーザーとして振舞いたいのか分からない人が増えてきた。 スノッブなユーザーとして振舞う場合は、Rの特性を語れる必要があるので、ユーザーになるよりもRへの知識や理解が必要で、実は難易度が高い行動である。それでもあえて意識の高いRユーザーとして振舞いたい人々のために、最低限求められる事のチェック・リストを用意してみた。 1. 参考文献や参考ページを押さえておく 一番大事な事だが、参考文献や参考ページを押さえておこう。公式サイトで配布されている、「R 入門」「R 言語定義」「R のデータ取り込み/出力」は持っておくべきだ。R-TipsやRjpWikiも参考になる。 2. 演算子や制御構文をマスターする 四則演算

ここ数年、私はデータサイエンスについて学んでいます。おすすめの学習資料を紹介したいと思います。 教師用の教科書と初心者用の教科書 私自身、データサイエンスを学ぼうとして色々なソースを試してみました。残念なことに、日本語の良い学習資料は見つけられませんでした。どこかのブログで読んだことがありますが、教科書は教師用と学生用の二週類があるそうです。一つめは内容が既に分かっている教師の為の教科書で、日本はこのタイプです。もう一つのタイプの教科書は自学自習を目的に作られているので、教師なしで学ぶできる教科書になっているということで、アメリカはこのタイプの教科書が多いです。私自身、他の文系・理系の教科書を探した時もアメリカの教科書の方が分かりやすく、その本だけを読めば分かるようになっていると同じ印象を持ちました。 オンライン教育（MOOC） アメリカは科学教育に熱心であり、最近はやりのMOOCでも豊富