Rで混合分布クラスタリングを行うときに有名なパッケージとしてflexmixが存在します。この記事ではflexmixの簡単な使い方を解説します。 flexmix自体は潜在クラス回帰を行うパッケージなのですが、混合分布クラスタリングを行うことも出来ます。 flexmixはRのglmクラスを用いてモデルを表現出来るため、他のパッケージに比べて柔軟なモデリングが可能というメリットがあります。 そもそも、混合分布クラスタリングとはなんぞやという人は以下の本文を参考にしてください。 １．モデルベースのクラスタリングとは クラスタリングは代表的なものとして、以下の３つの方法が存在します。 おそらくk-meansと階層的クラスタ分析はみなさんご存知でしょう。 分類 メリット・デメリット 手法 階層的手法 ＋データを樹形図として表現可能 ‐データ数が多いと、樹形図として表現できないのでデータ数が絞られる。

まずは教科書を紹介します。 Observational Studies (Springer Series in Statistics) 作者: Paul R. Rosenbaum出版社/メーカー: Springer発売日: 2010/12/03メディア: ペーパーバック購入: 1人 クリック: 26回この商品を含むブログ (1件) を見る Rosenbaum先生は傾向スコア（propensity score）を提案した方です。 この教科書に書いていあるのは傾向スコアについてだけで、IPWやDRは書いてありません。 日本語はこちらの星野先生の本。 調査観察データの統計科学―因果推論・選択バイアス・データ融合 (シリーズ確率と情報の科学) 作者: 星野崇宏出版社/メーカー: 岩波書店発売日: 2009/07/29メディア: 単行本購入: 29人 クリック: 285回この商品を含むブログ (26

先日、ライブドアニュースを見たら単身世帯（一人暮らし世帯）の平均貯蓄額が出ていました（こちらの記事）。 金融広報中央委員会「家計の金融行動に関する世論調査【単身世帯調査】」（2016年）によると、単身者（一人暮らし）の人の平均貯蓄額は822万円、中央値は20万円という結果が出ていました。 さすがに平均822万で中央値が20万円ってことはないんじゃないかな…と思い、実際に金融広報中央委員会の統計をチェックしてみると、この金額はまったく間違いではなく事実であることが判明。 どうやら「貯金ゼロ世帯」が非常に多いために、中央値が限りなくゼロに引きずられてしまっているようなのです。 単身世帯の実に48.1％が貯金ゼロ： いくつか参考までに統計結果を紹介させていただきます。 まずは20代～70代の単身世帯のうち、金融資産ゼロ（要するに貯金ゼロのこと）の世帯がどのくらいいるのかの比率からです。 ご覧いた

概要 今回は GMM (一般化積率法, 一般化モーメント法) について, 操作変数法との関連に重点して話す. そもそも GMM とはなにか. GMM と操作変数法 (2段階最小二乗法) との関係 操作変数を使った推定法のバリエーション 職場の統計推論に詳しい人に「GMM って知ってます?」と話題を振ったら「GLM?」と訊き返された. どうも GMM は経済学 (と数理ファイナンス?) 方面でしか使われないらしい. その場では GMM の簡潔な説明を披露できなかったので, ここで説明をまとめておく. GMM の特徴として, 操作変数を使った推定方法を内包しているという点がある. よって, 2段階最小二乗法や構造方程式モデリングとも関連する手法であると言える. また, GMMは使われてなさそうだが, 臨床研究の分野でも操作変数法が認知されているようだ. 例として, Rで学ぶ観察データでの因果推

こんにちは！ なんでもディープラーニングでやりたがる癖が抜けず、3ヶ月のディープラーニング禁止令を言い渡されていた後藤です。 本記事ではVASILYで利用しているデータ分析の環境について紹介します。 VASILYではデータ分析が必要な場面で、BigQueryとTableauを組み合わせて利用することが多いため、これらの実際の活用例とTableauの選定理由について紹介したいと思います。 以前、CTOがデータ周りの環境の全体像を紹介しました。 tech.vasily.jp 社内ではBigQueryを中心にデータ周りの環境が構築されており、そこからデータ活用のあらゆる業務へつながります。 データの可視化と社内への共有は主にTableauを使っています。 まずは、BigQueryとTableauの説明から始めます。 BigQuery とは BigQueryとは、Googleが提供しているデータウ

新たなライブラリsonnet sonnetとは DeepMind社製であること TensorFlowと共に使える TensorFlow TensorFlowの役割 TensorFlowの追加ライブラリ Keras TensorFlow-Fold edward sonnet sonnet使ってみた記事まとめ 多分日本語最速で出た使ってみた記事 インストールから丁寧に コードに対するコメントが豊富で参考になる記事 新たなライブラリsonnet sonnetとは DeepMind社が社内で利用していた深層学習ライブラリです。 昨日これがオープンソース化されました。 DeepMind社製であること DeepMindは現在Google傘下の人工知能開発企業です。 圧倒的な専門家集団の集まりであり、深層学習の研究にGoogleが乗り切る際に、DeepMind社は買収されました。その後、資金力と研究力を

Tomas Mikolovらによって提案されたニューラルネットワーク（CBOW, Skip-gram）のオープンソース実装word2vecについて、基本的な使い方を体験し、さらにその仕組みを学ぶ書籍です。 基本的な使い方から、自分の好きなコーパスの作り方、登場の背景、仕組み、さらには応用例や弱点についてもコンパクトなボリュームで概観できます。付録にはword2vecの出力結果を主成分分析を使って可視化する方法について解説しています。 著者の西尾さんによる本書の解題[リンク] はじめに 1章　word2vecを使ってみる 書き換えてみよう 2章　コーパスを変えてみる text8 単語に分割する（MeCab） CSVからのコーパス作成 Facebook EPWING Wikipedia PDFからの抜き出し まとめ 3章　word2vecの生まれた理由 文章の表現 4章　word2vecの仕組

こんにちは！ほけきよです。 ベン図ってご存知ですか？ 高校1年か2年くらいで習う、集合を表す図です。 文系が高校数学において、唯一社会人になっても使う理系の図かもしれません。 どのくらい大事かというと、このように、「会議でスマートに見せる100の方法」の第1項目にあげられるほど重要です。 (出典)会議でスマートに見せる100の方法 ベン図を制してこそ、会議を制することができ、また出世街道を制することができると言っても過言ではないのです。 しかし、この図のように本当に, つまりたった2つの集合のベン図を書くだけで頭が良いと言えるでしょうか？？ 今回は、3つ以上のベン図を紹介します。これを書くことで、真の会議の王者になりましょう！ n=2 n=3 n=4 n=5 美しいベン図はどこまで書くことができるの？ n=7 美しいベン図のフロンティア、n=11 終わりに n=2 基本の型ですね。ベン図で

DAGシリーズの（とりあえず）最終回です。よく「因果関係と相関関係は違う」*1といいますが、具体的にどのような場合に両者が一致しない（バイアスが生じる）のかをDAGをつかって整理します（簡単にそれぞれのバイアスへの対応策にも言及しますが、各手法の詳細は別の機会に譲ります）。 シリーズ第一回と第二回では、DAGを使う意義やその書き方・読み方のルールについて書いてきましたが、実はこれらはすべて今回の第三回につなげるための伏線でした。本記事はDAGに関する基礎知識を前提として書き進めていくので、不安な方は過去記事を参照してみてください。基本的な内容ではありますが、介入効果の評価などデータを扱って因果関係を考えていくうえで避けては通れない非常に重要な内容だと思うので、気合いをいれてまとめてみます。 まずは用語の定義 ニセの関連が生じるパターン１：交絡 古典的な交絡の定義 DAGによる交絡の整理と交

自分のやっていることで並列プログラミングの必要性が出てきたので、かねてから気になっていたGP（汎用）GPUプログラミングの環境を構築しました。 実際環境を整えようとしたところ結構苦労したので、備忘録として今回行ったインストール手順をここに記そうと思います。誰かの助けになれば幸いです。 検証環境 OS:Windows10 Pro (64bit) CPU: Intel Core i5-4460 RAM: 8.00GB GPU: GeForce GTX 750 Ti 必要なもの 必要なものは以下の通り。 * Visual Community 2013 * CUDA7.5 * CUDAに対応したGPU　（自分のもってるGPUが対応してるかどうかはここで調べてくだされ。） インストール手順 Visual Community 2013のインストール CUDA 7.5のインストール CUDAは基本的にＣ

教師なしRNNによる連続した不完全情報（主にテキスト）の補完 背景 Google（や、過去の私のブログの投稿）などで低解像度の映像を高解像度化する方法は、GANを使うことでわりとうまくいきました。 テキストにも同じような問題が適応できるのかって思うことがあります。RNNはすでに記述されている文字をヒントとして次の文字を予想することができます。 その特性を利用して、情報が失われたテキストから復元を試みる例を示します。 (また、戦時中の戦艦に乗っていた搭乗員の劣化した手記から情報を復元したいという思いがあります。手記の海水に沈み腐敗が進んでいたり、筆記が乱れていて解析が困難であったりという点を補完できれば良いと思います。彼らの思い、可能な限り現代に蘇らせたいと思います。) 先行研究 今回は見当たらない（ほんとに存在しないんだったら、論文出したい） 手法 RNNで欠落した連続する情報を周辺の単語

[レベル: 上級] amp-analytics を用いた AMP ページのアクセス解析には大きな問題があることを Christian Oliveira（クリスチャン・オリヴェイラ）氏が自身のブログで指摘しました。 具体的には、次のレポートが非常に信頼性に乏しいデータになっています。 ユニーク ユーザー セッション 直帰率 ページ/セッション 参照元 そもそもの原因はCookie どんな問題が出てくるかはこの後説明するとして、問題が発生するそもそもの理由は Cookie に起因します。 AMP コンテンツは、その AMP ページを実際にホストしてるドメイン（僕たちのサイト）ではなく、AMP CDN のキャッシュから返されます。 AMP CND サーバーのドメイン名は、cdn.ampproject.org です（現在は、各サイト固有のサブドメインが割り当てられている）。 キャッシュされたAMP

はじめに Udacityというネット上のビデオを視聴する形で受講できる講義を提供しているサイトがあります。 Learn the Latest Tech Skills; Advance Your Career | Udacity サイトや講義は英語なのですが、その中で Machine Learning for Tradingという講義を見つけました。 この講義は主に3つのパートに分かれています 金融データをPythonで操作する コンピュータを使った投資 取引に使う機械学習アルゴリズム 1つ目のパートを視聴したので、Pythonの基本的な知識の部分で知らなかった点を、実際のデータを操作する中で紹介しようと思います。 2つ目と3つ目はまた後日にでも。。 目次 はじめに 目次 今回使用するデータとJupyter Notebook データの読み込み 移動平均の計算 pandasのrollingを使

2ちゃんねるまとめサイトで、totoBIGを2回購入したら、それぞれの5口が連続同じ結果になってしまった話が掲載されていました。 totoBIG第909回 写真左 5口買い 写真右 10口買い 1〜5番目までくじが完全一致 pic.twitter.com/WlcGBR4rGy — 540 (@4DOqRqe5bPw4tUh) 2017年2月15日 totoBIG 1〜5口目まで全く同じ pic.twitter.com/pvlGQcQZdI — 540 (@4DOqRqe5bPw4tUh) 2017年2月15日 内容を一言で言うと、2回totoBIGを購入し、1回目は10口、2回目は5口買った結果、 最初の5口が2回とも全く同じ結果なってしまったという状態でした。 あまりにも確率が低すぎる出来事なので、2ちゃんねるでは不正があったのか？などと疑念を持ったコメントも見られました。 まず、tot

GoogleのAIライブラリ「TensorFlow」がVer.1.0に　高速化してより柔軟に、新APIも追加 Googleがオープンソースで公開しているディープラーニング対応の機械学習ライブラリ「TensorFlow」が“プロダクトレディ”なバージョン1.0にアップデートした。58倍高速化し、多数の新APIが追加され、Python APIの安定性が向上した。

中東・アフリカ７カ国からの一時入国禁止を命じた大統領令が法廷闘争になる中、トランプ米大統領は６日、フロリダ州の空軍基地で演説し、「米国と米国民を愛する人々の入国を許可する強い計画が必要だ。米国を壊そうとする者たちの入国は許せない」と述べ、大統領令の正当性を訴えた。 トランプ氏は、イスラム過激派のテロを根絶するとし、「我々の国に根を張ることを許さない」とした。さらに、米国や欧州でテロが相次いでいることをあげ、「報道すらされていない。多くの場合、非常に不誠実なメディアは、報道したがらないのだ」と語った。米国や欧州でのテロ事件に関し、米メディアは大きく報道しており、トランプ氏の指摘の根拠は不明だ。 米メディアによると、ホワイトハウスはその後、メディアの報道が不十分とする欧米や中東などで起きた７８のテロ事件をリスト化。広く報じられている２０１５年のパリ同時多発テロから、犠牲者がいないエジプトでのテ