一般社団法人データサイエンティスト協会（所在地：東京都港区、代表理事：草野 隆史、以下データサイエンティスト協会）は、構造化データの加工について実践的に学ぶことができる無料の学習環境「データサイエンス100本ノック（構造化データ加工編）」をGitHubに公開しました。 「データサイエンス100本ノック（構造化データ加工編）」は、データサイエンス初学者を対象に、データの加工・集計、統計学や機械学習を駆使したモデリングの前処理等を学べるよう、データと実行環境構築スクリプト、演習問題をワンセットにしています。 近年、データ活用の重要性についての認知が広がる中で、書籍やWebサイトなど、データ分析のスキル向上に役立つ情報源も多く提供されています。一方で、実践するための「データ」や「プログラミング実行環境」を持ち合わせていないことも多く、「実践力」を身につける機会が限られていました。特に、「構造化デ

2020年1月25日に行われた第83回Tokyo.Rでの発表資料です https://tokyor.connpass.com/event/161709/ 資料で使われたコードは以下になります https://github.com/dropout009/tokyoR83

機械学習・データサイエンスのチートシート集、便利なものがたくさん出回っていますが、ちまちまブラウザからダウンロードしていたりしませんか？そんな貴方にお勧めなのがこちらのレポジトリ。 FavioVazquez/ds-cheatsheets https://github.com/FavioVazquez/ds-cheatsheets はい、クリックあるいはコマンド一つで100を超えるチートシートが一括でダウンロードできちゃいますね。以上、釣りタイトル失礼しました。 と、これだけではなんなので、個人的に有用性が高いと感じたものを、大きなサムネイル付きでまとめてみました。ソースとして、DataCamp及びRStudio公式ページの情報量は圧倒的なので、一読をお勧めします。 科学計算・データ操作・可視化 Python (NumPy/SciPy/Pandas/matplotlib/bokeh) Pyt

Tokyo.R#53 での発表資料

Commandeur & Koopman「状態空間時系列分析入門」をRで再現する 仕事の都合で仕方なく状態空間モデルについて勉強していたのだけれど(なぜ私がこんな目に)、仕事で使うためには自分で計算できるようにならなければならない。 参考にしているCommandeur & Koopman 「状態空間時系列分析入門」（以下「CK本」）の著者らは、すべての事例についてデータとプログラムを公開している。ありがたいことであります。しかし、ssfpackという耳慣れないソフトを使わなければならない。わざわざ新しいソフトの使い方を覚えるのは大変に面倒だ。できれば普段使っているソフトで済ませたい。 というわけで、勉強かたがた、CK本に出てくる計算例を片っ端から R で再現してみた。汗と涙の甲斐あって、すべての章についていちおう再現できたので、ここに載せておくことにする。 もくじ: Rプログラム紹介 全体

タイトルの本を頂きました。ありがとうございます。僕は原著を少し読んだことがあり、こちらで非常に評判が高い本です。翻訳にもかかわらず原著とほぼ同じ値段で購入できます。 先にJAGSになじみのない方へ説明しておきますと、JAGSはRコアメンバーの一人でもあるMartyn Plummer氏によってC++で開発されたMCMCソフトウェアです。Rから使うのが多数派ですが、PythonからもPyJAGSによって使うことができます。 複雑なモデルでなければStanより収束が早く、離散値をとるパラメータも使えるため、プログラミングがそんなに得意でない人がベイズ統計モデリングをはじめるには一番向いていると思います。最近、再び活発に開発され始めたようで、先日JAGS 4.3.0がリリースされました。 JAGS 4.3.0 is released https://t.co/3jExabWcPI— Martyn

先日、以下のイベントで話しました。 『StanとRでベイズ統計モデリング』読書会(Osaka.Stan#5) : ATND 発表資料は以下です。 MCMCサンプルの使い方 ～見る・決める・探す・発生させる～ from Kentaro Matsuura 理論的には事後分布や予測分布の使い方というのが正しいですが、プログラミング言語との相性を考えてMCMCサンプルの使い方というタイトルにしました。自著ではモデリングのやり方の体得にフォーカスしていますが、事後分布や予測分布が得られるメリットについては分野や人によって異なるので詳細は省きました。いつか補おうと思っていたので良い機会でした。 読書会では、小杉先生の発表やLTもめちゃ面白く、東京のStan勉強会では見たことがない盛り上がりを見ました。ネット上でしか知らなかったベイジアンにたくさん会って話すことができてよかったです。調子に乗って3次会ま

Rによる美しいグラフの作成に欠かせないパッケージ "ggplot2" ですが、 グラフ作成のたびにネット検索したり自分の以前のコードを掘り起こしたりしませんか？ author: Unadon (見習い飯炊き兵) 動作環境:Mac OS Sierra 10.12.1; R　version３.３.１; rstan 2.10.1 まずはTwitterでこの記事をシェアする はじめに ggplot2のグラフ作成で迷った時、チートシートやマニュアルは役に立つけど援用しにくいんですよね。「何を言ってるのかわからない」っていうのが結構あります。 「軸ラベル」と「軸タイトル」ってどれがどれなん？など、そういう初歩的なところで引っかかったりして、 目的(こういう図にしたい！)と手段(コード)の間の知識を埋めるのが手間で「もうイヤ！」ってなる。 で、次すぐに忘れてる。 なので、頻繁に使用するggplot２の基

Tutorial R Tutorial ggplot2 ggplot2 Short Tutorial ggplot2 Tutorial 1 - Intro ggplot2 Tutorial 2 - Theme ggplot2 Tutorial 3 - Masterlist ggplot2 Quickref Foundations Linear Regression Statistical Tests Missing Value Treatment Outlier Analysis Feature Selection Model Selection Logistic Regression Advanced Linear Regression Advanced Regression Models Advanced Regression Models Time Series Time Serie

※この投稿はR Advent Calendar 2016の6日目の記事です。 11/27のJapan.R 2016でLTしたtidyverseについて書きます。スライドは以下です。 Tidyverseとは from yutannihilation （ちなみに、この投稿のタイトルは@siero5335さんのツイートがエモくてすてきだったので勝手に拝借しました。すみません） tidyverseとは 単に「tidyverse」と言ったときに、この言葉が指す対象はいくつかあります。 概念 パッケージ （GitHub上の）組織 あと、誰が運営しているのか分からない謎のTwitterアカウントとかもあるんですが、あれはたぶんただの脇役なので捨ておきましょう。以下、順番に説明していきます。 tidyverse（概念） tidyverseというのは、R界の神として崇められるHadley Wickhamが作

更新日:11月27日20時51分

StanのPythonバインディングであるPyStanが公開されて久しいですが、検索してもあんまり情報がヒットしません。ちょっと寂しいと思ったので、インストールやtraceplotの出力なども含めて、以下の本の5.1節「重回帰」の一部を実行してみました（ステマです）。 StanとRでベイズ統計モデリング (Wonderful R) 作者:健太郎, 松浦発売日: 2016/10/25メディア: 単行本 本自体の紹介は以前の記事を読んでいただければと思います。 「StanとRでベイズ統計モデリング」松浦健太郎 という本を書きました - StatModeling Memorandum インストール Windows 7 64bit、Python 3系でのインストール手順を説明します。 AnacondaでPythonなどをインストール コマンドプロンプトからpip install pystanでpy

ドーモ、インフラチームの湯谷（@yutannihilation）です。 サイボウズ社内では活発に社内勉強会が行われています。そんな社内勉強会のひとつ、Rと統計の社内勉強会で発表したグラフ描画ツール「ggplot2」についての資料を公開します。 ggplot2再入門 from yutannihilation www.slideshare.net （アニメーションを省略したので少し見づらいスライドもあります。ご容赦ください） Rと統計の社内勉強会について Rと統計の社内勉強会は、マーケティングや開発など様々な部署のデータ分析に興味がある人が集まって始まった勉強会です。なんだかんだでもうかれこれ2年ほど続いています。 毎週一回昼休みに集まって、統計に関する本を輪読したり、統計に関連する話題を持ち寄って発表したり、統計的なマサカリが飛んで来たりします。 私は統計のことがあまり分からないので、こうい

はじめに dplyrの使い方にちょっと慣れてくると、「あー、これもうちょっと簡単にできないの？」みたいな事が出てきたりします。 今回は、そんな悩みをほんのちょっと解決できるかもしれない、Window関数について解説したいと思います。 SQLに詳しい人はすぐイメージできると思いますが、私の周りにもWindow関数の存在自体を知らない人が結構居たのでいい機会なので、ざっくりまとめます。 dplyrってなんぞやという方は、基礎編の記事を見ていただければと。 Window関数を使うと簡単にできることの例 とは言っても、具体的に何ができるのか、分からなかったら読むのもメンドクサイので、まずは簡単にできることを紹介します。 ランキング（タイ順位考慮あり、なし等含む） 前日比、前週比（前後のレコードとの比較等） 累積（累積和等） 移動平均（Windowサイズの指定、Windowの位置、重み等） どれも自

第50回 TokyoR 発表資料 Stanコードは下のサイトで公開しております。 https://github.com/teuder/TokyoR50

はじめに 統計解析の手法を学ぶのに、教科書を読むのは素晴らしい学習方法です。 しかし、教科書で理論的なことを学んだだけでは、統計手法を使いこなせるようにはなりません。 統計解析手法を身につけるには、実際のデータについて手法を適用し、パラメータを変えるなどの試行錯誤を行い、結果を考察するというような経験を積むことが大切です。 それでは実際のデータをどうやって手に入れましょうか？ 実験や調査をして実際のデータを得るのは大変でお金もかかります。 幸運なことに、世の中には適度なサイズの自由に使えるデータがたくさん存在します。 例えば、統計言語 R には、100以上ものデータセットがデフォルトで付属しています。 ただし、不幸なことに、それらのほとんどは英語で説明が書かれています。 英語は、いつかは乗り越えなければならない壁ですが、最初のうちはちょっと避けて通りたいところです。 というわけで、今日は、