Welcome the R graph gallery, a collection of charts made with the R programming language. Hundreds of charts are displayed in several sections, always with their reproducible code available. The gallery makes a focus on the tidyverse and ggplot2. Feel free to suggest a chart or report a bug; any feedback is highly welcome! Stay in touch with the gallery by following it on Twitter. Oh and if you wa

※タイトルで煽るのは良くないと思ったのでタイトルを変えました。 まだExcelで消耗してるの？Pythonによる自動集計ガイド 基礎編 - Qiitaを読んでいて（Rのが絶対便利…！）というお気持ちが強まってきたので勢い余って書きました。 はじめに PythonはColaboratoryで手軽に試せて非常に良いです。実は、RもColaboratoryから使うことができます。ColaboratoryにはRのカーネルが既に入っているのですが、表から見えないようになっているだけなのです。 そこで、見えるようにしたものを用意しました。 R Example - Colaboratory このノートブックを使えば、Rだってすぐ試せます（もうちょっと詳しい説明はColaboratoryでRやSwiftを使う - Qiitaをどうぞ）。 試して下さい。今すぐ。 使用するパッケージ 主にdplyrを使います

本記事は、R Advent Calendar 2017の14日目の記事です。 これまで、R言語でロジスティック回帰やランダムフォレストなどを実践してきました。 Rは統計用のライブラリが豊富、Pythonは機械学習用のライブラリが豊富。というイメージがありますが、Rでも機械学習は可能です。 今回は、Kerasという深層学習を行うのに便利なライブラリを使って、画像分類に挑戦してみます。 車や船など10種類の画像を含むCifar10という超有名なデータセットを用います。 Cifar10について詳しくは、Cifar10をご覧ください。 また、今回は畳み込みニューラルネットワークを使って画像分類を行います。畳み込みニューラルネットワーク自体の説明は本記事ではしておりませんのでご注意ください。 ニューラルネットの基本的な考え方から畳み込みニューラルネットワークについては、以下の書籍で勉強するのが良いと

データ分析ガチ勉強アドベントカレンダー一日目。 まずは指針をということで、データ分析をはじめるにあたって勉強しておきたいことと、そのリソースをまとめる。言語はPythonを想定。 興味領域が偏っている場合があるのであしからず こんなの面白いよっていうのあれば教えてくださいな ※随時更新します Pythonライブラリ 深いアレたち 機械学習のお勉強 論文 arXiv カンファ e-learning 本 twitter データを集める チートシート類 終わりに Pythonライブラリ こんなの勉強しておけば良さそうリスト。抜け漏れご容赦。 ★★★ : 必須。空で使えるようになりたいトコロ。 ★★　 : 周辺ツール、知っていればより便利になるよという感じ ★　　 : あるアルゴリズムに特化しているようなもの。一歩先 ライブラリ 必須度 用途 numpy ★★★ 数値計算用のライブラリ。いろいろし

以前@berobero11さんに「StanとRでベイズ統計モデリング」をプレゼントしていただき、本を読んだのですが解析したいデータがなかったため勉強した結果を活かすことができずにいました。 しかし今日Twitterを見ていたら 長時間労働は，知的好奇心を枯らすのか。 pic.twitter.com/NcuaLAgzpy— 舞田敏彦 (@tmaita77) 2017年11月13日 労働時間と知的好奇心には，国レベルでは非常に強い負の相関があるが，個人レベルでは逆に正の相関がある https://t.co/N8Z00ljFfB— Haruhiko Okumura (@h_okumura) 2017年11月15日 というまさに階層ベイズモデルを用いた解析にぴったりのテーマが流れてきたのでStanの練習として解析を行ってみました。 モデリング まずは奥村先生のPIAACデータ解析を読んでください。

さて、改めて今回の目的を確認しておくと、機械学習を使って東京都23区のお買い得賃貸物件を発見しよう、というものです。前回までの記事で、お買い得賃貸物件を発見するためのデータを収集し、分析にかけられるよう前処理してきました。 www.analyze-world.com www.analyze-world.com 今回の記事では、いよいよ機械学習を使って分析していきましょう。前回まではPythonを使っていましたが、この分析ではRを用いています。なお、コードはGitHub（https://github.com/ShoKosaka/Suumo）に上げておきますので興味ある方は参照ください。 最初に、データの中身をざっくり見ていきます。具体的には、分析のキーになるポイントをグラフにしながら、賃貸物件の現状や変数同士の関係性を把握していきます。 データ探索 まず、23区の中でどこが物件数が多いのかを

突然ですが，みなさま普段データ分析を行う際にどのような分析環境（ツール）を利用していますか？Excel？RStudio (R)？Spyder (Python)？「特にそういった分析環境を利用していません」という方もいらっしゃるかもしれません． この記事では，数ある分析環境の中でも人気急上昇中（※当社比）のJupyter Notebookに注目し，Jupyter Notebookを利用したお手軽な分析環境構築について紹介します． Jupyter Notebookとは？ Jupyter Notebookとは，ブラウザ上でインタラクティブにデータ分析が行える環境です． ※最近では分析用途だけに留まらず便利なメモ帳としてJupyter Notebookを利用する例も増えているようです．参考：現代のエンジニアのための強力なメモ帳 Jupyter notebookのすゝめ オープンソースで開発が進めら

Julia ときどき R, Python によるコンピュータプログラム，コンピュータ・サイエンス，統計学 CSVからHTMLに変換しよう 締め切りが 2017/03/02 10:00 AM なので（三ヶ月も先だぞ），その 1 分後に投稿されるように予約 設問 あなたはCSVフォーマットのデータを、テーブルタグを用いてHTML化する仕事を任されました。 もちろんこのような処理を行うツールはありますが、今後カスタマイズすることを前提に自動化したいとのこと。 そこで、CSVからHTMLに置換するプログラムを作ることになりました。 求められるプログラムの前提条件は、以下の通りとなります。 標準入力から、CSVフォーマット(wikipedia参照）のデータが送られる なおCSVはコンマ「,」(U+002C) 区切りで、文字列フィールドはダブルクォート「"」(U+0022)で囲まれる場合がある CSV

前回の投稿では、言語のword embeddingモデル（WEM）という新しいモデルの概要を説明し、基本的なWEM操作が簡単に実行できるR言語のパッケージを紹介しました。 この記事はほとんど、デジタルヒューマニティーズのコミュニティの皆さん向けに書きました。本稿では、ratemyprofessors.comの教職員メンバーによる約1,400万のレビューを使ってトレーニングした1つのword2vecモデルについて、詳しく説明します。 ^(1) このモデルの注目点は、ジェンダー（性別）を示す言葉について分析する際に、こうした機械学習のモデルがどこまで役立つのかについて、具体的な研究ができるということです。この記事で、機械学習のモデルのトレーニングには興味のない方の関心も引くことができればうれしいと、私は思っています。コードを多少提示しますが、読み飛ばしてくださって構いません。 では前回の投稿を

この記事が想定する読者層 もしあなたが「プログラマー」ならば、この記事はまるで不要かもしれません。 ここで言うプログラマーとは、たとえば以下のような習慣を持っている人です。 ほとんど同じ処理をソースコード中に2回以上書いていたら違和感を感じる 出力結果が変わらなくても、実行速度や理解しやすさのためにソースコードを書き直すことがある Gitなどのバージョン管理システムを使うことができ、過去のソースコードを「日付の含まれたファイル名でバージョンごとに別ファイルとして保存しておけばよい」とは考えない 動作テストを自動化し、ソースコードを書き換えてもそれぞれの関数の挙動が意図したものになっているかを確認できる この記事は、ひょんなことからRに出会い、コードをコピペで動かせるようになり、 「いつかコピペじゃないコードが書けるようになりたい」 「他のプログラミング言語もできるようになりたい」 とぼんや

主観的な観点からPythonとRの比較した記事は山ほどあります。それらに私たちの意見を追加する形でこの記事を書きますが、今回はこの2つの言語をより客観的な目線で見ていきたいと思います。PythonとRを比較をしていき、同じ結果を引き出すためにはそれぞれどんなコードが必要なのかを提示していきます。こうすることで、推測ではなく、それぞれの言語の強みと弱みの両者をしっかりと理解できます。 Dataquest では、PythonとRの両方の言語のレッスンを行っていますが、データサイエンスのツールキットの中では両者ともそれぞれに適所があります。 この記事では、NBA選手の2013/2014年シーズンの活躍を分析したデータセットを解析していきます。ファイルは ここ からダウンロードしてください。解析はまずPythonとRのコードを示してから、その後に2つの異なるアプローチを解説し議論していきます。つま

データを本格的に解析する前におこなっている「データの特徴を把握する作業」のコマンド紹介です。内容はデータの作成、ファイルの読み込み、データ構造、要約、分散、ヒストグラム、インタラクティブな散布図、データを作業フォルダにcsvで保存するコマンドです。 実行コマンドはR version 3.2.2で確認しています。

演習用のスクリプトは以下にあります． Python http://nbviewer.ipython.org/gist/canard0328/a5911ee5b4bf1a07fbcb/ https://gist.github.com/canard0328/07a65584c134a2700725 R http://nbviewer.ipython.org/gist/canard0328/6f44229365f53b7bd30f/ https://gist.github.com/canard0328/b2f8aec2b9c286f53400

こんにちは、検索・編成部ディレクターの岡根谷です。 クックパッドを訪れてレシピ検索するユーザーさんの検索成功率を上げるために、日々施策を行っています。 自信を持って進めるためには客観的なデータ はじめはどんなによさそうと思った施策でも、進めていく中で、自分や一緒にやっているエンジニアが施策の価値に自信をなくして停滞する瞬間が必ずあります。 そんな時、A/Bテストの結果などの客観的な定量データは非常に心強いです。客観的な裏付けがあると、判断に対しての迷いがなくなり、前向きに改善に取り組んで価値を生み出していけるようになります。 客観的データを自分の言葉で伝えたい しかし、このよく言う「施策の効果を数字で」というのは、いざちゃんとやろうとすると非常に手間のかかるものだったりします。 ある機能が検索成功率を上げるのに有効ということを示すために、 「機能ありの方がなしの場合より検索成功率高めだから

はじめに Rによる言語処理100本ノック（2015版）が折り返したので、まとめ記事を書きました。Rの実行結果は下記のRPubsにアップロード済みですので、ご確認ください。 第1章:準備運動 第2章:UNIXコマンドの基礎 第3章:正規表現 第4章:形態素解析 第5章:構文解析 RmdファイルはGitHubにあります。 github.com 「言語処理100本ノック」とは？ 『言語処理100本ノックは，実践的な課題に取り組みながら，プログラミング，データ分析，研究のスキルを楽しく習得することを目指した問題集です』 （下記の公式サイトより） www.cl.ecei.tohoku.ac.jp プログラミング言語と言語処理の勉強に非常に有用でかつ実践的な内容ですので、皆さんもチャレンジしてみてください。 「Rによる言語処理100本ノック」前半振り返り 以下では各章をRで解いた際（特にパイプ処理を活