Meet Michelangelo: Uber’s Machine Learning Platform
Data / MLMeet Michelangelo: Uber’s Machine Learning PlatformSeptember 5, 2017 / Global Uber Engineering is committed to developing technologies that create seamless, impactful experiences for our customers. We are increasingly investing in artificial intelligence (AI) and machine learning (ML) to fulfill this vision. At Uber, our contribution to this space is Michelangelo, an internal ML-as-a-serv
BdashというBIツールをリリースしました - hokaccha memo
BdashというアプリケーションをElectronで作りました。 bdash-app/bdash: A simple business intelligence application. 以下からダウンロードしてインストールできます（現状まだMac版だけ）。 https://github.com/bdash-app/bdash/releases ざっくりとこんな感じのことができる。 SQLを書いて保存＆実行できる 結果を元にグラフを書ける gistで共有できる 現状で対応しているデータソースはMySQL、PostgreSQL（Redshift含む）、BigQuery 仕事でRedshiftを使って分析SQLを書くことが増えて、手元ではJupyter Notebookを使ってたんだけど、SQL書いてグラフを書くだけの用途には若干オーバースペックでもうちょっと簡単にできるといいなと思ったのがき
Python pandas 欠損値/外れ値/離散化の処理 - StatsFragments
データの前処理にはいくつかの工程がある。書籍「データ分析プロセス」には 欠損など 前処理に必要なデータ特性の考慮とその対処方法が詳しく記載されている。 が、書籍のサンプルは R なので、Python でどうやればよいかよく分からない。同じことを pandas でやりたい。 データ分析プロセス (シリーズ Useful R 2) 作者: 福島真太朗,金明哲出版社/メーカー: 共立出版発売日: 2015/06/25メディア: 単行本この商品を含むブログ (2件) を見る とはいえ、pandas 自身は統計的 / 機械学習的な前処理手法は持っていない。また Python には R と比べると統計的な前処理手法のパッケージは少なく、自分で実装しないと使えない方法も多い。ここではそういった方法は省略し、pandas でできる前処理 / 可視化を中心に書く。 また、方法自体の説明は記載しないので、詳細
データサイエンスのワークフロー ― データ分析を効率に行うために | POSTD
データを扱うときに、きちんと定められたワークフローがあると助かります。具体的には、「ストーリーを伝える」（データの可視化／ジャーナリズム）ことだけを目的として分析を行いたいのか、それとも一定のタスク（データマイニング）をモデリングするためにデータに依存するシステムを構築することが目的なのか、プロセスが重要です。前もって方法論を定めておくことによって、チームの足並みが揃い、次に何をすべきか考え出そうとして無駄な時間を費やさなくて済みます。それによって早く結果が得られ、資料の公表も早くなります。 これを念頭に、Ashley Madisonの漏洩データ分析に関する 前回の記事 に続いて、私たちが現在使用しているワークフローをご紹介します。このワークフローは、データ漏洩（Ashleyのケースなど）を分析するためだけでなく、社内のデータの分析にも使用されます。ただし、重要な点として、このワークフロー
Interactive notebooks: Sharing the code - Nature
Thank you for visiting nature.com. You are using a browser version with limited support for CSS. To obtain the best experience, we recommend you use a more up to date browser (or turn off compatibility mode in Internet Explorer). In the meantime, to ensure continued support, we are displaying the site without styles and JavaScript.
Jupyterがすごい勢いでやってくるからお前ら備えとけ（IPython Notebook + R） - Qiita
今までIPython Notebook上でRを動かそうとするとrpy2やらをごにょごにょやるとかいう方法がありましたが、いちいち%%を打ったりといろいろ不便でした。 が、先月末（2015/02/27）のIPython 3.0のリリースでIPython Notebookが大きく変わり、（まだ開発版ですが）Rとの連携もかなり楽になりました！というか今後はRだけでなく、Juliaや他の言語もカバーする方向に進むそうで、特定の言語に依存しない部分をJupyterという別プロジェクトでやっていくそうです。 代表的な言語のJupyterカーネルとしては以下のようなものが存在する模様。 Python (https://github.com/ipython/ipython) Julia (https://github.com/JuliaLang/IJulia.jl) R (https://github.c
Project Jupyter
Free software, open standards, and web services for interactive computing across all programming languages JupyterLab: A Next-Generation Notebook Interface JupyterLab is the latest web-based interactive development environment for notebooks, code, and data. Its flexible interface allows users to configure and arrange workflows in data science, scientific computing, computational journalism, and ma
無料で読めるデータ分析に役立つ Python の電子書籍まとめ - Qiita
以前、機械学習や統計に関する情報収集についてまとめました。今日はその続きというか補足で、データ分析に役立つ無料で読める Python E-book をまとめました。 ここにある PDF を取り敢えず手持ちのタブレットか PC に突っ込んでいつでも必要なときに参照すると良いでしょう。毎回 Google 検索しても良いですが、確実に理解しておきたい基礎となる知見はやはり書籍で持っていたほうが安心です。 プログラミング言語 まずは Python 3 本体です。 Free Python Books http://www.onlineprogrammingbooks.com/python/ 上記からさまざまな Python の書籍を無料で閲覧することができます。中には少し古い Python 2 の書籍も混じっていますので、どのバージョンの Python を対象にしているか気を付けたほうが良いでしょう
7 Command-Line Tools for Data Science | Jeroen Janssens
Data science is OSEMN (pronounced as awesome). That is, it involves Obtaining, Scrubbing, Exploring, Modelling, and iNterpreting data. As a data scientist, I spend quite a bit of time on the command-line, especially when there’s data to be obtained, scrubbed, or explored. And I’m not alone in this. Recently, Greg Reda discussed how the classics (e.g., head, cut, grep, sed, and awk) can be used for
マイクロアレイデータの解析 - index
マイクロアレイを用いたトランスクリプトームの網羅的な測定、 データ解析のための考え方、 実際にどんな方法で計算をしたらいいのか、 等を紹介します。 このインデックスページからリンク先を呼び出すと、新しいページが開きます。 別のページを呼び出すと、そのページが更新されます。 このページが消えないので、「飛ばない」ように見えるかもしれませんが もう1つの（たくさん開いているうちのどれかの）ページが更新されているはずです。。。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Jupyter(Python)とBigQueryによるデータ分析基盤のDevOps #pyconjp // Speaker Deck
Rで解析：データを解析する前におこなっている作業の紹介