[B! ds] gabuchanのブックマーク

Kibana 4.1.0 + ElasticSearch 1.6.0 でデータビジュアライズ - Qiita

データの可視化手法に興味あり Kibana が "4" となって使ってみたかったので試してみました。動作させる環境は Mac(osx) です Kibana は Elasticsearch に投入されたデータを可視化するツールでありログデータの可視化等に主に使用されます。ログの各データにTimestampが含まれているものに対して時系列データ分析の取り扱が大変強力ですが絶対にそれが必要というわけでもありません。 Elasticsearchは言うまでもなくSolrと並ぶ Lucene 検索エンジンが動作する分散型の全文検索サーバです、準備 (Download) どちらも最新(2015/6時点)をDownLoadします。 * Kibana4-download - 4.1 * Elasticsearch - download - 1.6.0 インストール解凍するだけです $ ls -ltr

gabuchan 2016/02/10

DS

リンク

scikit-learn から学ぶ機械学習の手法の概要 - Qiita

前回、株式の時系列データを分析する話で、後半にちょっとだけ機械学習の話をしました。今日は機械学習ライブラリ scikit-learn に触れます。 scikit-learn といえば以前にも簡単なクラスタリングの例をあげたり、サポートベクトルマシンやクラスタリングで問題を解く、 TF-IDF を計算する、回帰モデルの可視化、 DBSCAN によるクラスタリングといったことをしてきましたが、あらためてライブラリの機能を整理します。機械学習と言うと難しい数学を駆使するイメージがつきまといますが、完成度の高いライブラリを使えば利用者が機械学習の手法そのものを実装しなくても利用することはできます。もちろん手法の内容に対する理解は必要ですが、せっかく scikit-learn という事実上デファクトとも言えるライブラリが存在するのですから、これを使うところから入門していくのが良いかと思います。以

gabuchan 2016/01/28

DS

リンク

iPython Notebookの--pylab inlineは使うのをやめようという話 - Wolfeyes Bioinformatics beta

TL;DR ipython notebook --pylab inlineのかわりにipython notebook --matplotlib inlineを使おう．もしくはipythonの始めに%matplotlib inlineを実行しておく． iPython Notebookについて周知の事実だとは思うが，iPythonは超便利なPythonのインタラクティブシェルだ．その一部としてiPython Notebookというのがあり，ブラウザでコードを実行できたり，実行結果をノートとして保存したり，matplotlibなどで描写したグラフをノートの中にそのまま表示したりできる．RでいうところのRstudio+knitrのような，解析レポートを作るときには重宝するツールとなっている． (http://nbviewer.ipython.org/gist/twiecki/3962843より)

gabuchan 2016/01/23

リンク

seabornでMatplotlibの見た目を良くする | note.nkmk.me

seabornはmatplotlibベースの統計データビジュアライゼーションライブラリ。 Seaborn is a Python visualization library based on matplotlib. seaborn: statistical data visualization — seaborn 0.6.0 documentation statisticalと銘打っているだけあって、統計的なデータをプロットするための機能がたくさん用意されているが、普通の折れ線グラフの見た目を良くするためだけにも使える。 import numpy as np import matplotlib.pyplot as plt import seaborn as sns sns.set() sns.set_style("whitegrid", {'grid.linestyle': '--'})

gabuchan 2016/01/23

リンク

matplotlib入門 - りんごがでている

matplotlibはPythonでグラフを描画するときなどに使われる標準的なライブラリです。画像ファイルを作るばかりでなく、簡単なアニメーションやインタラクティブなグラフを作ることも可能です。実際の例はmatplotlibサイトのギャラリーで見ることができます。 matplotlib/gallery matplotlibは本家のサイトやどこかのブログにあるチュートリアルや例を描画してみるぶんには簡単なのですが、実際に自分でプロットするとなると基礎的な概念を理解していないと使いにくいライブラリでもあります。また、基礎的な概念を理解していないとドキュメントを参照する際にもどこを見て、どう実用すればいいのかわかりません。そこで、この記事ではそのあたりのmatplotlibの基礎を解説していきます。なお、Python自体の知識はある程度仮定していますが、matplotlib自体の実装