Pandasによる実践データ分析入門 - Gunosyデータ分析ブログ
こんにちは。データ分析部のオギワラです。最近は「NANIMONO (feat.米津玄師)」をよく聞いています。 今回はPythonのデータ分析ライブラリであるPandasについて、実践的なテクニックを「データ処理」「データ集計(Group By)」「時系列処理」の３カテゴリに分けてご紹介していきます。 Pandasに関する基本的な内容については、前エントリーで既に紹介されているので、是非こちらもご一読して頂けると幸いです。 data.gunosy.io データ処理 データの取り出し(query) 条件文に基づくデータ処理の適用(where) 各行への関数の適用(apply) データ集計(Group By) カラム毎に異なる集計を適用する(agg) 最大・最小値である行を取り出す(first) 標準化や正規化処理を適用する(transform) 時系列処理 時間の丸め処理(round) 時系
ruby でこう書くのは、python ならこう書く、のメモ - Qiita
ruby に慣れていて python に慣れていないんだけど、python を書く機会が増えてきたので備忘録のような感じで。 python は完全に初心者。 python 3。python 2.x のことは気にしないことにした。 手元の処理系 ruby 2.4.0p0 (2016-12-24 revision 57164) [x86_64-darwin16] Python 3.5.2 :: Anaconda 4.2.0 (x86_64) で確認している 長さ ary_len = [1,2,3].size # [1,2,3].length でもいい hash_len = {a:1}.size # {a:1}.length でもいい string_len = "hoge".size # "hoge".length でもいい range_len = (1..9).size # Range#len
データ分析初心者向け、Pythonでデータ取得＆グラフ描画する方法 - paiza times
秋山です。 サービスを運営していると、いろいろなデータから必要な情報だけを取得して分析するような機会もたくさんあるかと思います。 分析に使えるツールは世の中にたくさんあるので、どれが使いやすいかは人それぞれですが、今回は「分析を始めたばかりで何をどうすればいいのかわからない…！」という方のために、Pythonを使って初心者向けのデータ分析のやり方を紹介します。 ■使用する環境 paizaでは、Pythonを使ってスキルチェック問題の回答データや、ユーザーの情報等の分析をしています。（R言語を使っていたときもありましたが、私がPythonのライブラリにある便利機能を使いたかったのと、R言語があまり得意ではなかったので移行しました） 今回は、Python3がインストール済みの環境を想定しています。これから出てくるコードもPython3を推奨しています。 下記のライブラリを使用します。 Jupy
Courseraの機械学習コースのススメ 前編 - Qiita
大晦日・お正月2日と、Courseraの機械学習コースに取り組んで全11週のうち3週目まで終えたので、振り返りつつオススメしてみます。 経緯 こんな記事を投稿したら、 2015年振り返り 反省 機械学習周りを(再)学習 → オーディオブックで「人工知能は人間を超えるか」を聴いて良書っぷりに感動した程度 @koher さんからCourseraの機械学習コースを勧めていただき、ちょうどまとまった時間確保出来るタイミングだったので取り組んでみました。 @_mono おそらくご存知だとは思いますが、機械学習は Coursera の Machine Learning のコース（日本語字幕あり）がとても良かったですよ。もっと高度な内容を勉強されたいということかもですが。 https://t.co/1d3VM9hbwg — koher (@koher) December 30, 2015 今期の開講期間
私たちはいかにして環状線で”悪さをする列車”を捕まえたか | プログラミング | POSTD
文：Daniel Sim 分析：Lee Shangqian、Daniel Sim、Clarence Ng ここ数ヶ月、シンガポールのMRT環状線では列車が何度も止まるものの、その原因が分からないため、通勤客の大きな混乱や心配の種となっていました。 私も多くの同僚と同じように環状線を使ってワンノースのオフィスに通っています。そのため、11月5日に列車が止まる原因を調査する依頼がチームに来た時は、ためらうことなく業務に携わることを志願しました。 鉄道運営会社SMRTと陸上交通庁（LTA）による事前調査から、いくつかの電車の信号を消失させる信号の干渉があり、それがインシデントを引き起こすことが既に分かっていました。信号が消失すると列車の安全機能である緊急ブレーキが作動するため、不規則に電車が止まる原因となります。 しかし8月に初めて発生した今回のインシデントは、不規則に起こっているように見えるた
PyCallでRubyからPythonのライブラリを使ってみた - Qiita
※ 最新版が公開されました。 ライブラリが更新され、かなり使い方が変わっています。 以下の記事にて新しいバージョンの説明をしてありますので、ご確認下さい。 PyCallを使ってRubyからPythonのライブラリを使い倒す はじめに mrknさんがPyCallというライブラリを開発されているので、早速試してみました。 インストール 2017年2月24日現在、以下の手順でインストールできるようになりました。 mrknさん、ありがとうございます。 旧インストール方法 備忘録的に残しておきます。 もし、上記手順でインストールできなかった場合にお試し下さい。 ソースコードがGitHubからダウンロードできます。 2017年2月23日現在、開発中のブランチからダウンロードするとのことだったので、以下のコマンドで入手しました。
受け入れテストの自動化 ～ OpenCVの「眼」で捉え、Pythonの「脳」が思考し、Appiumの「指」で動かす - Speaker Deck
2017/02/03 JaSST’17 Tokyo
機械学習とディープラーニングの入門者向けコンテンツまとめ - Qiita
機械学習とディープラーニングについて、入門者向けに解説されているネットと書籍の情報をまとめてみました。 ニューラルネットワークやディープラーニングについては、書籍『ゼロから作るDeep Learning - Pythonで学ぶディープラーニングの理論と実装』が特におすすめです。 機械学習全般についてなら、書籍『Python機械学習プログラミング - 達人データサイエンティストによる理論と実践』が特におすすめです。 他にもおすすめのコンテンツがありましたら、コメントで教えてください。 【ネット】 やる夫で学ぶ機械学習シリーズ けんごのお屋敷 【ネット】 高卒でもわかる機械学習 頭の中に思い浮かべた時には 【ネット】 機械学習 はじめよう 技術評論社 プログラム言語はPython。 【ネット】 機械学習概論 講義テキスト 書籍『ITエンジニアのための機械学習理論入門』のSlideShareバー
プログラミング問題を作るエンジニアが、数学的な面白いアルゴリズムを紹介してみた - paiza times
Photo by Alex Graves 秋山です。 paizaでは主にプログラミングスキルチェック問題の作成を担当しているので、アルゴリズムについて調べることもよくあります。 というわけで今回はみんな大好き？な、数学的なアルゴリズムについて書いてみたいと思います。 プログラミングの勉強を始めたばかりの人から「アルゴリズムってどうやって考える＆勉強するといいんですか？」と聞かれることもあるので、参考になればと思います。 ■数列のアルゴリズム(フィボナッチ数、黄金比) 数字が 1,2,3,4,5,6....100 というように、最初の1から順に1ずつ増えていくというのも、ある意味アルゴリズムにのっとった数列であると言えます。 もう少し複雑な数列になると、paizaラーニングのアルゴリズム入門編でも出てくる「フィボナッチ数列」という数列があります。数学が苦手な人でも聞いたことある言葉ではないで
ライブラリーリサーチのための対話環境をJupyter Notebookの上につくってみた
（時間がない人のための要約） 対話的開発環境であるJupyter Notebookの上に 作りっぱなしだったいろんな調査ツールをまとめたもの 読書猿のワークベンチなのでMonkeyBenchと名前をつけた。 探しものの際に、自分がやってる手作業のうち、ネットやコンピュータでできそうなことをPythonにやってもらえるように短いプログラムをいろいろ使い捨てして来たが、これらをまとめてJupyter Notebookのマジックコマンドにしたものである。 コードの中身と簡単な使用例をこちらに乗っけた。 http://nbviewer.jupyter.org/gist/kurubushi--rm/231f5dff7e5c6f9a50bb709e0d234dd8 https://gist.github.com/kurubushi--rm/231f5dff7e5c6f9a50bb709e0d234dd
複雑に絡んだ要因を論理の力で解きほぐす／PythonとJupyter でブール代数アプローチをやってみた
計算は、慣れない人のアタマには負担だが、規則通りに進めていけばいいという利点がある。 たくさんの要素を扱ったり、複雑に込み入った推論を進めることもまた、人には負担の大きい作業だが、計算の形に変換することができれば、途中過程を規則的な繰り返し作業に置き換えることができる。たとえば機械に手伝ってもらえる。 今回、紹介するのは、数値化／統計的処理が難しい事象や、質的研究について、計算＝演算の力を導入するとどんなことができるかという一例※である。 ※ 続くかどうかわからないが Sociology on Pythonシリーズの第一弾でもある。 ブール代数アプローチ(boolean algebra approach) ブール代数アプローチは、 Ragin(1989)によって、真理表とブール代数に依拠した比較分析の手法として、質的比較分析(Qualitative Comparative Analysi
ディープラーニングについて学ぶならこの2冊を読むしかない｜加藤貞顕
年末年始はこの２冊を読んでいた。 『はじめての深層学習プログラミング』清水亮 『ゼロからつくるDeep Learning』斎藤康毅 結論から言うと、いま、人工知能やディープラーニングに興味があるひとは、２冊とも必読ではないかと思った。 アプローチが完全に対称的なので、両方読んだら、理論と雰囲気について、見通しがつくようになったのがとてもよかった。 『ゼロからつくるDeep Learning』は、ていねいに書かれたオーソドックスな入門書だ。人工知能開発によく使われる言語・Pythonの基本や数値計算ライブラリの使い方からはじまり、ニューラルネットワーク、ディープラーニング、畳み込みときて、最後に画像認識を解説する。随所に適切な例題やサンプルコードを交えて、理論と実践をバランスよく説明している。 対して、『はじめての深層学習プログラミング』は、まったく真逆のアプローチだ。なんと、理論の解説など
PythonをEmacsで書く+α - やったことの説明
はじめに 環境 python mode jedi autopep8 pyflakes (flymake-cursor) yasnippet 気に入っているパッケージ helm 見た目 Emacsを再起動したときに、終了時の状態に戻す 今後やろうと思ってる設定 参考 はじめに この記事を書いてから早1年。 暇なときにちょこちょこといじっているうちに、helmを導入したり、tabbarを入れたりと色々変わっていた。 全部書いていると多すぎるので、中でも一番変わったpythonを書くための設定について書く。 加えて気に入っているパッケージについても書く。 全体の設定のgithubのレポジトリはこちら。 github.com elispのコードを多少書いたけど、その部分だけでなく、common.elに書いてある部分がないと動かないものもあると思う。 動画メインの記事を書いた ksknw.haten
【大規模スマホゲー】Python未経験エンジニアとの最初の1ヶ月OJTメモ - Qiita
3. Python環境構築 Python の環境構築方法は複数存在しますが、便利なvirtualenv + PyCharm + bpython で構築する手順に沿って作業してもらいました。 virtualenv + virtualenvwrapper virtualenv を導入すると、複数のPython環境を簡単に構築・切り換えできるようになります。たとえばコマンド1つで Python2.7 + Django1.5環境と Python3.5 + Django1.7環境をworkon コマンド1つで切り替えられます。 # install sudo easy_install pip sudo easy_install virtualenv sudo easy_install virtualenvwrapper pip install pbr sudo easy_install virtual
Pythonのオブジェクトとクラスのビジュアルガイド – 全てがオブジェクトであるということ | POSTD
Python開発者が大好きな言葉があります。それは”全てはオブジェクトである”です。実際、私自身もPythonのクラスを教えているときに何度も口にしています。多くの人が何度も聞いた言葉かもしれないのですが、私が言う度に生徒は賛同の相槌をしてくれます。結局のところ、Javaにおいて全ては（対象がそうでない場合を除いて）オブジェクトであり、.NETにおいても全てはオブジェクトであると、よく言われています。 しかしPythonにおいて全てがオブジェクトであると言う時、（私の生徒は驚いていましたが）「 全て 」にはクラスも含まれているのです。これはとても筋が通っていて、オブジェクトシステム全体が理解しやすくなります。しかしそれでも、広い視野で物事を見ることは難しいのです。 今回のブログ記事では、Pythonのオブジェクト間のつながりをざっと見ていきたいと思います。そして”全てはオブジェクトである”
Python 機械学習プログラミング データ分析ライブラリー解説編
「ITエンジニアのための機械学習理論入門」で提供しているサンプルコードに含まれるデータ分析ライブラリ（NumPy/pandasなど）を解説した資料です。 下記の書籍のサンプルコードが理解できるようになることが目標です。 - ITエンジニアのための機械学習理論入門(技術評論社) - http://www.amazon.co.jp/dp/4774176982/ 2015/10/25 ver1.0 公開 2015/10/26 ver1.1 微修正 2016/05/25 ver1.4 subplotの順番を修正 2016/11/15 ver2.0 改訂版公開 2016/11/16 ver2.1 改行幅修正 2017/01/10 ver2.2 微修正 2017/01/12 ver2.3 微修正
教師なし学習による異常値検知: マハラノビス距離 (理論編) - Qiita
マハラノビス距離に基づく異常値検知について説明をします． 実装編はこちら これは，教師なし学習により，データのパタンを学習し，このデータから著しく外れたデータを異常値として検出する方法です． マハラノビス距離とは，統計学で用いられる距離を表す手法の1つです． 似た距離の表す手法としてユークリッド距離がありますね． おさらい まずはじめにユークリッド距離の説明をしておさらいをしたいと思います． ユークリッド距離とは，いわゆる「一般的」な距離を表す手法です． ピタゴラスの定理で求められることはご存知だと思います． 簡単に2次元平面で考えると，
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
