Kaggleで戦いたい人のためのpandas実戦入門 - ML_BearのKaggleな日常
はじめに 自分は元々pandasが苦手でKaggleコンペ参加時は基本的にBigQuery上のSQLで特徴量を作り、最低限のpandas操作でデータ処理をしていました。 しかし、あるコードコンペティションに参加することになり、pythonで軽快にデータ処理をこなす必要が出てきたので勉強しました。 そこで、当時の勉強メモをもとに「これだけ知っていればKaggleでそこそこ戦えるかな」と思っているpandasの主要機能をまとめました。 注記 実戦入門 のつもりが ほぼ辞書 になってしまいました orz pandasとはなんぞや的な内容は書いていません (import pandasやDataFrameとは何かなど) pandas1.0系でも動くように書いたつもりですが間違ってたらすみません 目次 はじめに 注記 目次 Options DaraFrame 読み書き CSVファイル 読み込み 書き出
Awesome Python：素晴らしい Python フレームワーク・ライブラリ・ソフトウェア・リソースの数々 - Qiita
元記事: Awesome Python Awesome List in Qiita Awesome Ruby Awesome Java Awesome JavaScript Awesome Node.js Awesome Go Awesome Selenium Awesome Appium 管理パネル 管理インタフェース用ライブラリ ajenti - サーバ用管理パネル. django-grappelli - Django 管理インターフェースのためのジャズスキン. django-jet - 改良された機能を備えた Django 管理インターフェース用の最新のレスポンシブテンプレート. django-suit - Django Admin インターフェースの代替 (非商用の場合のみ無料). django-xadmin - Django 管理者のドロップイン置換. jet-bridge -
データサイエンティスト・データエンジニアのための Python ライブラリ一覧 - Qiita
データ分析やデータ加工、機械学習などを行うのに便利な Python ライブラリを紹介する。 なぜ Python なのか 統計や機械学習をするなら、 R という選択肢もある。 R のデータの加工や集計、統計処理に優れた言語であり、言語標準の機能だけでかなりのことができる。機械学習のライブラリも充実しており、有力な選択肢であることは間違いない。 R と比較して Python が優れている点は、周辺エコシステムの充実にある。 Python エコシステムはデータサイエンスの分野に留まらない。 NumPy や Pands で加工したデータを Django を使った本格的な Web アプリケーションで利用することも可能だ。 ライブラリ群のインストール ここで挙げているライブラリのほとんどは Anaconda で一括でインストールできる。 データ加工 NumPy NumPy は数値計算を効率的に行うため
機械学習のデータセットを可視化する「Facets」で遊んでみた - paiza times
秋山です。 先日、Google Open Sourceで「Facets」という機械学習向けデータセットの可視化ツールが公開されました。 サイトはこちら opensource.googleblog.com (※Chromeであれば、ブラウザ上でどういったことができるかのデモを触れます。Safariだとうまく動かない？ようなのでご注意ください） GitHubはこちら github.com デモのようにブラウザ上でデータを可視化したり、Pythonライブラリのjupyter内で使ったりすることができます（ブラウザで表示させるかjupyter内で表示させるかだけの違いですが…） 例えば巨大なデータを扱っていて、うまく分離できていないデータ群はどの辺りになるのか…といったことを可視化して眺めたいときなどによさそうなので、実際にちょっと使ってみたいと思います。 ■Facets使ってみた Facetsに
Pandasを使ったデータ操作の基本 - ぴよぴよ.py
データ分析の会社に転職してから3ヶ月。 最初の1ヶ月はPandasの扱いに本当に困ったので、 昔メモしてたことを簡単にブログに記録しておく(o ･ω･)ﾉ 【追記】2017/07/31 0:36 データが一部間違ってたので修正しました Pandasとは pandasでよく使う型 テストデータについて 余談 Pandasでのデータ操作入門 pandasのload データ(csv)のロード データのサイズ データのカラム 行列から必要な列(カラム)を取り出す 条件にマッチするデータを取り出す 1. DataFrame.queryで取り出す True/FalseのSeries型を指定し、Trueの行だけを取り出す 追記(2017/12/14) 行列から必要な行番号を指定してを取り出す グループ分けと集計 新たな列を追加する 固有値を追加する 他の列を加工して新たな列を作る 他の複数列を加工して新
Pythonの可視化ツールはHoloViewsが標準になるかもしれない - Qiita
HoloViewsとは HoloViews は砕けた表現をすると、matplotlibやBokehなどの可視化ツールを使いやすくしたラッパです。 どのバックエンド(matplotlib, Bokehなど)を用いても統一されたコードかつ簡素な記述で可視化を実装することができます。 可視化にかかる学習コストは結構ばかにならないので、HoloViewsを使うことで「可視化のコードを書くことに時間を浪費するのではなく、本来のデータ分析などの業務に集中しましょう」といった感じのコンセプトのようです。 特にmatplotlibのシンタックスは難解なものが多いので、「もう少しシンプルにならないの？」と思っている方は多いのではないでしょうか。 バックエンド 下記の可視化ツールがバックエンドとして使えます。 matplotlib Bokeh Plotly(experimental) インストール conda
【コードで一発】ブログ最適化/SEO対策で面倒なことは全てPythonにやらせよう - プロクラシスト
こんにちは、ほけきよです。 ここ数回に分けて書いた『面倒がすぎる内容をpythonにさせよう』シリーズの集大成。 ブログ最適化のために必要なものを『全て』『一気に』抜き出すプログラム、作りました！ この記事を読めば、下記の情報がゲットできます ※ 現在ははてなブログのみ対応となっています。WordPress用にも作成中なので、少々お待ちを。 *1 ・記事とURLとブックマークの情報 ・記事内画像を全て抜きとったもの ・自サイトの内部リンクがどうなっているかを可視化したもの ・リンク切れリスト ・はてなブックマークがどのような伸び方でついたかを可視化したもの 使い方(情報技術に明るい人) 使い方(一般向け) 環境構築 実行するコード コマンド一発！実行する 中身がどうなっているか 注意 出力結果 pythonを勉強したい方に まとめ 使い方(情報技術に明るい人) 情報技術に明るい人と、そうで
scrapy-splashを使ってJavaScript利用ページを簡単スクレイピング - amacbee's blog
これは，クローラー／Webスクレイピング Advent Calendar 2016の1日目の記事です． JavaScriptを利用したページをスクレイピングするためには，スクリプトを実行し，ページを適切にレンダリングする必要があります． 本記事では，そのようなケースに便利なPythonライブラリscrapy-splashを紹介します． 前置き ScrapyやSplashを既にご存知の方は読み飛ばして下さい． Scrapyとは？ Scrapyとは，Python製のクローリング・スクレイピングフレームワークです．フレームワークというだけあって，Scrapyにはクローリング・スクレイピングに便利なオプションがあらかじめ用意されています． Scrapyに用意されている便利なオプション例 サイトクローリング間隔を設定 robots.txtを解釈したクローリングを自動的に実行可能 Scrapyを利用す
Pythonで簡単自動化！PyAutoGuiが便利すぎて感動したのでご紹介
インストール方法 インストール方法は pip を使って行うのが手っ取り早くて便利です。 pip install pyautogui 残念ながら pip でインストールするだけでは Windows では画像処理系がちゃんと動かない様子。 IOError: decoder zip not available pngファイルを扱おうとすると上記エラーが頻発します。 そのため、PILというライブラリをインストールしましょう。 pip install Pillow 使い方 指定画像をクリック import pyautogui image_path = "#set your image file path here" location = pyautogui.locateOnScreen(image_path) buttonx, buttony = pyautogui.center(location)
Pythonのselfはなぜ必要かをJavaScriptのthisで考える - なんたらノート第三期ベータ
あなたがもしPythonを作る前のGuidoに憑依して - ネットリサーチ - livedoor ニュース が面白すぎた。2位と3位の すべてを式にする lambdaの構文を変える は、同じ願いを別の言い方でしてるような気がした。lambdaにifとforを入れたいをかなえるには、ifとforを式にするか、lambdaに文が入るようにするか、どちらか一方だし。 それはさておき、このエントリの本題は、「Pythonにはselfが要る」というGuidoさんの主張について、具体例で理解することです。「こうだったらいいのにな」逆の視点、もしselfがないとどう困るのか、を考えましょう。 そこで、Pythonとは別の母親から産まれた双子、JavaScriptを例に、thisについて考えてみます。Pythonに対して、JavaScriptは「メソッド定義の第一引数に余分なアレがないこと」が特徴でしたね
私たちはいかにして環状線で”悪さをする列車”を捕まえたか | プログラミング | POSTD
文：Daniel Sim 分析：Lee Shangqian、Daniel Sim、Clarence Ng ここ数ヶ月、シンガポールのMRT環状線では列車が何度も止まるものの、その原因が分からないため、通勤客の大きな混乱や心配の種となっていました。 私も多くの同僚と同じように環状線を使ってワンノースのオフィスに通っています。そのため、11月5日に列車が止まる原因を調査する依頼がチームに来た時は、ためらうことなく業務に携わることを志願しました。 鉄道運営会社SMRTと陸上交通庁（LTA）による事前調査から、いくつかの電車の信号を消失させる信号の干渉があり、それがインシデントを引き起こすことが既に分かっていました。信号が消失すると列車の安全機能である緊急ブレーキが作動するため、不規則に電車が止まる原因となります。 しかし8月に初めて発生した今回のインシデントは、不規則に起こっているように見えるた
機械学習素人が2か月半で機械学習を入門したことまとめ - あさのひとりごと
ちまたでは、機械学習がブームのようです。 が、、まったく時代についていけていません。 しかし、機械学習、特に自然言語処理に精通した人の採用にかかわる仕事をしている、、、 にもかかわらず、自然言語処理どころか機械学習が全く分からない。 これでは、いけない。ということで 「機械学習をたしなむ学生の皆さんと、ふわっと雑談ができるレベル」 を目指して、2017年正月明けから勉強を始めました。 ちなみに、どんなにキリが悪くても1日3時間まで！と決めています。 そもそも機械学習に興味関心があるわけではない やらなければならない他の仕事がある 家事育児が優先 なので、すこしでも無理すると続かないためです。 「AIで世界を変えられる！」 「人工知能で想像もできない未来が、、、」 みたいなご時世の中、ありえないほどの低テンションで淡々と勉強しているわけで 逆に、そういう意識低い系人間はそんなに多くないでしょ
<Python, pandas, SQlite> pandasでsqlite3する。 - ねこゆきのメモ
pandasでsqlite3を使う。 1.. DB作成。 In [1]: import sqlite3 In [2]: con = sqlite3.connect(':memory:') In [4]: con.execute(''' ...: create table {table} ( ...: {id} integer primary key autoincrement, ...: {name} text not null, ...: {brightness} integer not null ...: ); ...: '''.format(id='id', table='hagemen', name='name', brightness='brightness')) Out[4]: <sqlite3.Cursor at 0xac5bdc0> 2.. pandasで読み出し。 In
（翻訳）毎秒10GBでArrowからpandasへ - Qiita
始めに：pandasの作者であるWes McKinneyさんがPythonのデータツール関連でとても興味深いblogを書かれているので、翻訳して日本のPyDataコミュニティに公開してもいいでしょうか、とお聞きしたところ、快諾をいただきましたので少しずつ訳して公開していこうと思っています。 （原文：http://wesmckinney.com/blog/high-perf-arrow-to-pandas/ ） 2016/12/27 このポストでは、汎用的なArrowの列指向のメモリを、pandasのオブジェクトに高速に変換できるようにするための最近のApache Arrowでの作業について述べます。 pandasのDataFrameオブジェクトを高速に構築する際の課題 pandasのDataFrameオブジェクトを高速に構築する際に困難なことの1つは、「ネイティブの」内部メモリ構造が辞書や
【野球Hack】PythonとJupyterで「一球速報」っぽいモノを作る(MLB編) #pyhack - Lean Baseball
この記事は,「jupyter notebook Advent Calendar 2016」 12/15のネタとなります(といいつつ当日書けそうにないので前倒しで公開します). 先日(12/10)のPython mini Hack-a-thon(71回目)にて, Jupyterとメジャーリーグ一球速報データを用いた一球速報っぽいモノを作る！ という目標を立てて色々とやっていて,一定の成果が出たので公開したいと思います. Starting Member はじめに Who am I? 完成イメージ&コード 今回使ったモノ 【おさらい】野球のストライクゾーンについて Pitch f/xデータの座標系仕様(ざっくり) Jupyter + pandas + matplotlib(seaborn)で実装 まとめ&次の方へ 【Appendix】今回,参考にした書籍 はじめに この記事内の統一ルールです.
ビジネスデータ分析をEXCELからPython中心に変更してわかった多くのメリット
今年に入ってから、前々から行いたかったデータ分析のPython移行に本格的に取組み始めてやく3か月が経過しました。経営コンサル業界にいるとデータ分析はどうしても全員が使えるExcelが中心となってしまうのですが、徐々に環境を整えようやく軌道にのってきたので状況をまとめたいと思います。 当初はEXCELでできない機械学習などを行いたいと思って使い始めましたが、だんだんそれ以外のメリットが見えてきました。当記事では、そんな使ってみてわかってきたPythonのメリットを紹介していきます。 なお、現在使用しているツールはすべて無料で使える(オープンソース)、または初期投資がかからないクラウド環境(AWS)で構築ができるものとなっています。データ分析をPythonやRで行うようにしたいんだけど、「それEXCELじゃダメなの？」と上司に言われる方のお役に立てると幸いです。 EXCEL & オンプレ中心
金融データのPythonでの扱い方 - 今日も窓辺でプログラム
はじめに Udacityというネット上のビデオを視聴する形で受講できる講義を提供しているサイトがあります。 Learn the Latest Tech Skills; Advance Your Career | Udacity サイトや講義は英語なのですが、その中で Machine Learning for Tradingという講義を見つけました。 この講義は主に3つのパートに分かれています 金融データをPythonで操作する コンピュータを使った投資 取引に使う機械学習アルゴリズム 1つ目のパートを視聴したので、Pythonの基本的な知識の部分で知らなかった点を、実際のデータを操作する中で紹介しようと思います。 2つ目と3つ目はまた後日にでも。。 目次 はじめに 目次 今回使用するデータとJupyter Notebook データの読み込み 移動平均の計算 pandasのrollingを使
フリーランス用の仕事検索サイトを作ってみた - Qiita
はじめに 以前steamsale.meという海外ゲーム関連のサイトを作って公開したところ、 サイトを通じて色んな方と出会いがありまして、僕にとって良い刺激になり、きちんと公開してよかったと思っています。 その方々とお話していると、クローラやシステムについて聞かれることが多く、 僕自身筆不精なのでこういった記事を書くのは苦手なのですが、どこかの誰かの役に立てたらと思いまして、記事として残しておこうと思います。 作ったサイト CROWDY(クラウドソーシングの一括検索サイト) http://crowdy.jp/ クラウドソーシングサイトとは、フリーランサーや在宅ワーカーが仕事案件を見つけられ、企業側は発注できるサイトです。 僕自身も利用して仕事を受けたことがあり、その時に1箇所でサクサク仕事を探せるサイトがあったらいいなと思い作りました。製作期間は約2ヶ月です。 構造はほとんどSTEAMSAL
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python Mechanize Cheat Sheet
Google製可視化OSSのFacetsがめっちゃ便利だから使ってみてくれ - Qiita
