%macro/%store を組み合わせてJupyterでのライブラリ読み込みを劇的に効率化する - フリーランチ食べたい
Jupyterで読み込むライブラリを毎回書いてませんか？ 機械学習やデータ解析をJupyterで行うときに読み込むライブラリって大体決まっていますよね。 毎回1、2つ目のセルにライブラリ読み込み処理をズラッと書いてないですか？ 人によってはスニペットアプリなどで管理している方もいるかもしれませんが、Jupyterの %macro と %store を使うことでもっと短く、シンプルに、効率的にライブラリの読み込みを行うことができるので紹介したいと思います。 Notebookの最初のセルはこんな風になっていませんか？ これは自分がいつも読み込むライブラリ群で、自分はAlfredのsnipetを使って呼び出せるようにしていました。 %load_ext autoreload %autoreload 2 %matplotlib inline from IPython.display import I
【保存版・初心者向け】僕が本気でオススメするPythonと機械学習の良書12選
※実際記事で紹介する書籍は12冊ですが、メンバーが借りてオフィスになかったため、上記画像内に3冊ないものがあります。 はじめに AI Academyを開発・運営しています、株式会社エーアイアカデミー代表の谷です。 6ヶ月ほど前に書いた下記記事は約1200のいいねと7万viewsを超える記事になりました。 【保存版・初心者向け】独学でAIエンジニアになりたい人向けのオススメの勉強方法 お読み頂いた方々、またいいねして頂いた方々ありがとうございました！ あれから6ヶ月ほど経ちまして、さらにPythonや機械学習の書籍が増えて参りましたので、改めて初心者向けにPythonと機械学習の良書12選を紹介し、初学者が独学でも機械学習プログラミングの基礎スキルUPに貢献できたらと思います。 また、AIプログラミングを作りながら学べるプログラミング学習サービスAI Academyを無料でご利用頂けますので
Pythonでこんなことできちゃうんです＊随時更新＊
はじめに 日々、StackOverflow や Qiita や Medium らで pythonについてググっている私がこれ使えるな、面白いなと思った tips や tricks, ハックを載せていくよ。 簡単な例文だけ載せてくスタイル。新しいの発見次第、じゃんじゃん頻繁に追加していくよ。 これも知っとけ！これ間違ってる！ってのがあったら、コメント下さい。 このモジュルやライブラリーの関数とか基本/応用的な使い方を知りたいけど、自分で探すの面倒、英語意味不ってのがありましたらそれもコメントにどうぞ。私が代わりに調査 • 解析を努力致します。 簡単な例文を心がけてはいますが、なにせ読むな！見て感じろ！なくらい説明不十分なので、初歩的な関数の使い方などのpython知識を所有しているとすんなり理解しやすいかと思います。多分。 注:リンク先は全て英語です。PEP8をいつかは読みましょう。良いスタ
Pythonで毎日圧倒的に効率化している業務自動化術5選 【非エンジニアでもできます】 | Dividable
Pythonは本当に便利なので、ノンプログラマーでも書けると仕事が効率化できます。 Python本当に便利だ。 ・毎日の自分の記事の検索順位を自動取得してSlackに通知 ・Web上のデータを抜き出して、営業顧客リストを毎日自動作成 ・ツイッターでインフルエンサーのRTが多いツイートを自動取得してCSVにダウンロードしてデータ分析 マーケターが使えると超いいね。 — DAI (@never_be_a_pm) July 21, 2018 実際、この記事を読んでいるあなたは、「膨大なデータを手動でスプレッドシートに打ち込む・・・」「決まった時間にメールを送る等の定型業務」そんなめんどくさいこと自動化したい！と思ってますよね？ Pythonの学習に関しては、それぞれどんなことをしたいかで話が変わってくるのですが、基本的には、Pythonの基礎を固めて、チュートリアルでクローンアプリ作りつつプロか
Python でデータ分析するのに適したグラフツール3選
概要 Python でのデータ分析作業に向いたグラフ作成ツールの機能比較です。Python のグラフ作成ツールといえば matplotlib ですが、正直言って煩雑な構文で、こういった作業に向かないと思います。そこで、今回は使えそうな以下の3つ+α1のパッケージについて、大雑把に紹介します。 plotnine altair seaborn (pixiedust) グラフ作成ツールに求められる要件 サンプルコードと結果だけ見たい場合はここは読み飛ばしても問題ないです。 たとえば pandas-profiling はデータフレーム内の全ての列に対して記述統計量をとり、簡易的なヒストグラムなんかも表示してくれますが、多くの場合それだけでは不十分です。高次元のデータから変数間の関係を読み取ることを意図していました。いわゆる探索的データ解析 (EDA) に近いものだと思います2。変数どうしの関係を様
リモートサーバの Jupyter Notebook を SSH Port Forwarding 経由で使う - CUBE SUGAR CONTAINER
一般的に Jupyter Notebook はローカルの環境にインストールして使うことが多い。 ただ、ローカルの環境は計算資源が乏しい場合もある。 そんなときは IaaS などリモートにあるサーバで Jupyter Notebook を使いたい場面が存在する。 ただ、セキュリティのことを考えると Jupyter Notebook の Web UI をインターネットに晒したくはない。 そこで、今回は SSH Port Forwarding を使って Web UI をインターネットに晒すことなく使う方法について書く。 このやり方ならリモートサーバに SSH でログインしたユーザだけが Jupyter Notebook を使えるようになる。 また、Web UI との通信も SSH 経由になるので HTTP over SSL/TLS (HTTPS) を使わなくても盗聴のリスクを下げられる。 リモー
M5Stack で MicroPython のスレッドを使う - Tech Blog by Akanuma Hiroaki
前回は M5Stack でテキストを簡易的にスクロール表示させる処理を実装してみましたが、画面の下端にテキストをスクロール表示させつつ、残りの部分に何かを表示するにはスレッドを使った処理が必要かと思ったので、今回は M5Stack の _thread モジュールを使った処理を実装してみました。 _thread モジュールについては下記サイトを参考にさせていただきました。 qiita.com また、 M5Stack の github リポジトリにもサンプルが公開されていました。 github.com サンプル実装 まずは _thread モジュールがちゃんと使えることを確認するために、ごく簡単なサンプルを実装してみます。下記のコードではテキストを表示する2つのスレッドを生成し、違う間隔でテキストの表示を行います。 _thread.start_new_thread() でメソッドを指定してスレ
Python + Selenium で Chrome の自動操作を一通り（ログイン、ダウンロード、他）
はじめに Python + Selenium + Chrome で、要素の取得、クリックなどの UI系の操作、待機、ページ全体のスクリーンショットなど、一通り試してみます。 PhantomJS はもう更新されないということなので、ブラウザは Chrome にします。 この記事には、Selenium の API に関する情報と Chrome に特化した情報がありますが、前者の Selenium の使い方に関する情報は Firefox など別のブラウザでも使えます。 注意事項 ウェブの自動テストやスクレイピングで使われる技術です。特にスクレイピングでは、著作権の問題や、サーバー側の負荷、各種規約（会員としてログインする場合の会員規約等）やマナーなどを考慮する必要があります。 たとえば、Twitter など利用規約で明示的にスクレイピングが禁止されていることや、robot.txt などでクローリ
20 万行超のコードベースをテストせずにリファクタリングリリースした話 - MonotaRO Tech Blog
こんにちは、鈴木です。 20 万行を超えるアプリケーションのほとんど全てのソースコードを変更し、テストを行わずに本番リリースしました。 「それってテストいるんですか？」問題 いきなりですが質問です。ソースコードを 1 バイトでも変更したら再テストする必要はあるでしょうか。「絶対に再テストすべき」という方もいれば、「状況によるしケースバイケースかな・・」という方もいらっしゃると思います。 ケースバイケースと考える方は、どのような場合にテストを行わなくて良いと考えるでしょうか。例えば、コメント内の誤字を修正した場合はどうでしょうか。ローカル変数の名前を typo していたので修正した場合、デッドコードを削除した場合はどうでしょうか。 こんなことがありました ある日、Python のソースコードを眺めていると、「# $Id」のような CVS 時代のコメントがありました。いまやソースコードは Gi
Pythonで約100行のシンプルなWSGIサーバーを書いてみる
エキスパートPythonプログラミング改訂2版 作者:Michal Jaworski,Tarek Ziade発売日: 2018/02/26メディア: 単行本 はじめに — Webアプリケーションフレームワークの作り方 in Python の資料が最近になってホットエントリー入りし、思ったよりも多くの方に読んでいただけているようです。見返しているとWSGIサーバーを作りながらHTTPについて学べる章があってもいいかもとふと思いました。書くとすれば内容的には id:shimizukawa さんのPyCon JP 2018の発表をもう少し詳しく説明する資料になりそうな気がします。 PyCon JP 2018: Webアプリケーションの仕組み - 清水川のScrapbox とはいえ自分もWSGIサーバーを一度も書いたことがないので、気分転換にシンプルなWSGIサーバーを書いてみました。 4時間ぐら
今日のPython: web2py でデバッグツールを利用する ②
Python中心に、日々発生する疑問点や解決策を記録していきます。 内容が間違っていたらゴメンね。 （ このブログは目次を用意しています。記事をお探しの際は、ご利用ください。 ） 前回 に引き続いて、web2py で利用できるデバッグツールについて書きます。 Winpdb を使ったデバッグ Winpdb は GUI のデバッグツールだ。Winpdb には rpdb2 というリモートデバッガが含まれており、Winpdb自体は rpdb2 のフロントエンドとして動作する。 インストール Winpdb は GUIライブラリーを wxPython に依存している。このため Winpdb 及び wxPython をインストールする必要がある。 Winpdb のインストール pip もしくは easy_install を利用してインストールできる。 pip install winpdb easy_in
超軽量、超高速な配布用Python「embeddable python」 - Qiita
追記:18-10-31 パッケージのインストールエラーに対応する方法を追記 追記:20-11-18 エラー対応に追記 Pythonを独立したExeファイルとして書き出すPyInstallerの記事を以前書きました。 しかし、この方法よりも実行がより高速、より軽量な方法がありました。 embeddable pythonと呼ばれるもので、Windows限定ではありますが、ダウンロードしてきた圧縮状態なら 7 MB、解凍しても 14 MB程度のPython実行環境です。 もちろんこのままではパッケージを使えませんので、そのパッケージ導入方法も合わせて記載します。 公式 3. Windows で Python を使う — Python 3.6.4 ドキュメント ダウンロード Python Releases for Windows | Python.org 上記ページにあるWindows x86-6
Pythonでデータと向き合いながら価値を見出す「探索的データ解析」に挑戦しよう
本連載では、プログラミングの基本は理解していて、より実践的なデータ解析に取り組みたい方を対象に、スクリプト言語によるデータ解析の実践を解説します。スクリプト言語のなかでも特にデータ解析に役立つライブラリや環境が整っているPythonを取り上げ、対話型解析ツールやライブラリについて導入から解析の実行・可視化までを解説します。第2回では、Pythonによる探索的データ解析を解説します。まず対話的環境による探索的データ解析について確認し、Jupyter Notebookを使ったデータ解析の実行・可視化までの手順を解説します。 対象読者 Pythonの基本的な文法を理解しておりデータ解析のスキルアップに取り組みたい サンプルの動作確認環境 MacOS 10.13 Anaconda 5.1 Python 3.6 Jupyter Notebook 5.4 探索的データ解析の流れを確認 まず対話型環境に
Minecraft Pi Editionで画像をブロック化して描画する - Qiita
前回の記事でラズパイを購入して、まだBluetoothしか使っていない訳ですが、私は気付いていました。 そう、Raspbianにマインクラフトがインストールされていることを！ マイクラやってみたかったので、少し遊んでみます。 まとめサイトを見つけました。 https://matome.naver.jp/m/odai/2142545327953860701 Pi Editionの特徴は、以下のようです。 無料 プログラミング機能あり クリエイティブモードのみ ワールドの広さに制限 クラフト不可 サバイバルモードを有効にする非公式のパッチはあるみたいですね。 平面の広さが256×256しかないので、プログラミングして遊んで、本格的にやりたくなったらPC版を買う感じかな。 公式のドキュメントもプログラミングすること前提で書かれているみたい。 作るもの 256×256と聞いて思い浮かぶのは、地図タ
Python: デコレータについて - CUBE SUGAR CONTAINER
Python の特徴的な構文の一つにデコレータがある。 便利な機能なんだけど、最初はとっつきにくいかもしれない。 そこで、今回はデコレータについて一通り色々と書いてみる。 先に断っておくと、とても長い。 これを読むと、以下が分かる。 デコレータの本質 デコレータはシンタックスシュガー (糖衣構文) に過ぎない デコレータの作り方 引数を取るデコレータと取らないデコレータ デコレータの用途 用途はラッピングとマーキングの二つに大別できる デコレータの種類 デコレータは関数、メソッド、インスタンスで作れる デコレータの対象 デコレートできるのは関数、メソッド以外にクラスもある 今回使った環境は次の通り。 尚、紹介するコードの中には、一部に Python 3 以降でないと動作しないものが含まれている。 $ python -V Python 3.6.6 デコレータについて まずはデコレータのおさら
Pythonの知っておくと良い細かい処理速度の違い8個 - kumilog.net
はじめに 標準入力 input と sys.stdin.readline ソート sort と sorted ソートの key ループ for と while リスト リストの初期化 二次元配列の場合 リストの値参照 リストへの値追加 それぞれの処理速度 まとめ はじめに 最近、PythonでAtCoderなどの競技プログラミングに挑戦しています。これまであまりに気にしなかったけど、ちょっとした書き方で処理速度が変わってくることに気づいたので、これを気に少し調べてみました。 目次にあるように、標準入力、ソート、ループ、リストについて、計8個の処理の速度比較を行いました。処理速度の計測方法は、Mac Book Pro*1を使い、timeitでそれぞれ100回計測*2し、平均と標準偏差を求めています。 結果だけ知りたい方は、まとめへどうぞ。 計測に用いたコードは以下にあります。 github.
一休レストランPython移行の進捗 - 一休.com Developers Blog
レストラン事業部エンジニアの id:ninjinkun です。 一休レストランでは10年以上動いているシステムをPython 3で書かれた新システム（以下restaurant2）に順次移行する作業を進めています。現在ではPC用のレストランページ や主要な API を含め、いくつかのページがrestaurant2で提供されるようになっている状態です。本記事ではこの移行の経緯と、restaurant2システムの詳細、Pythonを選んだ理由、現在の進捗状況をお伝えします。 経緯 一休レストランはサービスローンチ時よりClassic ASP（言語はVBScript）でシステムが構築されてきました（こちらに驚かれる方も多いと思いますが、歴史的経緯という言葉で強引にまとめて話を先に進めます）。このシステムは現在も一休レストランを支えているのですが、長年の改修による複雑性の増加、言語の古さ、言語機能の
Python UTF-8のCSVファイル読み込み (UnicodeDecodeError対応) - Qiita
PythonでCSV(UTF-8)を読み込みするとエラーが発生したときの対応。 encodingでUTF-8を指定した。Python3 公式CODEC一覧 UTF-8は指定なしで読み込めるらしいけど、環境によるのかな。 今度まじめに調べたら記事更新しよう。 shiracamusさんからコメントで教えて頂きました。 デフォルトはOS標準になるとのことです。 環境 Windows10 Python3.6.0 発生したエラー UnicodeDecodeError: 'cp932' codec can't decode byte 0x86 in position 35: illegal multibyte sequence
PythonでMacのカメラからQRコードを読んでみた | from umentu import stupid
QRコードをOpenCV+pyzbarで読んでみた。今更な感じもするけど、OpenCVおじさんとしてはやっておかないと。 人気記事: OpenCV + YOLOv3で物体検出を行う 環境構築簡単に pip install --upgrade pip pip install opencv-python pyzbar numpy from pyzbar.pyzbar import decode from pyzbar.pyzbar import ZBarSymbol import cv2 import numpy as np def edit_contrast(image, gamma): """コントラクト調整""" look_up_table = [np.uint8(255.0 / (1 + np.exp(-gamma * (i - 128.) / 255.))) for i in ran
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - kitao/pyxel: A retro game engine for Python
