シェルスクリプトとの対比で理解するPythonのsubprocess - 朝日ネット 技術者ブログ
はじめに 開発部の ikasat です。 皆さんは git, ssh, rsync のような外部コマンドを呼び出すスクリプトを書きたくなったことはありますか？ 個人的にこの類のスクリプトは最初はシェルスクリプトとして書くのですが、改修を重ねるうちに肥大化して処理も複雑になり、 後から Python のような汎用プログラミング言語で書き直すことがよくあります。 外部コマンド呼び出しを書き直す際に、Git 操作のために pygit2、 SSH 接続のために paramiko のようなライブラリをわざわざ使うのは大がかりだったり、 rsync に相当するようなこなれたライブラリが存在しなかったりする場合があります。 そのような時は標準ライブラリの subprocess モジュールを利用し、Python から外部コマンドを呼び出すことになるでしょう。 しかしながら、Python のチュートリアルペ
オフライン環境でPythonパッケージをpipインストール | 電算星組
はじめに 世の中のシステムには、セキュリティ等の理由から外部ネットワークとの接続が遮断されているケースがあります。その場合、インターネット上から直接ソフトウェアのパッケージを取得してインストールを行うことができません。 上記のようなオフライン環境でPythonのパッケージをインストールする方法を調べてみました。 前提条件 Python 3.9.6で検証しています。 OSは、CentOS Stream 8インストールDVDのISOファイルから「最小限のインストール」を選択しインストールを行いました。 バージョン情報は以下の通りです。 # cat /etc/redhat-release CentOS Stream release 8 # uname -r 4.18.0-301.1.el8.x86_64 必要パッケージのインストール 「最小限のインストール」でOSをインストールした場合、ユーザプ
【CSP】Python で制約充足問題 (レイアウト問題) を解く |
今回は, 『Python計算機科学新教本』3章 制約充足問題 の 3.6 回路レイアウト を書いてみたので備忘録として残しておきます。本書の原著は『Classic Computer Science Problems in Python』です。 環境は Python 3.7 です。 3章 制約充足問題 制約充足問題 (Constraint Satisfaction Problem; CSP) は変数の集合 (variables)、変数の取り得る値の集合である領域 (domains)、変数間の制約 (constraints) の3つの要素で構成される。全ての制約を満たすように変数に領域に属する値を割り当てることを, 制約充足問題を解くという。また, 解を探索するプログラムを制約ソルバー (Constraint Solver) という。制約充足問題の例として, 地図の塗り分け問題, N クイーン
Python言語による実務で使える100+の最適化問題 | opt100
はじめに 本書は，筆者が長年書き溜めた様々な実務的な最適化問題についてまとめたものである． 本書は，Jupyter Laboで記述されたものを自動的に変換したものであり，以下のサポートページで公開している． コードも一部公開しているが，ソースコードを保管した Github 自体はプライベートである． 本を購入した人は，サポートページで公開していないプログラムを 圧縮ファイル でダウンロードすることができる． ダウンロードしたファイルの解凍パスワードは<本に記述>である． 作者のページ My HP 本書のサポートページ Support Page 出版社のページ Pythonによる実務で役立つ最適化問題100+ (1) ―グラフ理論と組合せ最適化への招待― Pythonによる実務で役立つ最適化問題100+ (2) ―割当・施設配置・在庫最適化・巡回セールスマン― Pythonによる実務で役立つ
Python言語による実務で使える100+の最適化問題 | opt100
指針 厳密解法に対しては、解ける問題例の規模の指針を与える。数理最適化ソルバーを使う場合には、Gurobi かmypulpを用い、それぞれの限界を調べる。動的最適化の場合には、メモリの限界について調べる。 近似解法に対しては、近似誤差の指針を与える。 複数の定式化を示し、どの定式化が実務的に良いかの指針を示す。 出来るだけベンチマーク問題例を用いる。OR-Libraryなどから問題例をダウンロードし、ディレクトリごとに保管しておく。 解説ビデオもYoutubeで公開する． 主要な問題に対してはアプリを作ってデモをする． 以下，デモビデオ： 注意 基本的には，コードも公開するが， github自体はプライベート そのうち本にするかもしれない（予約はしているが， 保証はない）． プロジェクトに参加したい人は，以下の技量が必要（github, nbdev, poetry, gurobi); ペー
N番目の素数を求める - すぎゃーんメモ
SNSなどで話題になっていたので調べてみたら勉強になったのでメモ。 環境 Pythonでの実装例 例1 例2 例3 エラトステネスの篩 Rustでの実装例 試し割り法 エラトステネスの篩 アトキンの篩 おまけ: GMP Benchmark 高速化のテクニック 上限個数を見積もる Wheel factorization オチ Repository References 環境 手元のMacBook Pro 13-inchの開発機で実験した。 2.8 GHz Intel Core i7 16 GB 2133 MHz LPDDR3 Pythonでの実装例 例1 最も単純に「2以上p未満のすべての数で割ってみて余りが0にならなかったら素数」とする、brute force 的なアプローチ。 import cProfile import io import pstats import sys def m
PythonでLambda Functionを書く時にデコレータでイベントソース毎の共通処理をすると便利という話
この記事はServerless2 Advent Calendar 2018の21日目の記事です。 qiita.com 先日 AWS Lambda Custom Runtimes芸人 Advent Calendar 2018 の方はちょっとはっちゃけすぎた感もありつつ実戦にすぐに役に立つような内容ではなかったですが、今回はマジメにより実戦的な内容で行きたいと思いますｗ marcy.hatenablog.com はじめに 私は普段は主にPythonでLambda Functionを書いているのですが、イベントの処理方法を予め決めてデコレータで共通処理を行うようにしています。それによってServerlessな開発でよく話題になるトレーサビリティの問題やエラーハンドリングの煩雑さなどをある程度上手く解決できているので紹介したいと思います。 なお、出てくるコードは実際に使用しているものに近いですが、
【自動化】PDF内の表をPythonで抜き出す - Qiita
PDFは扱いにくい PDFファイルをPythonで扱うのは大変です。 表がPDFの中に埋め込まれているケースも割とあります。 例えば 平成30年 全衛連ストレスチェックサービス実施結果報告書の中にはたくさんの表データが埋め込まれています。 例えばファイルの40ページの【表14 業種別高ストレス者の割合】を抜き出したいと思ったとします。 この表を選択して、Excelにコピペしてみましょう。 コピーして、Excelに貼り付けます。 おや？うまくいかないですね。 1つのセルの中に、全部のデータが羅列されてしまっています。 実はPythonを使ってこのPDF中の表を比較的簡単にcsvやExcelに変換することができます。 PythonでPDFの表をcsvに PythonでPDF内の表(テーブル)をcsvやexcelに変換する手順は2ステップです。 ステップ1. PDFから表をpandasのData
Pythonのリスト内包表記はチューリング完全だから純LISPだって実装できる - Qiita
まえがき Pythonにはリストに対する操作をさっと書ける、リスト内包表記というものが存在します。こんなやつです: >>> [2*n for n in range(5)] [0, 2, 4, 6, 8] # 等価なfor文 >>> lis = [] >>> for n in range(5): ... lis.append(2*n) ... >>> lis [0, 2, 4, 6, 8] ところでこのリスト内包表記、チューリング完全だって知ってましたか？ こちらの記事でそのことが示されています。 リスト内包表記の活用と悪用 by @KTakahiro1729 あああっ！ 開かれるPythonワンライナー&難読化の世界！！ ステキすぎる！！！ 超カッコいい！！！！ ……でも、われわれはbrainfxxkだけで満足していてよいのでしょうか。ぼくは、もっと抽象的で、カッコよくて、とっても使いやす
組合せ最適化を使おう - Qiita
野菜の選び方はナップサック問題、乗り換え駅探索は、最短路問題といいます。典型問題は、よく研究もされているので、多くの場合、効率的な解法があります。あるいは、定式化がされているので、すぐ解くことができます。あとで、やってみましょう。ここで、あげている全ての典型問題の実行例は、典型問題と実行方法をご覧ください。 汎用問題 最近、私がやっているコンテナの仕事のお話しをします。 世界中の人たちが、いろいろなものを安く買えるのはコンテナ輸送のおかげです。中国などで生産したものを日本やアメリカやヨーロッパに、大量に安く運べるからです。でも、空のコンテナが、どんどんたまります。また中国に戻さないといけません。いつ、どこからどこに戻すかを決めるのが、最小費用流問題になります。ところが、最小費用流問題で表せない制約条件もあります。1 つが、カボタージュとよばれるものです。カボタージュというのは、国内のみの輸
私訳「暫定的 NumPy チュートリアル」 - naoya_t@hatenablog
# 原文：http://www.scipy.org/Tentative_NumPy_Tutorial このチュートリアルを読む前に、Pythonについてちょっとは知っているべきだ。記憶をリフレッシュしたいと思うなら、Pythonチュートリアルを見てくるがいい。 このチュートリアルに出てくる例を試したいなら、あなたのPCに少なくとも Python NumPy はインストールされているべきで、他に入ってると便利なのは： ipython は拡張されたインタラクティブなPythonシェルで、NumPyの機能を探検するのにとても便利 matplotlib があると図表の描画が可能になる SciPy はNumPyの上で動く科学計算ルーチンを沢山用意してくれる 基礎 NumPy の主要なオブジェクトは、同じ型（普通は数）の要素のみから成り、正の整数のタプルで添字付けされた、均質なテーブル（というか多次元
HomebrewのインストールからpyenvでPythonのAnaconda環境構築までメモ - Qiita
はじめに PythonのAnaconda環境を構築していく際に、各ツールの導入記事は色々見つかったのですが、Homebrewのインストールから通しで解説している記事がなかったため、自分の備忘録も含めてまとめました。 Pythonの仮想環境管理ツールはPyenv以外にもいろいろありますが、今回は情報の多さと使い勝手のシンプルさの面でPyenvを採用しています。 用語のまとめ Homebrew:「Mac OS Xオペレーティングシステム上でソフトウェアの導入を単純化するパッケージ管理システムのひとつである」 by wikipedia 追記：HomebrewはmacOSに加えてLinuxとWindows (WSL)環境での実行を公式にサポートしました。 pyenv:様々なバージョンのPythonを管理するツール。導入することで，Python v2系とv3系など，複数のバージョンの切り替えが容易に
Pythonの環境構築 on Mac ( pyenv, virtualenv, anaconda, ipython notebook ) - Qiita
Pythonの環境構築 on Mac ( pyenv, virtualenv, anaconda, ipython notebook )PythonIPythonpyenvpyenv-virtualenvAnaconda はじめに pythonの環境構築を今後のためにまとめておきます。 バージョン管理をします ( pyenv ) 環境管理をします ( virtualenv ) anacondaも使います ( anaconda: 便利なpythonパッケージ ) iPython notebookにも触れます ( 知らないと損な開発 must item ) 基本設定 pyenv virtualenv のインストール まず、homebrewで pyenvとvirtualenvをインストールします。 ( homebrewはインストール済みの前提です。 ) pyenvでバージョンの管理が出来ます。
Python3のスクリプトでjsonをPOSTする - Qiita
ちょっとしたPython3スクリプトでjsonをPOSTしたいということがよくあると思います(適当)。 まずはサンプルコード。 import urllib.request, json if __name__ == '__main__': url = "http://xxxx/xxxx" method = "POST" headers = {"Content-Type" : "application/json"} # PythonオブジェクトをJSONに変換する obj = {"xxx" : "xxxx", 123 : 123} json_data = json.dumps(obj).encode("utf-8") # httpリクエストを準備してPOST request = urllib.request.Request(url, data=json_data, method=method,
xkcdpass
A flexible and scriptable password generator which generates strong passphrases, inspired by XKCD 936: $ xkcdpass > correct horse battery staple Install xkcdpass can be easily installed using pip: pip install xkcdpass or manually: python setup.py install Source The latest development version can be found on github: https://github.com/redacted/XKCD-password-generator Contributions welcome and grate
金融データのPythonでの扱い方 - 今日も窓辺でプログラム
はじめに Udacityというネット上のビデオを視聴する形で受講できる講義を提供しているサイトがあります。 Learn the Latest Tech Skills; Advance Your Career | Udacity サイトや講義は英語なのですが、その中で Machine Learning for Tradingという講義を見つけました。 この講義は主に3つのパートに分かれています 金融データをPythonで操作する コンピュータを使った投資 取引に使う機械学習アルゴリズム 1つ目のパートを視聴したので、Pythonの基本的な知識の部分で知らなかった点を、実際のデータを操作する中で紹介しようと思います。 2つ目と3つ目はまた後日にでも。。 目次 はじめに 目次 今回使用するデータとJupyter Notebook データの読み込み 移動平均の計算 pandasのrollingを使
Pythonの数式処理ライブラリSymPyをWolfram Alpha(Mathematica, Maxima)の代わりに使う方法 - MyEnigma
Mathematicaクックブックposted with カエレバSal Mangano オライリージャパン 2011-04-25 Amazonで探す楽天市場で探すYahooショッピングで探す 目次 目次 Wolfram Alphaの問題点 Sympyとは？ ブラウザでSympyを使う JupyterでSymPyを使う インストール Sympyの数式処理の例題 多項式展開 方程式をある変数で解く 連立方程式を解く 数値を代入する 微分 積分 テイラー展開 極限 その他 Sympyを使ったエンジニアリング例題 三次元の回転行列を計算する SymPyによるCコードの出力 SymPyはJupyterと一緒に使うとかなり便利 参考資料 MyEnigma Supporters Wolfram Alphaの問題点 以前、Wolfram Alphaがすごいという記事を書きましたが、 myenigma.h
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Diagrams · Diagram as Code
Solve Graph Coloring Problem with Greedy Algorithm and Python
Python 3の組み込み関数を速攻理解しよう： オブジェクト／スコープ／モジュール／動的評価／入出力編
