Python 3.12で増えた並列処理と、これまでの並列処理の挙動を比べてみる - Qiita
この記事ですることを3行で Pythonの標準ライブラリでできる並列実行を、あらためて総当たりで速度比較しよう ウォーターフォールチャートで、それぞれの並列処理の処理時間の特徴を可視化しよう boto3の実行をモデルケースにして、どの並列処理が一番早いのかを調べよう この記事の結論を先に Python 3.12から本格的に使えるようになったサブインタープリターは、CPUで実行する処理について言えば、従来のサブプロセスよりも高速 boto3の実行は、サブインタープリターよりも署名付きURLの非同期実行のほうが速い → S3からの10ファイルの取得であれば、実行時間を90%削減できます → Bedrockの3回実行であれば、実行時間を60%削減できます 今回使ったソースコードはこちらに置いています。 お手持ちの環境で再実行できるようにしていますので、気になる方はぜひ。 どうしてこの記事を書くの
Python作者 Guido氏インタラクティブ記念講演会レポート | gihyo.jp
本レポートではメインコンテンツである、3つの「Guidoさんに○○」について簡単にレポートします。 GuidoさんにQ&A 「GuidoさんにQ&A」のコーナーでは、質問を参加者から事前にフォームで集め、そのうちいくつかの質問をピックアップし、その場でGuidoさんに回答してもらいました。MCはJDLAのシバタアキラさんとPyCon JP AssociationのJonasさんです。 Q&Aの様子 質問に使用したスライドは以下のページで公開しています。 GuidoさんにQ&A 全部で7つの質問をしました。質問を投稿してくれたみなさん、ありがとうございます。ここではいくつかの質問とその回答を紹介します。 「他の人に使ってもらうツール」に大切なこと 質問：「他の人に使ってもらうツール」を作る上で大切なことは何だと思いますか？ Guidoさん：他の人が何を望んでいるかを知ることは難しく、まずは自
メモリプロファイラ「Memray」の解説 | gihyo.jp
Memray公式サイトのキャプチャ インストール方法は以下のとおりです。 $ pip install memray Memrayの基本的な使い方 Memrayがインストールされていると、memrayコマンドが使えるようになります。 プロファイリング対象のスクリプトをmemrayから実行すると、スクリプトを実行した同じフォルダに実行時のプロファイリング結果がバイナリ形式でファイルに保存されます。 プロファイルの実行 サンプルのPythonスクリプトとしてsample.pyを準備します。以下のコードでは、状態表示をわかりやすくするために1秒間の待ちを入れています。実行内容は、リスト内包表記で要素数が約1億個のリストを生成しています。 sample.py - リスト内包表記でリストを作る import time time.sleep(1) # 状態表示をわかりやすくするために1秒待つ resul
Pythonは遅い遅い言われてJITとか中途半端なことせずにフルネイティブコンパイラを作ったらどうですか？
回答 (13件中の1件目) JIT方式は中途半端なものではありません。もちろん万能でなんでも優れているわけでもありませんが以下の利点があります。 * プログラムは単一の機械独立、OS独立の形式で配布できる(実行時に実行環境の機械語に変換できる) * 配布形式が小さくなる。マシン中立なバイナリ表現にした場合は特に。 * 全体をネイティブコンパイルするのではなく、速度にシビアに関わる最内周ループや何度も実行される場所に限ってネイティブコンパイルすることで実行に必要なメモリフットプリントを減らすことができる。 * 実行時だけわかる情報を元にした最適化やコード生成が可能。例えば、 *...
Python 3.11から追加された標準パッケージtomllibの紹介 | IIJ Engineers Blog
2018年新卒入社し、SOCにてインフラ管理を担当。その後、マルウェア解析や検証業務などに従事。2022年度からは、社内のSREチームにて兼務を開始。主な保持資格は、CISSP, OSCP, GREM, GXPN, RISS, CKA, CKSなど。バイナリを読むのが好きで、一番好きな命令はx86の0x90（NOP命令）。 はじめに 私は、業務でマルウェア解析のようなリバースエンジニアリングをしており、業務効率化のために自作ツールを作ることがあります。皆さんは自作のツールの設定ファイルに、どのようなファイル形式を利用していますか。昨今は、KubernetesやAnsibleなどで用いられるYAMLや、フロントエンド界隈で頻繁に利用されるJSONなどが多い印象です。そんな中、今回はTOMLと呼ばれるファイル形式の紹介をします。プログラミング言語Rustのパッケージ管理ファイルに利用されていた
PythonにおけるPub/Subパターンの実装
Pub/Subパターンとは Pub/Subパターンとは、イベント駆動型プログラミングのデザインパターンです。Publisher（発行者）が発行したイベントをBroker（仲介者）が取りまとめ、Subscriber（購読者）に伝達します。イベントはBrokerが管理しているため、PublisherとSubscriber同士は疎結合となります。 What is Pub-Sub? Rails Publish-Subscribe Pattern Tutorial | Toptalより Observerパターンとの違い 同じイベント駆動のデザインパターンにObseverパターンがあります。 ObseverパターンとPub/Subパターンの大きな違いは、イベントをどこで管理するのかにあります。Obseverパターンは、観測者と観測対象が直接イベントのやり取りを行いますが、Pub/Subパターンでは、E
Python Design Patterns
Python Design Patterns¶ Welcome! I’m Brandon Rhodes (website, Twitter) and this is my evolving guide to design patterns in the Python programming language. This site is letting me collect my ideas about Python and Design Patterns all in one place. My hope is that these pages make the patterns more discoverable — easier to find in web searches, and easier to read — than when they were scattered acr
Software Design連載 2021年8月号 Python製のレガシー＆大規模システムをどうリファクタリングするか - MonotaRO Tech Blog
Software Design連載開始 ※ (2021/09/02 08:55) 「Pythonを用いて開発を始めたのが2003年」を「Pythonを用いて開発を始めたのが2002年」に修正 こんにちは。金谷です。 このたび、モノタロウにおけるPython大規模開発に関する取り組みを、技術評論社様で発刊されている Software Design に連載させていただくことになりました。 モノタロウがPythonを用いて開発を始めたのが2002年。2021年の現在もPythonを用いた開発が続けられています。 事業の成長に伴い、関連するシステムやエンジニアの数も増え続けていくなかで、いかに安定的に価値を提供し続けられるのか。 モノタロウにおける取り組みを、開発や運用周りを通してご紹介していきます。 本記事の初出は、 Software Design2021年8月号「Pythonモダン化計画（第1
モンテカルロ木探索を Python で実装する
はじめに AlphaZero 深層学習・強化学習・探索 人工知能プログラミング実践入門 以上の本を参考にさせていただき、モンテカルロ木探索(MCTS)を Python で実装しました。 実装リポジトリは以下です。 今回は、 MCTS を書くときに気をつけたことなどを将来の自分に向けてまとめておこうと思います。 局面に対するお気持ち MiniMax や MCTS の実装や本を読むときに以下のような悩みが発生すると思います。 二人でプレイしているけど、現在見ている state オブジェクトの turn プロパティって先手と後手のどっちを表しているんだ？ そもそも MiniMax や MCTS ってどっちの視点で考えればいいんだ？ 上記のような部分は、本ではかなり省略されることが多いです。 視点の考え方 まず、どっちの視点で考えればよいかですが、stateの局面でこれから打つ側の視点に立って考え
Async SQLAlchemy with FastAPI
SQLAlchemy 1.4 Before we look at the example, there are some important information about the new SQLAlchemy 1.4 release: SQLAlchemy 1.4 presents changes that will be finalized in SQLAlchemy 2.0. SQLAlchemy unifies Core and ORM APIs for consistency. Both Core and ORM now support async with asyncio, but this feature is not production ready yet. It also comes with some limitations on what can we do w
Flask-SQLAlchemy — Flask-SQLAlchemy Documentation (2.x)
Warning: This is an old version. The latest stable version is Version 3.1.x. Flask-SQLAlchemy¶ Flask-SQLAlchemy is an extension for Flask that adds support for SQLAlchemy to your application. It aims to simplify using SQLAlchemy with Flask by providing useful defaults and extra helpers that make it easier to accomplish common tasks. See the SQLAlchemy documentation to learn how to work with the OR
Pythonでconcurrent.futuresを使った並列タスク実行 - Qiita
concurrent.futuresモジュールの概要 Python3.2で追加されたconcurrent.futuresモジュールは、複数の処理を並列実行するための機能を提供します。 Pythonには他にthreadingとmultiprocessingというモジュールがありますが、これらが１つのスレッド・プロセスを扱うのに対して、concurrent.futuresモジュールは複数のスレッド・プロセスを扱うことを目的としています。 Executor concurrent.futuresモジュールには抽象クラスとしてExecutorクラスがあり、実装クラスとして2つのクラスが提供されています。 並列タスクを実行するにはこの２つのうちどちらかを使用します。 ThreadPoolExecutor スレッドを使って並列タスクを実行します。 ネットワークアクセスなどCPUに負荷がかからない処理の並
Pythonのthreadingとmultiprocessingを完全理解 - Qiita
現代の主なOSと言ったら、Mac OS，UNIX，Linux，Windowsなどがあります。これらのOSは「マルチタスク」機能をサポートしています。 マルチタスクとは？と思うかもしれませんが、例えばブラウザーを立ち上げて、音楽聴きながら、Wordでレポートを書くというシチュエーションでは、少なくとも3つのタスクが同時進行しています。そして、表のタスク以外に、裏ではOS関連の様々なタスクがこっそり動いています。 マルチコアのCPUで、マルチタスクが処理できるのは理解しやすいですが、シングルコアのCPUでもマルチタスクが可能です。OSはそれぞれのタスクを交替に実行しています。例えば、タスク1を0.01秒、タスク2を0.01秒、タスク3を0.01秒、タスク1を0.01秒......繰り返して実行していきます。CPUは速いので、ほぼ同時進行のように感じます。この交替実行のことをしばしば「並行処理（
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
高速なPythonの静的コード解析ツールを作った話
Get hard disk size in Python
QDくん⚡️Python x 機械学習 x 金融工学 on Twitter: "オライリーの教育的な良書「Think Python」第2版は日本語訳が無料公開されている。 https://t.co/277qzyR7Rs ・初心者がつまずきやすい点を先回りして説明 ・各章の終盤にデバッグのヒントが書いてある https://t.co/RPX57PNyn9"
A glob.iglob that include dot files and hidden files
Character Encoding & Unicode - How to (╯°□°）╯︵ ┻━┻ with dignity
Sqlalchemy - Difference between query and query.all in for loops
Essential SQLAlchemy, 2nd Edition