Python Asyncio入門 - Qiita
Asyncioは、大雑把に言えば、PythonでNodeのような非同期プログラムを行えるようにするモジュールです。Pythonでは、スレッド（concurrent.futures）を用いて並行プログラムを書くことができますが、Asyncioではもう少し軽量の並行プログラムを実現できます。 この辺は「Fluent Python」に詳しいですが、いかんせんAsyncioの箇所は最新のPythonのバージョンで大きく変更されています。以下の公式サイトが貴重な情報源になります。 Asyncio公式サイト ここでは、最も有名なAsyncioライブラリであるaiohttpを使ったソースコードを説明することで、Asyncioの概念を見ていきたいと思います。 aiohttp公式サイト 以下の関連記事を投稿しました (追加 2021/02/13) Django 3.1のAsync Views - Qiita
Python で大量のファイルを並列で速く読み込む - Qiita
from glob import glob files = glob('data/*.csv') len(files) # 10000 この 1万件の CSV ファイルを Pandas DataFrame として読み込みたい。 ちなみに検証用のデータは以下のようにして生成した。 (3列 x 10,000行 の CSV ファイル 10,000 個) import numpy as np import pandas as pd row_n = 10000 col_n = 3 columns = [f'col{i}' for i in range(col_n)] for i in range(10000): df = pd.DataFrame(np.random.randn(row_n, col_n), columns=columns) df.to_csv(f'data/{i:04}.csv',
非同期プログラミングの話 - 南よ! 海の見える方!
時は2005年ごろ、Officeはスレッドを有効に使うべく悪戦苦闘していた。Outlook2007などは外部から見てもその苦闘が見られただろう(不安定、とも言う)。社内にいれば、そのずっと酷いバージョンのアルファやベータもドッグフードする機会があり、なかなかに絶望の淵を覗く思いだった。 その当時のたくさんの失敗の経験とその分析から、社内には割とたくさんの非同期プログラミングのノウハウがあった。 といってもかっこいいテクノロジとかデザインパターンのような華々しい物では無い。もっと地味な、Writing Solid Code非同期版のような感じだった。Avalon以前の地味な、面白くもない世界。 非同期と並列は違う。直交はして無いけれど。 「ブロックしてるコールを非同期コールに差し替えればいいんでしょ？」そう思って作られた大規模アプリは、すぐに動かなくなった。非同期のアプリとしてただ普通に振る
Pythonのスレッドについて理解したのでまとめておく。 - Qiita
タイトル同じです。自分はまだ未熟なエンジニアで忘備録的な側面もありこの記事を書いています。smtpを用いてメール送信の処理を書いていたのですが、その処理が比較的重く次の処理に映るまでに時間がかかってしまっていました。そこで使ったのがスレッドです。 スレッドとは スレッドとは２つの意味がありプログラムの処理の実行単位と、もう１つは某巨大掲示板におけるそれぞれのトピックスのことです。もちろん今回は前者です。スレッドが一番威力を発揮するのは,並列処理の際です。並列処理とは,コンピュータのプロセッサで１つのタスクを分割させることで,重い処理をするときに活躍します。 簡単なスレッドのプログラム 環境 macOs 訳あってpython2系ですが,ほとんど3系とコードは変わりません。詳しくはドキュメント等を参照していただきたいです。 import threading def thread_practic
MicrosoftのNapa.jsでJavaScriptをマルチスレッド化する | PLAID engineer blog
今回の記事のテーマはNapa.jsを使ってJavaScriptでmulti-threadingをやってみる、です。
スレッド名にデバッグ情報を埋め込むと激しく捗る件 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、アプリケーション基盤チームの青木(@a_o_k_i_n_g)です。 今回、Java のちょっとしたデバッグテクニックを紹介したいと思います。Java で運用中何かトラブルが発生した場合、スレッドダンプを取得することはしばしばあると思いますが、スレッドダンプだけだとちょっと情報が足りないことがあります。今回はスレッドダンプから得られる情報を増やして、素早く障害対応したりデバッグに役立てる方法を紹介します。 まずはじめに: スレッドダンプの取り方 基本ですが、改めてスレッドダンプの取得の仕方を紹介しておきます。スレッドダンプを取得する対象のプロセス ID を仮に 12345 として、下記のように jstack コマンドを実行すればスレッドダンプが取得できます(※Linux上で操作する想定)。 $ jstack 12345 対象のプロセス ID は ps aux | grep jav
Python: Pykka でアクターモデルについて学ぶ - CUBE SUGAR CONTAINER
アクターモデルというのは、並行処理のプログラミングモデルの一つだ。 並行処理という言葉からは、まずマルチスレッドとかをイメージすると思うけど、それよりも抽象度の高い概念となっている。 つまり、アクターモデルというのはマルチスレッドなどを用いて構築することになる。 どちらかといえばプロセス間通信 (IPC) の技法であって、共有メモリやロック、RPC と比較するものかもしれない。 そんなアクターモデルは、概念とか使ったときの嬉しさを理解・実感するのがなかなか難しいモデルだとも思う。 理由としては、使い始めるまでに必要なコード量が多かったり、それなりの規模のアプリケーションで使わないとメリットが分かりづらい点が挙げられる。 ただ、これはあくまで主観的なものだけど、アクターモデルをベースに組まれたアプリケーションは規模が大きくなっても並行処理をしているコードが読みやすい。 共有メモリやロックを使
Python: fasteners の便利な排他ロックを試す - CUBE SUGAR CONTAINER
Python には標準ライブラリとして、いくつか排他ロックの実装が用意されている。 例えば threading モジュールの Lock オブジェクトなどは、その代表といえる。 しかしながら、標準では用意されていないものもある。 例えばプロセス間の排他ロックやリードライトロックは標準ライブラリに用意されていない。 そのため、例えばもし自前でプロセス間の排他ロックを用意するとしたら fcntl モジュールなどを使って書くことになる。 とはいえ、排他ロックの実装というのはバグを作り込みやすい。 そもそも、マルチスレッドやマルチプロセスで競合しないプログラムを作ること自体が深く注意を払わなければできない作業だ。 その上、排他ロックの機構まで自前で用意するとしたら、二重でリスクを負うことになる。 fasteners 前置きが長くなったけど fasteners は前述したような排他ロックの機構を提供し
おまいらのthreading.Eventの使い方は間違っている - Qiita
はじめに Pythonのthreading.Eventを使っているサンプルはないかとググっていたら上位に間違った使い方をしているものが出てきました。 Qiitaでthreading.Eventを使った投稿でも3件全てが間違った使い方をしているという悲惨な状況たったので、正しい使い方を説明します。 threading.Eventとは イベントが発生するまでスレッドを待機させ、他のスレッドからイベントを発生させると待機スレッドが再開する、という使い方をする為のクラスです。 最も重要なメソッドは以下の2つです。 wait() イベントが発生するかタイムアウトになるまで現在のスレッドを待機させる。 set() イベントを発生させ、待機スレッドを再開させる。 他にもclear()とis_set()があります。 詳細はPythonドキュメントを参照してください。 正しい使い方 まずは正しい使い方を見て
Web Workersを用いてJavaScriptをマルチスレッド化する
長らくの間、JavaScriptはシングルスレッドな言語でした。重い処理を実行するたびにUI処理はブロックされ、マルチコアCPUは上手に使えない、それがJavaScriptの常識でした。ですが、Web Workersがあればそれが変わります。 Web Workersとは JavaScriptは、Workerという処理単位を持ちます。Workerはバックグラウンドで非同期に処理を行うための最も簡単な手法であり、JavaScriptに他の処理を妨げないタスクを実行する手段をもたらします。 しかしなぜWorkerという名前なのでしょうか。プログラマにとってなじみ深い「スレッド」ではいけなかったのでしょうか。 独立したメモリ空間 事実、Workerはスレッドのようなものと言えます。しかしながら、Workerにはプログラマが一般的に想像するスレッドとは少し違う点があります。スレッドというよりかは、ど
【簡単理解】Javaのスレッド・マルチスレッドとは？
先に書いたリンゴを買う人のように、１つの処理だけで終わるプログラムをシングルスレッドのプログラムと呼ぶ。 しかし、実際にはいくつかの処理を並行して行う。要するに、複数のスレッドが同時に動くことになる。 このように複数のスレッドが同時に動くことをマルチスレッドという。 スーパーに様々なものを買う役目をもった人間がいるようなものだ。 大分簡易化されているが図で表すと次のようになる。 マルチスレッドを使う理由は？ １人の人間がたくさんの物を買うよりも、複数の人間がそれぞれ目的のものを１つ買うほうが早い。 同じように、１つのスレッドで処理を行っていくよりも、マルチスレッドでの作業速度は速くなる。正確には速くならない場合もあって複雑なのだが、速くできる可能性があると思っておけば良い。 また、例えばWordなどでは入力中、同時にスペルチェックが行われていたりする。このように同時進行させられるのが、マル
Pythonにおける並列処理プログラミング入門 - MyEnigma
エキスパートPythonプログラミング改訂2版posted with カエレバMichal Jaworski,Tarek Ziade KADOKAWA 2018-02-26 Amazonで最安値を探す楽天市場で最安値を探すYahooショッピングで最安値を探す 目次 目次 はじめに subprocessによる複数子プロセス処理 concurrent.futuresによるマルチプロセス処理 Queueによる並行プログラミング 最後に 参考資料 MyEnigma Supporters はじめに 元々Pythonは、 そこまで処理速度が早い言語ではないので、 システムの処理速度を最適化したい場合は、 C++などで書き直した方が良いのかもしれませんが、 Pythonシステムをあと少し早くしたい時には、 並行処理プログラミングをしてみると、 効果があるかもしれません。 最近のコンピューターはマルチコア
Javaのマルチスレッドプログラミングで気をつけておくこと - 自分の仕事を憎むには人生は余りにも短い
マルチスレッドについていろいろ考えてる機会が多かったのでちょっとまとめてみた。 Singletonのdouble-checked lockingはアンチパターンだという話 double-checked lockingとSingletonパターン ネットでも各所に書かれているけれど、メジャーな書き方なのでみんないつの間にか使ってしまっていることが多い。*1被害に会う可能性が非常に低いので対策はほぼ必要ないけど知っておいて損はない。 double-checked lockingとはどんなソースかというと public static Singleton getInstance(){ if (instance == null){ synchronized(Singleton.class) { //1 if (instance == null) //2 instance = new Singleto
pythonでマルチコア並列処理をする方法 - Qiita
def function(hoge): #やりたいこと return x def multi(n): p = Pool(10) #最大プロセス数:10 result = p.map(function, range(n)) return result def main(): data = multi(20) for i in data: print i main() この場合だと、「0,1,2・・・19と値を変化させてfunctionを20回実行する」という処理になります。 functionの返値はresultにリストで入っているので、受け取って標準出力しています。 また、私の環境では12コア（正確には6コア12スレッド）まで使えるので最大プロセス数は10としました。 最大まで使うとブラウザを開くのも一苦労になるのでやめておいた方が無難です。 CPU使用率 並列処理中のCPU使用率も載せてお
Pythonでマルチスレッド処理 - Qiita
pythonを使ってマルチスレッド処理を行ないたい． pythonでスレッドを扱うにはthreadingモジュールを利用する． threadingモジュールでスレッドを扱うには二つの方法がある． threading.Threadのサブクラスを作る． threading.Threadのインスタンスを作る． それぞれについてサンプルを示す． サブクラスを作る サブクラスを作り，runにオーバーライドしてスレッド処理を実装する． 以下の例ではt秒おきにn回，時刻を表示するメソッドをrunとして実装した． import threading import time import datetime class TestThread(threading.Thread): """docstring for TestThread""" def __init__(self, n, t): super(Test
Pythonで学ぶ 基礎からのプログラミング入門(32) マルチスレッド処理を理解しよう(前編) | マイナビニュース
今回はマルチスレッドについて扱います。マルチスレッドは、簡単に言ってしまえば複数の処理を「並列」に進めることができるものです。マルチスレッドの反対がシングルスレッドであり、これは複数の処理を順番に進めていくものです。逆に言えば、ある処理が終わるまでは次の処理を実施することはできません。マルチスレッドおよびシングルスレッドの“スレッド”は「プログラムの実行単位」のことで、名前からわかるようにマルチスレッドはプログラムをマルチな実行単位で実行します。 今回の流れとしては、まず最初にプログラムの実行時間の測定手法について学びます。これを理解していないとマルチスレッドを使った高速化がどれほど効果的なものか理解しづらいためです。次にさまざまな処理にかかる遅延がどれほどのものかについて学びます。それらの基礎ができたうえで、シングルスレッドの問題点について、その次にマルチスレッドがどのようにその問題を克
Java スレッドダンプとの戯れ方 - A Memorandum
プロセスIDの取得 スレッドダンプの取得 Windowsでプロセスをサービス起動している場合 スレッドダンプを読む プロセスIDの取得 まずは Java のプロセスIDを取得するところから始める。jps で取得できる。 $ <JAVA_HOME>/bin/jps -l 主要なオプションは以下の通り(SunVM)。 オプション 説明 -m main メソッドに渡される引数を出力 -l アプリケーションの主要なクラスのフルパッケージ名、またはアプリケーションの JAR ファイルへのフルパス名を出力 -v JVM に渡される引数を出力 JDK7 からは JRockit と統合されたため jcmd が使えるので以下でもプロセスIDを取得できる。 $ <JAVA_HOME>/bin/jcmd または、単に ps コマンドで取得するでもよい。 $ ps -ef | grep -v 'grep' | g
Java並行処理プログラミングを読んだ - だいたいよくわからないブログ
本の感想を書くことによりいい感じにブログネタを切らさないようにする生活(´･_･`) だいぶ前から読んでいた本をついに読み終わりました。 https://www.amazon.co.jp/Java%E4%B8%A6%E8%A1%8C%E5%87%A6%E7%90%86%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%9F%E3%83%B3%E3%82%B0-%E2%80%95%E3%81%9D%E3%81%AE%E3%80%8C%E5%9F%BA%E7%9B%A4%E3%80%8D%E3%81%A8%E3%80%8C%E6%9C%80%E6%96%B0API%E3%80%8D%E3%82%92%E7%A9%B6%E3%82%81%E3%82%8B%E2%80%95-Brian-Goetz/dp/4797337206 Scalaだとakkaとかあって、アク
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Loading...
C++ マルチスレッド 入門
