Node.jsでCPUコアをフルに使って負荷の高い処理ができるかなと思ったらできた - Qiita
ちきさんです。 Node.jsでCPUコアをフルに使って負荷の高い処理ができるかなと思ったのでやってみました。 cluster APIを使って書いています。 APIの使い方が正しいかどうかはわかりませんが、loadSizeを大きい数字にするとCPUファンがガンガン回るので楽しいです。 import * as cluster from 'cluster' import { Subject } from 'rxjs/Rx' const numCPUs = require('os').cpus().length interface Message { pid: number value: number } function superPower(): Promise<number[]> { const queue$: Subject<number[]> = new Subject() let f
Pythonの並列処理・並行処理をしっかり調べてみた - Qiita
「ビルトインモジュールが色々あってぜんぜん分からない。俺達は雰囲気で並列処理を使っている」という状態だったので、良くないと思ってPythonの並列処理と並行処理をしっかり調べてみました。 少し長めです。細かいところまで把握するためのもので、仕事などの都合でさくっと調べて使いたい方は別の記事をご確認ください。 使った環境 Python 3.6.1 :: Anaconda 4.4.0 (64-bit) Ubuntu Jupyter notebook（一部マジックコマンドなども利用しています） ※Windowsの場合、マルチプロセスなどで直接Jupyter上で動いてくれない（.pyファイルを経由すると動く）などのケースがあります。 参考 : Jupyter notebook never finishes processing using multiprocessing (Python 3) 並行
テストを５倍速にする - BASEプロダクトチームブログ
この記事はBASE Advent Calendar 2019の20日目の記事です。 devblog.thebase.in PAY株式会社でテックリードを務める東と申します。 主にバックエンド全般に広く携わっています。最近はサーバーアプリばかり書いていますがインフラもわりとやります。 当ブログの読者の方には弊社のことをご存じない方もたくさんいらっしゃるかと思いますので、簡単に社の紹介をさせていただきます。 PAY株式会社はBASE株式会社の100%子会社で、オンライン決済サービス「PAY.JP」とID決済サービス「PAY ID」などの決済サービスを開発・運営している会社です。 「支払いのすべてをシンプルに」をミッションに掲げ、お金を扱うすべての事業者・個人がもっと豊かな生活ができることを目指しています。 さて、決済というミッションクリティカルなテーマを扱うにあたって、品質保証は最も重要な課題
node.jsのpuppeteerで並列？処理する方法
1const pp = require("puppeteer"); 2const uuid = require("node-uuid"); 3 4const urls = [ 5 "url0", 6 "url1", 7 "url2" 8] 9 10async function getScreenshot(url) { 11 const browser = await pp.launch(); 12 let page = await browser.newPage(); 13 await page.goto(url); 14 await page.screenshot({ 15 path: `${uuid.v4()}.png`, 16 fullpage: true 17 }); 18 browser.close(); 19} 20 21(async () => { 22 for (let u
Pythonでmultiprocessing.Poolを使ってお手軽並列処理 - matsulibの日記
2コア4スレッドCPUのマシンでPythonを使ってるとCPU使用率が25%までしかならなくて、これが100%まで使えればもっと高速化できるのではないかと思っていた。 CPU使用率100%のためにはmultiprocessingモジュールを使って並列処理すれば良い。 並列処理といえばプロセス間で共有するリソースの排他制御とかを考えなきゃいけなかったり面倒な印象がある。もちろんmultiprocessingモジュールには自分でプロセスを立ち上げて共有メモリを管理する機能もあるけど、それはお手軽じゃないし設計上も好ましくないのでここでは説明しない。 ここではもっと簡単な場合を考えて、他のプロセスとは独立に動作する関数に対してPoolを使ってみる。Pool()の引数は使うCPUの数で、引数なしだと自動的に最大数に設定してくれる（僕の環境だと4）。いくつかメソッドがあるけど、組み込み関数のmap(
Multiprocessingでクラス内変数が、どう変化するかの確認 - Qiita
概要 Python3でクラスを定義して、メソッド中にクラス変数を書き換える手続きを記載しつつ、それをマルチプロセスで処理したらクラス変数がどうなるのかの確認。 クラスの割当→並列処理→計算 プログラム test_main.py #!/usr/bin/env python # vim:fileencoding=utf-8 #Author: Hamano TASUKE #Created: 2016-01-05 import sys from test_class import TestMultiProcess argvs = sys.argv argc = len(argvs) def calculate_helper(class_name, method_name, *args, **kwargs): return getattr(class_name, method_name)(*args
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - feiz/pytest-parallel at pass-nextitem-to-runtest_protocol