Rubyの並列並行処理のこれまでとこれから - クックパッド開発者ブログ
技術部の笹田です。今日で退職するので、バタバタと返却などの準備をしています。 本記事では、Rubyの並行並列処理の改善についての私の取り組みについて、おもに RubyKaigi 2022 と 2023 で発表した内容をもとにご紹介します。 並行と並列はよく似た言葉ですが、本記事では次のような意味で使います。 並行処理（concurrent processing）は、「複数の独立した実行単位が、待っていればいつか終わる（もしくは、処理が進む）」という論理的な概念で、古典的にはタイムシェアリングシステムなどが挙げられます。 並列処理（parallel processing）は、「複数の独立した実行単位のうちのいくつかが、あるタイミングで同時に動いている」という物理的な概念で、古典的には複数のCPU上で同時に実行させる、というものです。最近では、1つのCPU上で複数コアが同時に動いている、という
Ruby のバージョンを 3.1 系から 3.2 系にアップデートしたら Ruby on Rails アプリの動きが変わったのを解決した話 - DIGGLE開発者ブログ
私たちは Ruby on Rails の主要なマルチテナントライブラリ apartment を使ってサービスを提供しています。 Ruby のバージョンを 3.1 系から 3.2 系に上げたときに CSV ファイルを処理する部分でこのテナントの切り替えが意図通りに動作しませんでした。 この事象が興味深かったので共有します。 現在はこの事象に対応済で、私たちの環境は Ruby3.2 系で動作しています。 apartment ではマルチテナント対応部分をほとんど吸収してくれるので、アプリケーションのコードのほうにはあまりマルチテナント特有の処理が出てこず、個別処理のコードに集中できるメリットがあります。 事象が発生したコードは以下のような形式でした。 CSV.parse(filename, headers: true, header_converters: ->(header) { curren
pthread_once が嫌いすぎて再実装した話
pthread_once が嫌いです。なぜ嫌いかって言うと、こんな感じで、ファイルレベルのグローバル変数やグローバル関数が出現し、また、値を使う場所と初期化コードの位置が離れがちで可読性が下がるから。 static volatile BIO_METHODS *biom = NULL; static void init_biom(void) { biom = BIO_meth_new(BIO_TYPE_FD, "h2o_socket"); BIO_meth_set_write(biom, write_bio); BIO_meth_set_read(biom, read_bio); BIO_meth_set_puts(biom, puts_bio); BIO_meth_set_ctrl(biom, ctrl_bio); } static void setup_connection(...) {
Rubyのスレッドはタイムスライスで切り替わる？ | Kishima blog
2018-04-26Techc, Japanese, Ruby (English Version) Rubyのスレッド切り替えのトリガーは？ 昨日参加したkawasaki.rbで、スレッドの実行の切り替わりのタイミングがよく分からない、という話題がでました。 Ruby1.9でネイティブスレッドを用いた方式になったけれど、GVL(Giant VM Lock)の仕組みでIO以外の処理では同時に実行されるスレッドは１一つに制御されている、というような説明をネットで見かけました。 もしIO処理やスリープのタイミングでしかスレッドが切り替わらないとすると、下記のようなスレッド内でビジーループな処理をしているコードを動かすと・・・ for item in %w(first second third) puts item Thread.fork item do |param| (1..10000).ea
Rubyで並列処理が簡単にできるgem parallel - 酒と泪とRubyとRailsと
require 'rubygems' require 'parallel' require 'open-uri' require 'digest/md5' urls = [ 'http://farm4.staticflickr.com/3052/3086132328_e2041be795.jpg', 'http://farm7.staticflickr.com/6053/6312937936_cebaf2feb9.jpg', 'http://farm1.staticflickr.com/54/131841577_0e67642c02.jpg', 'http://farm3.staticflickr.com/2293/2266151759_058e732577.jpg' ] Parallel.each(urls, in_threads: 2) {|url| puts "start downl
並列1000コネクションに耐える！ Ruby のイベント駆動ライブラリ Rev と EventMachine の HTTPクライアント : DSAS開発者の部屋
並列1000コネクションに耐える！ Ruby のイベント駆動ライブラリ Rev と EventMachine の HTTPクライアント こんにちは、takada-at です。 Rubyのイベント駆動型ネットワークプログラミングフレームワーク Rev と EventMachine で HTTPクライアントを動かしてみました。 イベント駆動型ネットワークプログラミングフレームワークとは何か説明しだすと難しいですが、一言で言うと、以下のようになります。 # ふつうのフロー駆動型プログラム Net::HTTP.start(host, port){|http| res = http.get(path) #この処理が終わってから } puts "done" #この次の処理が実行される # イベント駆動型プログラム client = Rev::HttpClient::connect(host, port
Rubyで並列にopenする - hitode909の日記
外部のリソースを複数openするようなとき，1つずつ順番にやっていると，時間がかかってしまう． require 'open-uri' urls = %w{ a b d f g graph}.map{ |service| "http://#{service}.hatena.ne.jp/hitode909/" } contents = urls.map{ |url| open(url).read } これは17秒かかる． 並列に実行して，それらが終わるのを待つようにすると，実行時間を短縮できる． いいライブラリを使えばいい感じにできそうだけど，1つずつThreadを作って，あとで順番にjoinすると，簡単にできる． require 'open-uri' urls = %w{ a b d f g graph}.map{ |service| "http://#{service}.hatena.ne
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
rebuildfm 53で話題になったRubyのスレッドに関係したつぶやき
そろそろvolatileについて一言いっておくか
Rubyの並行性、アクター、およびRubinius - MenTaLguY氏へのインタビュー