Rails: SidekiqからSolid Queueに移行したときの方法と注意点（翻訳）｜TechRacho by BPS株式会社
概要 元サイトの許諾を得て翻訳・公開いたします。 英語記事: How we migrated from Sidekiq to Solid Queue - BigBinary Blog 原文公開日: 2024/03/05 原著者: Chirag Shah 日本語タイトルは内容に即したものにしました。 私たちBigBinaryは、neetoでさまざまなプロダクトを構築しています。現在22のプロダクトを開発中で、それらはいずれもSidekiqを利用しています。Solid Queueが公開された後で、私たちのneetoFormで使われているSidekiqをSolid Queueに移行する決定を下しました。 なお、現時点のSolid Queueはcronスタイルのジョブや定期的に繰り返されるジョブ実行をサポートしておらず、これに関するプルリク#155がオープンされています。そういうわけで、Solid
週刊Railsウォッチ: Kamalはゲームチェンジャーになるか、Solid Queueで使われているfugitほか（20240423後編）｜TechRacho by BPS株式会社
こんにちは、hachi8833です。後編が遅れてしまい申し訳ありません🙇 RubyKaigi 2024の公式パーティをはじめとするイベント募集が始まりました。 We just revealed details of the official party for RubyKaigi 2024 and its registration is now open: https://t.co/MUTBTeaFCi And more social events will follow during this week!#rubykaigi — RubyKaigi (@rubykaigi) April 16, 2024 週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋
週刊Railsウォッチ: solid_queueとmission_control-jobsが正式にRailsのgemに、Rubyの"チルド"文字列ほか（20240402）｜TechRacho by BPS株式会社
こんにちは、hachi8833です。xzの脆弱性対策をお忘れなく。 “XZ Utilsの脆弱性 CVE-2024-3094 についてまとめてみた - piyolog” https://t.co/QYpX58DweW — 徳丸 浩 (@ockeghem) April 1, 2024 sshの0.5秒の遅延からxzのバックドアを発見し大惨事を未然に防いだAndres Freundの功績を讃えるMicrosoft CEO https://t.co/FwVEVIZg6p — Haruhiko Okumura (@h_okumura) April 1, 2024 週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄
GitHub - hatchet-dev/hatchet: A distributed, fault-tolerant task queue
Hatchet replaces difficult to manage legacy queues or pub/sub systems so you can design durable workloads that recover from failure and solve for problems like concurrency, fairness, and rate limiting. Instead of managing your own task queue or pub/sub system, you can use Hatchet to distribute your functions between a set of workers with minimal configuration or infrastructure: What Makes Hatchet
Pythonでリストを多用しがちな新人に贈りたい、array/tuple/set/queueの魅力と使い分けフローチャート - Qiita
Pythonでリストを多用しがちな新人に贈りたい、array/tuple/set/queueの魅力と使い分けフローチャートPythonarray初心者tupleset はじめに みずほリサーチ＆テクノロジーズの @fujine です。 Pythonのリストってとても便利ですよね。可変長で任意のオブジェクトを保存できるため、シーケンシャルなデータなら何でもリストで実装したくなる気持ち、分かります。 でもちょっと待ってください！リスト以外にも便利なコレクション型があること、ご存知でしょうか？コレクション型を適切に使い分けることで、 プログラムの意図を（ドキュメントに頼らなくても）読み手に的確に伝えられる パフォーマンスが向上する などの効果が期待できます。 そこで本記事では、Pythonの組み込み型や標準ライブラリを対象に、リストと似たコレクション型をどのように使い分けるか？の案をフローチャー
GitHubのMerge Queueとは何か？それと、認識しておきたいこと - Mitsuyuki.Shiiba
同僚に「GitHubのMerge Queueってあんまり知らないんだけど、どう思う？」って聞かれて「あー。僕もあれよく分かってないんだよね」って返事をして、ちょうどいい機会なので見てみた 見てみた感想としては、いくつか気をつけておきたい点があるけど、チームの開発の進め方にうまくはまれば便利な機能だな、という感じ（なんでもそうか・・・） Merge Queueって? 2023年の7月にGAになったGitHubの機能 プルリクエストをマージするときに「マージ先のブランチ（ベースブランチ）の最新の変更を取り込んでからChecks（つまりCI）を実行して、それが成功したらマージしといて！」ってお願いできる便利機能。名前のとおりQueueになっているので複数のプルリクエストからenqueueできて前から順番に処理してくれる そうは言われても最初に説明を見た僕は「？？？」状態だった。「なんでこんな機能
Rails: Solid Queueで重要なUPDATE SKIP LOCKEDを理解する（翻訳）｜TechRacho by BPS株式会社
概要 元サイトの許諾を得て翻訳・公開いたします。 英語記事: Solid Queue & understanding UPDATE SKIP LOCKED - BigBinary Blog 原文公開日: 2024/01/23 原著者: Chirag Shah サイト: BigBinary Blog 日本語タイトルは内容に即したものにしました。 参考: 週刊Railsウォッチ20240117: Solid Queue: 37signalsによるActive Job向けDBベースのジョブバックエンド 🔗 Solid Queueについて 最近になって、37signalsがSolid Queueをオープンソースとして公開しました（関連記事）。 Solid QueueはActive Jobで利用できるクエリバックエンドであり、データベース上に構築されます（これと対照的に、SidekiqやResqu
GitHub - rails/solid_queue: Database-backed Active Job backend
Solid Queue is a DB-based queuing backend for Active Job, designed with simplicity and performance in mind. Besides regular job enqueuing and processing, Solid Queue supports delayed jobs, concurrency controls, pausing queues, numeric priorities per job, priorities by queue order, and bulk enqueuing (enqueue_all for Active Job's perform_all_later). Improvements to logging and instrumentation, a be
Introducing Solid Queue
We’ve just open-sourced Solid Queue, a new backend for Active Job that we use in HEY to run about 1/3 of our roughly 18 million jobs per day. We’ll be moving more jobs in the coming days until we run HEY exclusively using Solid Queue. Besides regular job enqueuing and processing, Solid Queue supports delayed jobs, concurrency controls, pausing queues, numeric priorities per job, and priorities by
Years ago I wrote about my trouble with a job queue in Postgres, in which table bloat caused by long-running queries slowed down the workers’ capacity to lock jobs as they hunted across millions of dead tuples trying to find a live one. A job queue in a database can have sharp edges, but I’d understated in that writeup the benefits that came with it. When used well, transactions and background job
【Python】multiprocessing.Queueを活用した並列処理の最適化（サンプルコード付き） - Sabrou-mal サブロウ丸
Pythonでプロセス並列処理を効率的に行うためのツールとして、multiprocessing.Poolは非常に便利です。しかし、下記のような状況では並列化により逆に処理速度が低下することがあります。 data = xxx # 非常に大きなオブジェクト (巨大なリストなど) def func(data, i, j): """並列化したい関数: data、i、jの3つの引数を受け取り、何かの処理を実行する関数""" return data[i] + data[j] # funcの入力 args = [ (data, i, j) for i in range(10) for j in range(10) ] with multiprocessing.Pool as pool: pool.map(func, args) これはなぜかというと、multiprocessing.Poolやmultip
GoodJob, via its introductory blog post, was highlighted last week at Rails World. A new Active Job queue backend, Solid Queue, was announced, and I’m excited to see where it goes! I attended Rails World in Amsterdam this past week. During the conference, a new Active Job backend was announced: Solid Queue (video), which has the potential to become first, first-party backend in Rails. Solid Queue,
Introduction⌗ Postgres queue tech is a thing of beauty, but far from mainstream. Its relative obscurity is partially attributable to the cargo cult of “scale”. The scalability cult has decreed that there are several queue technologies with greater “scalability” than Postgres, and for that reason alone, Postgres isn’t suitably scalable for anyone’s queuing needs. The cult of scalability would rathe
Remix + Cloudflare Workers + D1 + KV + Queue + R2 + DOで簡単なアプリを作る
Remix + Cloudflare Pages/WorkersをベースにD1とKVと組み合わせた構成で作るアプリの解説は巷に結構あるが、それらに加えてQueueやR2なども合わせた参照実装みたいなものが見当たらなかったので作った。 このアプリの機能は下記。 Googleアカウントを用いたOAuthログイン セッション管理にKV,ユーザー管理にD1を使う はてブのようなブックマーク機能(基本的なCRUD) URLとコメントを入力してD1へデータ登録できる URLの先のページからOGPを取得して登録 QueueのProducerとConsumerを使って非同期にタイトルと画像を取得 取得した画像はR2にアップロードする URLごとにブックマーク数を管理する Durable Object(DO)を使う。 Cron Trigger ついでに追加。アプリ的には不要だがせっかくなので設定だけしておく
2023/7/12にGithub Merge QueueがGAになりました。 https://github.blog/changelog/2023-07-12-pull-request-merge-queue-is-now-generally-available/ 機能のパッと見はPRをただキューに積んでくれるだけで「何が嬉しいんだろう？」と思う人も多そうなので、何が嬉しいのか事例付きで紹介できればと思います。 TL;DR 「PRの時点ではコンフリクトも無いしCIも通っているがマージしたらCI落ちた」というのが割とよくある 上記の対策として「マージ前にmain rebaseしてCIを再度回し、問題無いことを確認してからマージする」という作業を手動で行うしか無い Merge Queueを使用することでマージ後のCIチェックを自動化し、問題ある場合はマージせずに差し戻すことが可能になる Tab
Mutex without lock, Queue without push: cancel safety in lilos - Cliffle
2023-07-10 (updated 2023-07-12) Levels of cancel safety What good is a queue that you can’t push into? What good is a mutex you can’t lock? Toward a more cancel-safe world I’m trying to do something kind of unusual with lilos: in addition to almost all the APIs being safe-in-the-Rust sense, I’m also attempting to create an entire system API that is cancel-safe. I’ve written a lot about Rust’s asyn
You Don't know Jack about Application Performance - ACM Queue
May 24, 2023 Volume 21, issue 2 PDF You Don't know Jack about Application Performance Knowing whether you're doomed to fail is important when starting a project. David Collier-Brown You can't just measure a program's performance, Dave. You have to run a benchmark! That's what I hear all the time when I ask about the performance of some program. Well, it's only sort of true. If you want to know at
GitHub の merge queue で 「マージ待ち」を解消した話 - Akatsuki Hackers Lab | 株式会社アカツキ（Akatsuki Inc.)
こんにちは。 株式会社アカツキゲームスで ATLAS というチームに所属してゲーム内通貨管理基盤の開発及び運用を行っています、なかひこくん (@takanakahiko) です。 最近バイクを買いました。 私の担当するゲーム内通貨管理基盤の開発現場では、「マージ待ち」なるものが存在しました。 今回は、その課題を GitHub の新機能である merge queue で解決した方法を紹介します。 この記事は 2023-07-20 時点での merge queue 及び GitHub Actions の仕様に則ったものです。 今後のアップデートによりこの記事の内容が正しくないものとなる可能性があります。 「マージ待ち」とは 私の担当するゲーム内通貨管理基盤の GitHub リポジトリでは PR のマージ後に走る、同時に実施できない 15 分程度の E2E test が存在しました。 すなわち
Pull request merge queue is now generally available! merge-queuepull-requestsvelocity July 12, 2023 Today we are announcing the general availability of pull request merge queue! 🎉 Merge queue helps increase velocity in software delivery by automating pull request merges into your busiest branches. Before merge queue, developers would often need to update their pull request branches prior to mergi
CompanyEnterpriseOpen SourceGitHub merge queue is generally availableSupercharge pull request merges on your busiest branches by enabling your team to queue. General availability of GitHub’s merge queue means good-bye to traffic jams on your team’s busiest branches. No more rushing to merge your pull requests before someone else merges theirs 🥵. Turn on GitHub’s merge queue today and accelerate y
May 3, 2023 Volume 21, issue 2 PDF DevEx: What Actually Drives Productivity The developer-centric approach to measuring and improving productivity. Abi Noda, DX Margaret-Anne Storey, University of Victoria Nicole Forsgren, Microsoft Research Michaela Greiler, DX Engineering leaders have long sought to improve the productivity of their developers, but knowing how to measure or even define developer
SQL Maxis: Why We Ditched RabbitMQ And Replaced It With A Postgres Queue
Embracing our SQL Maxi nature: how we ripped out RabbitMQ from our infrastructure and replaced it with a Postgres queue. We recently ripped out RabbitMQ from our system and replaced it with a queue built on top of our Postgres db and written in SQL. The change took half a day to implement + test, and had a net delta of -580 LOC. Much more importantly, it drastically improved the reliability and re
システム障害やbotのない販売＆申請を 仮想待合室でトラフィックを管理し、繁忙期にも障害・ボットフリーなオンライン体験を実現
Photo by Ryutaro Uozumi on Unsplashモチベーション2023/02/09 に GitHub の Pull request merge queue が public beta ステータスでリリースされた。 うまく動かないところや、ドキュメントからは読み取れない動きがあったのでまとめる。 public beta リリース時点での検証のため、今後の修正や仕様変更で動作が変わる可能性が大いにある 概要 branch protetion のルールを守りながら、更新頻度の高いブランチ (main ブランチなど) へのマージを、安全に行えるもの。branch protection が設定された branch に対して merge queue を有効化できる。branch protection のルールを全て満たした PR のみ merge queue に追加することができ
February 8, 2023 Today we are announcing the public beta of pull request merge queue for repos on GitHub Enterprise Cloud and open source organizations! 🎉 Merge queue helps increase velocity in software delivery by automating pull request merges into your busiest branches. Before merge queue, developers were often required to update their pull request branches prior to merging to ensure their cha
Rendering Queue: Google Needs 9X More Time To Crawl JS Than HTML - Onely
Can Google crawl JavaScript content? Sure. But does it crawl JavaScript content just like it does HTML? Not by a longshot. I just ran an experiment that demonstrates it. The result: Google needed 9x more time to crawl JavaScript pages vs plain HTML pages. This demonstrates the existence of a rendering queue within Google’s indexing pipeline, and shows how waiting in this queue can drastically affe
Netflix Builds a Custom High-Throughput Priority Queue Backed by Redis, Kafka and Elasticsearch
InfoQ Software Architects' Newsletter A monthly overview of things you need to know as an architect or aspiring architects. View an example
Why not just use Celery/RQ/Huey/TaskTiger? Unfortunately, WakaTime has been using Celery for almost 10 years now. During that time I’ve experienced many critical bugs, some still open years after being introduced. Celery used to be pretty good, but feature bloat made the project difficult to maintain. Also in my opinion, splitting the code into three separate GitHub repos made the codebase hard to
『VALORANT』では敗者同士がマッチングする仕組み “Losers Queue” は存在しない。開発者が正式に存在を否定 - AUTOMATON
ホーム ニュース 『VALORANT』では敗者同士がマッチングする仕組み “Losers Queue” は存在しない。開発者が正式に存在を否定 『VALORANT』シニアコンペティティブデザイナーのEvrMoar氏は7月23日、自身のTwitterアカウントにて、『VALORANT』では前回の試合で負けた者同士がマッチングする仕組み、いわゆる “Losers Queue” は存在しないと公表した。マッチングはあくまで勝利する可能性が50:50に近くなるように調整されているようだ。 今回の公表のきっかけとなったのは、海外人気ストリーマーShroud氏による数週間前の配信中のとある出来事。現在は海外プロチームSentinelsのプロ選手でもあるShroud氏は、ある日『VALORANT』のコンペティティブモードをプレイしていた。その日の配信では1試合目からずっと敗北が続き、配信開始から約6時間
Motivation 個人的にいくつかのSlackボットをGoogle Apps Script（以下GAS）で実装していますが、3秒ルールの壁があってイベント処理がタイムアウトしてしまうという課題がありました。 Slackの公式ドキュメントには3秒以内にレスポンスできない処理は、一旦レスポンスして非同期処理でイベントのペイロードにあるレスポンスURLに書き込めとありました。 GAS内で非同期処理を行うには、トリガー処理を組み合わせして実現できそうでした。 使えるトリガーはいくつか種類がありますが、今回の用途では Time-driven が一番使えそうだと判断しました。 GASのTriggerについてspikeしてみた まず軽くドキュメントをみて気になったのは1スクリプトにつき1ユーザーが20トリガーまでという制約が目につきました。 実際にトリガーを使って非同期処理をさせてみましたが、イベン
This article was discussed on Hacker News. While considering concurrent queue design I came up with a generic, lock-free queue that fits in a 32-bit integer. The queue is “generic” in that a single implementation supports elements of any arbitrary type, despite an implementation in C. It’s lock-free in that there is guaranteed system-wide progress. It can store up to 32,767 elements at a time — mo
皆さんこんにちは。kubotak（@kubotak_public）です。 この記事ではLaravelをECS Fargateで動かす際のQueueとScheduleに関して、弊社で行った知見を紹介したいと思います。 Laravel on ECSに関しては以下の記事も是非どうぞ M&Aクラウドを丸ごとAmazon Elastic Container Service(ECS)に移行しました！〜コンテナイメージ作り編〜 - M&Aクラウド開発者ブログ AWS CDK v2 の変更点5選 - M&Aクラウド開発者ブログ ※なお、本稿においてはLaravel8系を利用しています。（おそらくLaravel9系でも問題ありません） ECS FargateでQueueを動かす 弊社ではもともとAWS ElasticBeanstalkのWorker環境（以下EB Worker）でQueueおよびSchedu
お疲れ様です。ギークフィードエンジニアのサミーラです。私は2.5年間ぐらいLaravelフレームワークでWEBシステム開発をしています。 Laravelによるプロジェクトの経験 通話録音システムの制御および表示Webシステム モバイルゲームのバックエンドシステム WEB電話帳システム IP-PBXのWEBプロビジョニングシステム。 Introduction LaravelのQueueを使用して、PHPのバックグラウンド処理ができる方法について、Laravelでバックグラウンド処理のブログで話した時にworkerプロセスについても話しました。 workerプロセスはartisanコマンドで実行できますけど、いろいろな原因でworkerが停止になる可能性があります。そうなると新しくQueueに入るJOBが処理されなくなります。(JOB実行のためにWorkerがないので。。) 上の現象が問題です
ぶらり組込みRustライブラリ探索の旅 BBQueue編 -スレッドセーフなSingle Producer Single Consumer Queue- - Nature Engineering Blog
ファームウェアエンジニアの中林 (id:tomo-wait-for-it-yuki) です。あけましておめでとうございます。 今年の目標はNature Remoのファームウェア開発にRustを導入すること、です。そこで引くに引けない状況を作り出すためにRustに関するブログエントリを書き、既成事実を積み上げていきます。 ぶらり組込みRustライブラリ探索の旅、と題して組込みRustで使えるライブラリをゆるく紹介していくシリーズをやりたいと思います。第一弾はBBQueueです。 BBQueue 本エントリ内で紹介する使い方や内部実装は、v0.5.1をもとにしています。 github.com https://docs.rs/bbqueue/0.5.1/bbqueue/ 特徴 BBQueueはno_stdで使えるだけでなく、スレッドセーフで、排他制御なしに使える Single Producer
Kernel Queue: The Complete Guide On The Most Essential Technology For High-Performance I/O When talking about high-performance software we probably think of server software (such as nginx) which processes millions requests from thousands clients in parallel. Surely, what makes server software work so fast is high-end CPU running with huge amount of memory and a very fast network link. But even the
Introducing Amazon Simple Queue Service dead-letter queue redrive to source queues | Amazon Web Services
AWS Compute Blog Introducing Amazon Simple Queue Service dead-letter queue redrive to source queues This blog post is written by Mark Richman, a Senior Solutions Architect for SMB. Today AWS is launching a new capability to enhance the dead-letter queue (DLQ) management experience for Amazon Simple Queue Service (SQS). DLQ redrive to source queues allows SQS to manage the lifecycle of unconsumed m
New – Enhanced Dead-letter Queue Management Experience for Amazon SQS Standard Queues | Amazon Web Services
AWS News Blog New – Enhanced Dead-letter Queue Management Experience for Amazon SQS Standard Queues Hundreds of thousands of customers use Amazon Simple Queue Service (Amazon SQS) to build message-based applications to decouple and scale microservices, distributed systems, and serverless apps. When a message cannot be successfully processed by the queue consumer, you can configure Amazon SQS to st
Why Disaster Happens at the Edges: An Introduction to Queue Theory
Which agile methodology should junior developers learn? Agile methodology breaks projects into sprints, emphasizing continuous collaboration and improvement.
October 27, 2021 Pull Request Merge Queue is now available in limited beta. Learn more about the feature and how to request early access. Why a merge queue? Maintaining high velocity and keeping your main branch green can be a challenge today. Many repositories try to do this by requiring all pull requests be up to date with the main branch before merging. This ensures the main branch is never upd
(or in any other language such as Go, Node.js or python) Job queues are a central piece of any web application. It enables background jobs, buffering to handle surges in traffic, async messaging, batching and many other great things. Thus, this is all natural that many vendors are offering various
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
River: a Fast, Robust Job Queue for Go + Postgres
Reflections on GoodJob for Solid Queue
Choose Postgres queue technology
Github Merge Queueの何が嬉しいのか - ymtdzzz.dev
Pull request merge queue is now generally available!
GitHub merge queue is generally available
DevEx: What Actually Drives Productivity - ACM Queue
ECサイト・申請登録のアクセス集中対策ならQueue-itの仮想待合室
GitHub の merge queue を試してみて分かったこと
Pull request merge queue (public beta)
Building a Background Task Queue in Python
Google Apps Script向け簡易job-queueを作った
A lock-free, concurrent, generic queue in 32 bits
Laravel on ECSで動かすQueueとScheduleワーカー - M&Aクラウド開発者ブログ
SupervisorでLaravelのQueue worker管理 | ソフトウェア開発のギークフィード
Kernel Queue: The Complete Guide On The Most Essential Technology For High-Performance I/O
Pull Request Merge Queue Limited Beta
How to build a job queue with Rust and PostgreSQL