es_rejected_execution_exceptionが出たのでthread_pool.bulk.queue_sizeを増やした - wyukawa's diary
題記の通りです。 fluent-plugin-elasticsearch 1.9.3からElasticsearch 5.3に書き込んでから下記のようなエラーがたまに出てるのに気付きました。 Could not push log to Elasticsearch: {...{"index"=>{"_index"=>"hoge-2017.03.31", "_type"=>"fluentd", "_id"=>"...", "status"=>429, "error"=>{"type"=>"es_rejected_execution_exception", "reason"=>"rejected execution of org.elasticsearch.transport.TransportService$7@1aa442ab on EsThreadPoolExecutor[bulk, que
Celery - Distributed Task Queue — Celery 3.0.11 documentation
Documentation has moved Celery is now using Read the Docs to host the documentation for the development version, where the pages are automatically updated as new changes are made (YAY!) The new location for this page is: http://docs.celeryproject.org/en/master/index.html. If you wanted documentation for the latest stable version instead, please go to: http://docs.celeryproject.org/en/latest/index.
Amazon Simple Queue Service (SQS) – 15 年が経過した今もキューを実行中! | Amazon Web Services
Amazon Web Services ブログ Amazon Simple Queue Service (SQS) – 15 年が経過した今もキューを実行中! 時の流れは早いものです! 私は、2006 年に Amazon Simple Queue Service (SQS) の本稼働の開始についての記事を書きました。その頃は、15 年後にまだブログを書いていること、そして、このサービスが、非常に多くの異なるタイプのウェブスケールアプリケーションのアーキテクチャの基本でありながら、引き続き急速な成長を続けていることは考えてもいませんでした。 SQS の最初のベータ版は、2004 年後半にひっそりと発表されました。そのベータ版以降、当社は多くの機能を追加しましたが、元の説明 (「分散アプリケーションコンポーネント間でメッセージをバッファリングするための信頼性が高くスケーラブルなホストされたキュ
索引 ├ 使い方 目次 └ バグノート(1) 1章：jQuery入門 ├ jQueryのメリット ├ readyイベント ├ オブジェクトについて ├ メソッドについて ├ 情報の取得 ├ イベント(1) ├ イベント(2) └ 初歩なサンプル 2章：jQuery基礎 ├ thisについて(1) ├ thisについて(2) ├ jQueryとDOM要素 ├ 簡単な演出 ├ thisから辿る ├ 汎用的なアニメ(1) ├ 汎用的なアニメ(2) ├ アニメの停止 ├ アニメを管理する仕組み └ 汎用的なアニメ(3) 3章：jQuery発展 ├ イベントフロー(1) ├ イベントフロー(2) ├ イベントフロー(3) ├ 画像のプリロード ├ jQueryの高速化 └ メソッドチェーン 番外編：研究 ├ イベントを外す ├ cssアニメとの連携(1) ├ cssアニメとの連携(2) ├ cssア
Update: I did mention that lock free data structures are really hard to write, it looks like there might be some issues that haven’t been addressed in the implementation of this LF Queue that we’re referencing. The rest of the analysis is still valid and hopefully useful to you, just know there’s actually more that needs to be done, don’t try to use that code for a mission critical application out
週刊Railsウォッチ（20200811山の日短縮版）RSpec Queueでパラレルテスト、カロリーメイトとRubyのコラボ、Rubyのcoercionほか｜TechRacho by BPS株式会社
2020.08.11 週刊Railsウォッチ（20200811山の日短縮版）RSpec Queueでパラレルテスト、カロリーメイトとRubyのコラボ、Rubyのcoercionほか こんにちは、hachi8833です。昨日は山の日ということで短縮版でお送りします。 回答しそびれましたが、Ruby 2.7のirbがとてもよくなったので自分も最近pryを使わなくなってました。 Rubyプログラマのみなさんにアンケート！REPL（対話型インタプリタ）はirbとpry、どっちを使ってますか！？何か強いこだわりがあればコメントも一緒にお願いします！ — Junichi Ito (伊藤淳一) (@jnchito) August 8, 2020 各記事冒頭には⚓でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）
Posted by Jeff Vander Stoep, Android Security & Privacy Team and Chong Zhang, Android Media Team Android Q Beta versions are now publicly available. Among the various new features introduced in Android Q are some important security hardening changes. While exciting new security features are added in each Android release, hardening generally refers to security improvements made to existing componen
柑橘果汁尽くし｜豚バラ肉のハーブ ソテーとロースト ポテト、クミン＆カロンジ ライス添え - Queue du Têtard オタマジャクシのしっぽ
Lemon, Young Satsuma Mandarin and Manao Lime｜Citrus-centric Dish 柑橘果汁尽くし｜豚バラ肉のハーブ ソテー ロースト ポテト、クミン＆カロンジ ライス添え 豚肉とポテトをシンプルな調味料で実に美味しそうに仕上げた リコさん（id:ricohoney）の記事を読んで どうしても食べたくなって作ったのです。 ricohoney.hatenablog.com とは言え、迫力の骨付き厚切り豚肉は無いし、コリアンダーリーフも無い。 で、考えたのが皮付き豚バラ肉とベランダ栽培のライムバジルの組合せ。 冷蔵庫にはレモンと摘果青ミカン、タイ・小粒ライムのマナオ。 ローズマリーの枝とゴーヤの若い枝を少し摘んで準備OK。 Pan Fried Pork Belly Rosemary and Citrus juice / Roasted Potato
About RestMQ is a message queue which uses HTTP as transport, JSON to format a minimalist protocol and is organized as REST resources. It stands on the shoulder of giants, built over Python, Twisted, Cyclone (a Tornado implementation over twisted) and Redis. Message queues are created on the fly, as a message is sent to them. They are simple to use as a curl request can be. There is a simple JSON-
Amazon SQSのDead Letter Queueにメッセージが移動するタイミングを調べてみた | DevelopersIO
次にQueueにデータをsend_message、receive_message、するプログラムをPythonで書いていきます。 前提 今回はMac上で試しますが、AWS CLIの aws configure で、アクセスキー、シークレットキー、デフォルトリージョンが設定されているものとして作業を進めていきます。 環境構築 いつもの virtualenv を作成し、パッケージを boto3 と click というモジュールを入れます。 （参考: Welcome to the Click Documentation — Click Documentation (5.0)） $ virtualenv venv $ . venv/bin/activate (venv)$ pip install -U pip (venv)$ pip install boto3 click ソースコード (run.
プルクデル・クンタン｜インドネシアのポテト・フリカデル - Queue du Têtard オタマジャクシのしっぽ
Perkedel Kentang｜Potato Frikadel/Frikadeller プルクデル・クンタン｜インドネシアのポテト・フリカデル プルクデルは、オランダ料理の影響でFrikadel/Frikadeller←コレは挽肉料理 から派生したとか。 プルクデル・クンタン（ジャガイモ）は 衣のないポテト・コロッケみたいな感じ。 でも、衣が付いたコロッケもKroket Kentangクロケット・クンタンと 呼ばれて売られてる。中身は鶏肉だったり、アボンが入ってたり。 （アボンは味付した肉や魚を細かく裂いたもので、日本の田麩でんぶやおぼろ風の食材） だけど、何にでも小さな激辛青唐辛子が 必ず添えられてるのがインドネシア流。 作り方｜ 素揚げしたジャガイモを粗くつぶして、 バワンメラ（赤小タマネギ）+ニンニク+牛挽肉←をまとめて炒めたもの+ スープセロリ+ワケギ+塩+ホワイトペッパー+ナツ
Product: Resque - GitHub's Distrubuted Job Queue - High Scalability -
Queuing work for processing in the background is a time tested scalability strategy. Queuing also happens to be one of those much needed tools where it easy enough to forge for your own that we see a lot of different versions made. Resque is GitHub's take on a job queue and they've used it to process million and millions of jobs so far. What is Resque? Redis-backed library for creating background
Message Attributes for the Amazon Simple Queue Service | Amazon Web Services
AWS News Blog Message Attributes for the Amazon Simple Queue Service Way back in November of 2004 I wrote that “The Simple Queue Service offers a reliable, highly scalable hosted queue for buffering messages between distributed application components.” In the intervening years, we have enhanced SQS with additional features, while keeping in mind that “Simple” is part of the product’s name and appe
Hui Guo Rou｜Szechuan style Twice Cooked Pork belly and Green garlic 葉ニンニクと豚バラ肉の四川風回鍋肉 中華のレシピに時々出てくる葉ニンニク。 根元の結球が大きくなる前に収穫する葉っぱ付きの早採りニンニク。 ニンニクより香りが穏やかで、長ネギのように重なった葉は ニンニクの芽と違ったシャクシャクとした食感。 使い方はニラと同じなので扱いやすい。 ただ、国内で出回る時期は１２月半ばから３月末と冬の間だけ。 しかも、スーパーではほとんど目にしない。 だから、お店で見かけたら迷わず買うことにしているのです。 葉ニンニクが手に入って、家で作るのは定番の回鍋肉に、 麻婆豆腐、餃子、キノコと厚揚げの卵炒め。 一番人気は回鍋肉。 甘さ控えめで青唐辛子の香りと風味、穏やかな香りの葉ニンニク。 柔らかく蒸し煮して脂を落とした後、表面に軽く焼
GitHub - mission-liao/dingo: An easy-to-use, distributed, extensible task/job queue framework for #golang
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
背景 RubyのQueueクラスの説明に、これはスレッドセーフだと書いてあったので検証してみました。 スレッドセーフとは 自分でも正確な意味を理解していなかったので調べてみました。スレッドセーフとはアプリケーションをマルチスレッドで動作させても問題がないこと スレッドアンセーフだとどうなるか たとえばマルチスレッドで実行したときに、複数スレッドから同一の変数に変更が発生してデータが消えたり意図しない値になってしまうこと（レースコンディションという） つまり仮説! ArrayとQueueを用意し、100スレッドで複数のワーカーで同時にpopさせて並列計算するとQueueでは正しい結果が出力されるが、Arrayではレースコンディションが発生し、計算結果がズレる..はず 仕様 1..10000000の値を合計する。結果が50000005000000となれば正しい レースコンディションが発生すれば
システム障害やbotのない販売＆申請を 仮想待合室でトラフィックを管理し、繁忙期にも障害・ボットフリーなオンライン体験を実現
Queue::Q4M - D-6 [相変わらず根無し]
Queue::Q4M 最近ちょろちょろと動かしているQ4M、Perlラッパーを作っちゃいました。 使い方はこんな感じ（SYNOPSISそのまんまだけど） use Queue::Q4M; my $q = Queue::Q4M->connect( connect_info => [ 'dbi:mysql:dbname=mydb', $username, $password ], table => 'q4m' ); for (1..10) { $q->insert(\%fieldvals); } while ($q->next) { my ($col1, $col2, $col3) = $q->fetch(\@fields); print "col1 = $col1, col2 = $col2, col3 = $col3\n"; } while ($q->next) { my $cols =
Async, Persistent, Fast, and Stable "Enought" Queue/Worker Using Go and PostgreSQL
Async, Persistent, Fast, and Stable "Enought" Queue/Worker Using Go and PostgreSQL
コミット前レビュー 作業順序と異なる順序で履歴に記録したい 固有修正を継続的に保守したい MQ 管理領域の履歴管理 コミット前レビュー レビュアーによるレビューを済ませるまでは、共有リポジトリへの成果反映をさせたくない 『コミット前レビュー』によって、レビュアーから変更内容に対する何らかの指摘があった場合、指摘事項を反映させる必要があるため、何度も変更のやり直しを行う必要がある。 MQ を使用した作業手順 典型的な作業手順は以下の通り。 修正内容を MQ のパッチに記録する ("hg qnew" + "hg qrefresh") レビュアーに修正内容パッチを送付 レビュアーはパッチをレビューし、採用の可否を判定 採用された場合: パッチを共有リポジトリに取り込む (誰が取り込むかは運用規則次第) 修正担当は、MQ 管理下のパッチを破棄 ("hg qdelete") 採用されない場合: レビ
Implementing a queue for LINE LIVE PC transmission - LINE ENGINEERING
! This post is also available in the following languages. Japanese, Korean Greetings, this is Yappo, in charge of LINE LIVE development. On this blog post, I will introduce a queue for delaying tasks, created for transmitting LINE LIVE service from users’ PC. How LINE LIVE was broadcasting We used to have two ways to broadcast LINE LIVE. One is to broadcast directly from the LINE LIVE app and the
配送キューの（簡易）統計情報を確認 キューに溜まったままのメッセージがあるかを確認する。 # /var/qmail/bin/qmail-qstat messages in queue: 1 messages in queue but not yet preprocessed: 0溜まったメッセージキューのヘッダを部分表示 キューを操作するために、メセージIDを調べる。 # /var/qmail/bin/qmail-qread 16 Nov 2011 00:00:00 GMT #30000 xxx <foo@example.com> remote bar@example.orgプロセスを停止 # svc -d /var/qmail/service/qmail # svstat /var/qmail/service/qmail /var/qmail/service/qmail: down 2
Containers Will Not Fix Your Broken Culture (and Other Hard Truths) - ACM Queue
February 5, 2018 Volume 15, issue 6 PDF Containers Will Not Fix Your Broken Culture (and Other Hard Truths) Complex socio-technical systems are hard; film at 11. Bridget Kromhout We focus so often on technical anti-patterns, neglecting similar problems inside our social structures. Spoiler alert: the solutions to many difficulties that seem technical can be found by examining our interactions with
Hand Crochet Short Sleeve Peplum Top, 100% Wool: Viridian グリーンのレース編み｜ペプラム・トップス 春先にぴったりのちょっと軽やかな ショートスリーブのトップス。 ネックから編むトップダウン方式で裾に向かって 継ぎ接ぎほとんど無しでグルグルと筒状に編み進める。 編み図の通りにずっと表面を一方向に編む形になるので 通常のオモテウラを交互に編むよりもストレス無く編めるのです。 輪針で筒状に編んだり、今回のようにかぎ針編みするのも楽ちん。 部分的に編みこまれたパイナップルレースと縁取りのピコレースで 女性らしさを残しつつ、深い発色の良いビリジアンがフレッシュな雰囲気。 小柄な少し華奢なタイプの人に似合いそう。 同素材で編んだ細いヒモはハイウエストでマークしたり、 ウエストでゆるく交差させたり、ネックに通して後ろで結んだり。 ポイントがちょ
May 12, 2021 Volume 19, issue 2 PDF Biases in AI Systems A survey for practitioners Ramya Srinivasan and Ajay Chander A child wearing sunglasses is labeled as a "failure, loser, nonstarter, unsuccessful person." This is just one of the many systemic biases exposed by ImageNet Roulette, an art project that applies labels to user-submitted photos by sourcing its identification system from the origin
January 20, 2016 Volume 13, issue 9 PDF Immutability Changes Everything We need it, we can afford it, and the time is now Pat Helland There is an inexorable trend toward storing and sending immutable data. We need immutability to coordinate at a distance, and we can afford immutability as storage gets cheaper. This article is an amuse-bouche sampling the repeated patterns of computing that leverag
November 29, 2011 Volume 9, issue 11 PDF Bufferbloat: Dark Buffers in the Internet Networks without effective AQM may again be vulnerable to congestion collapse. Jim Gettys, Bell Labs, Alcatel-Lucent; and Kathleen Nichols, Pollere Inc. Note: Be sure to read the companion article to this one, BufferBloat: What's Wrong with the Internet?. - Ed. Today's networks are suffering from unnecessary latency
【コラム】実践! iPhoneアプリ開発 (12) 楽器アプリの作り方 (3) - Audio Queueを使う | エンタープライズ | マイナビニュース
今回は、Audio Queueを使ってみよう。Audio Queueは、Audio Toolboxフレームワークの中において、主役と呼べるライブラリだ。柔軟なオーディオの再生が可能になる。 楽器アプリを実現するためのライブラリとして、前回はSystem Sound Serviceを使った。今回のAudio Queueがこれと大きく異なるのは、再生音の繰り返しの有無である。Audio Queueを使えば、任意のポイントで繰り返し再生を行う事ができるようになるのだ。これにより、楽器アプリの表現力は大きく広がる事になる。 Audio Queueとバッファ Audio Queueの特徴は、名前の通り、音データをキューイングすることだ。音データを格納するためのバッファを複数用意して、そこにデータを格納してキューを作成する。バッファへのデータの格納は、アプリケーションへのコールバックで行われる。 Au
Starling: A Ruby Persistent Queue Server That Speaks Memcached
Ruby Weekly is a weekly newsletter covering the latest Ruby and Rails news. It's been around for a while now, but Starling is a "light-weight persistent queue server that speaks the MemCache protocol." Starling makes it ridiculously easy to set up a network-accessible queue (or many queues) for, say, asynchronous job processing between multiple processes and machines. It was developed by Twitter t
【Rails】delayed_jobのenqueue方法とqueue(非同期処理)実行方法についてまとめ - 訳も知らないで
Railsで非同期処理を行うためのgemであるdelayed_jobを使ったので、 キューを入れる方法とそのキューの実行方法をわかった範囲でまとめておこうと。 検証環境(version) Rails 3.2.11 delayed_job 4.0.0 delayed_job_active_record 4.0.0 今回はキューをActiveRecord経由でDB(mysql)に保存しました。 他のデータストア使う場合は 少し異なる内容があるかもしれません。 導入方法や詳細はGithub等見てください！ collectiveidea/delayed_job · GitHub collectiveidea/delayed_job_active_record · GitHub enqueue方法 1，Hogeクラスのインスタンスメソッドfugaを非同期で実行したい(enqueueしたい) このよう
Amazon GameLift Local is a client-side debugging tool that emulates a subset of the Amazon GameLift API on your local development machine. With Amazon GameLift Local, you can verify code changes in seconds, without incurring any usage charges. Amazon GameLift Local is available for Windows and Linux desktops and does not require a network connection to use. You can now also configure the maximum a
2013年02月05日 情報科学類 オペレーティングシステム II 筑波大学 システム情報工学研究科 コンピュータサイエンス専攻, 電子・情報工学系 新城 靖 <yas@cs.tsukuba.ac.jp> このページは、次の URL にあります。 http://www.coins.tsukuba.ac.jp/~yas/coins/os2-2012/2013-02-05 あるいは、次のページから手繰っていくこともできます。 http://www.coins.tsukuba.ac.jp/~yas/ http://www.cs.tsukuba.ac.jp/~yas/ ■今日の大事な話 割り込みの前半部と後半部の分離 Softirq Tasklet Work Queue 後半部の仕組みの選択 ■割り込み、後半部 割り込みの問題点 より優先度の高い処理よりも、優先度の低い割り込み処理が先に実行され
今回は、以前のお話で出てきた ruby用のマルチスレッド対応キューと dRubyを用いて作成する部分について書いてみようと思う。 キューの仕掛けを使わなくてもいいかもしれないが、キューの話なのであえてdrubyとキューベースの記述をしている dRubyについて drubyは、説明によると、以下のようにある。 dRubyはRubyのメソッド呼び出しを拡張し、ネットワーク越しにメソッド呼び出しを行なえるようにするライブラリです。 JavaのRMIやHORBをイメージすると近いです。 という事で、ネットワーク越しに、当然プロセス越しにメソッド呼び出しが行える。 最初出合った頃は、右の書籍が出ていた。最近は左の書籍が出ているそうなので、そちらを参考にするといいかも。 dDubyの考え方 dRuby は サーバとクライアントのように分けることが出来る。厳密に分けないといけないかどうかは悩むが、今回は
1) UsersController GET #show when an user is logged in, returns https status 200. Failure/Error: @user = FactoryGirl.create(:user) ActiveRecord::RecordInvalid: Validation failed: Email has already been taken, Name has already been taken # ./spec/controllers/users_controller_spec.rb:9:in `block (4 levels) in <top (required)>' のようにModelのValidationでエラーが発生し、テストに失敗する。 (上記のエラーは、テストデータの投入時にModelのUniquene
GitHub - sandglass/sandglass: Sandglass is a distributed, horizontally scalable, persistent, time sorted message queue.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.
The Soft Side of Software September 18, 2018 Volume 16, issue 4 PDF How to Get Things Done When You Don't Feel Like It Five strategies for pushing through Kate Matsudaira Have you ever come into work, sat down at your computer to begin a project, opened your editor, and then just stared at the screen? This happens to me all the time, so I understand your struggle. Even if you love your job, you do
はじめに ビジネスロジックを記述する上で処理の高速化は命題です。 が、それにも限界はあります。ではどうすればいいのか？見た目上でも早くなればいいのに。 画面上の操作はトリガに留めて、メイン処理はバックグラウンドで処理すればいいじゃない！ ということでQueueにぶっ込んで非同期的に処理を実行する方法を調べてみました！ やりたいこと データベース上にキューをスタックするテーブルを作り、画面操作をトリガとしてスタックする。 スタックしたデータは一定時間経過後に実行する。 非同期的に処理を行いたい。 最終的には＊の部分はajax通信で処理状態を取得できるようにし、Web画面の状況を更新していくようにしたいが・・・。 Queueの実行について 実装に移る前に、以下の設定を行う必要があります。 config/queue.php .env database(migration file) config
【コラム】実践! iPhoneアプリ開発 (13) 楽器アプリの作り方 (4) - Audio Queueを使う | エンタープライズ | マイナビニュース
前回はAudio Queueとバッファを作成するところまで説明を行った。今回は、バッファにデータを格納して、音を再生する手順を説明しよう。 オーディオキューからのコールバック Audio Queueにオーディオデータを渡すには、作成時に登録したコールバック関数を使う事になる。コールバックの仕組みに関する大枠は、前回も紹介したAppleのドキュメントを参考にしてほしい。 コールバック関数自体は、C関数として登録する事になる。だが、この関数の中で様々な処理を行うのは都合が悪い。なぜなら、Audio Queueの管理はObjective-Cのコントロールクラスで行っているからだ。そこで、コールバックであるC関数からは、すぐにObjective-Cメソッドを呼び出してしまうようにしよう。 List 1. static void audioQueueOutputCallback( void* use
Proving the Correctness of Nonblocking Data Structures - ACM Queue
June 2, 2013 Volume 11, issue 5 PDF Proving the Correctness of Nonblocking Data Structures Nonblocking synchronization can yield astonishing results in terms of scalability and realtime response, but at the expense of verification state space. Mathieu Desnoyers, EfficiOS So you've decided to use a nonblocking data structure, and now you need to be certain of its correctness. How can this be achiev
Fail at Scale - ACM Queue
October 27, 2015 Volume 13, issue 8 PDF Fail at Scale Reliability in the face of rapid change Ben Maurer, Facebook Failure is part of engineering any large-scale system. One of Facebook's cultural values is embracing failure. This can be seen in the posters hung around the walls of our Menlo Park headquarters: "What Would You Do If You Weren't Afraid?" and "Fortune Favors the Bold." To keep Facebo
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
jQuery入門講座 使い方-queueについて
How to write a lock free Queue
Queue the Hardening Enhancements
RestMQ - Redis based message queue
冬季限定｜葉ニンニクと豚バラ肉の四川風回鍋肉 - Queue du Têtard オタマジャクシのしっぽ
【Ruby】ArrayとQueueがスレッドセーフか検証してみた - Qiita
ECサイト・申請登録のアクセス集中対策ならQueue-itの仮想待合室
Mercurial Queue の適用事例 - 彷徨えるフジワラ
qmailのqueue操作（確認→削除） - 仙台の山奥で自転車に乗ったり転んだり
グリーンのレース編み｜ペプラム・トップス - Queue du Têtard オタマジャクシのしっぽ
Biases in AI Systems - ACM Queue
Immutability Changes Everything - ACM Queue
Bufferbloat: Dark Buffers in the Internet - ACM Queue
Amazon GameLift Local and Game Session Queue Improvements
割り込みの後半部、Softirq、Tasklet、Work Queue
RubyとdRubyからマルチスレッド対応Queueの使い方 - M-Tea
test-queueでRailsアプリのRSpecの実行時間を短縮する | shimar's blog
How to Get Things Done When You Don’t Feel Like It - ACM Queue
Laravelの処理をQueueにスタックしてレスポンスのチューニングを行おう - Qiita