WebアプリケーションにGoの並行処理アーキテクチャを導入してSLOを改善し、WebAPIを100倍速くした話 - スタディサプリ Product Team Blog
こんにちは。スタディサプリの小中高プロダクト基盤開発グループでProduct Platform Engineer兼テックリードをやっている@tooooooooomyです。 今回は、WebアプリケーションにGoの並行処理機構を導入してSLOを改善し、WebAPIを100倍速くした話をしたいと思います。 前提条件 システムを0から作らない場合、アーキテクチャの改善の際には前提条件が付きものです。そこでまずは今回のシステムの前提条件をお話します。 対象となるシステムと、アーキテクチャ 今回対象とするシステムは、ここでは security-tracker と呼び、Webアプリケーション本体はGoで書かれています。 スタディサプリの各アプリケーションにおけるユーザーのログ1を、Amazon Kinesis Firehoseを通して、リクルート全体のセキュリティチームが管理するS3バケット(スタディサ
Local write forwarding with Amazon Aurora | Amazon Web Services
AWS Database Blog Local write forwarding with Amazon Aurora Applications designed in the cloud need to be able to scale. For stateless resources like application servers, this is a straightforward task and can be achieved by simply adding additional compute resources behind a load balancer. For stateful resources such as databases, scaling can be more challenging. With the release of Amazon Aurora
[アップデート] Amazon Aurora MySQL でリードレプリカの書き込み転送機能がサポートされたので使ってみた | DevelopersIO
[アップデート] Amazon Aurora MySQL でリードレプリカの書き込み転送機能がサポートされたので使ってみた いわさです。 Aurora グローバルデータベースでは書き込み転送機能があります。 リーダーエンドポイントのみのセカンダリリージョンで書き込み操作を行うと、プライマリリージョンへ書き込みを転送してくれる機能です。 このグローバルデータベースでサポートされていた機能が単一リージョンの Aurora クラスターでも利用できるようになりました。 この機能を有効化することで、クライアントからリードレプリカに対して書き込み操作を行った場合に、リーダーインスタンスがライターインスタンスに書き込み操作を転送してくれます。 従来リードレプリカを導入する場合はクライアントアプリケーション側でライターエンドポイントとリーダーエンドポイントを管理しなければいけませんでした。 いくつか制限事
![[アップデート] Amazon Aurora MySQL でリードレプリカの書き込み転送機能がサポートされたので使ってみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0daaf3649414b6f27679779d9a4b12e219c67548/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Famazon-aurora.png)
Sidekiqチューニングのためのパラメータ整理 - Qiita
これは何？ Sidekiqには同時実行数のパラメータがあるため、それをどのようにセットするべきか決める必要があります。 これは、Ruby on Rails 5, 6, 7でSidekiq v6, 7のパラメータのチューニングに必要な情報を事前調査してまとめたものです。 結論 concurrencyを許容するジョブの同時実行数に合わせる config/database.ymlのpoolをconcurrency+1にしておく 最終的には要求されるスループットのジョブを回してパフォーマンスを測定して決める アーキテクチャ概要 キューとスレッドの関係は、Sidekiq v7から導入される Capsules (カプセル)機能によって、やや仕様変更が発生している可能性あり。検証中です。 プロセス：スレッド＝1:N プロセス：キュー＝1:N キュー：スレッド＝N:N ワーカー：キュー＝1:1 プロセス：
MySQL :: MySQL 8.0: InnoDB now supports Instant ADD COLUMN
Instant DDL has been one of the most requested InnoDB features for a very long time. With ever larger and rapidly growing datasets the ability to do DDL instantly is a must have feature in any web scale database. Developers constantly need to add new columns to meet the constantly changing business requirements. The ability to add ADD COLUMNs instantly is the first in a series of DDL statements
Rails: Puma/Unicorn/Passengerの効率を最大化する設定（翻訳）｜TechRacho by BPS株式会社
まとめ: アプリのサーバー設定はRuby Webアプリのスループットやコストあたりのパフォーマンスに大きな影響を与えます。設定の中でも最も重要なものについて解説します（2846 word、13分） RubyのWebアプリサーバーは、ある意味で自動車のガソリンに似ています。よいものを使ってもそれ以上速くなりませんが、粗悪なものを使えば止まってしまいます。実際にはアプリサーバーでアプリを著しく高速化することはできません。どのサーバーもだいたい同じようなものであり、取っ替え引っ替えしたところでスループットやレスポンスタイムが向上するわけではありません。しかしダメな設定を使ったりサーバーで設定ミスしたりすれば、たちまち自分の足を撃ち抜く結果になります。クライアントのアプリでよく見かける問題のひとつがこれです。 本記事では、3つの主要なRuby アプリサーバーであるPuma、Unicorn、Pass
イケてるエンジニアになろうシリーズ 〜メモリとプロセスとスレッド編〜 - もろず blog
最近はとても便利なプラットフォームがいっぱいあって、 詳細な中身を意識しなくても簡単に使えるという素晴らしい時代ですが、 深くまで突っ込んで考えないといけない場面が たまーーーーーーーに でてきます その時になって初めて、 誰かが用意してくれた快適な環境を使っていただけで自分では何も解決できない という現実を叩きつけられるわけです 大げさに言いましたすみません ちょっと前に仕事でサーバーのパフォーマンス調査をする機会があり、 その中で "プロセス" と "スレッド" って一体何が違うの！？ って疑問にぶち当たりました わかるような、わからないような 何となくわかったつもりになっている事でもそろそろちゃんと理解して、 今日からイケてるエンジニアになりましょう この記事では 1. マルチタスクOSとプロセス 2. メモリの役割 3. 物理アドレスと仮想アドレス空間 4. プロセスがメモリに保持
大容量ファイルのSCP転送を高速にする方法 (ver.2019) - 元RX-7乗りの適当な日々
9年ほど前にこういうエントリを書いたのですが、まだそれなりに見られているようなので、最近はどうなのかなーと、再検証・再計測してみたエントリーです。 ↑の過去エントリにも記載しているのですが、SSH/SCP では暗号化方式（強度）によってファイル転送のスループットが変わります。 もちろん、オープンなネットワークでやるにはセキュリティがー、とか、インターナルでやるなら、そもそも netcat (nc) でいいやんー、とか、そもそも大量にファイル数あるなら、事前に固めてしまえー、とか色々あると思うのですが、本エントリではあくまで暗号化方式 の違いでスループットがどう変化するのか、それはどのくらいスループットが出るのか、を確認したログとなります。 ベンチマークで利用した環境 Google Compute Engine (GCE) の インスタンス (n1-highcpu-4) を2台準備しました
【Linux小技】 scp(ssh)での暗号化方式の違いによる転送速度ベンチマーク 「知ったかブログ」
目的 ホスト間のファイルのコピーは、セキュリティの問題もあってscpやsftpは普通で良く使うのですが、特に大きなファイルを転送しようとすると、同じギガビットイーサネットスイッチに二つのホストを繋いでいてもなぜか50MB/sくらいしかなりません。何か設定がおかしいかといろいろ試したのですが、ftpで転送すると普通に100MB/s出ることから、どうやらssh側の制限らしいことまでは突き止めました。 色々調べていくと、今のsshの場合は送信時に暗号化方式をいくつか選択することができ、暗号化方式によっても転送速度が異なるようです。たぶん暗号化と復号にCPUを使っているからでしょうか。 理屈はまあ脇に置いておいて、取り急ぎは暗号強度は無視して転送速度を確認したいです。というわけで、暗号方式の違いによる転送速度を比較してみました。 ssh暗号化方式の変更方法 一言でいえば、 # scp -c [暗号
Dockerに関するキャッシュたち
はじめに Dockerを用いた開発では、適切にキャッシュを用いることで高速にビルド・開発できます。そのための知見は様々な記事で共有されており、ありがたい限りです。 しかし、「Dockerのキャッシュ」と言っても開発時とCI・CDでは行うことが違います。 この記事ではDockerを用いた開発における、各段階のキャッシュ機能を確認したいと思います。 主に「Dockerのキャッシュ」というと以下の4つに分類できると思いますので、それぞれについて解説していきます。 Dockerのレイヤーキャッシュを活かす a. COPY・ADDの順番 b. dockerignoreの設定 c. マルチステージビルド buildkitによるキャッシュ a. --mount=type=cache CI・CDにおいてのキャッシュ a. 前回のビルドキャッシュを持ち越して使う リモートキャッシュ a. 開発者が初めてビル
git gc --aggressive するそのまえに
Git が遅い！！ そんなときに検索をするとだいたい 「git gc しましょう」だったり、「git gc --aggressive --prune=now」だったりします。 が、試してみても劇的に速くなることってあんまりなくないですか？ 特に --aggressive オプションを付けると git gc 自体がくそ長く、その割に効果は感じられなくて残念な結果になることが多いです。 ※個人的な感想です なんか遅い。もう少し深掘りしてみませんか？ GIT_TRACE=1 GIT_TRACE_PERFORMANCE=1git コマンドは GIT_TRACE を有効にすると、中で何をしているのか追跡できるようになります。
ランダウの記号 - Wikipedia
スターリングの公式はランダウの記号を用いてと書くこともできる。 ランダウの記号（ランダウのきごう、英: Landau symbol）は、主に関数の極限における漸近的な挙動を比較するときに用いられる記法である。 ランダウの漸近記法 (asymptotic notation)、ランダウ記法 (Landau notation) あるいは主要な記号として O （数字の0ではない）を用いることから（バッハマン-ランダウの）O-記法 (Bachmann-Landau O-notation[1])、ランダウのオミクロンなどともいう。 記号 O はドイツ語のOrdnungの頭字にちなむ[2]。 なおここでいうランダウはエトムント・ランダウの事であり、『理論物理学教程』の著者であるレフ・ランダウとは別人である。 ランダウの記号は数学や計算機科学をはじめとした様々な分野で用いられる。 概要[編集] ランダウの
Ruby競プロTips(基本・罠・高速化108 2.7x2.7)
計測方法は、(10**6).times{ }のような最小限のコードです。 実際、制限時間が2秒だとして、10の7乗台前後から、想定解法でも厳しくなってくる印象です。 それ以前の1,000,000回(10の6乗)で2秒超えてTLEするなら、自分の書いたアルゴリズムを疑いましょう。 今のC++は10の7乗だと「余裕をもって間に合う」レベルらしいので、C++と比べるとRubyは10倍遅い感じです。 競技プログラミングでは、問題に与えられた要素数も 方針・アルゴリズムを考えるヒントになるので、このあたりの感覚はもっておくとよさそうです。 高速化手法のまとめ・見方 先に高速化のまとめがあった方が親切かと思い、簡単にまとめておきます。 (まとめの方にしか書いてないのもあります……) 本記事は、アルゴリズムの話も少し混じっていますが、アルゴリズムはRubyに限らないので、ほぼ触れてません。 「アルゴリズ
RubyのArrayの.uniq.sortと.sort.uniq - Qiita
背景 自分で Ruby のコードを書いていて、Array に対して「重複を取り除いて昇順に並び替えたい」ってときがある。たとえば Rails 製アプリを運用していて、特定の条件を満たす User モデルのレコードの id の一覧を取り出すときとか。 そんで、なんとなくいつものように array.uniq.sort といったコードを書いていて、ふと思った。これ array.sort.uniq って書くのとどっちがいいんだろう。uniq と sort の順番を替えたときに、実行速度に影響があったりするんかな。影響しそう。 と思ったので、ベンチマークを取った。 測定コード require "benchmark" array = Array.new 1_0000_0000.times do array << rand(100) end puts ".sort.uniq" puts Benchmar
MySQLでIN句の中に大量の値の入ったクエリがフルスキャンを起こす話 - freee Developers Hub
こんにちは、freee Developers Advent Calendar 2021、19日目のid:shallow1729です。昨日はtdtdsさんで【マジで】サイバー演習シナリオの作り方【怖い】でした！障害訓練後に攻撃方法を解説された時はリアリティの高さに驚きました。 僕はMySQLを使っていて発生した不思議な挙動の調査の話をしようと思います。 今回問題となったクエリ 今回話題にするクエリは以下のようなシンプルなものです。 SELECT * FROM hoge WHERE id IN (...) MySQLのパラメーター次第ですが、デフォルトの設定だとこのIN句の中の値の数が数万になると適切なインデックスが用意されていてもフルスキャンが発生する事がありました。このクエリがテーブルのほとんどのレコードを網羅するような場合や高速でレコードを大量にinsertして統計情報が追いつかないケー
Rubyオブジェクトの未来をつくる「シェイプ」とは（翻訳）｜TechRacho by BPS株式会社
概要 原著者の許諾を得て翻訳・公開いたします。 英語記事: The Future Shape of Ruby Objects 原文公開日: 2021/09/10 原著者: Chris Seaton RubyKaigi Takeout 2021: The Future Shape of Ruby Objects by Chris Seaton - RubyKaigi Takeout 2021 日本語タイトルは内容に即したものにしました。本記事はRubyKaigi Takout 2021 Day2キーノートのスピーチ原稿につき、最終的な発表内容はこのとおりでない部分もあります。流れを把握するために必要と思われる部分については訳注で補足いたしましたが、わかりにくい場合は動画と合わせてご覧ください。 本記事ではshapeの仮訳として「シェイプ」を採用しています。 なお、本記事公開後にCRuby 3
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
待機イベントを使用した Aurora MySQL のチューニング - Amazon Aurora
Nginx + Unicorn : difference between both worker_processes
SCP転送を高速にする - ふなWiki
GitHub - rails/spring: Rails application preloader
