Railsで秒間1000コミットを捌くにはどうすればいいのか (Kaigi on Railsのフリースペースより) - joker1007’s diary
先日のKaigi on Rails中の雑談として @ima1zumi さんから、RDBに対して秒間1000コミットぐらいで処理が詰まってる場合ってどうするのが良いのか、という質問を受けまして、雑談の中で色々答えてたんですが、せっかくだから記事にまとめておこうと思います。 ちょっとしたKaigi Effectって感じですね。 今回のKaigi on Railsのトークの中では、 数十億のレコードを持つ5年目サービスの設計と障害解決 by KNR - Kaigi on Rails 2023 の話なんかは割と関連がありますね。ユーザーの行動履歴というのは、ユーザー数 * N * タイムスパンで増えていくレコードなので、書き込みとデータ量が爆発しがちです。トランザクションで堅牢に処理しなければいけないケースもそこまで多くないので、RDBだと書き込みに対する処理が過剰なケースが多い。実際のところこの
Pythonが速度改善に本気出すと聞いたので恒例のたらい回しベンチをとってみたら、RubyがYJITですごく速くなっていて驚いた話 - Smalltalkのtは小文字です
2022-09-09改訂： gcc バージョンが古すぎたのと、C が内部計測でなかった点を改め計測しなおしました。結果、Rust は C より速くはなくなりました。紛らわしいことで、ごめんなさい。また、gcc のバージョンアップに伴い、Python および Ruby についてはビルドと計測をしなおしたので、これらも少し速い値に変わっています。この点もどうぞあしからず。 2022-09-10追記：ご要望のあった Python numba.njit 使用時と Go の結果を追加しました。PHP は JIT 有効化が面倒だったので断念しました^^; 2022-09-10追記2：C の計測で clock() を使うのはフェアではないという指摘がありましたので、念のため clock_gettime() を使用したコードに差し替えました。結果に大きな差はありません。 2022-09-10追記3：PHP
Onigmoのインタプリタをdirect threaded codeに置き換えてCRubyを8%高速化した話 - 開発日記
Ruby言語の正規表現エンジンとしても使われているOnigmo(鬼雲)を高速化したのでその話をします。 Onigmoでは、正規表現のマッチにはバイトコードインタプリタを用いてNFAの実行をしています。バイトコードインタプリタの高速化には古くから知られている技法として、direct threaded codeがあり、この技法を用いればswitch-caseを用いて実装されたインタプリタと比べると間接jumpの除去が行えるなど高速化が期待できます。実際、Onigmoでもswitch-case によるdispatchからこのdirect threaded codeに変えることで高速化しています。 keens.github.io github.com ... と思ったらdirect threaded codeではなく、token threaded codeという実装になっておりました。(ref:
Ruby の prime が爆速化した件 - Qiita
Ruby の標準添付ライブラリーが次々と gem 化している。 gem 化すると，Ruby バージョンに縛られずにアップデートすることができる。 prime 0.1.2 リリース さて，昨日（2020-12-09）Ruby の素数ライブラリー prime の新しい版（バージョン 0.1.2）がリリースされた。 何が変わったのだろうか？ prime のリポジトリー を見ても CHANGE.txt や HISTORY.txt の類は無いが，コミット一覧 に Optimize Integer#prime? というコミットメッセージを見つけた。 ん？ もしや？ コミットを覗くと，冒頭に MILLER_RABIN_BASES などという定数が定義されている。 やはりアレだ。ミラー–ラビン素数判定法 を使って素数判定を高速化したんだ。 ベンチマーク 素数判定プログラムのベンチマークテストはなかなか難し
【Ruby 3.0 Advent Calendar 2020】Ruby3.0でRubyで実装されたメソッドたち【3日目】 - ゲームリンクスの徒然なる日常
はじめに Ruby 3.0 Advent Calendar 2020 3日目の記事になります。 昨日は、【Ruby 3.0 Advent Calendar 2020】Ruby3.0に投げたPull Request【2日目】です。 gamelinks007.hatenablog.com 今日はRuby 2.7から対応されている一部メソッドがRubyで実装されていることに触れつつ、Ruby3.0でRubyで実装されたメソッドたちを一部紹介します。 RubyでRubyを実装する まずRubyでRubyを実装するというのがいまいちピンとこない方もいると思いますので軽く説明します。 RubyでRubyを実装するという提案はko1さんがRubyKaigi 2019で発表された内容を元に導入されました。 rubykaigi.org youtu.be 発表されている内容をかいつまむと、組み込みメソッドでキ
rubygems を 1.5 倍に高速化した方法（stackprof --d3-flamegraph の使い方） - まめめも
タイトルは釣りです。明日 ISUCON 10の予選があると小耳に挟んだので、Ruby で参加する人が絶対に抑えておくべき？ Ruby 高速化の tips をひとつ。stackprof --d3-flamegraph のご紹介です。 例題 ちょうど今日、gem install aws-sdk にかかる時間を 37 秒から 24 秒ほどに高速化しました。 変更前: $ time ruby -I lib bin/gem install --no-doc aws-sdk Successfully installed aws-sdk-3.0.1 1 gem installed real 0m37.104s user 0m36.952s sys 0m0.333s 変更後: $ time ruby -I lib bin/gem install --no-doc aws-sdk Successfully
RailsでTZ環境変数を設定するハックを不要にした話 - Akatsuki Hackers Lab | 株式会社アカツキ（Akatsuki Inc.)
TL;DR 『環境変数を設定するだけでRuby on Railsサーバが10%高速化する(かもしれない)話』 でRailsを高速化させる素晴らしいハックが紹介されましたが。いまや有効なハックではなくなりました。 TZハックさん、ながい間（2日間）おつかれさまでした。 はじめに アカツキさまで技術顧問をさせていただいている小崎です。 このエントリは『環境変数を設定するだけでRuby on Railsサーバが10%高速化する(かもしれない)話』をRubyコミッタが読んだらこうなったというアンサーソングになっています。合わせてお読みください TZ環境変数でTime.newが10倍近く速くなるのは素晴らしい発見ですが、コミッタとしてはTZなしでも速くなって欲しいなと思いました。だってめんどうだし。 現状分析 まず問題のテストプログラムを軽く分析してみましょう % strace -c ruby .
C++は本当にRustに速度で負けるのか 〜「RustがC++に速度で勝った話」のベンチマークを追試する〜 - Qiita
追記: 本記事は g++ について書かれており、clang については補足で述べる程度でしたが、clang側の検証結果が間違っておりました。 別途 clang++ で検証した記事も書きましたので、ご覧いただけますと幸いです。 本記事の目的 昨日、株式会社フィックスターズの「Fixstars Tech Blog /proc/cpuinfo」に以下の記事が掲載されました。 RustがC++に速度で勝った話 - Fixstars Tech Blog /proc/cpuinfo 本記事では、上記記事の 手元環境における追試 C++の敗因/Rustの勝因分析 条件をある程度統一した際のベンチマーク結果 の3点を行います。 ベンチマーク環境 OS Fedora 30 CPU AMD A6-1450 Memory DDR3-1333 4GB x 1 (4GB) GCC 9.2.1 Rustc 1.39.
マネーフォワード社内PRに見られるRubyの書き方について - (3) 文字列の生成や検証 - Money Forward Developers Blog
エンジニアの澤田です。 この連載では、マネーフォワード社内のRuby (on Rails)コードで気になった箇所の問題点やそこから発展して関連事項を議論しています。 前回の『マネーフォワード社内PRに見られるRubyの書き方について(2)』ではハッシュの生成を扱いました。 概念的な話で始まり、また長かったので、読んだ方は少し疲れたかも知れません。 今回は内容の特性により、用例を並べて手短に問題点を指摘して、文字列(String)の生成や検証を考察します。 題材とするコードは、マネーフォワード社内のGitHubプルリクエストで実際に見かけたコードから問題点に関係する部分を抽出し、抽象化したもので、見かけたものそのままではありません。 社内のコードに限らず、文字列に関わるRubyコードで問題のあるものの多くは、必要もないのに正規表現を使ってやろうとしていたり、特定のメソッドに固執してそれを乱用
簡潔ビットベクトルでRubyをlog N倍速くした - クックパッド開発者ブログ
技術部のフルタイムRubyコミッタの遠藤（@mametter）です。昨日の Hackarade #04 の開催報告に続き、2日連続で記事を投稿します。 今回は、ある条件下でのRubyの実行速度を高速化した話を紹介します。この改善はすでにMRIの先端にコミットされていて*1、年末リリース予定のRuby 2.6に含まれる予定です。 ひとことで言うと、「簡潔ビットベクトルを索引に使うことで、プログラムカウンタから行番号を計算するアルゴリズムをO(log N)からO(1)に改善した。これにより、TracePoint有効時やコードカバレッジ測定下で、長さ N のメソッドの実行が O(N log N) から O(N) に高速化される」ということです。順に説明します。 背景：Rubyのバイトコードの構造 この最適化を理解するにはまず、Rubyのバイトコードのある特徴を知る必要があります。 たとえば x
Ruby 2.6にJITコンパイラをマージしました - k0kubun's blog
The English version of this article is available here: medium.com 2/4(日)に、去年のRubyKaigiが終わった直後の新幹線で開発を始め10月に公開したJITコンパイラをRubyのtrunk (2.6.0-dev) にマージし、昨日TD Tech Talk 2018で以下のような内容の発表をしました。 speakerdeck.com まだそれほど速くできていないということもあり、私はTwitterでのみ共有して満足していたのですが、海外の方がいくつか記事を書いてくださいました。 Playing with ruby's new JIT: MJIT - John Hawthorn Ruby’s New JIT – Square Corner Blog – Medium とても丁寧に書かれているので、私の記事がわかりにくければ
Rails/ActiveRecord バッチ処理の最適化 - Hack Your Design!
検証環境 前提条件 オリジナルコード ベンチマーク 最適化1: 簡単な最適化 ベンチマーク 最適化2: where & each を使う ベンチマーク 最適化3: find_each を使う ベンチマーク 最適化4: in_batches & update_all を使う ベンチマーク 最適化5: where & update_all ベンチマーク 最終結果 「ActiveRecordデータ処理アンチパターン」で発表します 参考リンク Railsのバッチ処理最適化の記事書いたら需要あるかな — toshimaru (@toshimaru_e) December 2, 2017 ということで今日はRailsバッチ処理の最適化について書いてみたいと思います。 検証環境 コードの検証に使った環境は下記の通りです。 macOS High Sierra (2.3 GHz Intel Core i5
どのプロバイダの通信速度が混雑時でも高速なのか分かるNetflix公式速度測定結果一覧サイト「ISP Speed Index」
「光陰矢のごとし」ということわざの通り、時間が過ぎるのは早いもので、2018年も3月を迎えています。4月から始まる新生活のための引っ越しが多い季節ですが、新しく居を構える上でインターネットの接続環境を1から考え直さなければならないことも。ストリーミング動画配信サイトのNetflixが公開している「ISP Speed Index」では、ネットが一番混雑する夜の時間帯にどのインターネットサービスプロバイダ(ISP)が速いのかがランキング形式でまとめられているので、引っ越し先でどのISPと契約するか迷っている際に参考になります。 ISP SPEED INDEX https://ispspeedindex.netflix.com/ ISP SPEED INDEX(JAPAN) https://ispspeedindex.netflix.com/country/japan/ 19時から23時前までは
Intel CPUのMeltdownパッチが一部導入されたmacOS High Sierraの比較ベンチマーク。
macOS 10.13.1とMeltdownパッチが一部確認されたmacOS 10.13.2を搭載したMac mini (Mid 2010)の比較ベンチマークです。詳細は以下から。 GoogleのProject Zeroチームは現地時間2018年01月03日、 IntelやAMD, ARMなどのプロセッサを利用したデバイスでシステムメモリ上からパスワードや暗号鍵などを読み取ることが出来る脆弱性「Meltdown」および「Spectre」があることを確認し、完全な情報公開(2018年1月9日)前に一部の情報を公開しましたが、 For example, an unauthorized party may read sensitive information in the system’s memory such as passwords, encryption keys, or sensiti
WebAssemblyはなぜ速いのか | POSTD
本記事はWebAssemblyに関するシリーズの第5回目で、今回のテーマはWebAssemblyが高速な理由です。前の記事をお読みでない方は、 初めから目を通される (訳注:原文リンク)ことをお勧めします。 前回の記事 (訳注:原文リンク)では、プログラミングに WebAssembly あるいはJavaScriptを使うかは二者択一の選択ではないことを説明しました。私たちは、WebAssemblyのみのコードベースを書く開発者が膨大な数になるとは思っていません。 ですので、アプリケーションにWebAssemblyとJavaScriptのどちらを使うか選ぶ必要はありません。しかし私たちとしては、開発者がJavaScriptコードの一部をWebAssemblyに置き換えることを期待しています。 例えば、Reactで開発しているチームは、リコンサイラコード（言い換えれば仮想DOM）をWebAss
プログラム高速化の禁術 - Qiita
はじめに これは昔（2010年頃）自分が使っていた高速化技法について書いたものです． 今となってはレガシーだったり，通用しないものもあるかもしれませんが，こういう知識も無くなってしまったり，自分も忘れてしまう気がしたので，メモ代わりに書いておきます． ただ言えることは，「最適化はするな」ということです．最適化すると，保守性が大幅に失われる危険性があります．そして，これから書く項目を1つ1つ行って，高速化できたとしても，せいぜい2倍程度です．ただその2倍程度の速度も欲しい！そのためには悪魔に魂と保守性を売る！という方はご覧ください．これらの高速化は割といろいろな言語に当てはまることも多いですが，大体C++で書くことを念頭に置いていただければ，幸いです．あと，個人的には競技プログラミングだったり，計算科学をやっていた時期に見つけた経験則なので間違ってる場合もあります． コンパイルオプションをこ
阿部寛のサイトを高速化する - Qiita
ちまたで阿部寛のサイトが早いと話題になってます。 dev.toと阿部寛のホームページどっちが速いですか？ dev.toと阿部寛のホームページについてちゃんと計測させてくれ 阿部寛のサイトはベストを尽くしてるのか？ それを調べるために、阿部寛のサイトを高速化させてみたいと思います。 目指すべきスピード 最速はローカルのファイルへのアクセスだと思うのでこれを目指したいと思います。 file:///C:/abe_hiroshi/index.html ChromeのDeveloper Toolでレンダリング完了が「173ms」でした。 まぁここまでは無理だな… 阿部寛のサイトはどんなもん？ 速度はwebpagetest.orgで測ってみます。 レンダリング完了時間は「359ms」です。はえーな S3でホスティングしてみる サーバーを立てるほどでもないので、S3でWebホスティングしてそこにhtml
dev.toと阿部寛のホームページについてちゃんと計測させてくれ - Qiita
Twitter見てたら、以下のツイートを見た。 数時間後、dev.toと阿部寛のホームページどっちが速いですか？というブログがTLに現れた。 GoogleのPageSpeed Insightsで測って阿部寛のホームページの方が早かったという結論付けてよいのかという疑問が浮かび、webpagetest.orgで計測することにした。 設定 阿部寛のホームページに関しては、Tokyoリージョンにあるものとする。 そして、dev.toはNY発らしいので、サーバーの設定をNYにして測定する。 The platform was created in 2016. The twitter account, @ThePraticalWeb 評価結果 Webpagetest - 阿部寛のホームページ Webpagetest - dev.to
Unixコマンド”yes”についてのちょっとした話 | POSTD
知っているUnixのコマンドで一番シンプルなものは何ですか？ 例えば echo という、stdoutに文字列を出力し true を返す – すなわち常に0の終了コードで終了するシンプルなコマンドがあります。 シンプルな、と言えば yes もそうでしょう。引数なしで実行すると、改行されたyが無限に出力され続けます。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
なぜrubyは他の言語と比べて遅いのでしょうか？
