リレーショナル・データベースの世界
序文 私の仕事は、DBエンジニアです。といっても別に望んでデータベースの世界へきたわけではなく、当初、私はこの分野が面白くありませんでした。「Web系は花形、データベースは日陰」という言葉も囁かれていました。今でも囁かれているかもしれません。 ですが、しばらくデータベースを触っているうちに、私はこの世界にとても興味深いテーマが多くあることを知りました。なぜもっと早く気づかなかったのか、後悔することしきりです。 もちろん、自分の不明が最大の原因ですが、この世界に足を踏み入れた当時、先生も、導きの書となる入門書もなかったことも事実です。 今でこそバイブルと仰ぐ『プログラマのためのSQL 第2版』も新入社員には敷居が高すぎました (2015年2月追記：その後、自分で第4版を訳出できたのだから、 人生は何があるか分からないものです)。 そこで、です。このサイトの目的は、データベースの世界に足を踏み
ECS で Container Insights を使ってみた - Qiita
はじめに Amazon ECS に、Container Insights というコンテナワークロードに特化したモニタリング機能があります。ECS クラスターで稼働するサービスやタスクを一目で把握する可視化機能や、サービス単位のパフォーマンスメトリクスを確認する機能があります。また、サービス配下のタスク単位では、最新時刻のパフォーマンスを確認する機能があり、タスクに対する負荷の集中が確認しやすくなります。 Container Insights は、簡単に始められるので有効化の方法を確認してみましょう。 Container Insights の有効化 Amazon ECS クラスターの詳細画面を引きます。CloudWatch monitoring に Default と表示されている場合は、Container Insights は無効化となっています。 既存の ECS クラスターの有効化は、マ
SUZURI のセールとテレビ CM を乗り越えるために負荷試験を実施しました - Pepabo Tech Portal
こんにちは。 takutaka と申します。最近は暑くて大変ですね。熱中症には気をつけて過ごしましょう。 最近、SUZURI で負荷試験をやったので、そのことについて書いていきます。 概要 Tシャツセールを開催し、その期間に合わせてテレビCMを放映することが決まりました。 アプリケーションやビジネスなど、各領域で達成すべき課題が発生する中、インフラ領域では「最大限の努力をしてセール期間中のダウンを防ぐ」というミッションが与えられました。 パフォーマンスチューニングをやろう、インフラリソースを増強しよう、様々な対応がなされる中、そのひとつとして、負荷試験を実施して各対策の効果を検証することになりました。 僕が主担当として取り組むことになったのですが、問題が一つありました。それは、僕がまともに負荷試験に取り組んだ経験がまったくなかったということでした。 今まで負荷試験をやったことがないエンジニ
Ruby × jemallocのすすめ - メドピア開発者ブログ
集合知プラットフォーム事業部・エンジニアの榎本です。コロナ禍の運動不足を解消すべく筋肉体操で筋トレを続けてますが、上腕三頭筋がいい感じに成長しており継続の大切さを身に沁みて実感しております。 目次 TL;DR（三行要約） Rubyアプリケーションのメモリ肥大化問題 jemalloc を使ってみる jemalloc とは？ jemalloc で改善するのか？ jemalloc の設定方法 jemalloc をプロダクション導入してみた結果 まとめ おまけ：jemalloc についてMatzに聞いてみた TL;DR（三行要約） jemalloc でRubyアプリのメモリ効率改善 jemalloc でRubyアプリのパフォーマンス改善 jemalloc の導入も簡単 Rubyアプリケーションのメモリ肥大化問題 Ruby on RailsなどのRubyアプリケーションを運用する上で、メモリ使用量の
設定だけで Ruby アプリを高速化する
新年あけましておめでとうございます。 @rosylilly です。 この前 SRE 養成講座の体験授業配信 をしたんですが、その時にハンズオンの一環で Ruby 製アプリケーションをいじって高速化してみる。という内容を実施しました。 コンセプトとしては、『ちゃんと設定ファイルを書くだけでも高速化する』という感じです。作業としてはアプリケーションをいじらずに、設定だけいじって高速化する、ということなんですが、結局何がどれくらい効くのか、というのを事前に参考値レベルで弾いておかないとぶっつけ本番になっちゃうな、ということで何がどれくらい効くのかを試してからにしようということで、事前に調査したときのベンチテストと何を変えたかの記録になります。 ベンチマークの前準備 今回はほぼ何もしない Sinatra アプリケーションを作って、その性能差から測ります。ということで用意した性能測定用何もしない S
郵便番号APIのようなシンプルなREST APIをlambdaで作る時にマスターデータを何で持つべきか計測してみた
こういうAPIを作らなければいけないときって割とよくあると思います（有料データベースと契約してて、csvでもらったデータをAPIで使えるようにするとか） そんな時に一番シンプルな解決方法として思いつくのがaws lambda + API Gatewayになると思います そんな時にふとした疑問が生まれました 元のcsvって何の形式で持つのが一番効率良いのだろう こういうのって何となく適当に選んじゃうことが多いのですが実際に計測して選ぶことも大切なので色々計測してみました 別解 多分goあたりでプログラム本体に含めてコンパイルしちゃうのが早いと思いますが、今回はrubyでやりたかったのでそれ以外の解決策を考えてみます 準備 郵便局の出している住所 <-> 郵便番号データをサンプルとして使います 元データがcsvなのですがその時点で以下のようになっています 行数：12万4500行 ファイルサイズ
Mysqlでログ系テーブルを運用するときやっておきたいこと - 主夫ときどきプログラマ
SNSやソーシャルゲーム、アドネットワークなどのシステムではいろいろなログ情報をDBに保存することもあると思います。 そのさい、日々増えつづけるデータやパフォーマンスをどの様にさばいていくかが重要になってきます。 今回はログ系のデータをMysqlでどのように運用していくか、をテーマにいくつかのノウハウをまとめました。 ログ系テーブルの特徴 ログ系のデータとは、つまり何かのアクションの履歴データのことです。 一般的にはこのような形になるかと思います。 CREATE TABLE `t_logs` ( `id` bigint(20) unsigned NOT NULL, `user_id` int(10) unsigned NOT NULL DEFAULT '0', `event_id` int(10) unsigned NOT NULL DEFAULT '0', `created` datet
rack-mini-profiler gemの使い方・指標の見方・問題箇所の絞り込み方法 - Simple minds think alike
Railsアプリケーション開発でパフォーマンスモニタリング、パフォーマンスチューニングやってますか？？ New relicを始め、DatadogやSkylightなど便利なモニタリングサービスがたくさんあるので使ってはいるけれど、イマイチ使いこなせていない状況ではないでしょうか。 また、こういったサービスを利用はしているものの、機能を実装してリリースした後に表示画面が遅いとユーザから報告をもらって、やっとパフォーマンス問題に気がついて、New relicを開いて遅い箇所を確認するという対応が後手に回ってしまう状態が発生していないでしょうか。 日頃から rack-mini-profiler というGemを使って開発時にActiveRecordの発行されるSQLクエリやJSの初期表示の時間を確認する習慣をつけておくと、後からパフォーマンス問題が発生するケースを少なくすることができます。 しかし
フロントエンジニアなら知っておきたいブラウザレンダリングの仕組みをわかりやすく解説！ | Tech Blog
この記事ではブラウザの仕組みを図解を用いてわかりやすくご説明します。 最近のブラウザは優秀なので、ブラウザの仕組みを理解していなくても、パフォーマンスの問題が発生することは少ないかもしれません。 しかし、アニメーションを多用するサイトやユーザーインタラクティブなサイトの場合、パフォーマンスの問題はとてもシビアです。 ブラウザの仕組みを知ることで、ブラウザのパフォーマンスを最大限に引き出す実装を行うことができます。 画面がなめらかに表示されないのはなぜ？スクロールをしていてカクつく。またはアニメーションがカクカクしている時というのはブラウザがどういう状態なのでしょうか？ まずは、この状態を定量的に説明するためFPS（フレームレート）から説明します。 FPSとはFrame Per Secondの略で1秒ごとの画面(フレーム)の切り替わる回数を表しています。 ブラウザでサイトを見た際には最高で6
ブラウザレンダリング入門〜知ることで見える世界〜 - Qiita
はじめに 『レンダリングの仕組みなんて知らなくても、ブラウザが勝手にやってくれるじゃん！』 当時駆け出しのエンジニアだった私はそう思っていました。 実際、当時の私はレンダリングの『レ』の字も知りませんでしたが、特に業務上で問題はありませんでした。 しかし、その時は突然訪れました。 クライアントの要望でアニメーションを多彩に取り入れた案件を実装した際に、テスト段階で一部ブラウザ（S○f○ri、E○ge）でアニメーションがひどい状況になっていることが発覚しました。 (開発中はChromeで確認を行っており、Chromeでは特に問題はなかったので発覚が遅れました。) それからは、狂ったようにパフォーマンスの改善方法をググり、修正する日々が続きました。（最終的には、なんとかマルチブラウザでの動作も担保し、納品まで完了しました。） その案件が落ち着いた後、改めて自分の調べたことを振り返ると、局所的な
SQL実行計画の疑問解決には「とりあえずEXPLAIN」しよう
EXPLAINステートメントとは EXPLAINは、SQLの実行計画に関する情報を取得するためのステートメントです。実行計画とは「どのインデックスを使って（あるいはインデックスを使わずにテーブルスキャンで）クエリーを処理するか」をMySQLが判断した結果のことです。「インデックスはちゃんと使われているだろうか」「インデックスでどこまでクエリーを効率的に処理できているだろうか」という疑問が湧いた時には、「とりあえずEXPLAINで」となりますよね。 EXPLAINのマニュアルはこちらに、EXPLAIN の出力結果のカラムの意味についてはこちらに記載があります。 EXPLAINの何を見るか たとえば、次のような重いクエリーがあったとしましょう。 mysql> SELECT COUNT(some_column) FROM some_table WHERE some_column = xxx; +
Ruby でラインメモリプロファイラ - Qiita
プロファイラ好きなモニタの前の皆さんこんにちは。@sonots です。この記事では、Ruby コードのどの行がどのぐらいメモリを消費しているか調べる方法を紹介します。 オブジェクトの数を数える Ruby には ObjectSpace というオブジェクトの情報を集めたり操作したりする module があります。 このモジュールの each_object メソッドを使用すると、RubyVM 上の全てのオブジェクトを取り出すことができます。 このメソッドを使って、以下のようなコードを書くと、実行した地点で、RubyVM 中にどのクラスのオブジェクトが何個存在しているのかカウントできたりするわけです。興味深いですね! ObjectSpace.each_object.inject(Hash.new 0) {|h,o| h[o.class]+=1; h } #=> {Class=>241, Strin
Ruby 製バッチ処理を省メモリ化した - おいちゃんと呼ばれています
少し前に Ruby 製のバッチ処理を省メモリ化したときの話をメモしておきます。 どのようなバッチ処理だったか 動画共有サイトにアップされた動画がオトナの事情によって削除されることがしばしばあるということは周知のことだと思う。そこで、一定時間おきに配信元サイトをチェックして、もし動画が配信元から削除されていたら、当該動画をこちらのサイトでも動画一覧に表示させないようにする、検索に引っ掛からないようにする、ということをやっていた。 便宜上、そのバッチ処理のことを「（動画の）存在確認くん」と呼ぶ。 oom-killer に殺されていた 彼は非常にデキる子だったが、なんか最近、動画の落とし漏れがあるなーと感じた。原因を調べたら、メモリを食い過ぎて oom-killer に殺されていた。 cat /var/log/messages Apr 6 12:46:45 xxx001 kernel: Out
JMeterの正規表現の個人的な謎 - ソフト開発お仕事メモ🐕
はじめに Wicketを使用したアプリに対してJMeterでテストをしようとした場合、避けて通りにくいのが、JMeterの「正規表現抽出」です。 なんとなく使っていたのですが、どうにも細部に謎があったので、調査しました。 正規表現抽出とは何なのかと言いますと、以下の画像の機能です。 環境 JMeter 2.3.4 謎1 JMeterの正規表現は何のルールに則っているのか？ Javaの正規表現のリファレンスを見ながら書くと、たまに不思議な挙動になることがありまして、不思議に思っておりました。 ソースを見てやっと気づいたのですが、どうやらPerl5の正規表現互換だったようです。 以下にorg.apache.jmeter.functions.RegexFunctionのimport部分の一部を引用します。 import org.apache.oro.text.regex.MatchResult;
JMeter簡易リファレンス
<html> <head></head> <body> <select name="name1" > <option value="010000">メンズファッション</option> <option value="015000">レディースファッション</option> <option value="500000">靴</option> <option value="670001">腕時計</option> <option value="980001">食品</option> <option value="999999">家電</option> </select> </body> </html> 参照名:selectname 正規表現:<(.*) value="(.*)"> テンプレート:$1$ 一致番号:0 この指定で取得できた内容がJMeterの変数のいかに格納されている。 sele
JMeterを使ってRailsアプリの負荷テストをやりたい 実践編 - Qiita
前置き 前回のエントリーの続きになります。 JMeterのインストールや基本的な使い方は前回のエントリーを見てください。 JMeterを使ってRailsアプリの負荷テストをやりたい 準備編 http://qiita.com/t_cyrill/items/f2236b010a6b4ff04b9e authenticity_tokenを取り出す RailsのアプリはCSRFを防止するため、authenticity_tokenという名前のトークンを発行するため、Apache BenchなどのツールでPOSTのテストを行うのは難しいのですが、JMeterには正規表現にマッチする文字を一時変数のような形で保持できる機能があるので、少し設定するだけで負荷テストが行えるようになります。 前置きはこれくらいにして、早速authenticity_tokenを取り出して、RailsアプリがPOSTをうまく処理
【JMeter講座②（全３回）】正規表現抽出／BeanShell PostProcessor - 株式会社オーツー｜スタッフブログ
どうも、開発2部でサーバ担当してる山本です。 今回も前回に引き続きJMeter（ジェイメーター）についての投稿です。 前回は変数周りの機能について紹介しましたが、 今回はサーバーから返却されたjsonの内容を後続のリクエストで利用する方法を紹介します。 ▼全記事はこちら【JMeter講座③（全３回）】 【JMeter講座①（全３回）】カウンタ／Random Variable／CSV Data Set Config 【JMeter講座②（全３回）】正規表現抽出／BeanShell PostProcessor 【JMeter講座③（全３回）】BeanShell PreProcessor jsonからデータを取得する方法はいくつか方法はありますが、 今回は以下の2つの方法を紹介します。 正規表現抽出 BeanShell PostProcessor 尚、サーバを以下のjsonを返却するようにしてい
Apache Jmeter入門
Apache Jmeter は 100% pure Java で作られたデスクトップ・アプリケーションで、 Webアプリに代表されるようなクライアント／サーバ側ソフトウェアの 負荷テストを行うためのツールです。 静的ファイル、Java サーブレット、CGI スクリプト、Java オブジェクト、 データベース、FTP サーバといった、静的および動的なリソースに関する パフォーマンスを測定するのに利用できます。さらに、 高負荷状態のサーバ／ネットワーク／オブジェクトをシミュレートしながら それらの性能を測定したり、 システム全体のパフォーマンスを分析するのにも使えます。 また Jmeter では、 あなたの作ったアプリケーションが期待する結果を返しているかを検証するための アサーション（成立条件チェック）やテストスクリプトを組み込むことで、 アプリケーションのリグレッション（回帰）テストを行う
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - MiniProfiler/rack-mini-profiler: Profiler for your development and production Ruby rack apps.
CentOS 7 : SysStat インストールと設定 : Server World