AWS 導入事例：任天堂株式会社、株式会社ディー・エヌ・エー | AWS
全世界同時リリースする『マリオカート ツアー』の DB に Amazon Aurora を採用 高い品質が求められるゲーム配信基盤の運用工数を、大幅に削減 世界的ゲームメーカーである任天堂株式会社。2015 年ごろからスマートデバイス向けゲームアプリの開発をスタートした同社は、株式会社ディー・エヌ・エー（以下、DeNA）との協業により、全世界で 4 憶ダウンロードを超える『Super Mario Run』、『ファイアーエムブレム ヒーローズ』、『どうぶつの森 ポケットキャンプ』などにおいても、ゲームサーバーを含む各種機能を AWS 上に構築・運用してきました。2019 年に『マリオカート ツアー』をリリースするにあたり、データベースとして Amazon EC2 上で運用する MySQL から Amazon Aurora を採用。ユーザーが快適にプレイするために必要なパフォーマンスとスケーラ
Kubernetes-nativeなアーキテクチャ導入の手引き 先進的なクラウド環境を最強テストベッドで体験｜ハイクラス転職・求人情報サイト AMBI（アンビ）
Kubernetes-nativeなアーキテクチャ導入の手引き 先進的なクラウド環境を最強テストベッドで体験 Kubernetes-nativeなエコシステムを実現する最強テストベッド環境です。さまざまなミドルウェアを運用したマイクロサービスをフルgRPCなサービス間通信で実現するだけでなく、CI/CDと開発環境も用意しています。 こんにちは。株式会社サイバーエージェントのAI事業本部でインフラエンジニアをしている青山真也（@amsy810）と漆田瑞樹（@zuiurs）です。今回は、Kubernetesが好きな2人が考える最強のKubernetes-nativeなお試し環境を構築してみました。記事公開時点で、総コミット数が900に迫るリポジトリになっています。 現在、Kubernetesとそれを取り巻くエコシステムは急速に発達しており、便利なツールやミドルウェアが日々生まれています。これは
MySQL with InnoDB のインデックスの基礎知識とありがちな間違い - クックパッド開発者ブログ
こんにちは、サービス開発部の荒引 (@a_bicky) です。 突然ですが、RDBMS の既存のテーブルを見てみたら「何でこんなにインデックスだらけなの？」みたいな経験はありませんか？不要なインデックスは容量を圧迫したり、挿入が遅くなったりと良いことがありません。 そんなわけで、今回はレコードを検索するために必要なインデックスの基礎知識と、よく見かける不適切なインデックスについて解説します。クックパッドでは Rails のデータベースとして主に MySQL 5.6、MySQL のストレージエンジンとして主に InnoDB を使っているので、MySQL 5.6 の InnoDB について解説します。 InnoDB のインデックスに関する基礎知識 インデックスの構造 (B+ 木) InnoDB では B+ 木が使われています。B+ 木は次のような特徴を持った木構造です。 次数を b とすると、
UbuntuのMySQL-5.5でmysqld_multiの設定 | それなりブログ
起動したいMySQLインスタンスの数だけ作ります、以下は2つ起動する場合 ディレクトリの場所はテキトーなので、好きな場所に作って下さい "mysqld{1,2}" は、ディレクトリ２つをコマンド一発で作っています、便利な書き方だ sudo mkdir -p /var/lib/mysql/multi/mysqld{1,2} すっげー見にくいや.. ごめんなさい 「mysqld_multi 設定」とかでググって、そっちを見てからの方がいいかも # 項目は、以下の追加だけで削除はありません [mysqld_multi] mysqld = /usr/bin/mysqld_safe mysqladmin = /usr/bin/mysqladmin # 以下の user/password は、mysqld_multiプロセスの停止をするためのユーザ設定 # 後で足すので好きな値を入れて置く user
MySQL クエリーキャッシュのヒット率を求めるSQL | QK
MySQLのクエリーキャッシュのヒット率を求めるSQLを作成しました。結果キャッシュのヒット率が二割以下の場合は、キャッシュを利用しない設定のほうがパフォーマンスを出すことができます。このクエリキャッシュヒット率をSQLで求められるように作成してみました。みなさまのMySQLローカルサーバで直接実行して結果を確認してみてください 以下がクエリーキャッシュのヒット率を求めるSQLです。基本的には、show status で計算することができます。私の場合は、それすらめんどくさいので、SQLで対応しました。クエリーキャッシュのヒット率を以下の計算で求めることができます。 @QCACHE_HITS/(@QCACHE_HITS+@QCACHE_INSERTS+@QCACHE_NOT_CACHED)*100 ・以下がクエリキャッシュヒット率を求めるSQLです。たぶん。。だけど合ってます。 SELEC
今感じていること MySQLでauto_incrementを使う時には要注意
これもさっきと同じで、楽しようとして痛い目にあったと言うことで。 AUTO_INCREMENT の使用 AUTO_INCREMENT 属性を使用すると、新しく追加するレコードを識別するための一意な値を生成できます。 まあ、簡単にIDを生成できるんだーと軽いキモチで。 でも、これに最近気付いて。 注意: この場合（AUTO_INCREMENT カラムが複合インデックスの一部として使用されている）、グループ内で最大の AUTO_INCREMENT 値を持つレコードを削除すると、そのグループで同じ AUTO_INCREMENT 値が再使用されることになります。これは MyISAM テーブルの場合にも発生する可能性があります（通常は AUTO_INCREMENT が再使用されることはない）。 つまり、テーブル内では一意のIDであることは保証されても、そのテーブルを取り巻くシステムとしてみた場合、I
PDO、PEAR::DB、MySQL関数の速度比較
サーバー側の問題もあるので、毎回安定した処理結果は得られませんでしたが、大体上表のような結果になりました。 やはりネイティブ関数は速く、mysqli関数が一番速い結果になりました。 続いて同じくネイティブ関数のmysql関数が続き、その次にPDOという結果になりました。 PDOでは、プリペアドステートメントを用いてSQLを発行したため、2回目のSQLの発行ではキャッシュが効き、劇的な速さになっています。 一番遅かったのは予想通り、PEAR::DBでした。 ネイティブ関数よりも2〜3倍遅く、PDOよりも2倍近く遅い結果となりました。 PHP用アクセラレータを導入していなければ、PEAR::DBはもっと遅くなっただろうと考えられます。 まとめ PHP5を利用していて、DBの抽象化を行いたいのであれば、PEAR系のモジュールはやめてPDOにした方が良いと言えます。 単純なSELECT文の結果でさ
[MySQL] サイト無停止で ALTER TABLE を可能にする pt-online-schema-change | バシャログ。
早く沖縄オフィス作ってくれないかなー寒くて仕事にならないよ！みなさんこんにちは nakamura です。 ローンチ後もサイトの運用を受け持っているとどうしても機能追加などで DB のテーブル構成を変えなきゃいけないって事あると思います。データ量がさほど多くなければ問題にならないかもしれませんが、MySQL の ALTER TABLE はテーブル全体に対して書き込みロックをかけてしまうため、サイズの大きなテーブルの場合結構な時間サイトを止める必要が出てきてしまったり。。。いい加減なんとかならないのかよ！と思って探していたら中々いい感じのツールを見つけたので今回はそのご紹介です。 Percona Toolkit pt-online-schema-change は Percona Toolkit という MySQL を使う上での便利機能をまとめたツール群に含まれています。pt-online-sc
![[MySQL] サイト無停止で ALTER TABLE を可能にする pt-online-schema-change | バシャログ。](https://cdn-ak-scissors.b.st-hatena.com/image/square/20c0b0df62783283e7ba333774006e31f6235c74/height=288;version=1;width=512/https%3A%2F%2Fbashalog.c-brains.jp%2Fimages%2Fdb01.jpg)
MySQLを32bitのOSで使うときのメモリの制限 - くるくるサーカス
だいたいの32bitのOSでは、4GBまでがダイレクトに使えるメモリの上限量であることはご存知の方が多いと思います。 ※このあたりの表現については詳しくないんで突っ込まないでください^^; さて、MySQLを32bitのOSで使うときのメモリの制限ですが、結論から言うと「2GB」が上限です。 「え？4GBまで使えるんじゃないの？」と思った方、残念。me too, orz MySQL側で制限されてるようなので、ソースをいじくれば解除できるのかもしれませんが、 7/23追記 32bit/Linuxのglibcの問題でした。Sol10では関係ないかも・・・調査中 参考：MySQL :: MySQL 5.6 リファレンスマニュアル :: 14.3 InnoDB の構成 それよりは64bitのOSに乗り換えたほうがいいのではないかと、個人的には思います。 メモリ割り当ての指標に関しては、KLabさん
MySQLのクエリキャッシュヒット率を計算するワンライナー書いた - 小野マトペの業務日誌(アニメ制作してない篇)
MySQLのパフォーマンスチューニングをしていて避けては通れない要素、key_buffer_size設定。 参考サイトによると、MyISAMインデックスに割り当てられるキャッシュサイズであるkey_buffer_size値は、以下のように、インデックスを利用するリクエストにおける、ディスクread数の割合から求められる"キャッシュヒット率"によって増減を決定されるらしいですが、 キーキャッシュのヒット率 = 100 - ( key_reads / key_read_requests × 100 ) DSAS開発者の部屋:5分でできる、MySQLのメモリ関係のチューニング！ この値は特に起動直後はかなり変動し、毎回SHOW STATUSして手動で計算するのが面倒くさいので、これを一発で求めるワンライナーを作りました。 キャッシュヒット率(単位:％) mysqladmin -u root -p
DSAS開発者の部屋:5分でできる、MySQLのメモリ関係のチューニング！
MySQLのチューニングにおいて非常に重要となるメモリ(バッファ)関連のパラメータについて、 チューニングのポイント DSASのとあるDBサーバ(実メモリ4GB)の実際の設定値 をまとめてみます。 また、必要メモリの総量の計算や限界値を越えてないかチェックしてくれるスクリプトも紹介します。 是非、参考にしてみてください！ まず最初に注意点を。 バッファには2つのタイプがあります。 グローバルバッファ スレッドバッファ グローバルバッファはmysqld全体でそのバッファが1つだけ確保されるもので、 これに対し、 スレッドバッファはスレッド(コネクション)ごとに確保されるものです。 チューニングの際にはグローバル/スレッドの違いを意識するようにしましょう。 なぜなら、スレッドバッファに多くのメモリを割り当てると、コネクションが増えたとたんにアッという間にメモリ不足になってしまうからです。 in
MySQLデータベース分散処理 - 憂鬱なプログラマの形而上学
MySQL今まで、携帯の大規模サイトをいくつか運用してきて、過去には会員数300万人を超える携帯SNSをほぼ一人で作ったりしてきたわけだが、今回はその過程で得たMySQLの分散処理についてまとめたい。パラメータ系の設定はまた今度にして、とりあえず今回は設計のお話。まず、基本的にはどんなプログラムでも負荷に関して何らかの対策は必要で、常に意識すべきことではあるのですが、特にWEBアプリの場合、データベースの負荷対策が中心的な課題となります。その中でも、confファイルの編集やINDEX、個々のテーブル設計などで個々のデータベースのパフォーマンスチューニングを、テーブル全体の設計やレプリケーションなどの設計で冗長化による負荷の分散を行うわけですが、今回は後者に重点を置いてお話をしたいと思います。私の場合、行っている分散処理は実は非常に単純でして、主に下記の内容となります。レプリケーションスキー
MySQLのストアドプロシージャと生PHPによるパフォーマンス比較
皆さん、こんばんは。笹亀です。 7月もあっという間に10日間が過ぎて、夏真っ盛りになってきました。 自分も夏対策でアイス眠というマットレスを購入して夏を乗り越えようと思っております。 さて、本日はストアドプロシージャについて検証をしてみたいと思います。 ストアドプロシージャとは、一連のSQL文や処理に名前をつけて保存したものです。 PHPの関数と同じでSQLを関数みたいにしたものがストアドプロシージャになります。 MySQLではストアドプロシージャはMySQLでは5.0から利用が可能です。 今回はMySQLのストアドプロシージャの使い方だけではなく、 生PHPで記載したときとのパフォーマンスを比較してみたいと思います。 MySQLのストアドプロシージャを呼び出して処理をするPHPプログラムとストアドプロシージャで作成したものと同じSQLを実行するPHPプログラムを作成します。 上記２つのプ
MySQL のストアドプロシージャで動的なテーブル名を指定する - Memo
MySQL のストアドプロシージャを作っていて、テーブル名を引数で取って動的に SQL を組み、結果を返したいという事がやりたかった。 イメージはこんな感じ。 DELIMITER \\ DROP PROCEDURE IF EXISTS `foo`\\ CREATE PROCEDURE `foo`( IN `tbl_bar` INT(10), IN `colmun_baz` VARCHAR(1000), IN `value_hoge` VARCHAR(1000), OUT `_result` INT(10) ) BEGIN SELECT COUNT(*) INTO _result FROM tbl_bar WHERE colmun_baz = value_hoge; END \\ DELIMITER ; 最初はストアドファンクションとしてやろうとしたけど、コンパイル時にエラーになったので、ス
うるう秒のあとにMySQLなどのCPU使用率が高騰する件について - SH2の日記
2012年7月1日のうるう秒のあとに、MySQLやJavaなどのCPU使用率が高騰する事象が報告されています。 CPU %user %nice %system %iowait %steal %idle 08時30分01秒 all 0.02 0.00 0.02 0.04 0.00 99.91 08時40分01秒 all 0.02 0.00 0.02 0.08 0.00 99.88 08時50分01秒 all 0.02 0.00 0.02 0.03 0.00 99.92 09時00分01秒 all 0.11 0.00 0.13 0.04 0.00 99.72 09時10分01秒 all 23.02 0.00 29.09 0.11 0.00 47.78 09時20分01秒 all 23.11 0.00 29.08 0.06 0.00 47.75 09時30分01秒 all 22.85 0.00
私がweb制作でよく使うサイト47+α 作業ごとリスト
web制作でお世話になっている便利サイト 今回は画像もなしに一覧にしてしまおうと思います。使うときにパッと一覧するような実用性を考えているので、詰めてあった方がいいですよね。 webcre8がwebサイトの制作をしているとき頻繁にアクセスするサイトリストです。これらは大半、webcre8がこれまで「*役に立つ」タグをつけてブクマ管理していたものですが、他にも漏れがあったり他のタグに入っていたり、何故か毎回検索して使っていたサイトも多いので今回ひとまとめにしてついでにシェアしてみようかなって感じです★要はリンク集ですね。 これらのサイトをぐるぐる回っているうちにみるみるwebサイトが…出来てくると良いですねｗ 素材サイト まずはよくある素材サイト集。当然全てフリーで商用可です。webcre8は写真をバナーや商用サイトに使う事が多いので、有料素材が用意出来る場合を除き普段からクレジット不要のこ
なぜMySQLのサブクエリは遅いのか。
よくMySQLはサブクエリが弱いと言われるが、これは本当だろうか？半分は本当で半分は嘘である。MySQLのサブクエリだってなんでもかんでも遅いわけではない。落とし穴をしっかり避け、使いどころを間違えなければサブクエリも高速に実行できるのである。今日はMySQLがどんな風にサブクエリを実行し、どのような場合に遅いのかということについて説明しよう。 EXPLAINで実行計画を調べた際に、select_typeにはクエリの種類が表示されるのだが、代表的なサブクエリには次の3つのパターンがある。 SUBQUERY DEPENDENT SUBQUERY DERIVED 結論から言おう。遅いのは2番目、DEPENDENT SUBQUERYである。DEPENDENT SUBQUERYとはいわゆる相関サブクエリに相当するもので、サブクエリにおいて外部クエリのカラムを参照しているサブクエリのことである。そし
MySQLパフォーマンスチューニングのためのインデックスの基礎知識 - 久保清隆のブログ
仕事でMySQLのパフォーマンスチューニングをしていて、インデックスについて分かっていないことが多かったので調べたことをメモ。基本的なところから学習しなおした。 MySQLのインデックスは、カラムが特定の値をもつレコードの迅速な検索に使用される。インデックスを使用すれば、数百とか数億ものレコードが入っているテーブルから、一組のレコードを迅速に見つけて取り出すことが可能になる。 しかし、インデックスは速度を改善することもあるが、挿入の邪魔になって遅くなることもある。 インデックスを適切に使うために、まずはインデックスの基本概念をおさえる必要がある。 インデックスの概念 インデックスとは インデックスの仕組みを理解するには、まずMySQLがどのようにクエリに応答するかを知る必要がある。 例えば、 SELECT * FROM phone_book WHERE last_name = 'Hoge'
MySQLのLEFT JOIN, RIGHT JOIN, INNER JOINの自分用まとめ - (ﾟ∀ﾟ)o彡 sasata299's blog
2008年09月03日00:53 MySQL MySQLのLEFT JOIN, RIGHT JOIN, INNER JOINの自分用まとめ MySQL の LEFT JOIN, RIGHT JOIN, INNER JOIN について、ちょっと混乱することが多いので自分用に簡単にまとめてみます。まぁ、タイトルのまんまです（・∀・；） まず、テスト用のテーブル (test1, test2) を用意します。 CREATE TABLE test1 ( test_id VARCHAR(255) PRIMARY KEY, hoge VARCHAR(255) ); CREATE TABLE test2 ( id INT PRIMARY KEY AUTO_INCREMENT, test_id VARCHAR(255) NOT NULL, fuga VARCHAR(255) ); テーブルの中身はこんな感じ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[PDF] ココまでできるの！？ Amebaを支えるMySQLシステム構築