ソーシャルゲームのためのMySQL入門 | BLOG - DeNA Engineering
こんにちはこんにちは。最近お腹痛いばっかり言ってることで有名なiwanagaです。 DeNAは外部的にはプラットフォーム的な部分の方がフィーチャーされることが多いですが、実はソーシャルゲームの提供も行っています。怪盗ロワイヤルとか、どこかで聞いたことがあるのではないでしょうか。 僕はDeNAでソーシャルゲームが誕生した辺りからずっとサーバサイドを見てきましたが、そんな運用の中で自分が貯めてきた知見とかTIPSをご紹介したいと思います。 かれこれ10タイトル近くはレビューしたり運用したりしてるため結構言いたいことはいっぱいあるので、小出しにしつつ評判よければ次も書きます。 ソーシャルゲームのためのMySQL入門一覧 ソーシャルゲームのためのMySQL入門 - Technology of DeNA ソーシャルゲームのためのMySQL入門2 - Technology of DeNA 「MySQL
MySQL Server in Launchpad
*** NOTE *** As of December 2014 (Server) and February 2015 (Cluster) we are no longer publishing source code on Launchpad. The last releases here are: Server: 5.7.5 (25 Sept 2014), 5.6.22 (1 Dec 2014), and 5.5.41 (28 Nov 2014). Cluster: 7.3.8 (22 Jan 2015), 7.2.19 (25 Jan 2015), and 7.1.34 (2 Feb 2015). We are now publishing on GitHub instead. Please see https://github.com/mysql/mysql-server ***
にひりずむ::しんぷる - make test で Test::mysqld を永続化させる方法
実際にどうやってんのかなーって話をあんまりしてなかったので。 まず、こんな感じのモジュールを t/lib/Test/MyApp/mysqld.pm とかで作って M::I::TestTarget の default_test_target() で `make test` を書き換えてやり、t/script/setup_mysqld.pl に とか書いてあげます。 それぞれのテストでは、Test::MyApp::mysqld->setup で mysqld を立ち上げるようにして置けば、 prove で個別にやった時は、それぞれ立ち上がる make test したときは、最初に立ち上げて、あとは使いまわす という感じになります。 ポイントとしては、 $ENV{TEST_MYSQLD} に Test::mysqld のデータ構造をそのまま JSON にして突っ込む Test::MyApp::m
NoSQLとしてMySQLを使うDeNAが、memcachedよりも高速な75万クエリ／秒を実現
モバゲーで知られるDeNAは、バックエンドデータベースにNoSQLを使っていません。なぜか？ それはMySQL/InnoDB 5.1の環境で秒間75万クエリという、多くのNoSQLでも実現できないような高性能を実現しているから。DeNAの松信嘉範（まつのぶよしのり）氏は、自身のブログにこんな内容のエントリ「Using MySQL as a NoSQL - A story for exceeding 750,000 qps on a commodity server」（英語）をボストしています。 Yoshinori Matsunobu's blog: Using MySQL as a NoSQL - A story for exceeding 750,000 qps on a commodity server 松信氏が指摘するように、大規模なネットサービスを提供している企業の多くは分散環境で
Using MySQL as a NoSQL - A story for exceeding 750,000 qps on a commodity server
UPDATE: Oracle officially released memcached daemon plugin that talks with InnoDB. I'm glad to see that NoSQL+MySQL has become an official solution. It's still preview release but will be very promising. Let's try it to make it better! Most of high scale web applications use MySQL + memcached. Many of them use also NoSQL like TokyoCabinet/Tyrant. In some cases people have dropped MySQL and have sh
Leaving Oracle, Joining DeNA
9月1日付けでオラクルを退職し、9月2日付けでディー・エヌ・エーに転職しました。新会社への入社の報告よりも(だいぶ)前に退職の報告をする方が多いようですが、私が外向けにオラクル退職の報告をするのはこれが初めてです。退職と転職の報告と同時に行なうのは、多くの方がナーバスになっているオラクルとMySQLの行く末について、できるだけ悪い印象を与えたくないと考えたためです。ディー・エヌ・エーは世界でも指折りのMySQLの超ヘビーユーザとして知られています。オープンソースの世界では、ベンダーからヘビーユーザの事業会社に転職し、その専門性を生かした仕事を続けることは珍しくありません(オープンソースのメリットの1つです)。というわけで、引き続きMySQLの仕事を続けます。MySQLコミュニティの方はどうか安心してくださればと思います。今後ともどうぞよろしくお願い致します。 私は2006年9月にMySQL
残暑なんて吹き飛ばすぐらい熱いベンチマークをやろうぜ！！
なんて幸運なことなんだろう。 実は最近、個人的にサーバーマシンを借りるという機会があった。そのマシンに搭載されているCPUコア数は合計48である！大事なのでもう一度いう。日本語でいう。48CPUコアだ！一昔前なら数千万円もしたスペックだろうが、最近は実にリーズナブルにお求めいただけるようである。（価格についてはふせておく。）このマシンには2.2GHzのOpteron 6174が4つ搭載されている。つまり、ひとつのパッケージに12個のコアが格納されているのだ。これはすごい。いや、むしろどうしてこうなった？！というべきか。そのようなマシンを目の前にすると時代はメニイコアに向かっているんだなあと実感せざるを得ない。 今後、CPUがどんどんメニイコアに向かう流れはさけれない。コアを増やさなければCPUの性能が（システム全体としての性能が）向上しないからだ。CPUの演算回路に対して半導体素子をたくさ
HandlerSocketソースコード公開しました | BLOG - DeNA Engineering
はじめまして、樋口と申します。 先日のDeNA Technology Seminar #2でお話させていただきました HandlerSocket Plugin for MySQL のソースコードを公開しました。 HandlerSocketとは？ 簡単に言うと、MySQLデータベースへのアクセスを高速化するためのプラグインです。MySQLのSQLパーザをすっ飛ばし、ネットワーク通信とマルチスレッド処理周辺を置き換えることによって、InnoDB等のデータベースエンジンの性能を限界まで引き出します。 このHandlerSocketですが、すでにモバゲータウンにて実際に運用しています。従来MySQLとmemcachedの構成で運用していた箇所を、HanderSocketを組み込んだMySQLだけの構成に置き換えました。その結果、MySQLサーバの負荷軽減、memcachedの負荷軽減、ネットワーク
漢(オトコ)のコンピュータ道: モダンなMySQLの開発環境の構築方法
遅ればせながら モダンな Perl の開発環境の構築方法 モダンなPHPの開発環境の構築方法 モダンなPythonの開発環境の構築方法 モダンな Java の開発環境の構築方法 に続いてみる。MySQLは言語じゃないけど。 コンパイラ等MySQLをソースからビルドするのでなければコンパイラ等は必要ないけど、どうせアプリ開発に必要なので「MySQLなんかいつでもハックしてやるぞ！」という意気込みを示すために入れておこう。OSXならXcode、LinuxならGCC。最新のソースコードじゃないとヤダ！という粋な人にはBazaarのインストールもお勧めしたい。Bazaarは言わずと知れた分散バージョン管理システムであり、MySQL開発チームも採用している。最新のソースコードは次のコマンドでゲット可能だ。 shell> bzr branch lp:mysql-server/5.1 mysql-5.1
Where are “Casual MySQLers”? - As a Futurist...
ゆーすけべさんのこちらのエントリ「Where are “Casual Perlers” ?」に 遅ればせながら触発されてエントリ書いてみます。と言っても、件のエントリを「s/Perl/MySQL/g」しただけなんですが。 先日、弊社主催の「DeNA Technology Seminar #2」に参加しました(リンク先は翔泳社様のリポートです)。 MySQL ハックな話のオンパレードでとてもインテリジェントで個人的にものすごく楽しかったです。 ただ、ゆーすけべさんの気付きと全く同じ様に、僕も感じました。「カジュアルな MySQL 使いはどこにいる？」 Tech Seminar は相当に MySQL を使い込んでいないと、多分何がすごいのかもよくわからないものだったと思います。 もちろんそういう場は非常に有用で未来へ進むために大きな意味があると思います。ただ、一方で「話についていけない」 とい
MySQLでサービス停止のないALTER TABLEの検討 - SH2の日記
MySQLでテーブルへのカラム追加、インデックス追加やテーブルの再編成などを行うと、その間テーブルに共有ロックがかかってしまいます。そのためこれらのメンテナンス処理は、通常利用者の少ない深夜早朝帯にサービスを止めて実施する必要があります。本日はそれを無停止、オンラインのままでできないかという話題です。 基本的なアイデア メンテナンス対象の元テーブルをコピーして、作業用の仮テーブルを作ります 仮テーブルに対して、カラム追加などの変更を加えます その間、元テーブルに対して行われる更新処理について差分を記録しておきます 仮テーブルの変更が終わったら、記録しておいた差分データを仮テーブルに反映します 差分データの反映が終わったら、元テーブルと仮テーブルを入れ替えます これと似たようなことを考えた方は結構いらっしゃるのではないでしょうか。ただ、言うは易し、行うは難しです。整合性がきちんと取れるかどう
MySQLハックの最前線が垣間見えた 「DeNA Technology Seminar #2」
ディー・エヌ・エーは29日、技術セミナー「DeNA Technology Seminar #2」を開催した。ソーシャルプラットフォームの裏側にフォーカスして3 月に開催されたセミナーに続き、2回目の開催となる。今回のテーマは「MySQL」。社外の講師も交え、モバゲータウンの膨大なトラフィックを支えるディー・エヌ・エーならではの実践的なチューニングネタ、ハックネタが紹介された。 ディー・エヌ・エーは29日、技術セミナー「DeNA Technology Seminar #2」を開催した。ソーシャルプラットフォームの裏側にフォーカスして3月に開催されたセミナーに続き、2回目の開催となる。今回のテーマは「MySQL」。社外の講師も交え、モバゲータウンの膨大なトラフィックを支えるディー・エヌ・エーならではの実践的なチューニングネタ、ハックネタが紹介された。 アプリに変更を加えずにDBの分散管理を実現
DeNA Tecnology Seminar #2 自分用メモ - need something more...
ちょっと遅れて参加。 後でスライド等アップされたらリンクを追加しよう。 一部追加した。 USTREAM: DeNA Technology Seminar: Live at Developers Summit 2012 "DeNA Special Session" http://engineer.dena.jp/ . 指摘を受け訂正 ManiaDB→MariaDB 参考： SPIDER Storage Engine: Database Sharding by Storage Engine: MySQL Conference & Expo 2009 - O'Reilly Conferences, April 20 - 23, 2009, Santa Clara, CA Spider 勉強不足の為、初めて聞いた。 Database Shardingを可能にするストレージエンジン ウノウラボ by
DeNA Technology Seminar #2 に参加してきました。 - モノノフ日記
DeNA Technology Seminar #2 を開催します - Technology of DeNA MySQL特集、ということだったので参加してきました。トピックは下の3つでした。 Spider handlersocket plugin MySQL 5.4/5.5の新機能 Spider 感想 Spiderは発表資料と発表者の斯波さんのお話が上手だったのもあり、完全無欠のストレージエンジンのように見えてしまっていたけど用途により向き不向きはあるだろうからそのあたりをちゃんと見極めて使いたいと思いました。実際の導入事例が3件(Sagool.tv, KADOKAWord.jp, マイクロアド)紹介されましたが、いずれもレコード数の増加によるバッチ処理の負荷分散に利用されていたようです。 メモでまとめましたが今後の展開がいろいろ凄いことになってたのでSpiderが特定用途のエンジンからか
DeNA Technology Seminar #2 を開催します | BLOG - DeNA Engineering
皆さん、お待たせ致しました。来る 2010年6月29日 18:30 より代々木ビジネスセンターで DeNA の技術陣とゲストスピーカーで DeNA Technology Seminar #2 を開催致します。 開催概要は以下になります。 開催日時 2010/06/29 (火) 18:30 - 20:30 開催場所 代々木ビジネスセンター 1号館5F ホール15A (地図) 開催概要 今回は多くのウェブサイトが採用する MySQL にフォーカスを当てた特集とさせて頂きました。とは言えありがちな tips は皆さん聞き飽きてるかと思いますので、国産のストレージエンジンである Spider や、弊社の樋口が独自に開発した MySQL plugin と、そして MySQL の中の漢として知られるアノ人のありがたいお話と言う最強セットで開催です！ トーク タイトルは仮称です。 Spider 斯波健徳
「エキスパートのためのMySQL[運用+管理]トラブルシューティングガイド」発刊のおしらせ。
来たる6月12日、我が入魂の書籍が発刊される運びとなった。執筆を開始したのはすでに一年以上前であり、本ブログでも何度か「執筆中です！」といいながらなかなか発刊に至らずお待たせしてしまったのだが、しかし時間がかかってしまった分、内容には磨きがかかったと思うので期待して頂きたい。書籍のタイトルは「エキスパートのためのMySQL[運用+管理]トラブルシューティングガイド」。筆者にとって初の著書（単著）である。名前にエキスパートと冠している通り、中級〜上級者向けの一冊となっている。初心者の方は、まずMySQL 徹底入門 第2版などを先に読んでから本書を購入するといいだろう。以下もくじである。 第1章 MySQLの概要 1 MySQLとは 1-1 世界で最も有名なオープンソースのRDBMS 1-2 LAMPの"M" 1-3 History 2 MySQL Serverの種類 2-1 FOSS Exc
![「エキスパートのためのMySQL[運用+管理]トラブルシューティングガイド」発刊のおしらせ。](https://cdn-ak-scissors.b.st-hatena.com/image/square/8ba3ef9665d5ead49f8e0a53e167dbe3d842aa12/height=288;version=1;width=512/https%3A%2F%2Flh3.googleusercontent.com%2Fblogger_img_proxy%2FAJ0KDdXINpZoYs9iSYSITeihKn001zIuS3IuyadN7xqcw0-JsZxk9cHoKIXz-uWDV00HQITb-BXcJzVM_u2pYGM1lp149i7GZGPHUk-7Sx-iEGEa8o0TnPKOaTKQziG9sQg464kRvYRnsw%3Dw1200-h630-p-k-no-nu)
MySQLコミュニティ騒然！MySQL 5.5.4が与えるインパクト。
先週、MySQL Conference & Expo 2010が開催され、盛況のうちに終了した。カンファレンスに合わせる形で、MySQL 5.5.3および5.5.4がリリースされたのだが、これが目を見張るような進化を遂げている。特に性能面での進化には目を見張るものがある！Jeremy ZawodnyやMark Calleghanといったコミュニティの重鎮たちも「非常にエキサイティングなリリースだ！」などと表して歓迎の意を表している。 というわけで、本日はMySQL 5.5.3/5.5.4の新機能および変更点についてレビューしてみよう！ おさらい。 〜 MySQL 5.5の既存の機能 〜MySQL 5.5が登場したとき、その新機能については以前にもエントリで紹介したが、ここで改めておさらいしてみよう。MySQL 5.5は、正確にいうと現在最新バージョンであるMySQL 5.1の「次の次」のバ
それでも私が MySQL を使いつづける理由または、Why I still use MySQL? 的な。
元ネタ: Why I still use Perl5? - TokuLog 改めB日記 ===> それでも私が Perl を使いつづける理由 - kazuhoのメモ置き場 なんつーかノリが楽しそうだったのでMySQLで便乗。Perlのことはよく分からないけど。 Fast Enoughもっとはやいといいな、とおもうときはあるけど、他の RDB とくらべても速い部類。 GPLであるいろんなライブラリを組み合わせるときにはライセンスを考えるのが面倒臭いけど、自分の書いたコードがプロプラエタリにならないとか、ユーザーの利用に制限がないとか、GPLの利点も多い。 MySQL community is so goodMySQL コミュニティは質問とかにもわりと答えてくれるし、一緒に仕事してて楽しいですね。 I know MySQL Internals個人的な理由だけど、MySQL の内部のことはだいぶ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
