第6回 [実録] MySQL向け全文検索エンジン「Tritonn」から「mroonga」への移行ガイド（1） | gihyo.jp
mroongaのN-gramについては、bigramだけでなく、uni-gramやtri-gramの他、多数の派生N-gramでのトークナイザに対応しています。さらに2013年5月末リリースのmysql-mroonga-3.04にて、待望のWプラグマに対応しました。これにより、Tritonnからmroongaへ移行する際の障壁はEプラグマのみになったと言えます。 Tritonnから乗り換えるならば、mroongaの1択ですね。 Tritonnからmroongaへ移行する7つのメリット それでは早速、Tritonnからmroongaヘ移行するメリットを見てみましょう。 MySQL 5.6対応であること もはやレガシーとなったMySQL 5.0という縛りがなくなることで、MySQL 5.1以降の先進的な機能を取り入れることができます。特にMySQL 5.6ではその進化が甚だしく、次の点を始めと
![第6回 [実録] MySQL向け全文検索エンジン「Tritonn」から「mroonga」への移行ガイド（1） | gihyo.jp](https://cdn-ak-scissors.b.st-hatena.com/image/square/05b0af51bb41516773d6954ec69cb62b4b24568e/height=288;version=1;width=512/https%3A%2F%2Fgihyo.jp%2Fassets%2Fimages%2FICON%2F2013%2F1099_groonga.png)
Javaのデータベースマイグレーションツール「Flyway」 #JJUG : ryu22eBlog跡地
2012年12月07日 Javaのデータベースマイグレーションツール「Flyway」 #JJUG Java Advent Calendar 2012 7日目です。 昨日は@megascusさんの「Java Bug Database 参照していますか？」でした。 先日、弊社サービスにJavaのデータベースマイグレーションツール「Flyway」を導入してみたところ、なかなか便利だったので紹介します。 事前準備 まず、マイグレーションの対象になるデータベースを用意します。 このエントリーでは、MySQL 5.5.28を使っています。 CREATE DATABASE flywayexample DEFAULT CHARACTER SET UTF8; Flywayをプロジェクトに組み込む ドキュメントによるとFlywayを利用するには以下の3つの手段があるようです。 Maven Plugin Com
validates :uniquenessはuniquenessを保証しないのでDBにindexをつけましょう！ - YomuKaku Memo
RailsのActiveRecordの validates :uniqueness を信じきると時に不具合を招きます。 RailsのActiveRecordでは、 validates :uniqueness => true を使用することで、指定した属性がuniqueであることを検証できます。 例えば、nameとemailという属性を持つUserというクラスについて考えます。 この場合にnameがuniqueである（例えばyamadaというnameが複数存在することを許可しない）ことを検証するには、Userクラスの中で以下のようにvalidationを記述します。 class User < ActiveRecord::Base ... validates :name, :presence => true, :uniqueness => true ... end Railsのアプリケーション
はてなブログ | 無料ブログを作成しよう
来年も作りたい！ふきのとう料理を満喫した 2024年春の記録 春は自炊が楽しい季節 1年の中で最も自炊が楽しい季節は春だと思う。スーパーの棚にやわらかな色合いの野菜が並ぶと自然とこころが弾む。 中でもときめくのは山菜だ。早いと2月下旬ごろから並び始めるそれは、タラの芽、ふきのとうと続き、桜の頃にはうるい、ウド、こ…
MySQLの複合INDEX - 憂鬱なプログラマの形而上学
MySQLMySQLの複合インデックスについて。MySQLを使いこなしている人には常識の範疇にはいる知識だと思うのですが、かつての私のように、知らないとドツボにはまるので、ここにまとめておきます。タイトルでどういう内容か、もしかしたら大体、想像がつくかなと思うのですが、MySQLは1つのクエリーで1つのテーブルに対し、1つのインデックスしか機能しないということです。ようするに、あるテーブルに対して、普通に大量のインデックスを張ってもあまり意味がありません。そこで、今回は、最適な複合インデックスはどのようにしてはることができるか考えていこうじゃないか、という趣旨で書いていきたいと思います。まずは分析。テスト環境でインデックスが使われていないSQLを集めるまずは、/etc/my.cnfのパラメータを以下のように設定し、インデックスが使われていないSQLをスロークエリーに吐き出します。 slow
DSAS開発者の部屋:5分でできる、MySQLのメモリ関係のチューニング！
MySQLのチューニングにおいて非常に重要となるメモリ(バッファ)関連のパラメータについて、 チューニングのポイント DSASのとあるDBサーバ(実メモリ4GB)の実際の設定値 をまとめてみます。 また、必要メモリの総量の計算や限界値を越えてないかチェックしてくれるスクリプトも紹介します。 是非、参考にしてみてください！ まず最初に注意点を。 バッファには2つのタイプがあります。 グローバルバッファ スレッドバッファ グローバルバッファはmysqld全体でそのバッファが1つだけ確保されるもので、 これに対し、 スレッドバッファはスレッド(コネクション)ごとに確保されるものです。 チューニングの際にはグローバル/スレッドの違いを意識するようにしましょう。 なぜなら、スレッドバッファに多くのメモリを割り当てると、コネクションが増えたとたんにアッという間にメモリ不足になってしまうからです。 in
MySQL :: MySQL 8.0 リファレンスマニュアル :: 13.7.1.6 GRANT ステートメント
SAVEPOINT、ROLLBACK TO SAVEPOINT および RELEASE SAVEPOINT ステートメント
Facebookのデータセンターに見るMySQL活用事例 - MySQLカンファレンス
Facebookの事例を紹介した同社Vice President of TechnologyのJeff Rothschild氏 従来は、Webサーバから直接MySQLに対して接続し、読み書きを行なうことが一般的だった。大多数のWebアプリケーションでは読み取りの方が書き込みよりも圧倒的に多い(8:2かそれ以上)ので、読み取りはスレーブに、書き込みとリアルタイム性の求められる読み取りはマスターに対して行う構成になった(MySQLのレプリケーションは非同期)。 しかし、この構成には非効率な点がある。特に大きいのは、キャッシュを有効活用できていないという点だろう。同じユーザが更新しないで同じ結果セットを繰り返し取るようなことは頻繁に起こりうるので、SQL文をいちいち実行するようなことなく、即座に結果を返せるようなキャッシュ領域がほしいところである。MySQLではクエリキャッシュという仕組みがある
SQLライクにHadoop Hiveを使い倒す!
パーティションを利用する 今回は少し凝ったテーブルを定義をしてみましょう。 郵便番号データは毎月更新されるので、テーブル指定時にバージョンも指定できるようにします。このような場合、Hiveではパーティションを使います。 以下に郵便番号を保存するテーブル「zip」を定義しますが、日付型DATEのパーティションverを設定するようにします。 hive> CREATE TABLE zip (zip STRING, pref INT, city STRING, town STRING) > PARTITIONED BY (ver DATE) > ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' > LINES TERMINATED BY '\n'; OK Time taken: 0.128 seconds
OracleではLimit句が使えない
ページングでSelect結果の一部のデータをしたいとき、PostgreSQLやMySQLで使用できるLimit句はとても便利。たとえばSelect結果の10から14番目までを取得するにはselect * from emp where Limit 10,5でもOracleではLimit句は使えない... ということでOracleではROWNUMを使用してやってみる。(Oracle10g Windows版で検証) ところがこのROWNUMは一筋縄ではいかないのであった。 Order By 句を使って並べ替えをすると、ROWNUMが...select rownum rn ,t.住所コード ,t.市区町村名 ,t.住所1 ,t.住所2 from tb_住所マスタ t order by 住所2;結果 RN住所コード市区町村名住所1住所2
CASE 式 と CASE 文の違い - オラクル・Oracleをマスターするための基本と仕組み
CASE 式 と CASE 文 の違い SQL は CASE 式 のみで CASE 文 は記述できない。 CASE 文は PL/SQL で記述するステートメントである。 CASE 式 ： 条件毎のセミコロンがなく、CASE の最後は END で終了するファンクションのようなものである。当然であるが式なので評価や代入文にも使用できる。 CASE 文 ： 複数のステートメントから構成される。構文の違いは以下参照 単純 CASE (simple case) の書き方の違い CASE 式 - CASE で始まり END で終了する。 expr と comparison_expr を比較し真偽判定をする。 CASE expr -- CASE 式 WHEN comparison_expr1 THEN ret_expr1 -- 式や値を記述する WHEN comparison_expr2 THEN
MySQL :: MySQL 8.0 リファレンスマニュアル :: 13.8.2 EXPLAIN ステートメント
SAVEPOINT、ROLLBACK TO SAVEPOINT および RELEASE SAVEPOINT ステートメント
来たる分析の時代を生き抜く「IT×分析のプロ」になるキャリアパス
「データ分析」の時代がやってくる。企業は膨大なデータを蓄積し、そのデータを使って新しいビジネスを模索している。いま、多くの企業がデータ分析ができるエンジニアを求めている。データ分析のスキルを身に付けるなら、SASの認定資格は有効な手段の1つである。 いま、日本の企業の情報システムには、WebサイトのログやPOSデータなど大量のデータが眠っている。これらのデータを貯蔵するために、膨大な数のデータベースが日々稼働している。 だが、時代は次の局面に来ている。「データ分析」の時代だ。SAS Institute Japan（以下、SAS）プロフェッショナルサービス本部 エデュケーション部長の杉山真理子氏によれば、「データ分析ができる人材、データ分析のためのプログラムを書ける人材の需要が、日本企業の間でも高まってきている」という。 データ分析の需要は、ITエンジニアにとって決して無関係な話ではない。I
HTML5関連のデータベースAPIとWeb Storageの基本
HTML5時代にはWebブラウザでデータベースを扱える 最近のWebの世界で、トレンドになっている技術の1つとして、「HTML5」があります。Webブラウザ上で動作するアプリケーション（Webアプリケーション）が一般化したことがあって、Webブラウザに求められる機能が増えてきました。そこで、その状況に即してHTMLをバージョンアップしようという流れが起こり、HTML5の仕様策定が進められています。 HTML5では、HTMLのタグの仕様だけでなく、周辺のAPI（Application Programming Interface）の仕様も明確化して、Webブラウザによる動作の差異をなくそうという方向になっています。また、Webアプリケーションを作る上で従来不十分だった機能について、各種の新しいAPIも追加されます。 APIの中で、特に不足していた分野の1つとして、「データ管理」が挙げられます。
データベース・クラスタの概要
はじめに これから4回にわたり、PostgreSQLを中心に、データベース・クラスタについて解説します。以下の内容を予定しています。 第1回: データベース・クラスタの概要 第2回: PostgreSQLクラスタの動向 第3回: 主要なPostgreSQLクラスタ（前編） 第4回: 主要なPostgreSQLクラスタ（後編） 1. データベース・クラスタとは データベース構築の基本は、1つのサーバーに1つのデータベースを構築し、運用することです。しかし、いろいろな理由から、1つのデータベースを複数のサーバー（仮想サーバーを含む）にまたがって構築するケースが増えてきました。 本連載では、いろいろな種類のデータベース・クラスタとその用途、主な技術や実装例を解説します。解説の対象となるデータベース・クラスタとは、1つのデータベースを、複数のサーバーや仮想サーバー上に構築するシステムを指します。
Twitter、「拡張性と可用性」を求めてMySQLからCassandraへ乗り換える | OSDN Magazine
人気のマイクロブログサービス「Twitter」を提供する米Twitterが、使用するデータベースをFacebookが開発した「Cassandra」に移行しているという。データ量の増加に自動的に対応できる拡張性や可用性などを評価した結果のようだ。 Twitterのソフトウェア開発者、Ryan Kings氏がMyNoSQLの取材に応じて明らかにした。MyNoSQLはSQLではないデータベースの総称「NoSQL」に関する情報を集めたブログ。 Kings氏によると、TwitterはシェアドMySQLとMemchacheを組み合わせたシステムを利用してきたが、データの増加ペースが急増しており、対応が急務となっていた。人件費をはじめとした運用費用がかさんでおり、共有MySQL設定を自動化するか、他のデータベースへの乗り換えを考慮したという。Cassandra以外のデータベースも検討したが、マシンの追加
Twitterが、Cassandraの本採用を断念。「いまは切り替えの時期ではない」
「いまは新しい技術への大規模な移行をする時期ではないと確信している」。Twitterは、サービスの核となるツイートを保存するデータベースを、MySQLによる大規模分散データベースから、NoSQLデータベースであるCassandraへ移行しようとしていました。しかしCassandraへの移行作業を中止し、引き続きMySQLでの運用を継続すると、Twitter Engineering Blogへのエントリ「Cassandra at Twitter Today」で明らかにしました。 これは戦略の変更だ Twitterは利用者からのツイートを、Scalaによって独自開発したミドルウェア「Gizzard」とMySQL、そしてmemcachedを用いた大規模分散データベースに保存しています。 しかしこうした複雑なシステムによる運用は非常に手間がかかり、人的コストを中心としたコストの増加が非常に大きくな
オラクル マテリアライズドビューメモ(Hishidama's Materialized view for Oracle Memo)
リフレッシュ方法を指定しない場合はforceになる。 後からリフレッシュ方法を変えることも出来る。 SQL> alter materialized view MV_TEST refresh fast; マテリアライズド・ビューが変更されました。 完全リフレッシュ マテビューを計算し直す際に、全データを作り直す。データの変更箇所が少ないなら効率は悪いことになるが、ロジックは一番単純だ。 完全リフレッシュのマテビューを作る際には、「refresh complete」を指定する。個人的には「refresh all」の方が分かり易かったと思うけど…わたしゃ英語圏の人間じゃないからな～ create materialized view MV_TEST refresh complete as select YYMM_GROUP, SHOP_CODE, sum(AMOUNT) SUM_AMOUNT fr
MySQL :: MySQL 5.6 リファレンスマニュアル :: 8.9.3.3 クエリーキャッシュの構成
have_query_cache サーバーシステム変数は、クエリーキャッシュが使用できるかどうかを示します。 mysql> SHOW VARIABLES LIKE 'have_query_cache'; +------------------+-------+ | Variable_name | Value | +------------------+-------+ | have_query_cache | YES | +------------------+-------+ 標準 MySQL バイナリを使用している場合、クエリーキャッシュが無効にされている場合でも、この値は常に YES です。 ほかのいくつかのシステム変数は、クエリーキャッシュ操作を制御します。これらは、mysqld の起動時に、オプションファイルやコマンド行で設定できます。クエリーキャッシュシステム変数はすべて、qu
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サービス終了のお知らせ