第3回 様々なデータ型を扱えるTokyoTyrant | gihyo.jp
どんなところに使える？ もっとも簡単な利用方法は、前回紹介したmemcachedの代替として利用するというものです。memcached互換プロトコルが実装されているため、memcachedを利用している場合ポート番号を変えるだけでTokyoTyrantに差し替えることが可能です。これだけで簡単にデータの永続性が得られます。 また、テーブルデータベースを利用すれば一つのkeyに対して複数のvalueを持たせることが可能であり、keyだけでなく任意のvalueを条件としてデータの検索を行うこともできます。JOINやGROUP BYといった処理は行えませんが、それ以外のほとんどの検索条件を扱えます。レスポンスはRDBMSに比べて高速なので、アクセス数が多いテーブルをTokyoTyrantのテーブルデータベースに載せ換える、といった利用方法も効果的かもしれません。 具体的な利用シーン memcac
PHP: tokyo_tyrant - Manual
tokyo_tyrant はじめにインストール/設定要件インストール手順実行時設定リソース型定義済み定数例TokyoTyrant — TokyoTyrant クラスTokyoTyrant::add — 数値キーを加算するTokyoTyrant::connect — データベースに接続するTokyoTyrant::connectUri — データベースに接続するTokyoTyrant::__construct — 新しい TokyoTyrant オブジェクトを作成するTokyoTyrant::copy — データベースをコピーするTokyoTyrant::ext — リモートスクリプトを実行するTokyoTyrant::fwmKeys — 前方一致でマッチするキーを返すTokyoTyrant::get — 値を取得するTokyoTyrant::getIterator — イテレータを取得する
TokyoTyrantのレプリケーションとRailsでの利用 - なんとなく日記
レプリケーションの設定 movedにある Replication の例をやってみる マスター側 % mkdir ulog-1 % ttserver -port 1978 -ulog ulog-1 -sid 1 casket-1.tchこちらは通常の設定ですが，1つ更新ログ(ulog)の部分が追加されています．前回は更新ログはファイルだと思って設定したんですが，実はディレクトリを指定するべきでした．これは MySQL でいうバイナリログ(binlog)に相当するものでしょうかね，中身見ると． スレーブ側 % mkdir ulog-2 % ttserver -port 1979 -ulog ulog-2 -sid 2 -mhost localhost -mport 1978 -rts 2.rts casket-2.tchスレーブ側ではマスターを指定します．mhost がマスターのホスト名，mp
TokyoTyrantをざっくり使ってみた - Do You PHP はてブロ
via. mixi engineer blog なんだか今さら感漂いますが、PHPからTokyoTyrantに繋げてみたのでまとめてみました。 環境 CentOS5.2 on VMwarePlayer on CF-R4 PHP5.2.6 memcache3.0.2β TokyoCabinet1.3.11 TokyoTyrant1.1.4 インストール おきまりのパターン。まずはTokyoCabinetのインストール。 $ wget http://downloads.sourceforge.net/tokyocabinet/tokyocabinet-1.3.11.tar.gz $ tar zxf tokyocabinet-1.3.11.tar.gz $ cd ./tokyocabinet-1.3.11/ $ ./configure $ make $ sudo make install $ 続
ウノウラボ Unoh Labs: Tokyo Tyrantを使ってみて
yamaokaです。 通常のデータベースとしてではなく、Key-Valueストアの選択肢として Tokyo Tyrantを少しずつ使ってみています。 実際に運用するにあたって、いくつか行ったことを書いておきます。 ちなみに、現在の構成は1台のみでの運用です。 マルチマスター構成やレプリケーションなどは行っていません。 PHPのクライアント Tokyo Tyrantを利用するのはPHPのアプリケーションからです。 最初はmemcachedプロトコルを利用して PECL::memcacheを使っていましたが、 データの大量更新を連続で行うとデータの取得が正常に行えなくなる現象が発生したため、 Net_TokyoTyrantを一部改変したものをライブラリとして利用しています。 パフォーマンスではPECL::memcacheに負けますが、クリティカルな処理をしていないこともあり、 今のところ問題に
ウェブリブログ：サービスは終了しました。
「ウェブリブログ」は 2023年1月31日 をもちましてサービス提供を終了いたしました。 2004年3月のサービス開始より19年近くもの間、沢山の皆さまにご愛用いただきましたことを心よりお礼申し上げます。今後とも、BIGLOBEをご愛顧賜りますよう、よろしくお願い申し上げます。 ※引っ越し先ブログへのリダイレクトサービスは2024年1月31日で終了いたしました。 BIGLOBEのサービス一覧
Tokyo TyrantでテーブルDBを指定するとtcrtestがエラーになる。 - こせきの技術日記
Tokyo Cabinet / Tokyo Tyrant を使ってみているのだが、テーブルDBにTTのRuby binding経由で読み書きを繰り返していると、 エラーコードがずっとEMISC(9999)のままになる。 結果がたまに空で返ってくる。 再接続すると正しい結果が返る。 この時のエラーコードは大抵EMISCだがESUCCESSの場合も。 という問題が発生して困っている。原因を絞り込むためtcrtestを試したら、同じようにmiscエラーが出た。 ttservctlをテーブルDBに修正してttserverを起動。 tcrtest misc 127.0.0.1 1000 Linux(32bit) の場合、rnum=1000で2回に1回くらいmiscエラーが出る。 Mac OSX(64bit) の場合、rnum>4095でmiscエラーが出る。 自力で原因を調べると3年くらいかかりそう
TokyoCabinet/TokyoTyrant を Rails で使う - なんとなく日記
インストール TokyoCabinet % wget http://tokyocabinet.sourceforge.net/tokyocabinet-1.3.27.tar.gz % tar zxvf tokyocabinet-1.3.27.tar.gz % cd tokyocabinet-1.3.27 % ./configure --prefix=/usr/local % make % make check % sudo make install TokyoCabinet Ruby API % wget http://tokyocabinet.sourceforge.net/rubypkg/tokyocabinet-ruby-1.18.tar.gz % tar zxvf tokyocabinet-ruby-1.18.tar.gz % cd tokyocabinet-ruby-1.18 %
噂のTokyoCabinet/TokyoTyrantを使ってみた - (ﾟ∀ﾟ)o彡 sasata299's blog
2009年10月04日20:18 KVS Ruby 噂のTokyoCabinet/TokyoTyrantを使ってみた key-value ストアに興味がある ささたつ です。key-value ストアとして有名なものといえば memcached かと思いますが、他にも TokyoCabinet や TokyoTyrant というものも注目されています（不思議な名前ですね！）。key-value ストアでありながら高速、かつ、データをメモリで無くファイルに保存しているため、サーバが落ちてもデータが消えないとか。 実際に mixi の最終ログイン時間の保持などに使われているそうです。 memcached をセッションの保持などに使っている場合、memcached のサーバがダウンしてしまったら、データは全て消えてしまいます。その結果 RDBMS にアクセスが集中し、パフォーマンスが大幅に悪化し
ウノウラボ Unoh Labs: PHPでTokyoTyrantのストリームラッパーを書く
浴衣の女の子は大好きですが、僕が近づくと逃げいていきます。 Keitaです。 さて、ちょっと前にNet_TokyoTyrantを公開しましたがぽつぽつと修正をかけて いたります。外国の方もちょくちょくTokyoTyrantを使ってる人がいるようで、2，3回 バグ報告をいただきました。Openpearに移動し誰でもコミットできるような状態になっ てますのでバグとか見つけたりしたら、遠慮なくコミットしてください。 さて、とある方にPHPのストリームラッパが結構簡単に書けることを教えていただいたのでTokyoTyrantで試してみたいと思います。 簡単に説明すると以下のようにファイルとしてfopenとかfile_get_contentsが使うための仕組みががPHPで簡単にできます。 <?php //こんなphpのコードをあらかじめ書き込んでおいて $test1 ='put('test1.php'
データベースの動的デフラグ - mixi engineer blog
ノートPCの冷却ファンがうるさいのを対処しようとしてWebで調べたら、そのファンの設計者が「静音性へのこだわり」を語ったページにたどり着いて複雑な心境のmikioです。今回は、Tokyo Cabinet（TC）の最新バージョンで実装された動的デフラグ機能について長々と説明します。 断片化とデフラグ 任意のサイズのデータを管理する記憶装置においては、利用可能領域の断片化（fragmentation）の問題が常につきまといます。ファイルシステム上で任意のサイズのファイルを管理する際にも、データベースファイル内で任意のサイズのレコードを管理する際にも、C言語のmalloc/free関数群でメモリの管理をする際にも、様々なレイヤで断片化が起きうるのです。なぜなら、データを削除もしくは移動した際の空き領域を再利用するにあたって、その領域と同じサイズのデータが常に入ってくるとは限らないからです。特にデ
プラグインで独自ストレージを作ろう - mixi engineer blog
OpenSocialとかC++0xとか世の中の流れが早すぎて、いろいろと勉強しなきゃなと焦りつつも、ついついピクミン2にはまってしまうmikioです。今回はTokyo Tyrant（TT）を使ってユーザ独自のストレージシステムを簡単に構築する方法について説明します。 プラグインとは オブジェクト指向プログラミングに慣れた人にとっては、インターフェイスと実装を分離することによってプログラムの拡張性や保守性を向上させる技法（データ抽象）は常識ですよね。その考えをさらに進めると、インターフェイスのみをプログラムに記述しておいて、具体的な実装は実行時に割り当てるという、いわゆるプラグイン（plug-in）という技法に至ります。プラグインでカスタマイズできる能力をプラガブル（pluggable）などと言ったりもします。 例えばTokyo Cabinet（TC）では、レコードの挿入、削除、参照といった
myfinder's blog: 人生に役立つかもしれないTokyo Tyrantについての知識
タイトルはホッテントリメーカーから頂戴しました。 お仕事でmemcachedとかその周辺プロダクトを利用することとなり、memcached、Tokyo Tyrant、Flareのパフォーマンスを測ってみたときに発覚したことを書いておきます。 (前提条件:memcached client for Javaからmemcachedとかその互換プロダクトを利用する場合) まずはパフォーマンスの手っ取り早い指標として処理速度があげられるので、上記3プロダクトをセットアップして、下記のようなテストプログラムをそそくさとこさえました。 public static void main(String[] args) { // memcacheのインスタンス取得 SockIOPool pool = SockIOPool.getInstance(); pool.setServers(new String[] {
[php][tokyo cabinet]Tokyoなんとかをインストールしてみる - かけだしエンジニアの独り言
2008年12月26日 00:30 カテゴリ技術 [php][tokyo cabinet]Tokyoなんとかをインストールしてみる Posted by kistame228 No Trackbacks Tweet mixiの開発者ブログにちょくちょく出てくる Tokyo Tyrantを利用してみました。 Tokyo TyrantはMySQLでいうストレージエンジンかな CabinetがMySQL本体のようなイメージ。 って自分で思ってるのですがどうなんだろ。 [インストールメモ] ◆pearのインストール curl http://pear.php.net/go-pear > pear.php php -q pear.php /private/tmp/bin/pearにインストールされた aliasかなにか設定すればいいのだろうけど、とりあえずこのまま利用 ◆PearでTokyo Tyran
memcached VS Tokyo Tyrant - なぜか数学者にはワイン好きが多い
フリーのデータベースソフトのベンチマークの，追加実験を一件加えました． シンプルなクエリに対する高速なDBは - なぜか数学者にはワイン好きが多い 前回の結果に，ネットワークかつファイルベースのTokyo Tyrantをベンチに加えました． moved アクセスにネットワークを通す場合（ハブ経由で他のマシンにアクセスに行く場合） <?php dl('memcache.so'); error_reporting(E_ALL); define("MAX_LINE",100000); $memcache->connect('local-db-machine.jp', 1978); $start_time = time(); for($i=0;$i<MAX_LINE;++$i) { $key = sprintf("%010d",$i); $obj = new stdClass; $obj->str
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SSDとTokyoTyrantやMySQLの性能検証
IDEA * IDEA
502 Bad Gateway
Miyazaki Resistanceを作ってみたよ
http://1978th.net/tech/promenade.cgi?id=28