Kazuho@Cybozu Labs: Japanize / Mylingual サービス移管のおしらせ
直前のお知らせになり恐縮ですが、2010年10月29日より Japanize および Mylingual の両サービスを、弊社サイボウズ・ラボ株式会社より、サービスの開発者である私、奥一穂個人へ移管いたします。 蓄積された翻訳データ（編集履歴等含む）は、全て移管されます。 拡張機能や Userscript 等を通して翻訳機能をご利用の皆様におかれましては、何も作業していただく必要はございません。現在と同様に翻訳機能をご利用いただくことが可能です。 Japanize または Mylingual でアカウントを作成し、翻訳作業にご協力いただいている方々におかれましては、サービス移管後に再度アカウント作成をお願いいたします。お手数をおかけし恐縮ですが、個人情報の取り扱いに関しては慎重を期すため、再度ご登録をお願いすることにいたしました。ご理解のほど、よろしくお願いいたします。 移管後のアカウント
Kazuho@Cybozu Labs: String::Filter っていうモジュール書いた - 続: (Twitter の XSS 脆弱性に関連して) 構造化テキストの正しいエスケープ手法について
先のエントリ「(Twitter の XSS 脆弱性に関連して) 構造化テキストの正しいエスケープ手法について」の続き。 弾さんが「404 Blog Not Found:DHTML - 構造化テキストは構造化するのがやっぱ正しい」で示されているような DOM ベースの操作を行えば、原理的に XSS 脆弱性を防ぐことができます。ただ、クライアントサイド JavaScript によるレンダリングはウェブの構造を破壊するという点で筋が悪い（テーブルと FONT タグを利用したページレイアウトが批判されていた頃を覚えていらっしゃいますでしょうか。JavaScript によるレンダリングはウェブのリンク構造も破壊するので一層たちが悪いというのが自分の考え）ですし、サーバサイドでの DOM 操作は重たいので、できれば避けたいところです。 構造化テキストの HTML への変換は、よほど複雑な記法でない限り
Kazuho@Cybozu Labs: Q4M 0.9.4 released
I have just uploaded Q4M (Queue for MySQL) 0.9.4 to q4m.31tools.com. There has been no bug fixes since 0.9.3, the only change is the newly added function queue_compact(table_name) that can be used to trigger table compaction manually. If you were looking for a way to control queue compaction timing, it would be worth considering upgrading to 0.9.4. For more information of what compaction is, plea
Amazon AWS と NIFTY や Rackspace のクラウド (IaaS) は、技術的にどう違うのか - kazuhoのメモ置き場
AWS はコンポーネント指向の IaaS 現時点でのクラウドコンピューティングの大勢は、リソースをオールインワンで提供すること。一般ユーザーにとっての SaaS なアプリケーションは、もちろんそうだし、開発者にとっての Google App Engine も然り。 Amazon AWS も、EC2 や S3, Relational Database Service, Elastic Load Balancer といったサービスコンポーネントを Amazon が提供し、それを開発者が組み合わせて可用性の高いサービスを構築するようになっている。 コンピューティングリソースと、基盤ソフトウェアコンポーネントがセットで提供されているというのは、IBM PC以前のパソコンを思い出すような... Rackspace Cloud や NIFTY Cloud は VM 指向 一方、AWS に継ぐ IaaS
MySQL や PostgreSQL でトリガーベースの実体化ビューを後から追加する方法 (もしくは無停止での CREATE INDEX) - kazuhoのメモ置き場
読み込み＞書き込みなデータベースだと、実体化ビュー (materialized view) を使って読み込み速度を上げるってのは有効な手法 ちなみに MySQL や PostgreSQL だと実体化ビューはトリガーを使って書く *1 では、トリガーベースの実体化ビューを後から追加した場合に、どうやって既存データを新しいビューに反映させるのか。 UPDATE トリガを、ビューの側に対応するデータがない場合は INSERT トリガと同様の動作をするように実装すればいい (典型的には REPLACE INTO 文を使う)。ビューの初期データ充填は UPDATE src_table SET id=id; MySQL だと CREATE INDEX CONCURRENTLY がないから副インデックス作成はスレーブでやったりする*2けど、上の UPDATE を LIMIT つきで回すことで、ビューをイ
TCPサーバのテスト用に、空きポートを見つける方法 - kazuhoのメモ置き場
Perl でサーバをテストするためのモジュール Test::TCP の作者 id:tokuhirom が言ってたことだけど、テスト用に空きポートを見つけるのは、bind の port 番号に 0 を渡すのが一番簡単。Perl で書くなら、こんな感じ。 my $unused_port = do { my $l = IO::Socket::INET->new( Listen => 5, LocalHost => '127.0.0.1', LocalPort => 0, Proto => 'tcp', ReuseAddr => 1, ) or die $!; $l->sockport; }; これで確保されるのは emphemeral port なので、取得したポート番号を再び使おうとする間に他のプログラムが (outgoing TCP connection のために) 使っちゃう可能性は論理的
Perlでマルチプロセスデーモンを作るためのモジュール「Parallel::Prefork」に(Min|Max)SpareServers対応を追加した話 (もしくは read(2) / write(2) の atomicity) - kazuhoのメモ置き場
Perl で複数のワーカープロセスを制御するためのモジュールとしては Parallel::ForkManager が古参なんだけど、このモジュールはプロセスを fork するだけで、シグナルを受信したらワーカープロセスを再起動とかそういうことができないので、自分は Parallel::Prefork というモジュールを自作して、たとえば Plack の Server::Standalone::Prefork とかで使っています。 で、まあ、prefork なサーバとか書いてると、(Min|Max)SpareServers 対応してないんすか？ というのは FAQ なわけで。プロのサーバ管理者の間では存在価値が疑問視されて久しい (Min|Max)SpareServers だと思うんですが、まあ書いてみるのもいいかと思って Parallel::Prefork のディストリビューションに Pa
ウノウラボ Unoh Labs: Q4Mを触ってみる
yukiです。そろそろクリスマスですね。みんな浮かれていればいいと思います！最近急に目が悪くなって、ツリーの赤色電球と居酒屋の赤提灯の色が判別出来なくなってきました。嘘です。 今回は、みんな大好きメッセージキュー、Q4Mを触ってみた感想を今更ながらレポートします。 公式ページはこちらhttp://q4m.31tools.com/ Q4Mはサイボウズラボの奥 一穂氏が開発されており、MySQLの5.1以上でストレージエンジンとして利用できるメッセージキューで、MySQLプラグインとしてGPLライセンスで配布されております。 特長 MySQLのストレージエンジンとして利用できるので、テーブル作成時にストレージエンジンを指定するだけで利用できます。 CREATE TABLE hoge ( ... ) ENGINE = QUEUE キューの作成(enqueue)は通常のレコード操作と同様にINSE
RDBMSでもNoSQLでもなく、「手段としてのMySQL」について。12/18(金)のイベントで話します - kazuhoのメモ置き場
「NoSQL」というバズワードが注目を集める昨今、私も「http://shibuya.pm.org/blosxom/techtalks/200911.html」に登壇の機会をいただき、SQL派の立場で発表したりしています (発表資料)。 ですが、言うまでもないことですが、RDBMSやKVSに限らず、全てのソフトウェアは（アプリケーションを開発するとかサービスを運用するといった）目的を達成するための「手段」にすぎません。 明日開催の「日本ＭｙＳＱＬユーザ会(MyNA)会 2009冬」では、そんな話、「RDBMSとしてのMySQL」ではなく、「目的を達成する手段としてのMySQL」がどのような特徴をもっているか、自分の使い方をベースに話をさせていただく予定です。 まだ会場には余裕があるようなので、バズワードではなく目的を達成するツールとしてのRDBMSに興味をお持ちの方、あるいはアンチRDBM
Kazuho@Cybozu Labs: Comparing InnoDB performance on HDD, SSD, in-memory
Details: The benchmark was taken using MySQL 5.1.41 using innodb_plugin running on linux 2.6.31/x86_64 (Ubuntu 9.10 server). Options passed to sysbench were: --test=oltp --db-driver=mysql --mysql-table-engine=innodb --oltp-table-size=1000000 --mysql-user=root --mysql-db=test --oltp-table-name=test_t --num-threads=20 . My.cnf was set as follows. max_allowed_packet=16777216 query_cache_size=0 defa
Kazuho@Cybozu Labs: TCP通信ではデータの送信をまとめて行うべき、もうひとつの理由（＆ サーバのベンチマーク手法の話）
TCP通信をするプログラムを書く際に「データの送信はまとめて１回で」行うべき、というのは鉄則と言っていい、と思います。その理由としては、パケット数を最小限に抑えることでオーバーヘッドを少なくするためだと一般に説明されますが、自分はもうひとつポイントがあると考えています。次のグラフを見てください。 グラフは、一定量のデータを転送するのにかかる時間と使用するブロックサイズ（１回のwrite(2)で書き込むサイズ）の関係を表したものです注1。 ホスト間のTCP通信を行っている場合は、TCPのバッファが有効に機能するので、ブロックサイズ（＝パケット数の逆数）による速度の変化は、ほぼありません。一方、同一ホスト上で通信を行うと、ブロックサイズと反比例して所要時間が反比例の関係にあることがわかります。 原因は、同一ホスト上の通信では、送信プロセスがwrite(2)を呼ぶたびにコンテクストスイッチが発生
彼氏がMyISAM使ってた。別れたい… - kazuhoのメモ置き場
追記: マジメな比較はこちら：Open database life: MyISAMとInnoDBのどちらを使うべきか MyISAMだとPostgreSQLと並べられた時なんか恥ずかしいｗｗ 下向いちゃうしｗｗ ウェブサイトにはせめてInnoDB使って欲しい・・・ 勉強会とかで発表されたら・・・・もう最悪ｗｗ せめて普通にトランザクションやMVCCぐらいは対応して欲しい。 常識的に考えて欲しいだけなんです！ MyISAMでテーブルロックしちゃった時の遅さとか分かる？ あのね？たとえばピーク時10〜20並行ぐらいで書込みとか行くでしょ？ それぞれ別の接続で来るわけじゃない？ みんな普通にグループコミットやアシッドネス期待してるわけでしょ？ MyISAMでテーブル壊れてリペアしてたら大恥かくでしょうがｗｗ じゃあ MyISAM はどういう用途に適しているのか。待て！ 次号！*1 参考: 彼氏が軽
Kazuho@Cybozu Labs: Pacific という名前の分散ストレージを作り始めた件
大規模なウェブアプリケーションのボトルネックがデータベースであるという点については、多くの同意が得られるところだと思います。解決策としては、同じ種類のデータを複数の RDBMS に保存する「sharding」 (別名：アプリケーションレベルパーティショニング／レベル２分散注1) が一般的ですが、最近では、分散キーバリューストア (分散 KVS) を使おうとする試みもみられるようになってきています。 分散 KVS が RDBMS sharding に対して優れている要素としては、事前の分割設計が不要で、動的なノード追加（とそれにともなう負荷の再分散）が容易、といった点が挙げられると思います。一方で、Kai や Kumofs のような最近の実装では eventually consistent でこそ無くなってきているものの、ハッシュベースの分散 KVS は、レンジクエリができなかったり (例:
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
