BLOG::broomie.net: 多重化してThriftを使ってみた
ここまでの流れ Thriftの調査の続きです。前回のエントリー(Thriftのスピードが改善しました)では、Thriftのperlクライアントが遅いのはNagleアルゴリズムが原因ではないかという仮説をたて、そしてNagleアルゴリズムをオフにした状態で速度が向上したことを書きました。 それに対し、tokuhiromさんにより投稿されたエントリー(ThriftはThrift::BufferedTransport をつかいわすれると 147 倍遅くなってつかいものにならない)では、send(2)のバッファリングをしていないことが原因で、Thriftが吐き出すデフォルトのperlクライアントのスケルトンでは使われていない、 Thrift::BufferedTransport を使うことによってsend(2)がバッファリングされて、高速になることを示してくれました。加えてkazuhookuさんの
Thrift は Thrift::BufferedTransport をつかいわすれると 147 倍遅くなってつかいものにならない - TokuLog 改めB日記
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
BLOG::broomie.net: Thriftのスピードが改善しました
先週末はThriftのスピード問題にはまり、ガンダム戦記にはまり、ほとんど外に出られませんでした。前回のエントリー(Thriftのスピードについて)の続きとなります。 やっぱりperlのクライアントライブラリに問題がありそう？ 多くの有識者の方にアドバイスをいただき感無量でございます。前回のエントリーでは、perlライブラリ、pythonライブラリでThriftが異常なほどに遅いんじゃないか？といった内容でございました。当方のバグではないかと、おそるおそる前回のエントリーをポストしたのですが、tokuhiromさんがこの現象に関して調査と考察の結果を示してくれました(ThriftのPerl Clientが遅すぎる件について)。 クライアントが Pure Perl で書かれており、かつ実装に適当さが感じられ、「速そうには、みえないな。。。」と感じました。 Facebook 内で実際に使用され
BLOG::broomie.net: Thriftのスピードについて
shunyaです．最近Crystal Keyのアルバムを聴いていてCrystal Keyが改めて良いと思いました．切なくて甘酸っぱいです． Thriftのパフォーマンスについて さて，前回のエントリー(Thriftが便利すぎる)では，僕が感じたThriftの便利さを熱弁する内容となっておりました．始めて使った感想としてはすごく便利！だったわけですが，実際に何かしらのサービスに導入するためにはThriftのパフォーマンスをチェックしなければなりません． で，今回は簡単なThriftのベンチをとってみることにしました．僕的に気になるのが，前回のエントリーでも書いたようにRESTととの違いです．つまりRESTではCGIを使ってHTTPで通信するので，比較的高速に処理できます．それに対して，Thriftでは独自に定義されたRPCで通信します．とても便利なのはいいのですが，この独自のプロトコルがどれ
BLOG::broomie.net: Thriftが便利すぎる
ちょっと前に「thriftって便利らしいよー」って話を聞いていたのだけれども、なかなか手をつけられずにいたらはてなブックーマークで使われているらしいという噂を聞いたり、Thriftを使って俺俺Key-Value Storeを作ったのように、TXを使ったThriftの紹介などが出てきたりしたのでそろそろ自分でも試したいなあと思い、試しました。で、先に結論を言っておくとThrift、とても気に入りました。とても簡単に処理用の専用サーバをたてることができて、かつ簡単にクライアントから処理要求が送れます。ボクは今まではRESTFulな感じでhttpでこのタスクをやっていたのですが、RESTFulな専用サーバをたてるのは結構開発コストがかかるんですよね。その点で、Thriftは開発コストはとても落ちると思うのでとても気に入っています。なんといって言語バインディングを自動で生成してくれるのは本当に開発
Thriftを使って俺俺Key-Value Storeを作った - nokunoの日記
っていうタイトルにしようと思ったんだけど、要するにThriftを使ってTxをサーバーとして使えるようにしました。 Thriftについてはこちら。Thriftインストールメモ - nokunoの日記 Txについてはこちら。Tx: Succinct Trie Data Structure READMETxThrift 1.00 2009/09/19動作環境：LinuxTxThriftはThriftを用いてTxをサーバーとして利用できるように拡張したソフトウェアです。TxThriftは、Txの持つ以下のような特徴を引き継いでいます。1. キーを圧縮して持つため、メモリー使用量が少ない2. 自然言語処理に必要なcommon prefix searchなどを高速に行うことができる3. 静的にインデックスを持つため、初期化後はキーの追加や削除はできないTxThriftの応用例として、以下のようなアプリ
Thriftインストールメモ - nokunoの日記
かな漢字変換エンジンのような複雑なソフトウェアの開発には、シンプルなLAMPのアプローチだけでは限界があると最近は感じています。以前SWIGを使ってAnthyのライブラリをPHPから使えるようにしたのですが、SWIGのような拡張モジュールによる連携ではスクリプトが呼ばれるたびに初期化が必要となる、という問題点がありました。 というわけで多言語RPCフレームワークであるところのThriftを使ってみることにしました。まずは以下のページから本体をダウンロードします。Apache Thrift次に公式Wikiを参考に、本体と利用言語ごとのインストールを行います。FrontPage - Thrift Wiki以下のページのサンプルを実行してみます。Ubuntu 8.04 で Thrift を試してみた - なんとなく日記やり方はURLの通りですが、PHPの場合が紹介されていなかったので、thrif
Ubuntu 8.04 で Thrift を試してみた - なんとなく日記
準備 % sudo apt-get install build-essential automake libtool flex bison libboost\* % sudo apt-get install libbit-vector-perl libclass-accessor-perl インストール % cd program/thrift % wget -O thrift.tgz "http://gitweb.thrift-rpc.org/?p=thrift.git;a=snapshot;h=HEAD;sf=tgz" % tar zxvf thrift.tgz % cd thrift % ./bootstrap.sh % ./configure --disable-gen-java --without-java --disable-gen-csharp --disable-gen-st
Cybozu Developer Network: Facebookで開発されたオープンソースのRPCフレームワーク「Thrift」調査報告
サイボウズはクラウドベースのグループウェアや業務改善サービスを軸に、社会のチームワーク向上を支援しています。
Thriftを利用したログからの復旧機能の実装 - moratorium
Thriftを利用したログからの復旧機能の実装 2008-02-13 (Wed) 23:16 Thrift さてさて卒論発表終わりましたよ。寝まくり＆飲んだくれ＆焼肉。暇な人遊んで。 最近、多言語RPC機構が欲しくなる機会が多く、Thriftを使ってみたりしています。 公式ページ 公式White Paper フレームワーク 「 Thrift 」 調査報告 まずは3つ目のサイボウズ開発本部アルバイトの山本さんの記事を読むと、thriftがどういうものなのかが分かると思います。簡単に言いますと、RPCのAPIを独自記法で定義したファイルを用意し、それをthriftコンパイラに入力として与えると、各言語用にＲＰＣ用のコードを自動生成してくれるというものです。 クライアント・サーバーコードを各言語で書けるのは当然として、マルチスレッド型・イベント型などサーバーの種類を選べる等々、色々気が利いていて
ThriftのMacportsパッケージ - Christopher-727の日記
今月のWEB+DB PRESSでも特集されていたThriftですが、Macportsに無い(debでも無いのですぐに作られるのは期待できない)ようだったので自分でPortfileを作ってみました。以下のファイルをコピー&ペーストしてPortfileという名前で保存し $ sudo mkdir -p /opt/local/var/localports/devel/thrift $ sudo cp Portfile /opt/local/local/var/localports/devel/thrift/ $ cd /opt/local/var/localports $ sudo portindex $ sudo port -v selfupdate と実行すればMacportsにtxが組み込まれる。 $ port list thrift thrift @20080411p1 devel/th
Apache Thrift - Home
The Apache Thrift software framework, for scalable cross-language services development, combines a software stack with a code generation engine to build services that work efficiently and seamlessly between C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, OCaml and Delphi and other languages. Getting Started Download Apache Thrift To get started, down
巨大SNSを支える多言語混在RPC開発フレームワーク“Thrift” ― ＠IT
2007/04/03 全米で第6位のトラフィックを稼ぐ人気SNSサイト「Facebook」のコアモジュール「Thrift」がオープンソースとして公開された（公式ブログ）。ライセンスは独自の「Thrift Software License」（改変や再配布を許容している点はGPL同様のようだ）。Facebookは学生向けSNSとして2004年にスタートし、その後、学生以外にも会員を拡大。2007年2月現在の会員数は1700万人。アップロードされている写真点数は10億枚以上で、1日600万枚の画像がアップロードされるなど、画像共有サイトとして見てもFlickrよりも大きい。そんな急成長した巨大サイトを支えたのは、独自に作り上げた開発フレームワークだったようだ。 多数の言語で開発したモジュールをシームレスに統合 Facebookが、開発フレームワークとして自ら作成したのがThriftだ。“thri
Kansai.pm#10 での発表資料 (Thrift について) - naoyaのはてなダイアリー
今日は第10回 Kansai.pm でした。自分も 10 分だけ、Thrift について発表を行いました。資料を以下にアップロードしました。 http://bloghackers.net/~naoya/ppt/080810kansaipm.ppt (ppt) http://www.slideshare.net/naoya1977/about-thrift/ (Slide Share) Thrift については今月末発売の WEB+DB PRESS Vol.46 の連載記事でも解説を行っていますので、興味のある方はご一読いただければ幸いです。 今回の Kansai.pm、場所は弊社オフィスで開催でした。閉会後そのままピザを取って懇親会に。なぜか id:azurestone さんらと Linux セキュアOS についての話題で盛り上がっておもむろにカーネルのコードリーディングが始まったり、こち
Facebook Developers | Thrift
Facebookは、世界中の友達や家族、同僚や同級生をつなぐコミュニティです。Facebookでは、友達の近況チェックや写真アップロード(枚数は無制限)、動画やリンクの共有を通して、人との交流を深めることができます。Thrift is a software framework for scalable cross-language services development. It combines a powerful software stack with a code generation engine to build services that work efficiently and seamlessly between C++, Java, Python, PHP, and Ruby. Thrift was developed at Facebook and released
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
about Thrift