How we made our DNS stack 3x faster
Cloudflare is now well into its 6th year and providing authoritative DNS has been a core part of infrastructure from the start. We’ve since grown to be the largest and one of the fastest managed DNS services on the Internet, hosting DNS for nearly 100,000 of the Alexa top 1M sites and over 6 million other web properties – or DNS zones. CC-BY 2.0 image by Steve Jurvetson Today Cloudflare’s DNS serv
neue cc - C#(.NET, .NET Core, Unity, Xamarin)用の新しい高速なMessagePack実装
と、いうものを作りました。MessagePackのC#版です。以前に作ったZeroFormatterのコードをベースに、バイナリの読み書きをMsgPackのフォーマットに差し替えたものになります。MsgPackのライブラリはすでにあるじゃん(MsgPack-Cli)！ってことなんですが、パフォーマンスにかなり差があります。 neuecc/MessagePack-CSharp JSON.NET（スタンダードで、豊富なAPIを持ってる）に対するJil（スピード特化、APIは必要十分はあるけれどJSON.NETほどではない）のようなものと思ってください。とはいえ、生のまま使っても問題は出ない（デフォルトのままで最高速が出るようにチューニングしてある）でしょうし、カスタマイズの口自体も十分用意してあります！詳しくは「拡張」の項で説明しますが、既に私自身が他のライブラリへの対応・インメモリデータベー
MessagePackのベンチマーク - 那由多屋 開発日誌
こんにちは。那由多屋の加藤です。 Rubyでプログラムを作る時に、中間の計算結果などをMarshal形式で保存することがよくあります。ですが、その計算結果が大きくなってきて、処理時間、ファイルサイズと共に増大してしまいました。 そこで、巷で話題（？）のMessagePackを使ってみることにしました。まずは、用途に近い状況でベンチマークを実施。 測定条件 1つの大きなハッシュテーブルのシリアライズ、デシリアライズ キーの数はn キーは、4〜10文字の半角英数字（乱数で生成） 値は、浮動小数点数（乱数） 乱数シードは固定 3回計測してその平均値を算出 ruby 1.8.7-p249 (i386-mswin32) msgpack 0.3.2 (mswin32) 測定結果 n = 100,000 サイズ シリアライズ デシリアライズ MessagePack 1,649,543 バイト 0.093
mrubyでMessagePackを作った！ - 涼風コンピュータblog
MessagePackって何? MessagePackとはなにかといいますと、JSON互換の異なる言語間でデータ交換するためのシリアライズフォーマットです。JSONのような型を扱え、 JSONよりコンパクトで、速いと言われています。(mrubyではまだ性能評価していないので、今後やってみたいと思います。) ログコレクターで有名なfluentdというミドルウェアで使用されています。 MessagePack for mruby 今回、MessagePack for ruby v 0.5.5からmrubyにGEMとして移植しました。すべて移植したわけではないので、α版というところでしょうか。 MessagePack#pack,MessagePack#unpackメソッドでだいたいの型を使用出来るようになっています。 次の例は配列をシリアライズして、MessagePack#unpackメソッドでデ
Re: [apps-discuss] [Json] msgpack/binarypack (Re: JSON mailing list and BoF)
Re: [apps-discuss] [Json] msgpack/binarypack (Re: JSON mailing list and BoF) Return-Path: <frsyuki@gmail.com> X-Original-To: apps-discuss@ietfa.amsl.com Delivered-To: apps-discuss@ietfa.amsl.com Received: from localhost (localhost [127.0.0.1]) by ietfa.amsl.com (Postfix) with ESMTP id 385B921F8868; Mon, 4 Mar 2013 00:01:21 -0800 (PST) X-Virus-Scanned: amavisd-new at amsl.com X-Spam-Flag: NO X-Spam
MessagePack should be developed in an open process · Issue #129 · msgpack/msgpack
MessagePack has become highly visible on the Internet approximately three years ago. These three years were exciting, with many new implementations coming up. In these three years, there never was any serious attempt to evolve the specification. When I made my original BinaryPack specification proposal ("-00") in October 2012, I tried to engage @frsyuki. After a little interaction it seemed to me
Kazuho Oku
MessagePack is in danger! MessagePack is a well-known data format, which is often used for storing various kinds of data on key-value stores, or as a...
Geekなぺーじ:MessagePackがIETF標準化に巻き込まれてる件について
ここ数日、MessagePackがIETFにおける標準化に巻き込まれてザワザワしています。 何が起きているかというと、MessagePackプロジェクトとは関係が無い第三者がIETFで派生物の標準化を進めようとしています(binarypack、Informational RFCとして)。 binarypackは、自らをMessagePackの派生であるとしながらも、MessagePackとの後方互換性が無いものです。 MessagePack is in danger! binarypackのInternet-Draftを提出しているのは、coreと6lowpanのchairです。 Chairであるかどうかが議論そのものに与える影響はそこまで大きくないとも言えますが、少なくともIETFでの話の進め方に精通した人物であることは確かです。 ただ、今回のInternet-Draftは、その人物がC
XML より JSON より MessagePack が便利です
こんにちは。開発担当の森本です。 今回は、Fenrir Pass Connect を支える技術にちょっと関係のある、 web などを介してデータを交換するときの話をしたいと思います。 データ構造の共通化 → 実装も共通化できる プログラム間、端末同士、Web 経由などでデータを送ったり送られたりするときに、データは決まったフォーマットで送られる必要が有ります。 たとえば、今表示しているこのページでは、本文は HTML、画像は PNG などのバイナリフォーマット、web API との連携などは JSON や XML、スタイルシートや JavaScript はそれぞれ独自のテキストフォーマットが使用されています。 一般的なプロダクトでは上記のうち、XML や JSON が使用される事が多いと思います。 これらのフォーマットは普及率が高いため情報も多く、多くの処理系で枯れて安定した実装があるため
MessagePack for .NET (C#) を書いた
https://github.com/kazuki/msgpackで毎週末、ちまちま書いていた、MessagePackというシリアライズ形式のC#実装を本流にPullリクエスト出してみました。マージされる流れのようで楽しみです。実は実装を始めた理由はTwitterでMessagePackという言葉が凄い流れていたのですが、それのC#実装を探そうとすると、neue cc - .NET(C#)におけるシリアライザのパフォーマンス比較: というページが引っかかりますが、速度的に残念なことになっています。これが理由で、特にMessagePackを使う予定は無いのですが、実装を始めました。シリアライズはGoogleのProtocolBufferが出たときも車輪の再発明的な感じで結構たたかれていたイメージがありますが、私はシリアライズとかRPCとか余り詳しくないので、MessagePackの特徴は速度
Protocol Buffers, Avro, Thrift & MessagePack - igvita.com
By Ilya Grigorik on August 01, 2011 Perhaps one of the first inescapable observations that a new Google developer (Noogler) makes once they dive into the code is that Protocol Buffers (PB) is the "language of data" at Google. Put simply, Protocol Buffers are used for serialization, RPC, and about everything in between. Initially developed in early 2000's as an optimized server request/response pro
第3回MessagePackハッカソン開催報告 - Blog by Sadayuki Furuhashi
4月3日、MessagePackハッカソン第3回を開催しました。 14人のユーザーと開発者が集まり、実際のユースケースを元にしながら多くの問題が解決（への方針が決定）しました。 リンク MessagePack-RPC Erlang（α版くらい） MessagePack for OCamlを公開しました RPCのバージョニングサポート 背景 ソフトウェアはバージョンアップを繰り返すものですが、分散型のアプリケーションでは、単一のシステムの中で新旧のバージョンが混在して運用されることがあります。昨今のスケーラブルな分散システムでは、システム全体を停止せずに部分的にプログラムをバージョンアップさせていく ローリングアップデート と呼ばれる手法が利用されており、このようなケースでも 新旧のバージョンが互換性を保ったまま相互に通信可能である必要があります。 Thrift では、関数の引数やstruc
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Treasure Dataを支える技術 - MessagePack編
GitHub - owenthereal/msgpack_rails: MessagePack for Rails / msgpack.org[Rails]![GitHub - owenthereal/msgpack_rails: MessagePack for Rails / msgpack.org[Rails]](https://cdn-ak-scissors.b.st-hatena.com/image/square/b26a0bdf587aec03a03787e4fba15b12289dfd15/height=288;version=1;width=512/https%3A%2F%2Fopengraph.githubassets.com%2F5385848d643e6f5998c982614709babd70ae502009491ec03c03503ebfd5fc0f%2Fowenthereal%2Fmsgpack_rails)
MessagePackが文字列とバイナリをわけないのは問題？
Msgpack can't differentiate between raw binary data and text strings · Issue #121 · msgpack/msgpack
MsgPack vs. JSON: Cut your client-server exchange traffic by 50% with one line of code | indiegamr
csharp/MsgPack/MsgPackReader.cs at master from msgpack/msgpack - GitHub
[悪徳商法？支店]: rails で、オブジェクトserializeをMessagePackで行う
MessagePack: Fast and Compact Serialization | Hacker News