You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Pythonでシリアライズに使えるライブラリは標準でもpickleやjsonなどがありますが,研究室でMessagePackというものを使っている人がいたので試してみました. MessagePackはバイナリ形式に保存するタイプのもので高速かつ軽量とのこと. Python以外にも様々な言語でライブラリが配布されています. インストール "pip install msgpack-python"がなぜか失敗したので"pip install msgpack-pure"をしました. 実験 シリアライズ前後でリストからタプルに形式が変わってしまうなどの注意点はありますが,簡単に使えそうです. >import msgpack_pure as msgpack >serialized = msgpack.packb([1,2,3]) >print msgpack.unpackb(serialized) (
初めまして、本年度サイオステクノロジー新入社員の髙橋達です。 4月から、Treasure Data(以下、TD)チームに配属となり、ビッグデータやクラウドソリューションについて勉強をしています。 元々、環境知能という研究分野に携わっており、SNSやカメラなどの環境センサを駆使して、人の行動を分析し、ロボットやスマホなどで人にサービスを提供することを目指すという研究を行っていました。 今後は、ビッグデータやTDについて、情報発信をして行けるように頑張ります。 さて、話は変わって、今回は、TDにデータを一括でアップロードする際に利用するMessagePack(msgpack)に関するプログラムを紹介します。 1. csvからmsgpackへの変換 1.1. 概要 TDでは、ファイルのインポートには、JSON形式かmsgpack形式のどちらかで行う事が可能です。 そのため、ログデータで用いられる
関連リンク 2008/12/28 追記: リンク先を 1.1.0 から 1.1.1 へ差し替えました*1。 バイナリダウンロード: lang/CSharp/tags/081228/SUtils/Serialization/bin ドキュメント類 wiki: Serialization | SUtils Project | Assembla Sandcastle で生成した HTML: SUtils リファレンス Sandcastle で生成した chm: SUtils.chm 最新ソースコードとレポジトリ 最新ソースコード: lang/CSharp/trunk svn レポジトリ: http://subversion.assembla.com/svn/SUtils 関連過去エントリ MessagePack C# 実装を作ってみた MessagePack の扱えるプリミティブ型まとめ Mes
2011/08/08 追記 AnyEvent::MPRPC を修正して頂いた。ver 0.10 では解消済み。 Perl の AnyEvent::MPRPC::Client を使用して MessagePack-RPC Java サーバに接続した際にメソッドコールを行っても何もデータが応答がない。 クライアント側の実装。 #!/usr/bin/env perl use strict; use warnings; use AnyEvent::MPRPC::Client; use Data::Dumper; my $client = AnyEvent::MPRPC::Client->new( host => '127.0.0.1', port => 1985 ); my $d = $client->call('echo', ['foo bar']); my $res; eval { $res =
The Perl Toolchain Summit needs more sponsors. If your company depends on Perl, please support this very important event.
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く