MessagePackを使ったデータ分析のすすめ - Qiita

MessagePackはTreasure Dataの古橋さんを中心として提案・実装されているデータのシリアライズフォーマットで、fluentdが互いにデータ通信をする際のフォーマットとしてよく知られていると思います。個人的にはこれをデータ分析をする際のデータの保存に活用することが多く、この記事はその手法の紹介になります。 なお、記事はなるべく正確に書くよう努めていますが、データ分析などについてはわりと素人なのでご指摘・コメントなどは歓迎です。 MessagePackを使って何をするのか やりたいことは、分析をするために取得したデータをMessagePack形式にしてファイルに保存し、分析時にそのデータを読み出す、それだけです。 通常、データ分析などをする場合はデータベースなどに一度格納してから分析を実施するのが王道だと思われますが、以下のようなケースではMessagePack形式での保存・

[nrtkbb]

JSONだと重くなっちゃうようなデータはこっちで管理しても良さそうな予感。Maya2016でも動いたし。

[iR3]

ふむふむ ProtcokBufferからMessagePackへ関心が広がった。