ストリーム処理におけるApache Avroの活用について（NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05）ストリーム処理におけるApache Avroの活用について （NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05） 株式会社NTTデータ 技術開発本部 関 堅吾（Apache Bigtopコミッタ, Apache Yetus PMC/コミッタ） https://oss.nttdata.com/techconf2019/Read less
Schema Registryについて - Mitsuyuki.Shiiba
昨日の続き。 bufferings.hatenablog.com Avroを使ってメッセージをシリアライズ・デシリアライズするのに、スキーマを保存しておいてくれる場所があると便利だよなーってことで、Schema Registryが(僕の中に)登場。 Schema Registry? Schema Registry — Confluent Platform 3.2.2 documentation Avroのスキーマを保存したり取得したりするためのRESTfulなインターフェイスを持ってる。スキーマのバージョンを保存してるので、スキーマエボリューション的な用途で使えるっぽい。僕は、まだスキーマエボリューションについては勉強してないので、「ふーんバージョンがあるんだね」ってくらい。 Confluent Platform? Kafkaを作ったチームがConfluentって会社を立ち上げて、Kafk
Avroについて - Mitsuyuki.Shiiba
昨日、関ジャバで喋ったのしかったよー(∩´∀｀)∩ bufferings.hatenablog.com その発表のために色々と新しいことを学んだので、ちょこちょこ気が向いたときにアウトプットしておこうと思う。数カ月後に全て忘れているであろう自分のために。 てことで、今日はAvro。余談ですが、勉強会に行くと勉強になるけど、勉強会で登壇するともっと勉強になるからおすすめです！ Avroとの出会い 同じ学年にAvroさんという人がいるのは知ってたけど、違うクラスだから喋ることもないかなーって思ってたくらいの距離感(なんの話？) 名前を初めて聞いたのは、去年のSpring Oneに行った時。Spring Cloud StreamでData Microserviceだー！って言葉が押し出されてて。Avroの名前がでてきてたのはSchema Evolutionという文脈の中だったなという印象。「メッ
Apache Avro™ 1.11.1 Documentation
IntroductionApache Avro™ is a data serialization system. Avro provides: Rich data structures.A compact, fast, binary data format.A container file, to store persistent data.Remote procedure call (RPC).Simple integration with dynamic languages. Code generation is not required to read or write data files nor to use or implement RPC protocols. Code generation as an optional optimization, only worth im
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Robust Message Serialization in Apache Kafka Using Apache Avro, Part 3 - Cloudera Blog
File Format Benchmark - Avro, JSON, ORC & Parquet
HDFS Storage Data Format like Avro vs Parquet vs ORC
Azure HDInsight SDK for .NET - Azure for .NET Developers
