ゼロから作る時系列データベースエンジン

軽量な時系列データベースエンジンをスクラッチで開発する機会があったので、どのように実装したのかを必要知識の解説を交えながらまとめていきます。 実装はGo言語によるものですが、本記事のほとんどは言語非依存な内容となっています。 モチベーション 筆者は時系列データを扱うツールをいくつか開発しています。その中の一つであるAliは負荷テスト用のcliツールで、メトリクスをクライアント側でリアルタイム描画できるのが特徴です。リクエスト毎にレイテンシーなどの計測結果が際限なく書き込まれてくる中、同時に一定のクエリパフォーマンスが求められます。 これは言ってしまえば、簡易クエリ機能付きのpush型モニタリングシステムを単一ホストで実現するようなものです。 以前までの実装ではヒープ上の可変長配列にデータポイントを追加していくだけだったので、当然ながら時間の経過とともにメモリ使用量が増加していく問題を抱えて

[nilab]

ゼロから作る時系列データベースエンジン

[yujiorama]

無ければ作るの精神すごい

[nekoruri]

1bitは血の一滴

[knok]

アルパカが同じようなもの作っていたけど違いはなんだろう https://github.com/alpacahq/marketstore

[sharaku3eyes]

面白い

[tofu-kun]

面白いぞ

[cocoasynn]

素晴らしい…

[stokiwa]

“1000000”

[misshiki]

“軽量な時系列データベースエンジンをスクラッチで開発する機会があったので、どのように実装したのかを必要知識の解説を交えながらまとめ”

[kita-tuba]

すご

[maruoka_san]

たのしそう

[for-my-internet-demo]

すごい

[twisted0517]

面白い設計だなあ

[bopperjp]

面白い。面白いが、、保守まで考えると相当お金の余裕と、ビジネスへの直結がないと強烈な負債になる。。

[h_taiji]

確認

[dorokei]

あれ？linkedinとか見るともしかしてこの人社会人2年目とかなん？？(驚愕

[udzura]

途中に出てくるgosivyがかっこいい

[nokazn]

大作だ…

[ledsun]

なるほど、面白かった！（よくわかってない）

[hamamuratakuo]

Append-only（追記のみ）の時系列DBとして、Datomic https://www.datomic.com/ とかもあるけど、手軽に使える軽量なDBがなかった？オープンソースでの提供はありがたいです🙌 tstorage https://github.com/nakabonne/tstorage

[takaya1992]

、

[airj12]

軽い気持ちで読めるものではなかった

[oooooo4150]

yabai

[rin51]

DBMS自作勢...