DB に JSON を保存したいときに Protobuf を使うと便利 #LayerXテックアドカレ - LayerX エンジニアブログ

こんにちは。バクラク事業部 Enabling チームの @izumin5210 です。最近「HUNTER×HUNTER」の既刊を全部読みました。 この記事はLayerXテックアドカレ2023の9日目の記事です。 前回「1人目データアナリストとしてデータチームに異動しました 」 次回「Slack × Zapier × MiroでKPTでの振り返りをラクにする」 RDB や KVS などのデータ保存先において、データを正規化せずにそのまま保存したいと思うことはありませんか？ 8月にリリースされた「バクラク請求書発行」というプロダクトには「柔軟なレイアウトカスタマイズ」機能が搭載されています。リンク先の画面操作イメージを見ていただくと、この機能の雰囲気を理解していただけると思います。この機能が扱うレイアウトデータはまさに「関係の正規化をせずに保存したいデータ」でした。 bakuraku.jp こ

[izumin5210]

書きました。 Protobuf は読み書きスキーマ定義言語としてすごく便利なので、もっと活用できるといいな。

[u_tis]

なるほどーシンプルだけど賢い考え方だ...勉強になる... > 「DB としてはスキーマレスだとしても、データとしてはスキーマ（構造の定義）が存在することも多いはずで、そういうところでも Protobuf は活躍してくれます。」

[tmatsuu]

今時のRDBMSにはJSON型があるので、検索条件の絞り込みやすさで比較すると分が悪いものの、記事にある通りスキーマ定義にProtobufを使ってデータをJSONで保存するのもありか？JSONB型との親和性もどうだろうか。

[mapyo]

なるほど。いいアイディア！

[cpw]

JSONにしておけばSQL使える。それをしないのであれば、どう格納してもいいけどそもそもRDBに保存する必要あるんだっけ？というところから考え直した方がいい。あまり独自の考え方を入れないほうが良い思う。

[mumei-0]

“バイナリ形式（Wire format）ならデータ量を小さくできる”

[y-kawaz]

YAMLはオートインデントがあるエディタ環境でのコピペが苦痛すぎるから滅びてほしい。

[otchy210]

そこまでして RDB を使い続けることが適切か？という点と、あるいは JSON をネイティブサポートしてる RDB を使わないのか？という点は検討すべき。むろん技術的負債のせいでそれが出来ないこともあろうが。

[onesplat]

普通にjson型でいいよ

[naari_3]

なるほど！！

[umai_bow]

JSON Schema でバリデーションして JSON 型とかが正攻法かな〜とは思うけど、これはこれでメリットありそう

[zentarou]

ゼロ値をどうするかは実装依存なんだっけ？

[diveintounlimit]

protobufは数年前に使ってたときは結構大変なイメージだったけど、今はもうちょい扱いやすくなってるのかしら。。

[roshi]

バイナリ形式だと中身見れないし、、と思ったらテキスト形式もあるのかー。

[akymrk]

"スキーマに基づいて、シリアライザ/デシリアライザの実装を生成""シリアライザとデシリアライザは、未知のフィールドを無視し、欠けているフィールドには型に合わせてゼロ値を補""保存するデータは JSON 形式にする"

[tofu-kun]

なるほど、発想になかった。構造が変わることを考えると悪くない選択な気がしてきた。

[kako-jun]

ORMの話なのかな……検索や挿入の例がないのでイメージできなかった。SQLを自分で書くならjsonb型に->や->>を使えばいいし、それに与える変数はTypeScriptで型チェック済みだし、あまりブラックボックス化したくない……

[strawberryhunter]

動的型付け言語の話かな。／いやそうでもないか。Mapみたいな何でも入る型を使わずにクラスに対してデシリアライズすれば済む話にみえる。