不揮発性メモリでのデータベース処理最適化 〜 ヤフーにおけるデータベース技術の研究開発

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは！ ヤフーでデータベースエンジニアをしている松浦です。 インターネットサービスを作る上で、そのデータの保持・管理を担うデータベースは重要なソフトウエアコンポーネントですが、今回のTech Blogでは、ヤフーにおけるデータベース技術の研究開発についてのお話をします。 ヤフー社内では、さまざまなデータベースを運用していますが、そのデータベースを最新のハードウエアに対応させる研究開発を行っています。 具体的には、不揮発性メモリを有効に活用するMySQLのストレージエンジン「Leo」の開発に取り組んでいます。 本日は、Leoについて簡単にご紹介をします。 不揮発性メモリとは？ まず、前段として、Leoのお話をする前に、不揮発性

[msykt]

“内部の作りとしては、テーブルのデータやそのインデクスデータを保存するデータファイルと、障害回復時に利用するトランザクションログファイルを不揮発性メモリ上に配置します。そして、Leoは、それらをMemory-mapped F

[rin51]

ディスクに比べてRAMはIOが速い/メモリマップドファイルで頑張る/システムコールも無駄なので可能な限り減らす というざっくりとした理解

[hachiking]

...もう2020年だよな、感がある

[rgfx]

(2020/05/26)

[tasshi820]

不揮発性メモリの事例

[yujiorama]

メモリからディスクへ書き込む途中に mmap な層を追加したのかな

[eigo_s]

”不揮発性メモリを有効に活用するMySQLのストレージエンジン「Leo」の開発に取り組んでいます”

[lizy]

シーケンシャルなログファイルをなくすといった訳ではなかった。いずれそのあたりの構造自体も最適化されるのかな

[kuenishi]

libpmem使ってますくらいしかわからなかった…

[progrhyme]

不揮発メモリ向けストレージエンジン「Leo」ってのを作ってるそうな