秒速で10億レコードを処理する話 - KaiGaiの俺メモ

これまでのPG-Stromの性能測定といえば、自社保有機材の関係もあり、基本的には1Uラックサーバに1CPU、1GPU、3～4台のNVME-SSDを載せた構成のハードウェアが中心だった。*1 ただソフトウェア的にはマルチGPUやNVME-SSDのストライピングに対応しており、能力的にどこまで伸ばせるのかというのは気になるところである。 そこで、方々に手を尽くして、次のようなベンチマーク環境を整備してみた。 （機材をお貸し頂いたパートナー様には感謝感激雨あられである） 4UサーバのSYS-4029GP-TRTというモデルは、GPUをたくさん乗っけるためにPCIeスイッチを用いてPCIeスロットを分岐している。ちょうど、PCIeスイッチ1個あたり2個のPCIe x16スロットが用意されており、同じPCIeスイッチ配下のデバイス同士であれば、完全にCPUをバイパスしてPeer-to-Peerのデ

[benridane111]

秒速で10億レコード稼ぐ男

[ryuichi1208]

構成がバケモノすぎる、、、

[katsyoshi]

ｽｺﾞｲ

[ya--mada]

ぜんぜんよくわからない

[tmatsuu]

わいわい

[kompiro]

こういうの久しぶりにワクワクした

[t-cyrill]

わかりみがすごい

[rti7743]

不勉強で申し訳ないのだけどread と writeの read の話でいいんだよね？SQL実行計画をGPU使って爆速にするという認識でいいのかな。

[sharaku3eyes]

最高

[meganeya3]

なんでTeslaは32GBで揃わんかったの

[satosho88]

構成がすごすぎる…

[odenshirataki]

すごい

[ANNotunzdY]

GPUなら大量レコードでも処理できるらしい。全てをPostgreSQLに格納するマストドンが延命できるかもしれない。

[REV]

10億=1G か。　https://www.oliospec.com/shopdetail/000000007646/

[mohno]

この辺疎くて素朴な疑問なんだけど、これって「毎秒17.1億行を処理」してるの？（レコード数を1万分の1にしたら、時間は1万分の1になるの？というか）

[quabbin]

postgresqlでも、そこまでいくのか。クエリの実行プラン見たいな。/意義が違うので、「一方BigQueryは、フルスキャンで10億レコードを10秒弱で処理した」とか言っちゃいけないヤツ

[T_Shino]

うわすっげぇぇ！

[kawasin73]

P2P DMA という文字列を見て、マジか GPU 同士で直接やり取りするのかヤバいなと思ったけど、SSD と GPU 間の DMA だった。

[pochi-mk]

つよい