2026年5月29日に渋谷で開催された 7回目の「爆速DB Powered by PG-Strom」勉強会に参加してきました。
今回は PG-Strom v6.2 の最新情報なお話。
bakusokudb.connpass.com
目玉機能は、「Parquet NVME Cache」。
PG-Stromは、それまでは非圧縮の Apache Arrow 形式のファイルを外部テーブルとして参照できる機能がありましたが、それに加えて少し前に、圧縮されているParquet形式のファイルに対応しました。ただしやはり圧縮された情報を展開するオーバヘッドは小さくなく、それを補うためにキャッシュ機能を実装した、ということのようです。
勉強会では、ベンチマークの結果として、「PostgreSQL(Heap)以上Arrow未満」といった結果が紹介されました。 すでに Parquet形式で情報を持っている人にとっては、それらのファイルをそのままPostgreSQLで読むことができて、かつ、Heapにインポートするよりも高速にアクセスできるということで、魅力的な機能になるのではないでしょうか。
私が最近PG-Stromで触っているデータは、独自フォーマットのデータを自分でArrowファイル化し、それをPG-Stromで参照していますが、数値データのため圧縮がほとんど効かないので、このまま Arrow形式を使い続けようかなーと考えています。圧縮効率が高いデータだと、ストレージ効率が良くなるので Parquetも検討したいところです。
開発社自らの思いや機能に関するこだわりポイントなどを聞かせてもらえる貴重な機会で、良い情報と素敵な刺激をいただきました。
開催＆発表、ありがとうございました。
