PlanetScale、自動シャーディングPostgreSQL「Neki」公開

データベースサービスのPlanetScaleは、PostgreSQLのシャーディングを自動化した新サービス「Neki」をプレビュー公開した。同社はこれまで、YouTubeが開発したMySQL向けの分散基盤「Vitess」を使ったサービスで知られ、Square、Cursor、Slack、Notion、Cloudflare、Etsyなど多くの企業を顧客に持つ。

NekiはVitessにヒントを得た仕組みで作られている。PostgreSQLのデータベースを多数のシャードに分けて分散処理する作業を自動化し、スケールアウトできるPostgreSQLを実現した。同社のベンチマークでは、約1.4PBのデータベースを512のシャードに分け、最大で毎秒1億1875万クエリ（QPS）を処理した。シャードを増やすとほぼ比例して性能も伸びたという。

構成は大きく分けて、ルーター、シャード、コントロールプレーンの3層だ。クライアントは標準のPostgresプロトコルで「Nekiルーター」に接続するので、既存のPostgreSQL用ドライバーやツールをそのまま使える。ルーターはクエリパーサー、分散クエリプランナー、クエリバッファリングなどを持ち、クエリを解析してどのシャードで何を実行するかの計画を立て、各シャードに指示を出して結果をまとめて返す。ルーター自体もスケールするので、ここがボトルネックにならないように設計されている。

各シャードもPostgreSQLで、1つのプライマリと少なくとも2つのレプリカを別々のアベイラビリティゾーンに置く。ほかに、コネクションプーリング用のサイドカーや、ノードの状態管理、再シャーディング、スキーマ変更、フェイルオーバーを担うコントロールプレーンがある。

実用面で大きいのは、最初はシャーディングを使わずに1つのプライマリとレプリカの構成で始め、必要になった時点でシャーディングに移れる点だ。PostgreSQLは人気が高い一方で、書き込みの負荷が単一ノードの限界に近づくと、アプリ側での分割や別のDBへの移行を迫られることが多かった。Nekiは、プロトコルの互換性を保ったままその壁を越える選択肢を用意したことになる。