PgDog

PgDogとは？

PgDogは、PostgreSQL向けのオープンソースのコネクションプーラー、ロードバランサー、シャーディングプロキシです。複数のデータベースインフラツールを置き換える単一の実行ファイルであり、アプリケーションコードを変更することなくPostgresを水平方向にスケールできます。データベースエンジニアのコミュニティによってオープンに開発されたPgDogは、数千のコネクションのプーリングからシャーディングされたデータベースへのクエリ分散まで、あらゆる処理を担当します。

対象ユーザー

• Postgresオペレーター：クエリを書き換えたり、プロプライエタリなデータベースに切り替えたりすることなく、単一のデータベースインスタンスを超えてスケールする必要がある方。
• プラットフォームエンジニアリングチーム：コネクションの急増を処理し、レプリカ間で読み取りトラフィックを分散し、フェイルオーバーを自動的に処理する、ドロップインで使用できるプロキシを求める方。
• SaaS開発者：テナントIDでシャーディングし、標準のPostgresツールで動作する軽量かつACID準拠のコーディネーターを必要とする方。

主な機能

リアルトランザクションモードのコネクションプーリング

PgDogは、セッション状態、アドバイザリロック、LISTEN/NOTIFYを壊すことなく、100,000以上のクライアント間で少数のPostgresコネクションプールを共有します。マルチスレッドかつ非同期で動作し、スレッドあたり毎秒50,000以上のトランザクションを処理し、クエリ長やコネクション数の制限はありません。

データベース向けALB

ロードバランサーはレプリカ間で読み取りを分散し、レプリケーションラグやハードウェア障害を検出し、フェイルオーバー時に新しいプライマリに書き込みトラフィックを自動的に移動します。組み込みのPostgres SQLパーサーにより、クライアント側の変更なしで読み取り/書き込みの分割が可能です。

アプリ変更不要のPostgresシャーディング

PgDogはクエリから直接シャーディングキーを抽出し、正しいシャードにルーティングします。シャーディングキーのないクエリは、すべてのデータベースで並列実行され、GROUP BY、COUNT、AVG、ORDER BY、MIN、MAX、COPY操作をそのままサポートします。

分散、一貫性、リレーショナル

シャード間のトランザクションは、ネイティブのPostgresプリペアドトランザクションと2フェーズコミットを使用して、シャード間でのアトミックな書き込みを実現します。レプリケートテーブルにより、高速なシャードローカル結合が可能になり、整数の主キーはプロキシ内で自動生成されます。DDLはすべてのシャードに自動的に適用されるため、AlembicやActiveRecordなどの移行ツールは変更なしで動作します。

特筆すべき点

「PgDogは速度と一貫性をトレードオフしません。大規模でもACID準拠を維持します。」

ほとんどのシャーディングソリューションは、パフォーマンスとデータ整合性のどちらかを選択することを強制します。PgDogは、Postgres自身の2フェーズコミットを使用して、トランザクションが複数のシャードにまたがる場合でも完全なACID保証を維持します。つまり、単一のPostgresインスタンスに期待するのと同じトランザクションセマンティクスを維持しながら、水平方向にスケールできるのです。

こんな方におすすめ

Postgresを本番環境で運用しており、より多くのコネクションを処理したり、読み取りトラフィックを分散したり、アプリケーションを書き換えずにデータベースをシャーディングする必要がある方。特に、個別のコネクションプーラー、ロードバランサー、シャーディングミドルウェアを置き換える単一のオープンソースプロキシを求めており、既存のPostgresツールやクライアントドライバーとの互換性を維持したい方に最適です。