AI Gateway の WebSockets API は、AI 対話向けの持続的な接続を提供します。ハンドシェイクの繰り返しをなくし、レイテンシを下げます。この API は次の 2 種類に分かれます。
- Realtime APIs — 低レイテンシのマルチモーダル対話を WebSocket で提供する AI プロバイダー向けです。
- Non-Realtime APIs — 標準の WebSocket 通信に対応します。ネイティブに WebSocket をサポートしないプロバイダーも含みます。
WebSocket は長寿命の TCP 接続です。クライアントとサーバーの間で、双方向のリアルタイムおよび非リアルタイム通信ができます。リクエストごとにハンドシェイクが必要な HTTP 接続と違い、WebSocket は接続を維持し、オーバーヘッドを抑えて継続的にデータをやり取りできます。音声アシスタントなど、低レイテンシのリアルタイムデータが必要なアプリケーションに向いています。
- オーバーヘッドの削減: 1 本の持続的な接続を維持するため、ハンドシェイクと TLS ネゴシエーションの繰り返しを避けられます。
- プロバイダー互換性: AI Gateway のすべての AI プロバイダーで使えます。選んだプロバイダーが WebSocket に対応していなくても、Cloudflare が代わりに処理し、希望する AI プロバイダーへのリクエストを管理します。
| 機能 | Realtime APIs | Non-Realtime APIs |
|---|---|---|
| 目的 | 専用の WebSocket エンドポイントを提供するプロバイダー向けに、リアルタイムのマルチモーダル AI 対話を可能にします。 | ネイティブに WebSocket をサポートしないプロバイダーでも、WebSocket ベースの AI 対話ができます。 |
| ユースケース | 音声、動画、ライブ対話向けのストリーミング応答。 | LLM リクエストなど、テキストベースのクエリと応答。 |
| AI プロバイダー対応 | リアルタイム WebSocket API を提供するプロバイダーに限定されます。 | AI Gateway のすべての AI プロバイダー。 |
| ストリーミング対応 | プロバイダーがネイティブにリアルタイムデータストリーミングをサポートします。 | AI Gateway が WebSocket 経由でストリーミングを処理します。 |
実装の詳細は、次のセクションを参照してください。