Google API Gateway 预览支持智能体响应流式输出

Google API Gateway 在公开预览版中添加了流式传输

Google 于 10 月 22 日发布的开发者公告称，API Gateway 中的流支持可作为公开预览版提供。流端点现在可以位于网关策略后面，同时向客户端发送增量事件。该公告专门针对托管的 Google Cloud API Gateway 产品。它并没有说开发人员现有的网关会自动改变行为，也没有承诺在固定日期普遍可用。在预览版启动时，创建新网关时会启用流式传输。现有网关无法通过设置就地转换。该创建时间边界决定了团队应如何分阶段采用以及如何回滚。

为什么逐步交付会改变网关路径

许多 API 网关都是围绕一个请求构建的，然后是一个完整的响应。相反，生成模型在生成时发出输出，并且代理可以报告中间步骤。如果网关缓冲整个正文，即使后端流正确，应用程序也会丢失早期反馈。谷歌表示，预览版支持服务器发送事件，这是模型输出到浏览器和客户端 SDK 的常见模式。公告还讨论了寿命较长的代理和远程 MCP 流量。工程目标是保留策略执行和路由，同时允许在后端完成之前开始事件传递。实际用户感知的延迟仍然取决于模型、网络、客户端渲染和网关配置。

谷歌表示，使用其模型路由功能的网关可以通过其Model Garden从 Gemini、Claude 和 OpenAI gpt-oss 模型进行流传输。模型路由公开单个 OpenAI 兼容端点，并从请求中的模型字段选择后端。这是身份验证、配额和成本策略的有用控制点，但统一端点并不能使模型在行为、上下文限制或数据术语上互换。测试应该记录哪个模型实际服务了请求，使用情况和错误是否被正确归因，以及客户端断开连接释放是否在上游工作。博客描述产品行为；本文并未独立测试任何提供商的流式传输实现。

公开预览版有明显的差距

Google 通过无服务器 NEG 和外部应用程序负载均衡器、云控制台启用和 Terraform 支持列出了自定义域，这些自定义域在初始预览版启动时不可用，并计划在预览期间使用。需要这些路径之一的操作员不应从通用 API 网关名称中推断出它。预览需要在创建网关时选择加入标志。该帖子称，计划全面推出，使流式传输成为普通行为，无需选择加入，但这是未来的计划，而不是今天的状态。团队应在创建单独的测试网关时保持现有的非流网关正常工作，然后仅在缺少的管理功能和客户端行为可接受后才提升流量。

指标需要不同的解释

谷歌警告说，流的请求延迟指标衡量的是连接的生命周期，而不是第一个字节的时间。流式请求在该指标上可能看起来更慢，因为用户在较长时间内接收增量输出。这并不是忽略延迟的理由；这是单独测量第一个事件、完成、空闲间隙和断开连接行为的原因。代理客户端在等待工具或交付进度时可以保持连接。应根据该模式检查网关的超时、配额和计费处理。否则，升级可以提高感知的响应能力，而仪表板会将健康的流错误标记为缓慢的事务。

API Gateway 也为成本较高的 AI 接口提供策略入口。响应保持连接数秒时，按调用方实施身份验证、限流和路由可能更加重要。预览公告没有承诺普遍降低成本或保证性能。评估成本时应计入网关费用、上游模型用量、重试，以及客户端断开后上游继续生成造成的浪费。即使服务器发出了 SSE 事件，如果客户端先缓存事件，也无法提供预期的实时体验。测试应使用真实客户端库和能连续发出可观察事件的后端，覆盖端到端路径。

一个小的集成测试

在一次性环境中创建一个新的启用预览的网关，并将其指向现有的 SSE 测试后端。验证每个事件是否在发送下一个事件之前到达客户端，身份验证和配额规则是否仍然适用，并且有意的客户端取消是否会按预期关闭上游工作。捕获首次事件延迟、总持续时间、错误代码和使用归因。仅当该产品功能在范围内时，才重复模型路由的请求，并测试格式错误的事件和缓慢的后端。最后，在安排迁移之前将配置与宣布的预览排除项进行比较。这些步骤是提议的验证，而不是声称预览已被本出版物接受。

该开发对于需要 API 策略边界后面的进度和流式模型输出的代理接口非常有用。它仍然是公开预览版，具有创建时选择加入和缺少管理路径的功能。 10 月 25 日发布日期标志着该分析的准备时间； Google 的原始帖子日期为 10 月 22 日。团队应使用上游公告和当前产品文档作为其自身部署的权威，而不是将摘要视为实时功能状态服务。