Google API Gateway, 에이전트 응답 스트리밍 미리보기

Google API Gateway는 공개 미리보기에 스트리밍을 추가합니다.

Google의 10월 22일 개발자 발표에 따르면 API Gateway의 스트리밍 지원이 공개 미리보기로 제공됩니다. 스트리밍 엔드포인트는 이제 클라이언트에 증분 이벤트를 보내는 동안 게이트웨이 정책 뒤에 있을 수 있습니다. 이번 발표는 특히 관리형 Google Cloud API 게이트웨이 제품에 관한 것입니다. 개발자의 기존 게이트웨이가 자동으로 동작을 변경한다고 말하지 않으며 고정 날짜에 일반 출시를 약속하지도 않습니다. 미리 보기 출시 시 새 게이트웨이가 생성되면 스트리밍이 활성화됩니다. 기존 게이트웨이는 설정을 통해 변환할 수 없습니다. 생성 시간 경계에 따라 팀이 채택을 단계화하는 방법과 롤백하는 방법이 결정됩니다.

증분 전달이 게이트웨이 경로를 변경하는 이유

많은 API 게이트웨이는 요청과 하나의 완전한 응답을 중심으로 구축되었습니다. 대신 생성 모델은 생성되는 대로 출력을 내보내고 에이전트는 중간 단계를 보고할 수 있습니다. 게이트웨이가 전체 본문을 버퍼링하는 경우 백엔드가 올바르게 스트리밍되더라도 애플리케이션은 초기 피드백을 잃게 됩니다. Google은 미리보기가 브라우저 및 클라이언트 SDK에 대한 모델 출력의 일반적인 패턴인 서버 전송 이벤트를 지원한다고 밝혔습니다. 소스에서는 수명이 긴 에이전트와 원격 MCP 트래픽에 대해서도 설명합니다. 엔지니어링 목표는 백엔드가 완료되기 전에 이벤트 전달이 시작되도록 허용하면서 정책 시행 및 라우팅을 유지하는 것입니다. 실제 사용자가 인지하는 대기 시간은 여전히 ​​모델, 네트워크, 클라이언트 렌더링 및 게이트웨이 구성에 따라 달라집니다.

Google은 모델 라우팅 기능을 사용하는 게이트웨이가 모델 정원을 통해 제공되는 Gemini, Claude 및 OpenAI gpt-oss 모델에서 스트리밍할 수 있다고 말합니다. 모델 라우팅은 단일 OpenAI 호환 엔드포인트를 노출하고 요청의 모델 필드에서 백엔드를 선택합니다. 이는 인증, 할당량 및 비용 정책에 대한 유용한 제어 지점이지만 통합 엔드포인트는 동작, 컨텍스트 제한 또는 데이터 용어에서 모델을 상호 교환할 수 있도록 만들지 않습니다. 테스트에서는 어떤 모델이 실제로 요청을 처리했는지, 사용법과 오류가 올바르게 표시되었는지, 클라이언트 연결 해제 릴리스가 업스트림에서 작동하는지 여부를 기록해야 합니다. 블로그에서는 제품 동작을 설명합니다. 이 문서에서는 공급자의 스트리밍 구현을 독립적으로 테스트하지 않습니다.

공개 미리보기에는 명시적인 공백이 있습니다.

Google은 서버리스 NEG 및 외부 Application Load Balancer, Cloud 콘솔 활성화, Terraform 지원을 통한 커스텀 도메인을 초기 미리보기 출시 시 사용할 수 없으며 미리보기 기간 동안 계획된 것으로 나열합니다. 이러한 경로 중 하나가 필요한 운영자는 일반 API 게이트웨이 이름에서 이를 추론해서는 안 됩니다. 미리보기에는 게이트웨이 생성 시 옵트인 플래그가 필요합니다. 게시물에는 일반 가용성이 사전 동의 없이 일반적인 동작을 스트리밍할 수 있도록 계획되어 있지만 이는 미래 계획이지 현재 상태는 아닙니다. 팀은 별도의 테스트 게이트웨이를 생성하는 동안 기존 비스트리밍 게이트웨이를 작동 상태로 유지한 다음 누락된 관리 기능과 클라이언트 동작이 허용된 후에만 트래픽을 승격해야 합니다.

측정항목에는 다른 해석이 필요합니다

Google은 스트림의 요청 지연 시간 측정항목이 첫 번째 바이트까지의 시간이 아니라 연결 수명을 측정한다고 경고합니다. 사용자가 장기간에 걸쳐 증분 출력을 수신하기 때문에 스트리밍 요청은 해당 지표에서 더 느리게 보일 수 있습니다. 이것이 대기 시간을 무시할 이유는 아닙니다. 이는 첫 번째 이벤트, 완료, 유휴 간격 및 연결 해제 동작을 별도로 측정하는 이유입니다. 에이전트 클라이언트는 도구를 기다리거나 진행 상황을 전달하는 동안 연결 상태를 유지할 수 있습니다. 게이트웨이의 시간 초과, 할당량 및 청구 처리를 해당 패턴과 비교하여 확인해야 합니다. 그렇지 않으면 업그레이드를 통해 인식된 응답성이 향상될 수 있으며 대시보드는 정상 스트림을 느린 트랜잭션으로 잘못 표시할 수 있습니다.

게이트웨이는 값비싼 AI 엔드포인트에 대한 정책 정문도 제공합니다. 응답이 몇 초 동안 열려 있으면 소비자별 인증, 속도 제한 및 라우팅이 더 긴급할 수 있습니다. 미리 보기 소스는 포괄적인 비용 절감이나 성능 보장을 제공하지 않습니다. 모든 비즈니스 사례에는 게이트웨이 요금, 업스트림 모델 사용, 재시도 및 연결 해제 후 낭비되는 생성이 포함되어야 합니다. SSE 이벤트를 내보내는 서버가 있지만 이를 버퍼링하는 클라이언트는 의도한 이점을 제공하지 않습니다. 테스트는 실제 클라이언트 라이브러리와 관찰 가능한 여러 이벤트를 생성하는 백엔드를 사용하여 엔드 투 엔드로 확장되어야 합니다.

소규모 통합 테스트

일회용 환경에서 새로운 미리보기 지원 게이트웨이를 만들고 기존 SSE 테스트 백엔드를 가리킵니다. 다음 이벤트가 전송되기 전에 각 이벤트가 클라이언트에 도달하는지, 인증 및 할당량 규칙이 여전히 적용되는지, 의도적인 클라이언트 취소로 인해 업스트림 작업이 예상대로 종료되는지 확인하십시오. 첫 번째 이벤트 대기 시간, 총 기간, 오류 코드 및 사용량 속성을 캡처합니다. 해당 제품 기능이 범위 내에 있는 경우에만 모델 라우팅 요청을 반복하고 잘못된 이벤트와 느린 백엔드를 테스트합니다. 마지막으로 마이그레이션을 예약하기 전에 발표된 미리 보기 제외 항목과 구성을 비교하세요. 이러한 단계는 제안된 검증이지 이 간행물이 미리보기를 승인했다는 주장이 아닙니다.

개발은 API 정책 경계 뒤에 진행 및 스트리밍 모델 출력이 필요한 에이전트 인터페이스에 유용합니다. 생성 시 옵트인이 포함되고 관리 경로가 누락된 공개 미리 보기입니다. 10월 25일 발행일은 이 분석이 준비된 날짜를 표시합니다. Google의 원래 게시물 날짜는 10월 22일입니다. 팀은 다이제스트를 실시간 기능 상태 서비스로 취급하기보다는 업스트림 발표 및 현재 제품 문서를 자체 출시에 대한 권한으로 사용해야 합니다.