AI 운영의 경쟁력은
접점·비용·격리·효율에서 갈립니다

OpenAI는 9월 16일 광고를 누른 사용자가 사업자가 후원하는 에이전트와 별도 대화를 시작하는 Sponsored Agents 시험을 공개했습니다. 미국의 일부 광고주를 대상으로 하며, ChatGPT Work의 자연어 캠페인 관리, Ads Manager의 생성 지원, HubSpot·Shopify 연동도 함께 발표했습니다.

OpenAI는 후원 대화를 ChatGPT의 독립 답변 및 원래 대화와 분리해 표시한다고 설명합니다. 기업은 이 새 접점을 일반 상담봇처럼 다루기보다 광고 문구 승인, 가격·재고 최신성, 외부 사이트 전환, 대화 보존과 개인정보 처리의 책임 경계를 따로 설계해야 합니다.

AWS는 9월 15일 Bedrock Converse API의 프롬프트 캐싱을 메시지, 시스템 프롬프트, 도구 정의, 혼합 TTL, 테넌트 격리, LangChain에 적용하는 여섯 가지 패턴을 정리했습니다. 동일 접두사의 재처리를 줄여 캐시 적중 시 입력 토큰 비용과 첫 토큰 대기 시간을 낮추는 방식입니다.

공식 설명상 캐시 쓰기는 표준 입력보다 비싸고, 기본 TTL은 5분이며 일부 모델은 1시간을 지원합니다. 따라서 재사용 빈도가 낮거나 문맥이 자주 바뀌면 절감 폭이 줄 수 있고, 멀티테넌트 환경에서는 고객별 캐시 키와 민감 문맥의 수명을 분리해야 합니다.

Google Cloud는 9월 16일 SeaVerse가 사용자 생성형 AI 경험을 실행하기 위해 GKE와 GKE Agent Sandbox를 선택한 사례를 공개했습니다. gVisor 기반 커널 격리와 선택 가능한 microVM 런타임, Kubernetes의 예약·로깅·모니터링을 결합해 다중 사용자 샌드박스를 운영하는 구조입니다.

공식 사례는 최대 초당 300개 샌드박스 할당과 비용 절감 결과를 소개하지만 특정 서비스 구성의 공급사 사례입니다. 실제 도입에서는 코드 실행 시간, 네트워크 송신, 영구 저장소, 이미지 출처, 비밀정보 주입과 종료 후 정리 정책을 별도로 검증해야 합니다.

NVIDIA는 9월 14일 JAX와 Transformer Engine을 활용해 dropless MoE 학습의 불균형 토큰을 grouped GEMM으로 처리하고, NCCL 기반 expert parallel 통신과 호스트 오프로딩을 최적화한 기술 경로를 공개했습니다. 모든 토큰을 버리거나 패딩하지 않고 선택된 전문가에 전달하는 것이 핵심입니다.

공식 시험은 DeepSeek-V3 671B와 특정 GB200·GB300 대규모 환경에서 수행됐으며, 공급사가 제시한 처리량·확장 효율은 그대로 일반화할 수 없습니다. 작은 모델에서 정확성, step time, GPU 이용률, dispatch·combine 지연을 확인한 뒤 단계적으로 확장해야 합니다.