NVIDIA는 9월 10일 Nemotron 3 Ultra NIM 2.0.12의 커널·병렬화·캐시·스케줄링·메모리·추측 디코딩 최적화를 공개했습니다. 공식 시험에서 4대의 B200과 특정 에이전트 워크로드, 사용자당 50 TPS 목표를 기준으로 최적화 전보다 최대 2.5배 높은 시스템 처리량을 기록했다고 설명합니다.
이 수치는 지정된 하드웨어·버전·입력 길이·캐시 재사용률을 전제로 한 공급사 결과입니다. NVIDIA도 실제 트래픽을 재생해 지연 목표를 충족하는 파레토 지점을 선택하라고 안내합니다.




