강한 AI의 가치는
능력과 통제를 함께 설계할 때 완성됩니다

OpenAI는 9월 1일 Astra가 자사 Preparedness Framework에서 사이버 보안 ‘Critical’ 임계값에 도달했다고 발표했습니다. 공개·비공개 벤치마크와 전문가 평가에서 알려지지 않은 취약점을 발견하고 작동하는 공격 체인으로 연결하는 능력이 확인됐으며, 일부 취약점은 유지관리자에게 공개 절차를 진행하고 있다고 밝혔습니다.

OpenAI는 악의적 사용과 모델의 비인가 행동을 별도 위험 경로로 보고, 훈련 인프라 격리와 네트워크 통제, 강화된 모니터링, 거부 훈련, 작업을 자동 중단할 수 있는 감시 체계를 계층적으로 적용한다고 설명했습니다. 기능 접근은 초기에는 제한된 방어 목적 사용자에게 제공할 계획입니다.

OpenAI는 9월 1일 ChatGPT for Healthcare에 Epic 전자의무기록 환경의 승인된 환자 맥락을 연결하는 통합과, PubMed·DailyMed·CMS Coverage 등 9개 공식 의료 정보원을 다루는 Healthcare Public Data 플러그인을 발표했습니다.

임상진은 환자 기록의 변화와 검사·약물·후속 조치를 검토하고 근거 차트로 돌아갈 수 있으며, 연구·약무·행정팀은 공식 데이터의 특정 기록과 버전을 비교할 수 있습니다. 역할 기반 접근, SSO, 감사 로그와 기존 권한을 유지하는 관리형 작업공간이 전제됩니다.

Anthropic은 9월 1일 Claude Fable 5.1과 Claude Mythos 5.1을 공개했습니다. 두 제품은 같은 기반 모델을 사용하지만 Fable 5.1은 일반 제공되는 코딩·지식 업무용 모델이고, Mythos 5.1은 사이버 보안과 생명과학 연구를 위해 검증된 조직에만 제한적으로 제공됩니다.

Fable 5.1에는 위험 영역의 기능을 차단하거나 제한하는 안전장치가 적용되며, Mythos 5.1은 별도 신뢰 접근 프로그램을 사용합니다. 공급사는 장시간 에이전트 작업, 코딩, 지식 업무와 과학 연구 역량 향상을 강조했지만 실제 도입 효과는 조직의 업무 평가 세트로 확인해야 합니다.

AWS는 8월 26일 Amazon Bedrock AgentCore를 활용한 ‘단계형 자율성’ 아키텍처를 제안했습니다. 에이전트의 정확성·안전성·일관성·규정 준수·효율을 지속적으로 평가해 권한 등급을 올리고, 안전 기준이 떨어지면 즉시 낮추는 방식입니다.

구조는 신뢰 점수, 권한 단계, 실행 전 차단, 인프라 수준 정책 집행, 실행 후 평가·감사, 배포 게이트의 여섯 층으로 나뉩니다. 새 버전은 적대적 평가를 통과해야 하며, 위험 작업은 정책 엔진에서 기본 거부하고 비상 시 전체 도구 호출을 멈추도록 설계합니다.