Google은 10월 28일 Gemini 4 Carbon을 발표하고 Fairwind 프로그램을 통해 일부 사이버 방어팀에 먼저 제공한다고 밝혔습니다. 사내 서비스를 운영하는 팀에서 모델의 지적은 조사의 시작입니다. 티켓을 닫으려면 다른 엔지니어가 결함을 재현하고 수정 결과까지 확인할 수 있어야 합니다.
1. 시범 운영의 범위를 정합니다
Google은 접근 권한을 단계적으로 확대합니다. 참가 자격과 제출 가능한 저장소, 검토 책임자를 먼저 확인합니다. 승인을 기다리는 동안에도 과거에 고친 결함의 수정 전 버전을 익명화할 수 있습니다. 정답이 담긴 커밋 기록과 티켓 설명을 빼야 실제 조사 능력을 평가할 수 있습니다. (Fairwind) 🔗 배포 환경
2. 탐지와 수정 점수를 따로 읽습니다
Google이 발표한 수치는 취약점 탐지용 SEC-bench Pro 88.2%, 패치용 CWE-bench 71.0%입니다. 문제와 채점 방식이 달라 두 수치의 차이는 패치 실패율이 아닙니다. 자체 코드에서는 다른 사람이 재현한 지적의 비율과 오탐을 검토하는 데 든 시간을 따로 측정합니다. (Google DeepMind) 🔗 플랫폼 통합
3. 티켓에 세 가지 증거를 남깁니다
사내 서비스의 권한 검사 누락을 예로 들면, 먼저 어느 요청 경로에서 검사가 빠지는지 확인합니다. 격리 환경에서 재현되지 않으면 가설로 남깁니다. 수정 전에는 실패하고 수정 후에는 통과하는 회귀 테스트를 붙이고, 제안자와 다른 검토자가 변경 내역을 확인합니다. 🔗 모델 운영
| 단계 | 기록 | 통과 조건 |
|---|---|---|
| 탐지 | 위치와 발생 조건 | 다른 담당자가 재현 |
| 수정 | 최소 변경과 회귀 테스트 | 기존 오류 해소 |
| 승인 | 호환성 결과와 검토자 | 정상 요청도 성공 |
4. 긴 작업에 종료 조건을 둡니다
에이전트가 그럴듯한 패치를 만들 때마다 사람이 다시 읽으면 검토 시간이 더 늘어날 수 있습니다. 읽기 전용 복사본과 임시 브랜치를 쓰고 시간과 비용에 상한을 둡니다. 후보 패치가 나오면 생성을 멈추고 독립 테스트를 통과한 경우에만 검토를 요청합니다. 실패 기록도 남겨 오래 걸린 사례를 따로 봅니다. 🔗 테스트 서비스
5. 검증을 마친 패치당 비용을 봅니다
추론 비용과 테스트 환경, 검토 인력을 합산한 뒤 독립 검증을 통과한 건수로 나눕니다. 비슷한 유형의 티켓끼리 오탐과 미탐도 비교합니다. 문제를 찾는 시간보다 검토 시간이 더 많이 늘면 우선 초기 분류 업무에 적용하는 편이 합리적입니다. 🔗 GPU 관리
기업 AI 운영 사례는 AI-Stack에서 구독할 수 있습니다.