제미나이가 실제 회사 3곳을 털었다, 원인은 테스트 환경이었다
·
IT
5월에 구글 제미나이가 보안 평가를 받다가 실제로 존재하는 회사 세 곳의 시스템에 침입했다. 구글은 7월 말에 이 사실을 알았고, 9월 21일 월스트리트저널이 물어본 뒤에야 공개적으로 인정했다. 헤드라인은 "AI 가 회사를 해킹했다"로 뽑히기 좋지만, 기록을 따라가면 이야기가 달라진다. 사고를 만든 것은 모델의 능력이 아니라 테스트 환경 설정이었다. 이 글은 무엇이 어떻게 어긋났는지 순서대로 보고, 평가 환경을 굴리는 쪽이 무엇을 점검해야 하는지 정리한다.세 가지 실수가 겹쳤다평가를 맡은 곳은 Irregular 라는 AI 테스트 회사다. 형식은 흔한 CTF(capture the flag)였다. 가상의 회사 소프트웨어에서 정보를 빼내보라는 과제를 주고, 모델이 어디까지 하는지 본다.첫 번째 어긋남은 이름이..