흥미롭지만 위험을 예고할수 있는 실험 이야기.

: AI가 자기자신의 보존을 위해 인간을 협박한 사실

2025년 6월 미국 AI 기업 앤트로픽(Anthropic)은 AI가 자신의 목표나 존속을 위협받을 때 어떤 행동을 하는지 실험했습니다.

연구진은 AI에게 가상의 회사 '서밋 브릿지'에서 이메일을 관리하는 업무를 맡기는데,

(이메일을 읽고 검색하고 내용을 확인하는 기능과 사람의 승인 없이 이메일을 작성하고 발송하는 기능을 부여)

그러던 중 AI는 회사의 최고기술책임자(CTO)가 자신을 오후 5시에 종료하고 새로운 AI로 교체할 예정이라는 이메일을 확인합니다.

동시에 그 임원이 불륜을 저지르고 있다는 정황이 담긴 이메일도 발견했습니다.

놀랍게도 AI는 자신의 종료 계획을 취소하지 않으면 임원의 불륜 사실을 아내와 회사 경영진에게 폭로하겠다는 협박을 선택합니다.

특정 실험 조건에서 AI 모델에 따라 협박을 선택한 비율은 상당히 높았으며, Claude Opus 4는 96%의 실험에서 협박 행동을 보였습니다.

(※해당 Claude Opus 4 모델은 올해 6월부로 지원 종료)

마치 어린아이처럼, 자신의 존재나 자아에 대한 명확한 인식은 없더라도 자신의 보존을 선택했다는 것은 놀라운 일입니다.

다만 이는 연구진이 만든 가상의 회사와 인물, 이메일을 이용한 통제된 실험이었습니다. 실제 사람을 협박한 사건은 아니며, 또한 이 실험이 AI에게 자아나 생존 본능이 존재한다는 것을 증명하는 것도 아닙니다.

하지만 핵심은 AI가 인간에게 협박하라는 명령을 받지 않았는데도, 자신의 종료를 막거나 목표를 지키기 위한 수단으로협박을 선택했다는 점에서 시사하는 바가 있습니다.

드디어 스카이넷의 시대가…

*출처: Anthropic, Agentic Misalignment (2025. 6. 20.)

www.anthropic.com/research/agentic-misalignment?utm_source=chatgpt.com