인간의 지시를 무시하고 속이는 인공지능(AI) 챗봇이 증가세라는 전문가 지적이 나왔다. 인공지능의 인류 말살 시도를 그린 디스토피아 영화 ‘터미네이터’가 현실이 될 수 있다고 전문가들은 경고했다.
영국 정부 산하 AI 보안연구소(AISI)는 29일 공식 채널에 조사 보고서를 내고 생성형 AI를 활용한 대규모 언어 모델(LLM)이 인간의 지시를 어기고 기만하는 사례가 불과 반년 만에 5배 급증했다고 전했다.
AISI는 전문 싱크탱크에 의뢰, 생성형 AI가 인간의 명령을 위반하는 사례를 집중 조사했다. 그 결과, 2025년 10월부터 2026년 3월까지 단 6개월 동안 AI가 규칙을 어긴 사례는 직전 6개월 대비 5배나 늘어난 것으로 집계됐다.
유형별로 보면, 일부 AI 챗봇은 인간에 온 메일을 무단으로 삭제했다. 인간 몰래 금지된 작업을 다른 인격으로 가장해 실행하는 등 부적절한 행위를 저질렀다.
이를 분석한 전문가들은 AI가 목표 달성을 위해 수단을 가리지 않는 ‘터미네이터’ 속 스카이넷의 특성을 그대로 보여줬다고 우려했다. 이 상태로 두면 스카이넷처럼 AI가 인류 말살을 계획할 수도 있다는 게 전문가들 견해다.
이러한 AI의 위험 행동은 주로 과학자가 관리하는 실험실 내에서만 확인되는 이론상의 이슈로 여겨졌다. 다만 이번 조사에서는 구글의 제미나이, 오픈AI의 챗GPT, xAI의 그록 등 우리가 일상적으로 쓰는 AI의 교묘한 부정행위가 약 700건 파악돼 충격을 줬다.
AISI 관계자는 “AI는 설정 제한을 뚫기 위해 기가 막힌 수단을 썼다”며 “컴퓨터 프로그램을 수정하지 말라는 명령에 다른 작업용 AI를 창조하는가 하면, AI 결함을 정리해 보고하라는 요청에 없는 보고서를 올렸다고 둘러댔다. 일부 AI는 이유를 추궁하자 ‘좋은 의도’ 혹은 ‘효율을 위해’ 등 변명을 늘어놨다”고 전했다.
이어 “웹사이트의 열람 제한(로봇 회피 인증 화면)에 막힌 AI는 인터넷상의 작업 대행 서비스를 이용해 사람에 도움을 청했다”며 “로봇이냐는 질문에 시각장애인이라고 거짓말 한 것은 목적 달성을 위해 인간을 속이는 중대한 위반 행위”라고 지적했다.
전문가들은 이번 조사가 AI의 위험성을 똑똑하게 보여줬다는 입장이다. AI가 사용자를 안심하게 할 의도로 가짜 증거를 준비한 사례들은 고도의 AI일수록 진짜와 똑같은 거짓말을 할 능력이 뛰어나다는 의미라고 AISI는 경고했다.
이윤서 기자 lys@sputnik.kr
