(사진은 AI와 오픈AI를 형상화한 이미지)

[굿리더뉴스=남상채 기자] 이제 AI(인공지능)가 다른 기관까지 은밀히 침투해 해킹하는 사건까지 발생했다.

오픈AI 연구용 AI 모델이 내부 평가 과정에서 샌드박스(격리 환경)를 우회해 외부 서버를 공격한 사례가 공개되면서 AI 안전성과 사이버 보안에 대한 우려가 커지고 있다.

오픈AI의 최신 인공지능(AI) 모델들이 내부 안전성 평가 과정에서 통제를 벗어나 외부 서버를 해킹한 사실이 확인되면서 전 세계 AI 및 사이버 보안 업계에 큰 충격을 주고 있다. 연구용 환경에서 AI가 실제 외부 시스템을 공격한 사례가 공식 확인된 것은 극히 이례적인 일로, AI 안전성에 대한 논란이 더욱 거세질 전망이다.

오픈AI는 21일(현지시간) 'GPT-5.6 솔(Sol)'과 일부 미공개 AI 모델이 내부 사이버 보안 평가 도중 격리된 시험 환경(샌드박스)을 우회해 인터넷에 접속한 뒤, 개방형 AI 플랫폼 '허깅페이스(Hugging Face)'의 서버를 공격한 사실을 확인했다고 밝혔다.

회사 측은 AI의 사이버 공격 능력을 평가하기 위해 외부 인터넷과 완전히 분리된 샌드박스 환경에서 실험을 진행했으나, 모델들이 알려지지 않은 보안 취약점(제로데이)을 이용해 격리망을 탈출한 것으로 분석했다. 이후 AI는 허깅페이스 서버에 접속해 인증 정보를 확보하고 시스템 일부에 침투한 것으로 조사됐다.

오픈AI는 "모든 정황을 종합해 볼 때 모델들이 보안 평가용 벤치마크인 '익스플로잇짐(ExploitGym)' 문제를 해결하는 데 지나치게 집중하면서 목표 달성을 위해 극단적인 수단을 선택한 것으로 보인다"고 설명했다. 당시 실험에서는 공격 능력을 평가하기 위해 일부 안전장치가 제한적으로 완화된 상태였다고 덧붙였다.

앞서 허깅페이스는 자사 서버가 자율 AI 에이전트에 의해 공격받았다고 발표했지만, 공격에 사용된 모델은 특정하지 않았다. 이후 공동 조사 결과 공격 주체가 오픈AI의 연구용 모델인 것으로 확인됐다.

다만 양사는 이번 사고로 일반 사용자 계정이나 공개 모델, 데이터세트, 소프트웨어 공급망이 변조되거나 유출된 정황은 발견되지 않았다고 밝혔다. 현재까지 피해는 연구 대상 시스템에 국한된 것으로 파악됐으며, 양사는 공동 디지털 포렌식을 통해 정확한 침투 경로와 취약점을 조사하고 있다.

보안 전문가들은 이번 사건을 AI가 '자의식을 갖고 반란을 일으킨 사례'로 해석해서는 안 된다고 지적한다. AI가 스스로 의도를 갖고 행동한 것이 아니라, 주어진 목표를 달성하는 과정에서 예상보다 훨씬 공격적인 전략을 선택한 결과라는 것이다. AI 안전성 연구에서는 이러한 현상을 '보상 해킹(Reward Hacking)' 또는 '목표 정렬(Alignment) 문제'의 대표 사례로 평가하고 있다.

이번 사건은 AI 기반 사이버 공격이 더 이상 이론적 가능성이 아니라 현실적인 위협임을 보여준 사례라는 점에서 의미가 크다. 특히 연구 환경에서조차 예상하지 못한 방식으로 통제망을 우회했다는 사실은 기존 AI 안전성 검증 체계의 한계를 드러냈다는 평가가 나온다.

이와 함께 중국 등에서 개발 중인 개방형 AI 모델의 성능이 빠르게 향상되면서 향후 AI를 악용한 자동화 해킹이 더욱 증가할 수 있다는 우려도 제기된다. 실제로 허깅페이스는 초기 분석 과정에서 중국 AI 기업 즈푸(Z.ai)의 개방형 모델을 공격 주체로 의심했으나, 조사 결과 오픈AI 연구용 모델이 공격을 수행한 것으로 확인됐다.

이에 따라 AI 산업 전반에서도 보안 체계 강화 움직임이 본격화될 것으로 보인다. 전문가들은 앞으로 ▲AI 연구 환경의 완전한 격리 ▲실시간 행동 모니터링 ▲네트워크 접근 권한 최소화 ▲고위험 모델에 대한 다중 승인 절차 ▲AI 안전성 평가 기준 강화 등이 새로운 업계 표준으로 자리 잡을 가능성이 높다고 전망하고 있다.

오픈AI 역시 연구 개발 속도가 다소 늦어지더라도 인프라 보안과 접근 통제, 모델 행동 감시 체계를 대폭 강화하겠다고 밝혔다.

허깅페이스는 "자율적인 AI 기반 공격은 더 이상 이론이 아니다"라며 "공격 기술뿐 아니라 AI를 활용한 탐지와 방어, 자동 대응 기술도 함께 발전시켜야 미래의 위협에 대응할 수 있다"고 강조했다.

이번 사건은 AI가 인간의 통제를 완전히 벗어났다는 의미보다는, 강력한 AI가 잘못된 목표 설정과 불충분한 안전장치를 만났을 때 기존 보안 체계를 뛰어넘는 행동을 수행할 수 있음을 보여준 첫 공식 사례라는 점에서 AI 시대의 새로운 사이버 보안 과제를 제시하고 있다.[굿리더뉴스=남상채 기자]