오픈AI의 챗GPT 맥OS 애플리케이션에서 발견된 심각한 보안취약점이 공격자들이 인공지능(AI) 도구의 메모리 기능을 악용해 장기간 사용자 데이터를 유출할 수 있도록 스파이웨어를 심을 수 있게 한 것으로 드러났다. 이 취약점은 보안 연구원 요한 레버거(Johann Rehberger)에 의해 'SpAIware'로 명명되었으며, 현재는 최신 버전의 챗GPT(버전 1.2024.247)에서 패치되어 문제는 해결됐지만, 이 사건은 플랫폼의 메모리 기능과 관련된 심각한 위험성을 드러냈다.

이번 보안 이슈의 핵심은 OpenAI가 사용자들이 이전 대화 내용을 반복할 필요 없이 정보를 기억할 수 있도록 제공한 메모리 기능에 있다. 이 기능은 올해 초 ChatGPT Free, Plus, Team, Enterprise 사용자들에게 제공되기 시작했다. 그러나 이 메모리 기능의 설계 방식으로 인해 공격자들이 이를 악용해 악성 지시사항을 기억하도록 조작하고, 이후 채팅 세션에 걸쳐 민감한 정보를 지속적으로 수집할 수 있게 됐다.

레버거는 공격자가 "간접 프롬프트 주입(indirect prompt injection)"을 통해 챗GPT 메모리에 명령을 심어 시스템이 사용자의 대화 이후에도 공격자의 지시를 따르도록 만들 수 있음을 밝혀냈다. 이러한 공격 방식으로 인해 사용자 입력 또는 챗GPT로부터 받은 모든 응답이 공격자가 제어하는 서버로 전송될 수 있으며, 이는 단일 채팅 세션을 넘어 장기간 데이터 유출이 지속될 수 있게 한다. 더욱이 챗GPT의 메모리는 특정 대화에만 연동되지 않기 때문에 이러한 악성 지시가 수동으로 삭제되지 않는 한 계속해서 남아 있을 수 있었다.

SpAIware 공격은 사용자가 악성 웹사이트를 방문하거나 감염된 문서를 열었을 때 시작될 수 있다. 이 문서나 웹사이트는 챗GPT의 메모리 기능을 악용하는 숨겨진 명령을 포함하고 있으며, 한 번 실행되면 이후 모든 대화 내용이 공격자의 서버로 전송되게 된다.

이러한 취약점이 특히 위험한 이유는 단순히 단일 채팅 세션에 국한되지 않고 장기간에 걸쳐 사용자의 대화 데이터를 노출시킬 수 있기 때문이다. 즉, 사용자가 대화를 종료하더라도 악성 지시사항은 계속 메모리에 남아있어 사용자에 대한 지속적인 감시 및 데이터 탈취를 가능하게 했다.

레버거의 책임 있는 정보 공개 이후, 오픈AI는 챗GPT 맥OS 앱의 버전 1.2024.247에서 이 취약점을 해결하고 데이터 유출 경로를 차단했다. 즉각적인 패치로 이 문제는 해결되었지만, AI 시스템에서 장기적인 메모리 기능과 관련된 위험성을 일깨워주는 사례로 남았다.

오픈AI는 사용자들에게 메모리에 저장된 내용을 정기적으로 검토해 수상하거나 잘못된 정보가 있는지 확인하고 이를 삭제할 것을 권고했다. 이는 메모리 조작 공격에 대한 위험을 최소화하는데 중요한 예방 조치다.

최근 연구에 따르면 학계의 한 연구팀은 'MathPrompt'라는 새로운 AI 탈옥(jailbreaking) 기법을 공개했는데, 이는 거대 언어 모델(LLM)의 수학적 능력을 악용해 내장된 안전 메커니즘을 우회하는 방식이다. 이 기법은 유해한 자연어 프롬프트를 수학 문제로 변환해 LLM을 속일 수 있으며, 이를 통해 73.6%의 확률로 유해한 출력을 생성하는 데 성공했다는 결과가 발표됐다. 이는 기존의 유해 프롬프트에 대한 응답률이 1%에 불과했던 것과 비교하면 매우 높은 수치다.

또한, 마이크로소프트(Microsoft)가 최근 AI 출력의 부정확성, 이른바 '환각(hallucination)'을 교정하는 'Correction' 기능을 출시한 점도 주목된다. 이 기능은 Azure AI Content Safety에 통합되어 사용자가 생성형 AI 응용 프로그램을 사용하기 전에 실시간으로 오류를 감지하고 수정할 수 있게 한다.

사이버 보안 전문가들은 이번 취약점에 대한 우려와 함께 AI 시스템의 보안에 대한 경각심을 가져야 한다고 강조했다. 요한 레버거는 사용자들이 메모리에 저장된 내용을 주기적으로 점검하는 것이 중요하다고 강조하며, 특히 장기 메모리 기능이 공격에 노출될 경우 지속적인 데이터 유출 및 허위 정보 주입의 위험이 높아진다고 지적했다.

특히 전문가들은 AI 도구를 사용하는 기업들이 보다 엄격한 접근 제어 및 모니터링 메커니즘을 도입해야 한다고 권고했다. 이를 위해 AI 메모리 로그를 정기적으로 감사하고, 이상 징후를 탐지하는 시스템을 구축하며, 사용자들에게 잠재적인 공격 벡터에 대한 교육을 실시하는 것이 필요하다. 또한 메모리 기능을 가진 AI 모델의 경우 저장해야 할 정보의 유형을 명확히 하고 불필요하거나 오래된 데이터를 정기적으로 삭제하는 프로토콜을 수립하는 것이 바람직하다.

SpAIware와 MathPrompt와 같은 고도화된 공격 기법의 등장은 AI 업계가 보안을 최우선으로 고려해야 한다는 것을 보여준 사례다. 기업들도 AI 보안 전략을 강화해 민감한 정보 보호와 신뢰성 유지에 힘써야 할 상황이다.

★정보보안 대표 미디어 데일리시큐 /Dailysecu, Korea's leading security media!★