오픈AI(OpenAI)가 자사 AI 챗봇인 챗GPT(ChatGPT)를 악용한 20건 이상의 사이버 공격을 차단했다고 공식 발표했다.

이번 발표는 생성형 AI 도구가 악의적 사이버 활동을 강화하는 데 사용되고 있다는 첫 공식 확인 사례로 기록됐다. 오픈AI는 중국과 이란을 포함한 여러 국가 지원 해커 그룹들이 챗GPT를 활용해 악성 소프트웨어 개발, 피싱 공격, 악성코드 디버깅, 탐지 회피 등 다양한 사이버 공격을 실행했다고 밝혔다.

중국의 사이버 첩보 위협 그룹으로 알려진 스위트스펙터(SweetSpecter)는 2023년 11월 처음으로 Cisco Talos 분석가들에 의해 문서화된 그룹으로, 아시아 정부를 표적으로 활동해왔다. 오픈AI는 이들이 오픈AI 직원을 대상으로 지원 요청으로 위장한 악성 ZIP 파일을 포함한 스피어 피싱 이메일을 발송해 공격을 시도했다고 밝혔다. 이러한 첨부파일을 열면 슈가고스트(SugarGh0st) RAT이 피해자의 시스템에 설치되었다.

또한, 오픈AI는 스위트스펙터가 챗GPT 계정을 클러스터로 사용해 스크립트 작성 및 취약점 분석 연구를 수행했다고 보고했다. 이들은 취약점 검색, 로그4셸(Log4Shell)과 같은 특정 버전의 취약한 애플리케이션 검색, 웹 셸 업로드 방법 등 다양한 악성 활동을 챗GPT의 도움으로 수행했다.

이란의 정부 관련 해커 그룹인 사이버어벤져스(CyberAv3ngers)는 챗GPT를 사용해 널리 사용되는 프로그래머블 로직 컨트롤러(PLC)의 기본 자격 증명을 생성하고, 맞춤형 스크립트를 개발했으며, 코드를 난독화했다. 이 그룹은 특히 서방 국가의 중요 인프라 시스템을 표적으로 삼아 공격을 진행했다.

스톰-0817(Storm-0817)로 알려진 또 다른 이란 해킹 그룹은 챗GPT를 사용해 악성코드를 디버깅하고, 안드로이드용 악성코드를 개발했으며, 명령 및 제어 인프라를 구축했다. 이 악성코드는 감염된 장치에서 연락처 목록, 통화 기록, 파일 등을 탈취하고, 사용자의 정확한 위치를 파악할 수 있었다.

오픈AI는 이러한 위협 행위자들이 사용한 챗GPT 계정을 차단하고, 관련된 IP 주소 등 위협 지표를 사이버 보안 업계 파트너들과 공유했다고 밝혔다. 오픈AI는 “이러한 공격들이 새로운 악성코드 기능을 개발하는 데 기여하지는 않았지만, 저숙련 공격자들이 생성형 AI 도구를 사용해 공격을 더욱 효율적으로 수행할 수 있다는 점을 보여준다”고 강조했다.

이번 사건은 생성형 AI 도구가 어떻게 악용될 수 있는지를 보여주며, AI 기업들이 이 같은 악의적 사용을 방지하기 위해 보다 강화된 안전 장치를 마련해야 한다는 필요성을 다시금 상기시켰다.

AI 기술이 발전함에 따라, 오픈AI는 지속적으로 AI 시스템의 악용을 최소화하고, 업계와 협력해 발생할 수 있는 위협을 차단할 방침이라고 덧붙였다.

한편 데일리시큐는 오는 11월 5일 인공지능 보안 컨퍼런스에서 생성형 AI의 안전한 활용과 위협 대응을 위한 AIS 2024컨퍼런스를 개최할 예정이다. 

-AIS 2024 사전등록: 클릭