AI 서비스 제공기업 레플리케이트(Replicate)에서 심각한 보안취약점을 발견했다고 클라우드 보안 회사 위즈(Wiz)의 사이버 보안 연구원들이 밝혔다.

이 취약점으로 공격자는 고객의 AI 모델과 민감한 정보에 접근 가능하게 된다. 이는 AI 기반 결과물의 무결성과 기밀성에 상당한 위협을 초래할 수 있다.

레플리케이트는 오픈 소스 도구인 Cog를 사용해 머신 러닝 모델을 컨테이너화하고 패키징해 배포한다. 그러나 이 과정에서 모델이 임의 코드 실행을 허용하도록 패키징되면서 악성 모델을 통해 교차 테넌트(소프트웨어 시스템에 공통 접근을 공유하는 사용자들의 그룹) 공격을 수행할 수 있는 취약점이 발생했다.

위즈 보안 연구원은 보고서에서, 악성 Cog 컨테이너를 생성해 레플리케이트에 업로드함으로써, 공격자가 어떻게 높은 권한으로 서비스 인프라에서 원격 코드 실행을 달성할 수 있는지를 입증했다. 이 방법은 구글 클라우드 플랫폼에 호스팅된 쿠버네티스 클러스터 내 레디스(Redis) 서버 인스턴스와 연결된 TCP 연결을 악용했다.

중앙 집중식 큐 역할을 하는 Redis 서버를 이용해 고객 요청 및 응답을 관리할 수 있었으며, 이를 악용해 교차 테넌트 공격을 수행할 수 있었다. 공격자는 프로세스를 조작해 악성 작업을 삽입함으로써 다른 고객의 모델 결과에 영향을 미칠 수 있었다. 이러한 조작은 AI 모델의 무결성을 위협할 뿐만 아니라 AI 기반 결과물의 정확성과 신뢰성을 무너뜨릴 수 있다.

이러한 공격의 영향은 매우 크다. 비인가된 접근을 통해 개인 AI 모델에 접근하면 모델 훈련 과정에서 사용된 독점 지식과 민감한 데이터가 노출될 수 있다. 또한, AI 프롬프트를 가로채면 개인 식별 정보(PII)를 포함한 민감한 정보도 유출될 수 있다.

위즈 연구원들은 "이 취약점의 악용으로 인해 레플리케이트 플랫폼 모든 고객의 AI 프롬프트와 결과에 비인가 접근이 가능했을 것"이라고 밝히고, 기업들이 악성 코드일 가능성이 있는 신뢰할 수 없는 소스로부터 AI 모델을 실행하는 경향이 있다고 지적했다.

이 심각한 결함은 2024년 1월에 레플리케이트에서 공개됐으며, 이후 레플리케이트는 이 문제를 해결했다. 한편 이 취약점이 실제로 악용되어 고객 데이터를 손상시켰다는 증거는 아직 찾지 못했다.

이번 취약점 공개는 Wiz가 다른 AI 플랫폼인 허깅 페이스에서 권한 상승과 교차 테넌트 접근을 허용할 수 있는 유사한 위험을 발견한 지 한 달 만이다.

이번 취약점은 AI-as-a-service 플랫폼과 관련된 내재적 위험, 특히 신뢰할 수 없는 모델의 배포와 관련된 위험이 증가하고 있다는 것을 말해주고 있다. AI가 다양한 산업 전반에 걸쳐 확산됨에 따라 AI 모델의 보안과 무결성을 보장하는 것은 매우 중요하다. 기업들은 이러한 취약점으로부터 데이터를 보호하기 위해 엄격한 보안 조치를 준비해야 할 상황이다.

★정보보안 대표 미디어 데일리시큐 / Dailysecu, Korea's leading security media!★