클라우데라, 엔비디아 NIM 내장 ‘AI 인퍼런스’ 출시

클라우데라(한국지사장 최승철)가 생성형 AI 개발과 배포를 가속하기 위해 엔비디아(NVIDIA)의 추론 마이크로서비스인 엔비디아 NIM로 구동되는 ‘클라우데라 AI 인퍼런스(Cloudera AI Inference)’를 출시했다고 밝혔다.

클라우데라 AI 인퍼런스는 NIM 기능을 제공하는 AI 추론 서비스 중 하나다. 대규모 AI 모델의 배포와 관리를 혁신적으로 간소화해 기업이 데이터를 최대한으로 활용하고, 생성형 AI를 파일럿 단계에서 완전 생산 단계로 완성할 수 있게 한다.

딜로이트(Deloitte)의 최근 조사에 따르면 기업의 생성형 AI 도입은 규제 리스크와 거버넌스 문제에도 불구하고 빠른 속도로 진행되고 있으며, 올 3분기에 3분의 2 이상의 기업이 생성형 AI 예산을 늘린 것으로 나타났다. 규제, 거버넌스 문제를 해결하기 위해서는 AI 모델과 애플리케이션을 온프레미스나 퍼블릭 클라우드에서 안전하게 운영해야 한다. 이 경우에는 직접 복잡한 접근 방식은 지양하고, 보안성과 확장성을 갖춘 솔루션이 필요하다.

클라우데라 AI 인퍼런스는 기업이 안전한 개발과 배포를 진행할 수 있도록 민감한 데이터가 비공개 영역을 벗어나 공급업체가 호스팅하는 AI 모델 서비스로 유출되는 것을 방지한다. 해당 서비스는 엔비디아 기술을 기반으로 신뢰할 수 있는 데이터를 구축해 신뢰할 수 있는 AI를 지원한다. 결과적으로 빠른 속도로 AI 챗봇, 가상 비서, 에이전트 애플리케이션의 효율적인 개발을 도와 기업의 생산성 향상과 신규 사업 성장에 기여한다.

디지털 전환, AI 통합의 복잡성 해결이 중요해진 시점에 출시된 클라우데라 AI 인퍼런스는 엔비디아와 협력한 결과물로, 기업 AI 혁신을 주도하는 클라우데라의 의지를 보여준다.

개발자들은 엔비디아 텐서코어(Tensor Core) GPU를 사용해 최대 36배 더 빠른 성능과 CPU 대비 약 4배 더 높은 처리량으로 엔터프라이즈급 대형 언어 모델(LLM)을 구축, 맞춤화, 배포할 수 있다. 또한 UI, API가 엔비디아 NIM 컨테이너와 직접 통합돼 명령줄 인터페이스(CLI), 별도의 모니터링 시스템이 필요없어 원활한 사용자 경험을 느낄 수 있다.

클라우데라 AI 모델 레지스트리와의 서비스 통합은 모델 엔드포인트와 운영에 대한 접근 제어를 관리해 보안과 거버넌스를 강화한다. 사용자는 LLM 배포나 기존 모델 전부를 하나의 서비스에서 원활하게 관리할 수 있는 통합 플랫폼의 이점을 누릴 수 있다.

딥토 차크라바티(Dipto Chakravarty) 클라우데라 최고제품책임자(CPO)는 “엔비디아와 협력하는 클라우데라 AI 인퍼런스를 선보이게 돼 매우 기쁘다. 이를 통해 모든 모델과 사용 사례를 지원하는 단일 AI/ML 플랫폼을 제공해 기업들이 클라우데라의 소프트웨어로 강력한 AI 애플리케이션을 만들고, 고성능 AI 애플리케이션을 클라우데라에서 실행할 수 있게 됐다”며, “클라우데라는 엔비디아 AI 통합을 통해 향상된 성능으로 더 스마트한 의사 결정을 지원한다. 신뢰할 수 있는 데이터를 기반으로 신뢰할 수 있는 AI 애플리케이션을 구축해 고객을 위한 혁신을 지원하고 있다”고 말했다.

클라우데라코리아 최승철 지사장은 “한국 기업들 사이에서 AI 도입 가속화에 대한 관심이 높아지고 있는 가운데, 클라우데라 AI 인퍼런스는 대규모 AI 모델의 안전한 배포 및 간소화된 관리를 지원한다”라며 “클라우데라는 기업이 온프레미스, 클라우드 등 환경에 구애받지 않고 AI 애플리케이션을 유연하게 운영하며, 보안과 규제 준수까지 충족할 수 있도록 지원한다. 클라우데라는 데이터 활용과 AI 혁신 모두를 이룰 수 있도록 최선을 다하겠다”고 말했다.

클라우데라 AI 인퍼런스에 대한 자세한 내용은 클라우데라 블로그에서 확인할 수 있다.

★정보보안 대표 미디어 데일리시큐 / Dailysecu, Korea's leading security media!★