날이 갈수록 관심도가 높아지고 있는 생성형 AI에 대한 기대와 우려가 공존하고 있다.

최근에 ISO 42001(AI경영시스템: Artificial Intelligence Management System) 표준에서는 AI 관련 제품 및 서비스에 대한 AI 영향평가에 ‘AI 시스템의 전체 수명 주기를 통해 개인과 사회에 미치는 영향을 평가‘하라고 요구하고 있다.

개인(그룹)에 대한 영향으로는 공정성, 투명성, 정보보호, 프라이버시, 안전성, 경제적 영향 등을 평가하도록 하고 있다.

특히, 사회적 영향 평가에는 AI 시스템이 환경, 지속 가능성, 경제, 정부, 건강과 안전, 문화와 가치 등 사회의 광범위한 부분에 미치는 부분을 평가하도록 하고 있다.

그만큼 AI 시스템이 사회 전반적으로 미치는 영향이 크다고 볼 수 있다.

챗GPT(chat.openai.com)에 AI 활용 사례를 바탕으로 부정적 영향에 대한 얘기를 요청하자, 개인정보보호, 프라이버시 보호, 가짜 정보 탐지, 알고리즘 편향, 윤리적 문제, 평가 데이터 편향, 투명성과 책임성, 법규 준수 등을 자백(?)했다.

-개인정보보호: AI는 사용자 데이터를 처리하고 분석하기 때문에 개인정보 보호는 매우 중요합니다. 개인정보의 무단 접근, 누출 또는 오용을 방지하고 사용자 동의를 얻는 등의 보호 조치가 필요합니다.

-프라이버시 보호: 사용자의 활동을 추적하거나 개인적인 정보를 부적절하게 사용하지 않아야 합니다.

AI가 개인의 사진, 음성, 또는 텍스트 데이터를 수집하고 처리할 때, 개인정보 침해 문제가 발생할 수 있습니다. 예를 들어, 무허가로 개인의 얼굴을 인식하여 정보를 수집하는 기술이 사용되는 경우가 가능합니다.

-가짜 정보 탐지: AI는 가짜 정보, 허구 정보 또는 잘못된 정보를 식별하고 탐지하는 기능을 갖추어야 합니다. 이것은 정보의 신뢰성을 높이고, 거짓 정보로 인한 손해를 방지하는 데 도움이 됩니다.

-알고리즘 편향: AI의 알고리즘 편향 문제는 인공지능 시스템이 훈련 데이터나 개발 과정에서 특정한 편견이나 편향을 가지게 되어, 공정하지 않거나 부당한 결과를 도출하는 현상을 의미하며, 훈련 데이터가 특정 그룹이나 관점을 과도하게 대표하는 경우 발생합니다.

예를 들어, 훈련 데이터가 특정 인종, 성별, 지역, 또는 사회경제적 배경을 과소 또는 과대 대표하면, 이로 인해 해당 그룹에 대한 편향된 예측이나 결정이 이루어질 수 있습니다.

AI 모델의 설계 과정에서 특정 편견이나 가정을 내포하고 있는 경우도 발생할 수 있다. 이는 모델이 특정 유형의 입력 데이터에 민감하게 반응하거나, 특정 클래스 또는 그룹에 불리한 방식으로 판단하는 문제를 초래할 수 있다.

-평가 데이터 편향: 모델의 성능을 평가하기 위해 사용되는 데이터가 훈련 데이터와 유사한 편향을 가지는 경우에 발생합니다. 이로 인해 모델의 편향이 감지되지 않을 수 있으며, 모델의 편향을 수정하는데 어려움을 겪을 수 있습니다.

-윤리적 문제: AI는 알고리즘에 따라 보여주는 정보와 결과이기에, 결정이나 행동이 항상 윤리적인지 판단하기 어려울 수 있습니다.

그래서 알고리즘의 완전성과 지속적 개선이 중요한 이슈이고, 학습 데이터가 어떤 것인지 신뢰성과 투명성을 확보할 수 있어야 합니다.

-투명성과 책임성: 일반적인 정보주체가 AI 시스템의 작동 방식을 이해하기란 쉽지 않다.

그래서 제품이나 서비스 제공 주체가 AI 작동 방식과 의사 결정 과정에 대한 투명성을 제공해야 한다.

또한 AI 시스템의 오류나 부정확성으로 인한 책임을 어떤 식으로 해결할 수 있을지에 대한 고민도 필요하다.

특히, 공개 가능한 수준에서 중요하게 작용하는 알고리즘을 정보주체에게 이해 가능한 수준으로 알려줄 필요가 있다.

이는, 최근 개정된 개인정보보호법 제37조의2(자동화된 결정에 대한 정보주체의 권리 등) 4항에 개인정보처리자는 자동화된 결정의 기준과 절차, 개인정보가 처리되는 방식 등을 정보주체가 쉽게 확인할 수 있도록 공개하라고(24.3.15.시행) 한 만큼 충분한 가이드를 통해 개인정보 처리방침이나 AI Policy 페이지 등을 통해 공개하도록 유도하는 것이 필요해 보인다.

공개가 어려운 부분에 대해서도 제품이나 서비스에 대한 윤리 기준을 수립하고 이를 바탕으로 제품이나 서비스를 운영 있다는 것을 적극적으로 알려주는 것이 서비스 제공자의 책임이다.

또한, 이러한 부분은 객관적인 검증을 받아 그 신뢰성을 높이는 절차도 필요하다.

-법규 준수: AI 개발 및 사용은 관련 법규 및 규제를 준수해야 합니다. 개인 정보 보호법, 허가 및 규제에 따라 AI 시스템을 운영해야 합니다.

부정적 요인을 극복하기 위한 5가지 방안도 챗GPT에서 답을 주고 있다.

▶데이터 프라이버시 강화: 엄격한 개인 정보 보호법과 데이터 규제 도입.

▶알고리즘 투명성 증대: 알고리즘 작동 원리 공개 및 검증 가능한 방법 도입.

▶일자리 대체 전략: 새로운 일자리 창출을 위한 교육 및 훈련 프로그램 개발.

▶규제 강화: AI 시스템 운용에 대한 엄격한 규제와 감독 도입.

▶윤리 교육: AI의 윤리적 사용에 대한 인식 증진을 위한 교육 및 의식 조성.

최근, 미국 의회가 AI 규제 관련 법률에 대한 의견을 듣기 위해 주요 빅테크 기업 수장들을 초청한 자리에서, 생성형 AI의 대표주자인 챗GPT를 개발한 오픈AI의 샘 올트먼, MS 창업자인 빌 게이츠, 엔비디아의 젠슨 황, 구글의 순다르 피차이, MS의 사티아 나델라, 테슬라의 일론 머스크, 메타의 마크 저커버그 등 미국을 이끄는 빅테크 CEO 20명이 참석한 전례 없는 자리에서 동석한 60명 이상의 미 상원의원과 정부 관계자, 노동계 대표 등과 3시간 동안 열띤 토론을 벌여, "정부가 AI 규제에 역할을 해야 한다고 보느냐"라는 화두에 대부분의 CEO들이 동의한다는 의미에서 손을 들었다고 한다.

시스템 개발과 운영에 막대한 비용이 투자되는 만큼, 기존의 빅테크 기업이 AI 플랫폼 시장을 선점하는 방향으로 가고 있고, 이를 기반으로 다양한 서비스나 제품들에 플랫폼 기업의 AI 기능을 활용할 가능성이 커지고 있다.

따라서, 글로벌 빅테크 기업의 AI 플랫폼에 종속되는 방향으로 나아가지 않도록 해야 하고, 국민의 개인정보가 무분별하게 활용되지 못하도록 하면서 국내 경쟁력 확보를 위한 적절한 통제 논리를 고민해볼 필요가 있다.

자동차의 역할이 가속 패달로 달리기만 하는 기능만 있는 것이 아닌, 정지하고자 할 때 멈출 수 있어야 제대로 된 자동차라고 할 수 있듯, AI도 개인정보나 프라이버시 보호, 가짜 정보에 대한 검증 등 부정적 부분에 대한 적절한 통제가 가능할 때, 사회에 긍정적인 역할을 수행할 수 있을 것이다.

AI에 대한 과도한 기대나 막연한 두려움, 불안감을 잠재우기 위해서는 사회 구성원들에게 충분한 신뢰를 줄 수 있는 브레이크 기능이 필요하다.

브레이크 기능이 없는 AI는 그 자체로 스스로 발전을 막아서는 가장 큰 규제가 될 수 있다. [글. 박나룡 보안전략연구소 소장 (ISO/SAE 21434 인증심사원)]

◆한편 오는 11월 2일 데일리시큐 주최 국내 최대 인공지능 정보보호 컨퍼런스 AIS 2023이 개최된다. 인공지능과 정보보호를 주제로 다양한 주제 발표와 전시회도 함께 열릴 예정이다. 정보보호 담당자라면 누구나 참석 가능하다.

-AIS 2023 사전등록: 클릭

★정보보안 대표 미디어 데일리시큐 / Dailysecu, Korea's leading security media!★