[ET시론] AI 일상화를 위한 토대 'AI 안전'

생성형 인공지능(AI)의 등장을 신호탄으로 AI는 빠르게 우리 일상에 스며들고 있다. 최근 오픈AI가 동영상 생성 AI '소라(SORA)'를 공개하면서 AI의 새로운 가능성을 보여주는 등 주기적으로 혁신적인 AI가 출현하고 있는 상황이다. 다만, AI의 확산과 동시에 AI가 내재하고 있는 위험에 대한 우려도 같이 확대되고 있다.

세계적인 연구기관·국제기구·전문가들도 AI의 위험성을 경고하고 있다. 안토니우 구테흐스 UN 사무총장은 1월 다보스 세계경제포럼에서 “AI의 급속한 발전이 의도치 않게 심각한 위험을 초래할 수 있다”라고 경고한 바 있으며, AI의 대부로 알려진 제프리 힌턴 교수도 “AI로 인한 멸종 위험을 낮추는 것을 글로벌 사회의 최우선 과제로 삼아야 한다”라고 뉴욕타임스와 작년 5월에 인터뷰한 바 있다.

이러한 위험에 대비해 AI 선도국들은 이미 발 빠르게 움직이고 있다. 미국은 작년 10월 조 바이든 대통령이 AI 기술의 오용을 막기 위해 이전의 알고리즘 책임 법안보다 좀 더 강력한 의무를 AI 사업자에게 부과하는 '안전하고 신뢰할 수 있는 AI에 대한 행정명령'을 발표했는데, 이 명령은 AI 안전성 평가 의무화, AI의 안전성 표준 마련 등을 주요 내용으로 담고 있다. 유럽연합(EU)은 작년 10월에 27개 회원국 만장일치로 'EU AI법'에 합의하고, 올해 3월 법안을 통과시켰는데, 이 법안은 금지되는 AI, 고위험 AI, 투명성 의무가 부여되는 AI, 범용 AI 등 AI를 4종류로 나누어 AI 시스템 공급자의 의무사항을 규정하고 법 위반 시 과징금 부과를 명시하는 등 강력한 규제방안을 담고 있다.

'AI 안전' 관련 정책 추진 현황

AI의 급속한 발전에 따른 위험 양상은 크게 세 가지로 구분할 수 있다.

첫 번째는 AI의 작동방식을 이해할 수 없는 기술적 한계로 인해 AI 산출물에 오류, 환각 등이 발생하는 문제다. 실제로는 없거나 사실이 아닌 정보를 마치 사실인 것처럼 말하는 현상이다. 두 번째는 AI 사용자인 인간의 오·남용이다. 강력한 AI 능력을 활용하여 금전적 이득을 얻거나 특정인들에게 위해를 가하는 용도로 AI를 이용할 가능성이 증가하는 것으로, 딥페이크, 개인정보 침해, 금전 탈취, 가짜뉴스 제작·배포 등이 이러한 위험에 해당한다. 마지막 세 번째는 예측 불가능한 위험이다. 이는 AI 시스템에 과도하게 권한이 부여되거나 인간보다 뛰어난 능력을 갖춘 인공일반지능(AGI)이 일으키는 위험이며, 시스템의 제어권 상실, 인간에 대한 위해 등이 발생할 수 있는 위험으로 예측되고 있다.

이러한 AI 위험을 정의하고 대응하려는 노력은 국제기구, AI 선도국 및 빅테크들의 여러 메시지를 통해 다양한 형태로 나타나고 있다. UN은 AI 고위급 자문기구를 통해 AI의 위험을 정의한 바 있으며, 'AI 안전성 정상회의(AI Safety Summit)'에서는 프런티어 AI의 개념을 정립하고 오용, AI의 조종 능력 상실 등에 대한 위험을 언급했다. 또, 오픈AI·메타·MS·아마존·구글딥마인드·앤트로픽·인플렉션 등 AI 빅테크 7개 기업은 AI 모델 평가 및 오용 방지 등 안전성 관련 9개 영역에 대한 기업 내부 정책을 향후 공개하겠다고 밝혔다.

우리 사회는 이와 같은 AI의 다양한 위험에 대응하여 무엇을 할 수 있고 해야 할 것인지에 대한 중장기적인 검토가 필요할 것이다. 사전에 AI의 위험을 예측·정의해 선제적 예방조치를 하고 발생한 위험의 피해를 최소화할 수 있는 '대응시스템(Safeguard)'을 구축해 허용할 수 없는 위험에서 벗어날 수 있도록 하는 것이다. AI 위험으로부터 국민의 생명과 재산, 그리고 기본권에 발생하는 피해를 차단하고 완화하는 것이 우리가 앞으로 만들어가야 할 'AI 안전'이라 할 수 있겠다.

'AI 안전'에 대한 글로벌 공감대가 확산됨에 따라 세계 각국 정상 간 논의도 활발하게 진행 중이다. 그 첫 번째 결실인 'AI 안전성 정상회의'는 작년 11월 영국에서 개최돼 영국, 미국, 중국, 한국, EU를 포함한 28개국 이상이 AI 위험 대응을 위해 협력하고 공통의 접근방식을 확립해야 한다는 블레츨리 선언에 서명했다. 이 외에도 올해 3월 21일 개최된 UN 총회에서는 '지속 가능한 개발을 위한 안전하고 신뢰할 수 있는 인공지능 시스템에 대한 공동 접근방식' 결의안을 채택했고, 모든 회원국과 이해관계자들에게 “국제인권법을 준수하여 운영하는 것이 불가능하거나 인권 향유에 과도한 위험을 초래하는 AI의 사용을 자제하거나 중단할 것”을 촉구한 바 있다.

이러한 큰 흐름에 따라 이미 미국, 영국, 일본, 캐나다, 싱가포르 등 5개 국가가 AI 안전연구소를 설립해 AI 위험에 관한 평가체계 및 평가기준 조사·연구·개발과 관련 국가와의 국제협력 등을 수행하고 있다. 특히, 미국은 자국 기업을 중심으로 구성된 5개 분야의 민간 컨소시엄을 발족해 레드티밍(취약점 발견·검증을 위한 의도적 공격), 역량평가 등을 준비하고 있으며, 영국은 AI 기술전문가 채용을 통해 AI 시스템 안전성에 대한 기술평가 시행을 준비하고 있다.

우리나라도 지난 9일, 'AI 안전'을 포함해 AI 모델·반도체·서비스 등 9대 기술 혁신을 담아 AI 세계 3위 강국(AI G3) 도약을 위한 이니셔티브(AI-반도체 이니셔티브)를 발표했다. 조만간 서울에서 AI 안전·혁신·포용을 논의하는 'AI 서울 정상회의' 또한 개최할 예정이다. 우리나라가 AI 안전에 기반한 AI 글로벌 리더십을 선도할 수 있기 위해서는 'AI 기본법' 국회 통과가 절실한 상황이며, AI 안전 거버넌스 마련과 AI 안전에 관해 중장기적인 연구를 추진하는 전담기관 창설도 기대해 본다.

허성욱 정보통신산업진흥원(NIPA) 원장 nipapr@nipa.kr

지난해 11월 열린 AI 안전성 정상회의. [사진= 과학기술정보통신부 제공]

〈필자〉허성욱 NIPA 원장은 1993년 한양대 전자통신공학과를 졸업하고 기술고시를 통해 체신부에서 공직자 생활을 시작했다. 영국 요크대 경영대학원에서 경영학과 석사를 받았다. 정보통신부에서 인터넷정책과장, 네트워크기획과장, 정보보호기획과장을 거쳐 2012년 경제협력개발기구(OECD)에 파견 근무했다. 2018년 이후 청와대(과기보좌관실) 선임행정관, 기획재정부 혁신성장정책관을 역임했다. 과학기술정보통신부 정보통신정책관, 정보보호네트워크정책관, 네트워크정책실장 등 주요 요직을 거쳤다.

허성욱 NIPA 원장. [사진= NIPA 제공]