[AI 사피엔스 시대]<기고>인공지능은 과연 믿을 수 있는 기술일까?

김명주 서울여자대학교 교수(바른AI연구센터장, 정보보호학과 학과장)

이세돌 9단과 인공지능(AI) 알파고가 세기의 바둑대결로 사람들을 깜짝 놀라게 했던 2016년.

“AI는 장차 인류를 구원할 것인가? 아니면 멸망시킬 것인가?”라는 제목으로 기고한 스티븐 호킹 박사의 글이 영국 BBC에 대대적으로 방송됐다. 기다렸다는 듯이 일론 머스크 테슬라 회장, 빌 게이츠 마이크로소프트 회장도 “AI는 인류의 마지막 기술일 수 있다”는 경고를 내놓기 시작했다.

너도나도 AI 연구와 도입에 심혈을 기울이는 분위기 속에 세계적으로 유명한 학자와 기업인이 쏟아내는 경고는 충분히 주목할 만한 가치가 있었다. AI가 사회적으로 확산될수록 'AI이 인류가 믿을만한 것인가'에 대한 질문이 꼬리를 물기 시작했다. 그래서 신뢰할 수 있는 AI, 견고한 AI, 공정한 AI, 안전한 AI, 투명한 AI 등 수식어가 붙으면서 AI가 반드시 갖춰야할 요소로 보안과 윤리 이슈가 등장했다.

이미 AI는 우리 생활 곳곳에서 자리 잡고 그 영향력을 과시하고 있다. 이미 상용화된 자율주행차는 자동차에 적용된 대표적 AI 산물이다. 미국자동차기술협회(SAE) 기준에 의한 자율주행차 수준은 모두 5단계로 구분되는데, 4단계부터는 사람이 전혀 개입하지 않는 완전자율주행단계다. 조만간 우리나라 국토교통부는 그 바로 아래 단계인 3단계 자율자동차 안전기준을 마련해 일반 판매를 허용할 예정이다. 자율주행 3단계만 해도 출발, 주정차, 주행, 도로상황대처 등 대부분을 자동차가 스스로 결정하며 예외적인 상황에서만 사람이 개입한다.

그런데 2016년 자율주행차 테슬라가 자율주행 도중에 전방의 트레일러를 하늘로 잘못 인식하여 들이받아 운전자가 그 자리에서 사망하는 사고가 발생했다. 이후에도 자율주행차 관련 사고가 발생하면서 AI의 안전성과 책임성에 대한 논란이 급물살을 타고 있다. 자율주행차 안의 AI가 잘못 동작한다면 운전자는 어떻게 대처해야 할까. 내가 몰고 있는 자율주행차가 해커에 의해 해킹될 가능성은 과연 전혀 없는 것일까.

2017년 구글에서 AI가 사물을 잘못 인식하도록 유도하는 적대적 패치 기술을 발표하자 AI의 신뢰성에 대한 의구심이 더 커졌다. 교통표지판에 특정한 모양의 패치를 고의적으로 붙이면 자율주행차가 이 표지판을 오인하는 것인데 이것은 자칫 교통사고로 직결된다. AI에 대한 고의적 해킹사고 사례로 볼 수 있는 것이다.

2018년 미국에서 열린 해킹 콘퍼런스에서 IBM은 '딥로커(DeepLocker)'라는 AI 기반 악성코드를 처음으로 발표했다. 보통 때는 정상적으로 동작하던 AI가 특정한 사람 얼굴을 인식하는 순간에 숨겨놓은 악성코드를 배포하거나 비정상적 동작을 실행하는 것이다. 일반적으로 AI를 도입해 활용하려면 효과적인 오픈소스코드를 선별한 후 이를 인용해 사용하는 것이 보통이다. 이러한 오픈소스코드 속에 비정상코드가 미리 숨겨져 있는지를 검증하지 못한 채 사용하면 사회적 파급력은 심각해진다.

AI와 관련해 우려하는 또 다른 이슈는 개인정보 유출 관련 부분이다. AI 학습 시 많은 데이터를 미리 학습한다. 데이터 가운데 개인정보가 포함되면 도치공격이나 유추공격을 통해 학습된 개인정보를 역으로 추출해낼 수 있으며 이를 기반으로 추가 해킹 공격의 발판을 삼을 수 있다. 특히 AI가 다른 정보화기기나 통신기기 등과 결합해 사용되면 해킹에 의한 개인정보유출은 더 심각해진다.

최근에 국내 대학 연구소에서 우리나라에 시판 중인 국내외 대표적 AI 스피커에 대해 해킹 취약점을 분석한 결과 최소 300여개 이상 취약점이 존재함을 발견했다. 이런 상황이라면 장차 AI 스피커는 개인정보 유출, 사생활 침해의 온상이 될 수 있다.

AI에 대한 미래 연구를 추진하고 투자를 진행할 때 AI 기술 자체에 대한 것 못지않게 중요한 영역이 바로 AI의 신뢰성, 안정성, 보안, 윤리 등에 대한 연구다. 다행히도 과기정통부는 다음 세대 AI 연구투자계획에 이 흐름을 놓치지 않았고 투자 비중 역시 크게 두면서 AI 미래전략 청사진을 제시하고 있다. AI가 인류의 마지막 기술이 되지 않고 지속가능한 미래 기술로 자리 잡으려면 신뢰 가능한 AI에 대한 투자와 연구는 반드시 병행돼야 한다.

mjkim@swu.ac.kr