사람들은 알 수 없는 존재에 대해 두려움을 느낀다. 실질적 위협이 없더라도 단지 파악할 수 없는 것만으로 본능적 거부감이 생기는 것이다. '미래에는 인공지능(AI)이 주요 의사결정을 할 것이다' 'AI를 만든 인류가 오히려 AI에 종속될 것이다'라는 일각의 우려는 '깜깜이 AI'로 인해 그 존재의 실체와 범위를 파악할 없다는 두려움에서 기인한다. 특히 AI는 기존 소프트웨어(SW) 모델과 달리, 학습에 사용되는 광대한 데이터세트, 복잡한 매개변수 등으로 인해 개발자조차 정확히 어떤 과정을 통해 그러한 산출물이 나오는지 알기 어렵다는 특성이 있다. AI의 이러한 특성으로 인해 '인공지능 투명성(Trasnparency)'에 대한 관심이 높아지고 있다.
'유럽연합(EU) AI법'은 AI에 관한 세계 최초의 법률로, AI 투명성에 대해서도 규율하고 있다. EU AI법은 AI 투명성에 대해 '추적가능성(traceability)'과 '설명가능성(explainability)' 이라는 두 가지 키워드로 설명하고 있다. AI가 어떻게 작동되는지에 추적·설명할 수 있어야 한다는 것이다. 또 AI와 사람 간의 상호 작용과 의사소통이 필수적이어야 한다. 사람이 사용하고 있는 AI가 할 수 있는 것과 할 수 없는 것, 사용자의 권리에 대해 고지돼야 한다.
AI의 투명성을 구현하기 위한 구체적인 방법은 AI 시스템마다 다르다. EU AI법은 위험도에 따라 AI 시스템을 네 가지로 나누고 있는데, 투명성 의무 또한 시스템 분류에 따라 달리 적용된다.
우리가 일반적으로 사용하게 되는 챗봇, 생성형 AI는 제한적 위험도를 가진 AI 시스템에 해당한다. 제한적 위험도의 AI 시스템에는 기본적인 투명성 의무가 적용된다. 우선 사람이 AI 시스템과 상호 작용하고 있음을 알 수 있도록 설계되고 개발돼야 한다. 생성형 AI는 산출물에 대해 기계 판독이 가능해야 하고 사람이 해석할 수 있는 형태여야 하며, AI로 만들어졌다는 사실이 표시돼야 한다. 딥페이크의 경우에도 인위적으로 생성되거나 조작되었음이 명시되어야 한다. 또 사람의 감정을 인식하거나 생체정보를 인식하는 경우에는 AI 시스템이라는 점이 고지되어야 할 뿐만 아니라, 일반개인정보보호법(GDPR), 저작권법과 같은 기존 EU법령을 준수해야 한다.
전기, 가스, 수도와 같은 주요 기반시설, 사법 절차, 고용, 근로자 관리 등에 관한 AI 시스템은 고위험으로 분류된다. 고위험 AI 시스템의 경우에는 더욱 강력한 투명성 의무가 부여된다. 위험관리시스템을 수립해 실행해야 하고 데이터 거버넌스를 구축하여 데이터를 관리해야 한다. AI 시스템에 대한 정보를 알 수 있도록 기술문서을 작성해야 하고 로그 기록 관리도 필요하다. 또 시스템 오류를 모니터링하고, 문제 발생 시 그 산출물을 폐기하거나 시스템 중단까지 고려할 수 있도록 인간에 의한 감독이 가능해야 한다. 서비스를 출시하기전 해당 시스템에 정보를 EU 데이터베이스에 등록해야 하고, 감독기구가 요구할 경우 정보를 제공할 의무도 있다.
AI 시스템이 EU에서 출시되거나 서비스되지 않는 경우에도, 그 산출물이 EU에서 사용되기만 하면 EU AI법이 적용될 수 있다. 따라서 AI 서비스를 제공하는 기업 입장에서는 EU 서비스를 고려하지 않는 경우에도 EU AI법에 대한 확인이 필요하다. 더불어 우리나라에서도 AI 투명성에 대한 적절한 기준과 법률이 만들어지기를 기대한다.
고인선 법무법인 원 변호사 isgo@onelawpartners.com