전자신문은 'AI 세이프가드' 기획의 일환으로 세계적인 인공지능(AI) 석학 토비 월시 호주 뉴사우스웨일스대(UNSW) 교수를 서면 인터뷰했다. 월시 교수는 자율살상무기 규제 운동을 주도해온 대표적 AI 연구자로, 2018년 KAIST의 국방 AI 연구를 둘러싼 국제 학술교류 보이콧을 이끈 인물이기도 하다. 최근에는 신간 'God AI: Boom or Doom?'을 통해 초지능·싱귤래리티·실존적 위험부터 노동시장과 민주적 제도까지 AI가 인간 사회에 던지는 질문을 폭넓게 다뤘다. 월시 교수 인터뷰를 통해 초지능 시대의 위험과 통제, 한국에 필요한 AI 안전 거버넌스의 방향을 짚는다.
◇ 글 싣는 순서
① 틀린 답 넘어 제멋대로 행동하는 AI로…위험의 공식이 바뀌었다
② AI도 출시 전 '시험대' 오른다…싱가포르서 본 안전 산업의 최전선
③ 한국의 AI 안전망은 어디까지 왔나
④ “인류는 AI를 통제할 수 있는가”…글로벌 석학에게 묻다
⑤ 안전이 곧 AI 경쟁력…대한민국 '신뢰 생태계' 어떻게 만들까
“안전과 혁신은 반대 개념이 아닙니다. 항공산업은 사람들이 안전하다고 신뢰했기 때문에 성장했습니다. AI 역시 과학·의학·교육과 인간 삶을 개선할 위대한 선의 동력이 될 수 있지만 그 결과는 자동으로 오지 않습니다. 안전성, 테스트, 해석 가능성에 훨씬 더 많은 노력이 필요합니다.”
토비 월시 호주 뉴사우스웨일스대(UNSW) 교수는 AI를 둘러싼 '혁신이냐, 안전이냐'는 이분법적인 구분에 선을 그었다. AI는 과학과 의학의 발전을 앞당기고 교육을 개선하며 인간을 반복 노동에서 해방시킬 잠재력이 있지만 그런 미래가 저절로 찾아오는 것은 아니라는 것이다.
그는 AI 위험을 과장하거나 축소하는 대신 독립적 안전성 검증, 실질적 책임, 인간의 최종 통제권, 강한 공공 제도의 필요성을 강조했다. AI를 '위대한 선의 동력'으로 만들 수 있는 선택권이 인간에게 있다고 보고 강력한 AI를 출시하기 전 독립적인 안전성 검증을 거치고, 사고를 보고하며, 피해 발생 시 실질적인 책임을 묻는 제도를 기술 발전과 함께 구축해야 한다는 것이다.
그가 지난달 출간한 신간 '신과 같은 AI: 번영인가 파국인가? 기계가 인간을 넘어설 때 무엇을 기대해야 하는가(God AI: Boom or Doom? What to Expect When Machines Outsmart Us)'도 같은 질문에서 출발한다. 인간을 넘어선 초지능은 인류에게 전례 없는 번영을 가져올 것인가, 아니면 파국을 가져올 것인가라는 물음이다.
월시 교수의 답은 어느 쪽도 정해진 미래가 아니라는 것이다. 그는 “과대 광고(hype)와 재난론(doom) 양쪽 모두에 회의적이 돼야 한다”며 “우리의 운명을 결정하는 것은 기계가 아니라 우리”라고 강조했다.
'God AI'라는 표현에는 신과 같은 지능을 가진 가상의 기계라는 의미와 함께, 최근 AI 담론이 종교적 서사를 닮아가고 있다는 문제의식이 담겼다. 한편에서는 AI가 암과 난치병을 해결하고 과학의 난제를 풀며 풍요를 가져다줄 구원자가 될 것이라고 전망하고, 다른 한편에서는 인간보다 뛰어난 초지능이 통제에서 벗어나 결국 인류를 멸망시킬 것이라고 경고하는 것이다.
월시 교수는 두 극단을 모두 그대로 받아들이는 것을 경계했다. 초지능과 싱귤래리티, 재귀적 자기개선, 인류 멸종 가능성을 연구할 필요가 없다는 뜻이 아니라, 그것을 정해진 운명으로 여기기보다 AI의 위험을 시험하고 통제하는 공학과 제도의 문제로 돌려놓아야 한다는 설명이다.
그는 “'붐(boom)'과 '둠(doom)'은 선택지”라면서 “가장 걱정하는 것은 기계가 얼마나 지능적으로 변하느냐가 아니라, 우리의 제도가 얼마나 취약하느냐로, AI 위험을 신앙의 문제가 아니라 공학적·거버넌스적 문제로 다루는 편이 낫다고 생각한다”고 말했다.
◇“AI보다 취약한 제도가 더 걱정”…문제는 지능 아닌 '권력'
월시 교수가 AI의 미래를 이야기할 때 반복해서 꺼내는 단어는 '권력(power)'이다. 그는 “내가 가장 걱정하는 것은 기계가 얼마나 지능적으로 변하느냐가 아니라 우리의 제도가 얼마나 취약한가”라며 “도전 과제는 지능보다는 권력”이라고 강조했다.
AI가 인간보다 얼마나 똑똑해질지 못지않게 그 막강한 능력을 누가 소유하고, 누가 통제하며, 잘못 사용됐을 때 누가 책임질 것인지가 더 현실적인 문제라는 것이다. 소수 글로벌 기업이 최첨단 AI 모델과 데이터, 컴퓨팅 인프라를 독점하는 상황에서 정부와 사회가 기술기업의 판단만 믿고 있을 수 없다는 문제의식이다.
그는 “전기나 인터넷 같은 범용 기술은 소수의 손에 머물지 않았고 AI도 그러지 않을 것”이라면서 “AI 생태계를 개방적이고 경쟁적으로 유지해야 한다”고 강조했다.
월시 교수는 강력한 AI 시스템에 대해 출시 전 독립적 테스트와 사고 보고, 제품이 피해를 일으켰을 때의 실질적 책임이 필요하다고 제언했다. 국가 내부의 규제만으로 해결되지 않는 영역에는 자율무기 금지와 핵무기 의사결정에서 인간의 최종 통제권 유지와 같은 국제적 '레드라인'도 필요하다고 봤다.
그는 항공 산업을 AI와 비교하며 발전 속도에 맞춰 시험·책임·감독 역량도 함께 끌어올리는 것이 중요하다고 강조했다. 항공 산업이 사고를 불가피한 비용으로 받아들인 것이 아니라 원인을 조사하고 설계와 운항 규칙을 개선하며 신뢰를 높이면서 시장을 키운 것처럼 AI 역시 안전을 산업 성장의 장애물로만 바라봐서는 안 된다는 의미다.
◇답하는 AI에서 '행동하는 AI'로…“인간이 클릭만 하는 것은 통제 아니다”
생성형 AI가 사람이 질문을 입력하면 텍스트나 이미지를 만들어주는 데 초점이 맞춰졌다면, 최근 AI 에이전트는 브라우저를 사용하고 코드를 실행하며 여러 디지털 도구를 조작해 목표를 달성하는 방향으로 빠르게 발전하고 있다.
AI의 위험도 잘못된 답변에서 잘못된 행동으로 확대될 수 있다는 의미다. 챗봇이 틀린 답을 하면 사람이 이를 읽고 사용하지 않을 수 있지만, 에이전트는 잘못된 판단을 실제 행동으로 옮길 수 있고 여러 작업을 장시간 수행할수록 작은 오류가 누적될 가능성도 있다.
월시 교수는 특히 AI에게 사람의 삶에 중대한 영향을 미치는 최종 판단을 넘겨서는 안 된다고 강조했다. 그가 오랫동안 강조해온 '의미 있는 인간 통제' 원칙이다.
그는 “기계는 도덕적 주체가 아니다”라면서 “누군가의 생명, 자유, 생계에 중대한 결과를 가져오는 결정은 인간이 내려야 한다”고 강조했다. 이어 “에이전트에게 항공편 예약은 맡겨도 좋지만 누구를 구금하고 누구에게 대출을 거부하고 누구를 표적으로 삼을지는 결정하게 해서는 안 된다”고 부연했다.
월시 교수는 세계적으로 자율살상무기, 이른바 '킬러로봇' 규제를 가장 적극적으로 주장해온 AI 연구자 중 한 명이다. 2018년 KAIST가 한화시스템과 국방인공지능융합연구센터를 설립하자 월시 교수는 세계 30개국 AI·로봇 연구자들과 함께 KAIST에 대한 학술 교류 보이콧을 주도하기도 했다. 이후 KAIST 측이 자율무기를 개발하지 않고 인간 통제를 유지하겠다는 입장을 밝힌 뒤 보이콧은 철회됐다.
그는 최근 전장에서 AI 활용 상황과 관련해 “내가 두려워했던 것이 도래했다”면서 “우크라이나 전쟁은 무기 업체들의 쇼룸이 되었고 이란과 전쟁에서는 미국의 메이븐 시스템이 첩보 데이터를 융합해 사용할 무기를 추천하고 첫날 약 1000개의 표적이 타격됐다는 보도가 나오기도 했다”고 설명했다.
그러면서 “AI가 처리한 결과를 사람이 최종적으로 검토하는 '휴먼 인 더 루프(human-in-the-loop)' 방식을 적용한다고 하지만 기계가 만든 목록을 인간이 몇 초 만에 승인해야 한다면 그 판단은 사실상 고무도장 찍기(rubber stamp)가 될 위험이 있다”고 지적했다.
인간이 실제 정보를 검토할 시간과 권한을 갖고, 필요하면 AI의 판단을 거부할 수 있어야 의미 있는 통제가 된다는 설명이다. 사람이 단순히 의사결정 과정에 포함돼 있는지를 넘어 실질적인 결정권을 가지고 있는지를 봐야 한다는 주문이다.
◇한국에 “벌금 올리고 독립적 평가 역량 갖춰야”
한국에 대해서는 '독립적 검증 역량'과 '실효성 있는 책임체계'를 우선 과제로 꼽았다. 산업 경쟁력과 함께 기업으로부터 독립된 정부·공공의 전문성을 확보해야 한다고 조언했다.
월시 교수는 “AI 시스템을 독립적으로 테스트할 역량을 키우고 벌금도 크게 올려야 한다”며 “AI기본법 과태료 상한은 3000만원, 약 2만달러 수준으로 이는 관련 기업에는 푼돈에 불과하다”고 지적했다. 또 “AI를 이용한 사칭과 사기로부터 개인을 보호하는 장치도 강화해야 한다”고 강조했다.
그러면서 “한국은 반도체와 소비자가전, 로봇 분야에서 강점을 갖고 있기 때문에 계속 커지는 데이터센터 경쟁만 뒤쫓기보다 소형·고효율·온디바이스 AI를 이끄는 것이 더 적합하다”면서 “또 한국은 네덜란드와 함께 군사 AI 관련 REAIM 정상회의를 공동 창설한 만큼 무기에 대한 인간의 통제를 국제적으로 밀어붙일 실질적인 신뢰도도 이미 갖추고 있다“고 조언했다.
월시 교수는 자국인 호주 정부에도 상당히 비판적인 목소리를 내왔다. 지난 2월 호주 내셔널프레스클럽 연설에서는 호주가 AI 혁명에 대해 “위험할 정도로 준비되지 않았다”고 강하게 비판했다. 당시 그는 AI의 경제적 가능성을 활용할 투자도 부족하고, 사회적 위험에 대응할 규제와 공공 전문성도 충분하지 않다고 지적했다. 특히 정부가 추진했던 상설 독립 AI 자문기구 설립 계획을 폐기한 점 등을 문제 삼았다.
이후 호주는 지난 6월 AI안전연구소를 공식 가동했다. 연구소는 새로운 AI 모델과 애플리케이션을 분석·시험하고, 정부 규제기관이 새로운 위험에 대응할 수 있도록 지원하는 역할을 맡았다. 7월에는 총리·내각부 내에 'Office of AI'도 설치돼 정부 부처 간 AI 정책 조율과 새로운 AI 기준 설계·입법 작업을 맡고 있다. 8월에는 호주 의회에 AI 공동특별위원회도 출범했다.
◇“AI가 당신을 대체하는 게 아니다…AI를 쓰는 사람이 경쟁자”
AI가 노동시장에 미칠 영향도 월시 교수가 지속적으로 강조하는 문제다. 그는 AI가 모든 사람의 일자리를 빼앗는것 보다는 AI를 잘 사용하는 사람과 그렇지 않은 사람 사이의 생산성 격차가 먼저 벌어질 가능성에 주목한다. 그는 노동자들에게 AI를 피하기보다 직접 배우고 사용해보되 모든 사고와 판단을 AI에 외주화하지 말라고 조언했다.
월시 교수는 “우리는 이미 체스, 바둑, 단백질 접힘에서 인간을 뛰어넘는 시스템과 함께 살고 있다”면서 “의존하지 않고 혜택을 누리려면 중요한 결정은 인간이 책임지도록 하고 넘겨주는 능력도 인간이 계속 익히고 있어야 한다”고 강조했다.
이어 “GPS가 우리의 방향 감각을 그렇게 만들었듯이 연습을 멈춘 능력은 사라진다”며 “그러니 계속 AI를 협력자(collaborator)로 사용해야지 목발(crutch)로 사용해서는 안 된다”고 AI가 만든 결과를 이해하거나 검증할 수 없는 상태까지 의존해서는 안 된다고 강조했다.
기업 차원에서도 AI 도입을 단순한 인력 감축 수단으로만 바라봐서는 안 된다고 강조했다. AI가 반복적인 초급 업무를 수행할 수 있게 되면서 신입이나 주니어 개발자·사무직을 덜 뽑으려는 유인이 커질 수 있지만 오늘의 주니어가 사라지면 미래의 숙련 인력도 생겨나지 않기 때문이다.
그는 “단순히 감원하지 말고 일의 구조를 다시 설계해야하며 입문 단계 일자리를 틀어막지 말아야 한다”면서 “AI 도입 과정에 직원들을 참여시켜야 하며 노동시간의 단축 같은 생산성 향상의 과실을 광범위하게 공유해야 한다”고 말했다.
◇“관계·장인정신·호기심을 지켜라”…마지막 답은 인간
월시 교수의 AI 안전론에서 눈길을 끄는 것은 기술적 테스트만큼 사회적 제도를 강조한다는 점이다. 그는 안전한 AI 미래를 위해 “AI 리터러시와 권력을 견제하는 제도의 보호가 필요하다”며 구체적으로 법원과 언론의 자유, 선거를 언급했다.
그는 “생명이 걸린 이렇게 큰 산업 중 자기 규제에 맡겨진 곳은 어디에도 없다”면서 “소비자 보호, 프라이버시, 저작권, 경쟁법 등 이미 있는 법을 AI 기업에 대해 집행할 필요가 있다”고 말했다.
또 “정부 내부에 독립적 전문성을 키우고 공공 연구에 자금을 지원해야한다”면서 “이를 통해 규제자가 감시 대상 기업에 의존하지 않을 수 있다”고 설명했다. 그러면서 “자율무기, 선거 딥페이스, 핵 지휘통제 같은 국제적 레드라인에 합의해야한다”고 덧붙였다.
그의 저서 'God AI'는 '번영인가 파국인가(Boom or Doom?)'으로 시작해 '초지능(Super Intelligence)', '싱귤래리티(The Singularity)', '실존적 위험(X-Risk)', 'AI 멸종(AI Extinction)'으로 이어진다. 하지만 AI 멸종이 결론은 아니다. '한계(Limits)'를 거쳐 마지막 장은 '사랑이 넘치는 기계들(Machines of Loving Grace)'로 끝난다. 마지막 장 '사랑이 넘치는 기계들'은 책 전체의 결론과도 같다. 초지능과 싱귤래리티, 실존적 위험과 멸종 가능성을 검토한 뒤 다시 인간에게 돌아오는 것이다.
기술적으로는 안전성 시험과 독립적인 검증, 해석 가능성이 필요하고, 제도적으로는 출시 전 평가와 사고 보고, 피해에 대한 책임이 필요하다고 강조한다. 또 국제사회에는 자율살상무기와 핵무기처럼 인간이 넘겨서는 안 될 의사결정의 선을 정하는 것이 중요한 과제다. 사회적으로는 AI를 이해하는 시민의 역량을 키우고 권력 집중을 견제하는 법원·언론·선거 같은 제도를 지키며, 생산성의 혜택이 사회 전반으로 퍼지도록 해야 한다.
개인에게 남긴 조언은 더 단순하다. 그는 “AI를 배워 사용하되, 삶을 인간답게 만드는 것들, 관계, 장인정신(craft), 호기심을 지키라”고 말했다.
그는 “우리의 운명을 결정하는 것은 기계가 아니라 우리이며 나는 여전히 낙관적”이라면서 “AI가 우리에게 더 많은 시간, 더 나은 건강, 더 큰 번영을 주는 미래를 우리가 만들어낼 수 있다고 믿는다”고 강조했다.
정현정 기자 iam@etnews.com
