편집자주: 다양한 현상들에 대한 원인과 결과의 관계를 데이터로부터 알아내는 인과추론 작업이 마케팅 시장의 화두로 부상했다. 비즈니스 분야에서도 신중한 데이터 수집과 분석을 기반으로 새로운 지식을 창출해야 경쟁력을 갖출 수 있다는 분석이 지배적이다. 전자신문은 4회에 걸친 전문가들의 시각을 통해 인과추론에서 마케팅 로봇까지의 전체 인사이트를 정리해본다.
<글 싣는 순서>
1. 데이터를 바라보는 새로운 눈 : 단순AI를 넘어 인과AI의 시대로
2. 마케팅 성과분석의 진화 : 성공과 실패의 원인을 밝히다
3. 데이터의 무한확장 : AI기반 초개인화 마케팅 시대로
4. 국경 없는 디지털지도를 질주하는 자율마케팅로봇
◆데이터를 바라보는 새로운 눈 : 단순AI를 넘어 인과AI의 시대로
데이터 경제로의 전환을 위한 노력이 전 방위적으로 진행되고 있다. 금융·제조·유통·마케팅 등 다양한 산업분야에서 데이터 기반 의사결정시스템이 속속 도입된다. 정부는 엄청난 예산이 투입되는 데이터댐 사업을 통해 데이터 경제의 인프라 구축에 힘을 쏟는다. 데이터를 모으고 분석하고 이를 통해 새로운 지식을 찾아내는 능력인 데이터과학이 국가경쟁력의 핵심으로 자리 잡고 있다.
최근 인과추론이 데이터 과학의 새로운 화두로 떠올랐다. 인과추론이란 다양한 현상들에 대한 원인과 결과의 관계를 데이터로부터 알아내는 작업이다. 이자율과 물가와의 관계, 거리두기 강화와 코로나 확진자수와의 관계, 칼로리와 체중과의 관계 등은 잘 알려진 인과관계며, 이러한 관계는 데이터를 통해서 쉽게 확인할 수 있다. 나아가 우리가 생각하지 못했던 놀라운 인과관계도 데이터로 찾을 수 있다. 다국적 제약회사인 노바티스는 2001년에 만성골수성 백혈병의 원인이 되는 유전자를 발견하고, 이를 바탕으로 백혈병치료제를 개발하는 쾌거를 이뤘다. 2021년에는 노벨 경제학상을 인과추론 연구자들이 수상했다. 바야흐로, 인과추론의 시대가 열리고 있다.
데이터로부터 새롭고 유용한 인과관계를 발견하는 작업은 생각보다 어렵다. 이혼을 경험한 사람의 수명이 결혼을 잘 유지하는 사람에 비해서 짧다는 상관관계는 데이터로 부터 쉽게 확인 할 수 있지만, 이를 바탕으로 이혼이 수명에 나쁜 영향을 미친다는 인과관계적 결론을 내리는 것은 성급할 수 있다. 건강이 나쁜 사람이 이혼을 많이 할 수도 있기 때문이다. 보통 건강하지 못한 사람이 경제적으로 취약한데, 경제적 상황이 이혼에 큰 영향을 줄 수 있기 때문이다.
소규모 실험 데이터를 기반으로 연구·이용됐던 인과추론이 빅데이터와 함께 그 응용분야가 급격히 확장되고 있다. 전 지구적 문제인 질병이나 기후변화의 원인을 찾는 문제에 인과추론이 사용된다. 미국 DARPA(국방부 산하 고등연구계획국)는 2016년도부터 빅데이터에서 인과관계를 찾아내는 연구에 대규모 투자를 하고 있다. 빅데이터 기반 인과추론은 기존 초거대 AI 알고리즘 기반 예측방법론의 한계를 뛰어 넘는 기술로 평가받고 있다. 개인의 다양한 정보를 이용해 특정 질병에 걸리는 가를 예측하는 일은 기존 AI알고리즘이 훌륭하게 수행할 수 있다. 그렇지만 어떤 속성 때문에 질병이 유발되는 가에 대해서는 AI 알고리즘이 얘기하지 않는다. 인과추론으로 데이터를 들여다보면 초거대 AI가 제공하지 못하는 보다 근본적이고 창의적인 질문에 대한 답을 얻을 수 있다. 선진국들이 인과추론에 투자를 아끼지 않는 이유이다.
비즈니스에서도 인과추론이 사용되기 시작했다. 최근 플랫폼 회사들이 유료 회원제 서비스를 제공하고 있다. 매월 일정액을 내면 다양한 서비스를 무료로 이용할 수 있는 서비스이다. 네이버 회원이 되면 음악이나 웹툰 등을 무제한으로 즐길 수 있고, 쿠팡 회원이 되면 특별배송서비스를 받을 수 있다. 그런데, 이러한 유료 회원제 서비스가 매출액 증가에 도움이 되는지, 즉 유료회원제 서비스가 매출액 중가의 원인이 되는지에 대해서는 아직도 명확하게 밝혀지지 않았다. 신중한 데이터 수집과 분석이 요청되고 있다. 원래 서비스에 관심이 있는 고객들만이 회원이 되는 것은 아닌지 면밀히 살펴봐야 한다.
구슬도 잘 꿰어야 보배가 되듯, 데이터도 잘 분석해야 가치를 창출 할 수 있다. 인과추론의 눈으로 데이터를 볼 수 있는 능력이 비즈니스 경쟁력 확보의 핵심역량이 되고 있다.
김용대 서울대 통계학과/데이터사이언스 대학원 교수, 오브젠 AI 자문교수. ydkim@stats.snu.ac.kr