한국과학기술원(KAIST·총장 이광형)이 미지 영역인 딥러닝 의사결정을 설명하는 데 도움이 되는 기술을 개발했다.
KAIST는 최재식 김재철AI대학원 교수(인이지 대표) 연구팀이 AI 딥러닝 의사결정에 큰 영향을 미치는 입력 변수 기여도를 계산하는 세계 최고 수준 기술을 개발했다고 23일 밝혔다.
딥러닝 모델은 모델 구조가 비선형적이고 복잡하다. 입력 데이터도 고차원이어서 모델 예측 근거를 제시하기 어렵다. 이는 딥러닝을 국방, 의료, 금융과 같이 의사결정 근거가 필요한 작업에 적용하는 데 걸림돌이 된다.
연구팀은 딥러닝 모델이 국소적인 입력 공간에서 보이는 입력 데이터와 예측 사이 관계를 기반으로 연구했다. 입력 데이터 특징 중 모델 예측 기여도가 높은 특징만을 점진적으로 추출해나가는 알고리즘과 그 과정에서의 입력-예측 사이 관계를 종합하는 방법을 고안했다. 그 결과 모델 예측 과정에 기여하는 입력 특징의 정확한 기여도를 계산했다. 이 기술은 다양한 기존 학습 모델에도 적용 가능하며, 딥러닝 예측 모델 판단 근거를 제공함으로써 딥러닝 모델 활용성에 크게 기여할 것으로 기대된다.
연구팀은 이미지 분류 모델인 VGG-16, 레스넷(ResNet)-18, 인셉션-v3에서 개발 기술이 입력 기여도 계산에 효과가 있음을 확인했다. 개발 기술은 구글의 입력 기여도 측정 기술 대비 LeRF/MoRF 점수가 각각 최대 0.436/0.020 개선됨을 보였다. 특히, 입력 기여도의 시각화를 비교했을 때, 기존 방식 대비 잡음이 적고 주요 객체와 잘 정렬됐으며 선명한 결과를 보였다. 연구팀은 여러 가지 모델 구조에 대해 신뢰도 높은 입력 기여도 계산 성능을 보임으로써, 개발 기술의 유효성과 확장성을 보였다.
전기영 연구원은 “딥러닝 모델 국소 지역에서 계산된 입력 기여도를 기반으로 상대적인 중요도가 낮은 입력을 점진적으로 제거하며, 이런 과정에서 축적된 입력 기여도를 종합해 더욱 정확한 설명을 제공할 수 있음을 보였다”며 “딥러닝 모델에 대해 신뢰도 높은 설명을 제공하기 위해서는 입력 데이터를 적절히 변형한 상황에서도 모델 예측과 관련도가 높은 입력 특성에 주목해야 한다”고 말했다.
인이지의 전기영 연구원, 정해동 KAIST 김재철AI대학원 연구원이 공동 제1 저자로 참여한 이번 연구는 오는 12월 1일, 국제 학술대회 '신경정보처리학회(NeurIPS) 2022'에서 발표될 예정이다.
김영준기자 kyj85@etnews.com
