우리 연구진이 인간 행동과 감정을 이해하는 인공지능(AI) 개발을 목적으로 축적한 데이터를 일반에 공개하고, 이를 활용한 논문경진대회를 개최해 성공리에 마쳤다.
한국전자통신연구원(ETRI)은 AI 기술개발에 필요한 라이프로그 및 멀티모달 감정 데이터셋을 공개하고, 이를 활용한 창의적 연구 발굴·확산을 위해 과학기술정보통신부와 국가과학기술연구회(NST) 후원을 받아 '2022 ETRI 휴먼이해 AI 논문경진대회'를 개최했다고 5일 밝혔다.
연구진은 AI 기술 개발을 위해 그간 라이프로그와 멀티모달 감정 데이터를 축적해왔다. 축적된 데이터는 연구자들이 자유롭게 활용할 수 있도록 올해 초, 'ETRI AI 나눔' 플랫폼에 공개했다.
ETRI는 공개 데이터를 기반으로, 창의적인 AI 연구 발굴과 확산을 목표로 이번 논문경진대회를 개최했다. 대학과 대학원 및 기업 등을 대상으로 열린 본 대회는 지난 6월 30일까지 약 3개월간 진행됐으며, 총 36개 팀이 참가했다.
참가자들은 ETRI가 축적한 라이프로그와 멀티모달 감정 데이터 2가지 분야의 데이터 중 하나를 택해 논문을 작성했다.
라이프로그 데이터는 스마트폰과 손목밴드 등 센서와 사용자가 직접 입력한 행동·환경·감정 정보를 활용해 일상생활 중 다양한 경험과 상황을 이해하기 위해 구축됐다. ETRI는 2018년부터 70여 명의 실험자를 통해 1만4000시간이 넘는 데이터를 구축했다. 이는 현재까지 공개된 라이프로그 데이터 중에선 국내 최대 규모다. 참가자들은 라이프로그 데이터를 활용하여 행동, 의미장소, 이동 수단을 인식하거나, 일상·비일상의 라이프 패턴 등 인간의 경험을 이해할 수 있는 AI 기술 분야 논문을 작성했다.
멀티모달 감정 데이터는 40명의 성우를 통한 상황극과 80명에 달하는 일반인의 자유 발화를 통해 구축됐다. 발화 및 텍스트뿐만 아니라, 7가지 감정 레이블과 신체 반응 등 데이터를 모두 포함하고 있다. 이 멀티모달 감정 데이터를 활용해 참가자들은 감정 데이터의 불균형 완화 방법, 멀티모달 특징 혼합 방법 등 딥러닝 기반 멀티모달 감정 인식 기술과 관련된 논문을 작성했다.
ETRI는 대회 주관사인 인공지능팩토리와 함께 5월까지 접수된 논문을 1차 평가해 총 7팀을 선정했다. 그리고 지난달 30일 열린 발표 심사에서 대상 1팀과, 우수상 2팀, 그리고 장려상 4팀을 최종 선정했다. 대상 1팀과 우수상 2팀은 과학기술정보통신부 장관상을 받았으며, 장려상 4개 팀에는 ETRI 원장상이 수여됐다.
이번 대회 대상은 서강대 'Sogang-ISDS'팀이 차지했다. Sogang-ISDS팀은 한국어 기반 멀티모달 감정 데이터셋 발화 음성 및 문맥적 의미 데이터를 결합해 학습하는 'MLP-Mixer' 구조를 활용, 대화에서의 멀티모달 감정 인식 방법을 제안했다.
KAIST에서 출전한 도래미솔팀은 라이프로그 분야에서 오디오와 텍스트 정보를 혼합해 감정을 예측하는 모델을 제안하여 우수상을 받았다. 또 성균관대에서 출전한 디비디비딥팀은 각성도 및 긍부정도의 싱글모달 사전학습 예측 모델 기반 멀티모달 감정인식 모델을 제시해 우수상을 수상했다.
이윤근 ETRI 인공지능연구소장은 “오늘날 AI는 영상 인식, 음성인식을 넘어 인간을 이해하고, 교감하는 기술로 진화하고 있고 이번 대회는 그간 ETRI가 쌓아 온 AI 데이터를 기반으로, 연구자들의 다양하고 창의적인 아이디어를 엿볼 수 있었던 귀중한 시간이었다”며 “앞으로도 정기적인 대회 개최를 통해 AI 관련 연구가 활기를 띨 수 있도록 노력하겠다”고 말했다.
ETRI는 그동안 사람 감정을 이해하고 행동을 인식하는 '휴먼이해 AI' 기술을 연구해오면서 이번 대회를 개최할 수 있었다. 이번 대회는 국내 연구진의 참여를 독려하고 학술적인 완성도를 확보할 수 있도록 한국정보과학회와의 협력 하에 2022 한국컴퓨터종합학술대회(KCC2022) 행사의 일환으로 진행했다. ETRI는 앞으로도 행동·감정 인식도를 제고하는 휴먼이해 AI 기술의 완성도를 높이는 한편, 기술 확산과 발굴을 위해 정기적으로 대회를 이어 나갈 예정이다.
김영준기자 kyj85@etnews.com
