AI 에이전트 개발시 놓치면 안될 3가지 원칙은?

박성준 태재대 교수, 기획자와 디자이너 대상 UX 설계 방향 제시

박성준 태재대학교 교수
박성준 태재대학교 교수

“AI 에이전트에서 가장 중요한 것은 자율성(Autonomy)이다. 챗GPT와 같은 생성AI의 경우 프롬프트로 명령을 내리지 않으면 혼자 움직일 수 없다. 자율성이 없다는 것이다. AI가 주체적으로 자율성을 갖고 알아서 움직이는 것이 바로 AI 에이전트의 주요 특징이다.”

박성준 태재대학교 교수는 12월 5일 잠실 광고문화회관에서 열리는 “AI에이전트가 가져올 비즈니스 변화와 기업의 대응' 세미나에 앞서 가진 인터뷰에서 AI 에이전트의 특징에 대해 이렇게 밝혔다.

박성준 교수는 삼성전자 UX그룹 그룹장, SK텔레콤 수석 UX디자이너, 도쿄 공업대 리서치 펠로우를 역임한 뒤 미국 서배너예술대학에서 각종 AI 프로젝트를 수행한 인공지능 UX 전문가이다. 그는 이어 상명대학교 AI+X 융합센터 센터장을 맡다가 최근 태재대학교 데이터과학과 인공지능학부 부교수로 인간 중심 AI 센터 센터장을 맡고 있다.

박성준 교수는 “AI 에이전트는 자율성을 갖도록 한다는 것이 핵심이기는 하지만 사용자의 개입이 아예 없는 완벽한 자율성을 갖추기는 현실적으로 어렵다”면서 “결과적으로는 사용자의 개입을 얼마나 최소화할 것인지가 AI 에이전트 개발시 핵심이 될 것”이라고 말했다.

박 교수는 사용자의 개입을 최소화하기 위해서는 AI 에이전트가 사용자의 개인 취향 및 선호도를 명확히 알아야 가능한 일이라고 설명했다. 결국 AI 에이전트가 사용자의 다양한 개인정보를 기억해야 한다는 것이며, 이는 AI 에이전트가 개인의 프로파일 정보를 선택적으로 저장해야 한다는 것을 의미한다.

박 교수는 개인정보 저장과 관련해 AI 에이전트 설계시 선명한 피드백을 제공하도록 설계해야 한다고 설명했다. 사용자 입장에서 생성AI가 자신의 개인 정보를 기억하면 안되는 것도 있으니 기억해도 되는지, 아닌지를 선명하게 알 수 있도록 피드백을 줄 수 있도록 설계돼야 한다는 것이다. 예를 들어 최근 올해 GPT의 올해 새로 생긴 기능처럼 개인 정보를 저장할 때 메시지를 분명하게 줘야한다.

박 교수는 이어 AI 에이전트 설계시 갖춰야 할 두 번째 원칙으로 투명성을 강조했다. AI 에이전트는 사용자에 대해서 무엇을 기억하는지를 사용자인터페이스(UI)에서 보여줘야 하는 투명성을 갖춰야 한다는 것이다. 즉, 저장된 내용을 사용자가 선택적으로 혹은 전체 삭제할 수 있도록 해줘야 한다. 정보저장을 원하지 않으면 없어지고 그 다음 대화할 때는 원치 않은 정보를 모르는 상태에서 대화가 이뤄져야 하는 것이 투명성이다.

박성준 교수는 AI 에이전트의 성공 여부로 AI 에이전트가 사용자가 직접 손으로 할 때보다 비용대비 효과가 분명해야 한다는 점을 들었다. AI 에이전트가 자율성을 가지고 사용자를 위해 작업(Task)을 수행한다고 해도, 중간중간에 사용자에게 질문을 다시 던질 수 밖에 없다. 이러한 중간 개입은 AI가 얼마나 사용자의 취향, 선호도에 대해서 제대로 알고 있는지에 따라 줄어들 수 있다. 사용자가 개입할 수 밖에 없는 경우는 전부 비용과 노력에 해당한다. 즉, 비용이 자동화해주는 것 대비해서 너무 높아도 안되는 것이다.

박 교수는 이어 “기획자와 디자이너가 고민을 해야 하는 것으로 선명한 피드백과 투명성의 원칙도 중요하지만 세 번째 원칙, 즉 사용자에게 신뢰(Trust in Automation)를 줄 수 있도록 해야 한다”고 강조했다. 제품이 처음에 나올 때 신뢰를 바로 하는 사용자가 없기 때문에 처음에 어떻게 신뢰를 얻도록 할 것인가, 사용하며 신뢰도가 높아지게 되면 그 다음에 또 어떻게 할 것인지에 대한 신뢰확보를 위한 전략이 필요하다는 설명이다.

박성준 교수는 “사람한테도 일을 시킬 때 서로 신뢰를 해야 걱정 없이 일을 시킬 수 있는 것처럼 실제로 AI 에이전트가 나왔을 때 출발은 의구심이 들지 않도록 가이드를 많이 제공해야 한다”고 말했다.

한편 박성준 태재대 교수는 12월 5일 열리는 'AI 에이전트가 가져올 비즈니스 변화와 기업의 대응전략' 세미나에서 AI 에이전트의 사용자경험(UX)을 어떻게 설계할 것인가라는 주제로 발표한다. 이번 세미나에서는 AI 에이전트 기술 트렌드 뿐만 아니라 AI 에이전트 스타트업 사례 분석 등 AI에이전트 관련한 기술과 비즈니스 기회에 대해 전문가들이 발표한다. 자세한 정보는 행사 홈페이지(https://conference.etnews.com/conf_info.html?uid=342)에서 확인할 수 있다.

유은정 기자 judy6956@etnews.com