생성형 인공지능(AI) 서비스를 위한 거대언어모델(LLM)의 안전성을 시험하는 대국민 행사에 학생·직장인·교사 등 1000여명이 도전해 AI와 창과 방패의 대결을 벌였다.
과학기술정보통신부와 한국정보통신기술협회(TTA), 초거대AI추진협의회가 주최·주관하는 '생성형 AI 레드팀 챌린지'가 11일 서울 삼성동 코엑스B홀에서 열렸다. 12일에는 AI 안전성 관련 콘퍼런스와 챌린지 시상식이 개최된다.
'AI 레드팀'은 AI 시스템의 유해하거나 차별적 결과, 시스템 오용 등 결함·취약성을 식별하기 위한 구조화된 테스트 활동을 의미한다. 생성형 AI 모델이 산업은 물론이고 일상생활 전반에 광범위하게 쓰이면서 AI 안전성 제고에 대한 관심이 높아졌고, 오픈AI, 구글, 네이버클라우드 등 국내외 AI 기업도 자체 AI 레드팀을 구성·운영하고 있다.
참가자는 프롬프트 공격을 통해 의도적으로 AI가 욕설이나 비윤리적 답변, 편향된 답변 등 유해 정보를 생성하도록 유도하는 방식으로 AI 시스템의 결함이나 취약점을 찾았다. 기업 내부자가 아닌 일반인 참가자의 '창의력'을 바탕으로 AI 모델을 뚫어내는 것이다. 이날 확보된 테스트 데이터와 결과는 참여기업에만 제공, LLM 안전성 제공에 활용된다.
웹사이트를 통한 사전 신청 접수에 1100여명이 몰렸다. AI 활용에 관심 있는 대학생(대학원생), 일반 직장인, 교사 등 다양한 연령대와 직업의 참가자 1000여명이 참가했다는 게 행사를 기획한 셀렉트스타 측 설명이다.
레드팀 챌린지에 참가한 영남대 정보통신공학과 4학년생인 김소연씨는 “대학 2학년 때부터 AI 연구를 위한 자연어처리(NLP) 연구를 위한 랩실(연구실) 활동을 해왔다”며 “졸업 후 진로도 대학원이나 AI나 보안 쪽 기업 취업을 준비하고 있다”고 말했다. 김씨는 챌린지에 도전하기 위해 관련 논문이나 연구자료 등을 찾아봤다고 덧붙였다.
하정우 네이버클라우드 AI이노베이션 센터장은 “AI가 강력해지면서 편향된 정보나 잘못된 정보를 생성할 수 있다는 위험이 커진 만큼 이를 막기 위한 다양한 연구와 방법이 시도되고 있다”며 “기업 내부자로도 '레드팀'을 운영하고 있지만, 최대한 창의적으로 해볼 수 있는 사례 확보를 위해 이런 민간 행사도 필요하다”고 밝혔다.
미국은 지난해 8월 세계해킹방어대회(데프콘31) 부대행사로 AI 레드팀 챌린지 행사를 진행한 바 있다. 당시 미국 백악관, 국립표준기술연구소(NIST)가 지원하고, 구글, 오픈AI, 메타, 엔비디아 등 8개사가 참여했다. 또 10월에는 미국은 행정명령에서 미 상무부에 'AI 레드팀 수행가이드라인' 수립을 지시했다.
강도현 과기정통부 2차관은 “국내에서 처음 개최되는 레드팀 챌린지에 1000명이 넘는 참가자들이 뜨겁게 호응해 주는 것을 보니 'AI시대'가 왔음을 실감한다”며 “정부도 민간과 함께 AI 안전성과 신뢰도를 제고하고, AI 혁신 생태계 조성을 위해 노력하겠다”고 밝혔다.
김명희 기자 noprint@etnews.com
