생성형 AI 활용이 늘어나면서 욕설이나 환각 현상 등의 문제점을 예방하고 정확도를 높이기 위한 '검생증강생성(Retrieval-Augmented Generation, RAG)' 기술, 'AI 레드팀'이 주목받는다.
AI 기업들은 글로벌 거대언어모델(LLM)과 함께 RAG 기술, AI 레드팀을 적극 활용하면서 산업·기업별 맞춤형 서비스로 완성도를 높여가고 있다.
RAG 기술은 AI 모델과 별도 데이터를 바탕으로 검색엔진을 만들어 LLM 답변을 교차검증해 결과물의 정교함을 높인다. AI 모델이 학습한 데이터뿐만 아니라 기업이나 공공기관, 개인이 제공한 최신 데이터를 바탕으로 하기 때문에 정확도가 높다.
리걸 AI 기업 BHSN는 RAG 기술 적용으로 개별 기업 내부의 계약서와 법률 데이터를 학습하고 AI로 활용할 수 있게 해준다. 보안에 민감한 계약서 등과 같은 내부 데이터를 외부에 공개하지 않고도 활용할 수 있다.
LLM 올인원 솔루션 기업 올거나이즈는 이같은 RAG 기능을 바탕으로 기업이 보유한 방대한 데이터 중 사용자가 원하는 대답을 즉시 찾아주는 기술, 일명 '리트리버 AI'에 대해 특허 출원했다.
AI 시스템을 보완하는 'AI 레드팀'에 대한 관심도 높아지고 있다.
AI 레드팀은 가상의 적으로 설정된 보안팀으로 시스템 취약점을 일부러 도출해내고 예방하는 역할을 한다. 프롬프트(명령어)에서 생성형 AI가 제공하지 말아야 하는 부적절한 답변을 이끌어내고, 이를 통해 AI 보안을 더욱 강력하게 한다.
마이크로소프트, 구글, 엔비디아 등 빅테크 기업은 앞다퉈 AI 레드팀을 구축·운영하고 있으며 오픈AI는 세계 각계 각층의 외부 연구진, 네트워크와 AI 레드팀을 운영하겠다고 밝혔다. AI 모델의 성능만큼이나 정보의 정확성이나 신뢰성, 안전성 등이 중요해졌기 때문이다.
국내 AI기업인 셀렉트스타는 AI 레드팀을 내재화하는 것을 넘어 외부에 해당 서비스를 별도 제공하는 방안을 기획하고 있다. 이를 위해 일반인까지 참가할 수 있는 AI 레드팀 해커톤 대회를 열고, 이를 매년 개최하는 방안을 검토하고 있다.
그동안 AI 챗봇 형태로 제공되는 생성형 AI 서비스는 거짓정보 제공 등과 관련된 '환각현상'이나 욕설이나 비윤리적 대답이 취약점으로 지적됐다. 이러한 이유때문에 기업이나 공공기관 등에선 생성형 AI 서비스의 업무 활용을 망설여왔는데, 안전성과 정확도를 높일 수 있게 된 것이다.
조용상 한국열린사이버대 교수는 “생성형 AI 모델에 텍스트, 이미지, 영상, 음성까지 한꺼번에 학습할 수 있는 멀티모달로 AI 발전 속도가 더욱 빨라졌다”며 “방대한 데이터 내에서 내가 원하는 내용을 빠르게 제공해줄 수 있는 RAG와 같은 기술에 대한 수요가 높아질 것”이라고 말했다.
김명희 기자 noprint@etnews.com
