현재 AI는 매우 빠른 속도로 진화하고 있고, LLM을 통한 새로운 산업 및 사회 생태계가 만들어지고 있다.
AI 테스트는 특정기능 및 영역에서 모델에 대한 성능 검증이 주로 이루어졌고, ImageNet을 통한 이미지 인식 AI모델 비교, SuperGlue를 통한 자연어처리 AI모델 비교를 하는 벤치마킹 테스트 등을 하고 있는데, 많은 시스템이 AI를 적용하는 추세라 통합적 테스팅의 필요성이 늘어나고 있다.
AI시스템 성공요소는 AI알고리즘, 데이터, 도메인 콘텍스트 이 세 가지로 나눌 수 있으며, 학습된 AI알고리즘으로 하여금, 학습된 데이터를 통해 애플리케이션 영역에서 인간이 필요로 하는 최적화된 출력이 되어야 한다.
사례로 보는 AI 테스트 발표 세션에서는 AI를 활용하는 대표 시스템인 음성인식시스템, 컴퓨터 비전시스템, 자연어 처리 시스템, 이상 탐지 시스템, 자율 시스템, 추천시스템 등 여러 시스템의 AI를 평가하는 성능 지표, 테스트 방법 등을 사례를 소개한다.
또 전체 시스템 관점에서 품질요건, 테스트 아키텍처를 설명하고, 데이터 편향성과 할루시네이션에 대한 테스팅을 소개하고, 마지막으로 생성형 AI를 활용해 테스트의 생산성과 효율성을 높이는 사례를 소개한다.
와이즈와이어즈는 AI시스템의 신뢰성과 안정성을 향상시키기 위해 테스트 및 평가 서비스를 강화하고, 보다 더 통합적이고, 종합적인 측면에서 테스팅서비스를 제공해 AI 산업 발전에 뒷받침이 되고자 한다.
김현민 기자 minkim@etnews.com
