앞으로 금융부문 인공지능(AI) 서비스를 구축할 때 오염된 학습 데이터를 거르고 외부 공격의 방지가 가능한 시나리오를 미리 학습하는 등 예방 조치를 의무화해야 한다.
또 챗봇에 대한 입·출력을 제한해 외부에서 AI 모델에 대한 정보 수집이 어렵도록 구축해야 한다.
금융위원회는 이 같은 내용을 담은 '금융분야 AI 보안 가이드라인'을 17일 발표했다. 금융권을 대상으로 한 AI 보안 가이드라인 마련은 이번이 처음이다. 특히 AI 활용이 활발한 챗봇서비스는 별도로 체크리스트를 제시했다.
가이드라인에 따르면 학습 데이터 수집 단계에서는 오염된 데이터를 학습할 수 있는 가능성을 방지하고 데이터 관련 공격·장애 발생 시 그 원인을 파악할 수 있도록 데이터 체계를 관리해야 한다. 학습 데이터 전(前) 처리 단계에서는 '이상치(outlier)'를 확인하고, '적대적 예제' 생성·학습 등을 통해 외부로부터의 공격을 예방해야 한다.
설계·학습 단계에서는 잠재적 공격자가 AI 모델 정보를 쉽게 유추할 수 없도록 단순한 설계를 지양하고, AI 모델을 세부 변형하는 보안기법을 적용해야 한다. 검증·평가 단계에서는 AI 모델 입력(챗봇에 입력하는 질문)·출력 횟수(챗봇 대답)를 제한해 잠재적 공격자가 AI 모델 정보를 수집하기 어렵게 해야 한다.
챗봇 체크리스트에는 공통 23개와 선택 10개 등 총 33개 항목이 담겼다. 계정·악성코드·학습데이터 관리, 접근통제, 백업·복구 절차 등 전반에 걸쳐 보안성 확보에 필요한 사항을 체크리스트 형태로 구체화해서 보안 실무자가 업무에 활용할 수 있도록 했다.
금융위는 이날 'AI 기반 신용평가모형 검증체계'도 공개했다. AI 특성을 고려해 신용정보회사가 데이터를 적절히 관리하는지, 신용평가모형에 사용되는 알고리즘과 변수를 합리적으로 선정했는지 등을 점검하는 시스템이다. 이를 통해 신용정보회사가 개발한 신용평가모형이 통계적으로 유의한지 확인하고, 신용정보회사가 소비자에게 신용평가모형과 신용평가 결과에 대해 충분히 설명할 수 있는지 검증할 계획이다.
금융위는 가이드라인을 토대로 금융 AI 정책에 드라이브를 건다. 올 2분기 중에 '금융 AI 데이터 라이브러리'를 구축하고 금융보안원 중심으로 은행·카드업권에 AI 학습 데이터셋을 공유할 예정이다. 또 4분기 중에는 '금융 AI 테스트베드'를 구축한다.
금융위 관계자는 “AI는 초지능·초연결·초융합 시대에 혁신적 서비스 개발 핵심 기술이며, 금융 분야는 고품질 데이터가 풍부해서 AI 활용 잠재력이 매우 큰 분야”라면서 “앞으로 금융 분야의 AI 관련 세부 추진 과제를 차질없이 추진해 나가겠다”고 말했다.
김시소기자 siso@etnews.com
