금융보안원 '생성형AI' 인프라 본격 도입…메타 'LLaMA3' 채택

금융보안원
금융보안원

금융 보안 분야에서도 생성형 인공지능(AI) 도입이 활발히 확대 중인 것으로 나타났다.

25일 업계에 따르면 금융보안원은 'AI 학습 및 활용 시스템 인프라'를 도입 추진한다. 이달 중 기술 평가 및 협상대상자를 지정하고, 이르면 8월 중순까지 시스템 구축을 완료할 계획이다.

기존 금융보안원 전산 환경에 물리적 AI 서버를 추가 도입하는 것이 핵심이다. 그동안 기업들은 생성형AI를 활용하는 과정에서 내부 정보 유출 등 보안 문제로 어려움을 겪은 바 있는데, 이를 방지하기 위한 방법이 내부망에 별도로 생성형 AI 서버를 구축하는 방식이다. 잘 훈련된 공개 거대언어모델(LLM)의 체크포인트를 기반으로, 특정 업종과 영역에 맞는 파인튜닝(Finetuning)을 진행하는 방식이 일반적이다.

금융보안원 역시 이번 AI 서버 구축을 온프레미스 형태인 물리적 서버로 구성하고, AI 서버 네트워크 구성 역시 원내 인터넷망(테스트망)에 올리기로 했다.

또한 구축된 시스템은 '라마3(LLaMA3 70B)'이 정상 구동하는 것을 목표로 잡았다. 라마는 '페이스북' 운영사인 메타가 일부 오픈소스 형태로 선보인 LLM 시리즈다. 구글 '제미나이' 오픈AI 'ChatGPT' 등과 경쟁한다. 라마3의 경우 학습 데이터셋 크기가 15조개(15T)에 달하고, 전작 대비 비영어권 데이터 학습량이 크게 증가해 세계 각국에서 도입을 확대하고 있다.

금융보안원은 시스템 성능 최적화를 위해 다중GPU학습(Multi-GPU Training) 환경을 고려하고 있으며, 의존성 최소화를 위해 리눅스 우분투(Ubuntu), 텐서플로(TensorFlow) 등 오픈소스를 주로 활용할 계획이다.

데이터 보안 측면에서 서버 내에는 개인정보나 민감정보 저장을 배제하고, AI 모델파일이나 학습데이터, 인프라 관련 로그 등만 두는 방식을 쓰기로 했다.

금융보안원은 보안관제 기술경쟁력 확보를 위해 차세대 관제시스템을 구축하고, 지난해부터 서비스를 제공하고 있다. 인공지능(AI), 빅데이터(BigData), 클라우드(Cloud) 기술 적용으로 성능 향상을 지향하고 있으며, 올해 정기인사 조직개편에서는 'AI혁신실'을 신설해 디지털 전환에 힘을 실어주고 있다.

이형두 기자 dudu@etnews.com