[르포]롯데정보 최적화팀 "고객 IT 안정성 우리가 책임진다"

서울 가산동 롯데정보통신 관제센터. 직원들이 모니터를 응시한다. 아주 작은 소리도 들릴 정도로 고요하다. 순간 요란한 벨소리가 울린다. 고객사 정보시스템 장애 발생을 알리는 소리다.

상황판에는 마트 신선식품 코너 결제장애 메시지가 뜬다. 마트 결제장애는 판매 감소로 이어진다. 신선식품은 하루가 지나면 폐기처분 한다. 고객사 매출에 큰 타격을 준다. 모니터를 응시하던 직원들이 분주해진다. 그룹 정보기술(IT) 안정성 확보를 위해 올해 1월 신설된 최적화팀 직원들이다. 윈도·MS-SQL·오라클·클라우드·네트워크·SAP 등 전문가 30명으로 구성됐다. 관련 분야 국제공인 자격증 보유자다.

롯데그룹 CIO대상 정보화전략 세미나 모습

장애 원인 분석에 나선다. 결제시스템에 연결된 하드웨어(HW) 문제다. 판매 감소 최소화를 위해 5분 내 해결해야 한다. 관련 전문가들이 복구를 시작한다. 장애 발생 4분 43초 만에 복구 완료 메시지가 상황판에 나타난다. 직원들이 의자에 앉아 긴 숨을 쉰다.

긴장을 푼 지 얼마 지나지 않아 또 다시 비상벨이 울린다. 계열사 호텔에 있는 객장 데이터베이스(DB)시스템 성능 저하를 알리는 경보다. 호텔 영업에 지장을 주는 큰 문제다. 최적화팀 직원은 고객사로 향한다. 이동 중 원격제어로 실시간 쿼리를 수정한다. 호텔에 도착해 정밀 진단을 실시한다. 원인은 데이터베이스관리시스템(DBMS) 문제다. 장애 발생 1시간 만에 복구에 성공한다. 최적화팀은 복구뿐만 아니라 유사 장애 발생 예방책도 제시한다.

두 사고 모두 마용득 롯데정보통신 대표가 실시한 모의 훈련이다. 사내 극소수 임원만 모의훈련 계획을 안다. 시스템관리(SM)를 총괄하는 임원도 모른다. 데이터센터장도 마찬가지다. 김영철 최적화팀장은 “1월 신설된 이래 매월 비상 모의훈련을 한다”며 “결제 오류, 백업 복구 등 다양한 상황을 가정한다”고 설명했다. 장애 사후검토 보고서도 작성한다.

마용득 롯데정보통신 대표(앞줄 왼쪽 여섯 번째)와 임직원이 서로 경청하고 소통하자는 의미의 퍼포먼스를 하고 있다.

직원들은 두 차례 모의훈련으로 몸도 마음도 지쳤지만 퇴근 후 집이 아닌 강의장으로 향한다. “IT는 끊임없이 변해요. 앞서 나가려면 공부가 최선의 방법이에요.” 조청식 최적화팀 책임 말이다. 최적화팀은 능력 향상을 위해 시스템엔지니어, DB관리자, SAP BC 육성 커뮤니티를 운영한다. 마이크로소프트 전문 강사 교육과 기술 분석, 토론, 실습을 한다.

최적화팀은 시스템 안정에 가장 중요한 것은 예방이라고 강조한다. 김 팀장은 “빠른 조치도 중요하지만 예방하는 것이 더 중요하다”며 “시스템 진단과 최적화로 장애를 사전 예방한다”고 말했다. 티뱅크로 발생원인, 조치이력, 해결방법 등을 공유해 문제 재발을 막는다. 오래된 서버, 운용체계(OS)를 업그레이드하고 바이러스에 취약한 DB를 교체한다. 악성 쿼리 튜닝으로 성능을 향상시킨다. 김 팀장은 “3월 서비스 데스크를 오픈해 기술 문의 답변을 제공한다”고 전했다. 기술매거진도 발행한다.

신혜권 SW/IT서비스 전문기자 hkshin@etnews.com