통신보안에서 가장 널리 사용되는 것으로 알려진 ‘RSA 알고리즘’은 복잡한 수학원리를 사용한다. 암호화하는 과정을 역추적하기가 대단히 어렵게 만드는 게 핵심이다. 1977년 매사추세츠 공대(MIT) 리베스트·샤미르·에이들먼 세 사람은 두 소수(1과 자기 자신으로만 나누어 떨어지는 양의 정수)를 곱하는 것은 쉽지만 이 곱으로부터 두 소수를 찾아내는 일(소인수분해)은 무척 어렵다는 원리를 이용해 RSA(세 사람 이름 머릿글자) 암호체계를 만들었다.
세 자리 수 이상의 충분히 큰 소수 두 개를 곱하면 이를 소인수분해 하는 데 슈퍼컴퓨터로도 수천년에서 1만년 정도가 소요된다고 한다. 보안 관점에서 이 정도는 안전하다고 느낄 만한 근거가 충분하다.
하지만 RSA 체계는 단점이 있다. 숫자가 너무 커서 암호화하는 데 시간이 많이 걸린다는 점이다. 한 번에 20초 정도 소요된다고 한다. 계산 용량도 커 휴대용 기기에 적용하기가 쉽지 않다. 가장 큰 문제는 양자컴퓨터 등장이다. 슈퍼컴퓨터보다 100만배 이상 빠른 연산능력을 가진 양자컴퓨터가 등장하면 두 소수의 곱을 소인수분해하는 시간이 크게 단축되기 때문이다. RSA에 보안을 믿고 맡기기가 점점 불안해지는 것이다.
아이러니한 점은 RSA 체계를 무너뜨리는 것도 양자고, 대체하는 것도 양자라는 점이다. 양자컴퓨터에 대적하는 게 바로 양자암호통신이다. 엄밀히 따지면 양자암호통신은 ‘통신’이라기보다는 ‘보안’ 기술이다. 통신은 기존 방식대로 이뤄지고 암호문을 풀 열쇠만 양자를 통해 전송하기 때문이다. 이 때문에 유선통신에 적용하는 양자암호통신을 ‘양자 키 분배(Quantum Key Distribution·QKD)’라고 부른다.
양자암호통신에선 열쇠를 대놓고 양자(광자)에 실어 보낸다(BB84). 볼 테면 보라는 식이다. 하지만 볼 수가 없다. 우선 중간에서 누군가 가로채자마자 들키게 돼있다. 그럼 즉시 암호를 바꿔버릴 테니 가로챈 열쇠가 소용이 없다. 더 중요한 점은 열쇠를 가로채봤자 무슨 말인지 하나도 알아볼 수 없다는 것이다.
양자물리학 3대 성질(불확정성·복제 불가능성·얽힘)에 따라 양자는 산산이 부서져버리기 때문이다. 마치 열쇠 숫자를 흰 종이에 적고 검은 비눗방울에 담아 보내는 것과 마찬가지다. 스파이는 이 비눗방울 속을 들여다볼 수 없고 잡는 순간 비눗방울이 터지고 흰 종이는 검게 물들어버린다.
이 같은 이유로 과학자들은 물리학 법칙을 거스르는 일이 벌어지지 않는 한 양자암호통신이 도청으로부터 안전하다고 믿는다. 하지만 양자 하나는 너무나 미세해 다루기 어렵다는 단점이 있다. 먼 거리를 이동하기가 어려워 수 십㎞마다 중계기도 설치해줘야 한다. 그래서 이동거리를 늘리는 것이 양자암호통신 연구자 중요 과제 가운데 하나다.
김용주 통신방송 전문기자 kyj@etnews.com