安哲秀 안철수컴퓨터바이러스연구소 소장
벤치마크 테스트(Benchmark Test)란 제품을 직접 실험하고 분석한 다음에 그 성능을 객관적으로 평가하는 것을 말한다. 최근 컴퓨터 전문지에 심심찮게 등장하는 말이기도 하다. 또 자사 제품의 기능이 경쟁사의 것보다 우월함을 입증하기 위해서 벤치마크 테스트의 결과를 인용한 광고들도 흔히 볼 수 있다.
벤치마크 테스트는 시험할 대상에 따라서 문제들이 달라지며, 종합적인 성능평가를 위해서 여러 가지 다양한 문제들로 구성돼 있는 것이 보통이다. 따라서 벤치마크 테스트를 사용하면 동일한 범주의 제품들 간의 객관적인 비교평가가 가능하게 된다.
국내에서는 외국에 비해 벤치마크 테스트가 활발하게 시행되지 못하고 있다. 벤치마크 테스트를 실시한 경우에도 우수한 제품을 선정하고 나쁜 제품을 비판하지 못하며, 모든 제품들이 나름대로의 장점이 있다는 두루뭉실한 결론을 내리는 경우가 많다. 전문잡지나 신문에서 용기를 가지고 객관적인 결과를 발표하는 경우에도 제품 개발업체나 판매업체에서 이를 받아들여 발전의 계기로 삼기보다는 감정적으로 대응을 하는 경우가 종종 있다. 또한 사용자들도 국내 벤치마크 테스트의 결과를 그대로 믿고 따르지 않으며 외국 전문지의 결과만을 신봉하는 경우를 흔히 볼 수 있다. 따라서 국내에서 벤치마크 테스트가 활발하게 시행되고 있지 못한 책임은 전문지, 개발업체와 사용자의 어느 한쪽에만 있는 것이 아니라 모두에게 있다고 볼 수 있다.
국내 전문지들의 입장에서는 본격적인 벤치마크 테스트를 광범위하게 시행하기 위해 필요한 자본과 인력을 본격적으로 투자하기는 힘들다. 아직 시장도 작고 수익성도 그렇게 좋지 않기 때문이다. 따라서 아직까지는 한달에 한두 분야에서 소수의 제품만을 대상으로 벤치마크 테스트를 시행할 수밖에 없는 형편이다.
또한 국내 현실에서는 특정 제품에 나쁜 평가를 내리기가 어렵다. 우리나라에서는 아무리 나쁜 제품이라고 하더라도 인정상 나쁘다고 평가하지 못하는 경우가 많다. 또한 전문지에서 용기를 내서 올바른 평가를 내렸더라도 개발업체나 판매업체에서 이를 받아들이지 않고 오히려 광고를 끊거나 비방하는 경우도 있다. 지금은 사정이 많이 나아졌지만 몇 년 전에는 어느 전문지에서 용기를 내어 정확하고 객관적인 평가를 했음에도 불구하고, 한 개발업체의 사장이 나쁜 평가를 받았다는 이유로 그 기사를 쓴 필자를 찾아가서 폭언과 더불어 손찌검을 한 사례까지도 있었다.
사용자들이 국내 벤치마크 테스트의 결과를 무조건 불신하고 외국 전문지의 결과만을 옳다고 생각하는 것도 문제다. 고급 사용자일수록 이러한 증상(?)이 심하다. 그러나 이러한 사람들은 국내 컴퓨터 환경은 하드웨어나 소프트웨어적으로 외국과 다를 수밖에 없다는 사실을 간과하는 오류를 범하고 있는 것이다.
모뎀의 경우를 예로 들어보자. 국내의 전화회선 사정은 여러 가지 면에서 외국의 경우와는 다를 수밖에 없다. 따라서 외국의 벤치마크 테스트에서 1등을 한 제품이라 하더라도 국내 회선에서 테스트를 하면 1등이 되지 못할 수도 있다. 외국 환경에 적합한 제품이라고 해도 국내 환경에 적합한 제품이 아닐 수 있다는 의미다. 또한 외국의 벤치마크 테스트에서는 국내에서 개발된 제품이 포함돼 있지 않은 경우가 많아서 우리의 실정에 적합한 제품에 대한 정보를 충분히 제공해 주지 않는다. 국내 환경에서 테스트를 해봐서 성능이 비슷하고 가격이 저렴한 국산제품이 있다면 구태여 값비싼 외국제품을 선택할 이유는 없을 것이다.
소프트웨어의 경우도 마찬가지다. 국내에서는 대부분 한글 윈도를 사용하는데, 이것이 벤치마크 테스트의 결과에도 영향을 미칠 수 있다. 영문 윈도에서 벤치마크 테스트를 해서 1등을 했더라도 한글 윈도에서 테스트를 하면 1등을 하지 못할 수도 있는 것이다. 또한 국내에서는 우리만의 고유한 업무를 수행하는 경우가 많아서 벤치마크 테스트의 기준을 다르게 해야 하는 경우도 있는데, 외국 전문지의 결과는 이러한 것을 반영할 수 없는 것이 당연하다. 한국산 바이러스의 퇴치가 중요한 백신 프로그램의 경우에는 말할 나위도 없다.
한국형 벤치마크 테스트가 필요한 이유도 바로 여기에 있다. 외국의 벤치마크 테스트는 우리의 현실을 반영하지도 않으며 반영할 수도 없다. 또한 이것은 다른 누구에게도 의존해서는 안되며 우리 힘으로 할 수밖에 없는 것이다. 이러한 측면에서 벤치마크 테스트를 시행하고 있는 국내의 전문지들도 자부심을 가지기를 부탁드리고 싶다. 일만 열심히 하다보면 자신이 남들에 비해서 잘하고 있는 점을 미처 깨닫지 못하는 경우가 흔히 있다. 요즘 같은 IMF시대에는 우리가 잘하고 있는 것은 찾아내서 잘하고 있다고 광고를 하는 지혜가 필요하다고 생각한다.
국내 컴퓨터산업의 올바른 발전을 위해서는 컴퓨터 전문지에서 벤치마크 테스트의 결과를 객관적으로 기사화하는 용기가 필요하고, 개발업체에서도 그 결과를 겸허하게 받아들여서 이를 발전의 계기로 삼는 자세가 필요하며, 사용자들도 그 결과를 수용하는 자세가 필요하다. 이러한 분위기가 확산될 때만이 비로소 발전적인 경쟁관계가 가능해질 것이며 국내 컴퓨터산업도 제 자리를 잡아갈 것이다.