IT기술에 대한 고객만족도 조사는 전화, 설문 등 여러가지 방법을 통해 이루어지는데 어떤 방법을 통하든지 결함이 있을 수 있다. 가트너는 고객만족도 조사에 관한 연구와 경험을 통해 다음과 같은 ‘중대한 결함’이나 ‘실수’를 도출해냈다.
◇조사 설문내용이 종합적인 것이 아니면 추측에 의한 내용이 많아진다=조사에서 공통적으로 범하는 실수는 설문이 모든 사항을 빠짐없이 다루지 못하고 있다는 것이다. 대부분의 설문은 미리 정해 놓은 적절치 못한 분야에만 초점을 맞추고 있다. 가령 ‘당신은 IS부서에 대해 만족하는가’ 또는 ‘지원 데스크는 어느 정도의 반응을 나타내는가’ 따위의 질문을 하는 경우가 많다. 중요한 것은 1차원적인 접근만 가지고는 서비스의 어느 측면이 중요하고 그렇지 않은가를 판단하기가 어렵다는 것이다. 이런 조사를 실시하면 상당량의 추측 내용이 내포되게 된다. 내용은 충실하지만 평가기준이 불완전한 조사는 문제점을 해결할 수 없다. 그렇다고 해서 질문문항을 더 많이 늘려야 한다는 뜻은 아니다. 고객의 만족도를 조사하는 데는 10∼20개의 질문문항이면 충분하며 그것이 30개 이상 되면 너무 길다.
◇조사 설문내용이 중복된 부분이 있으면 정확도가 낮아진다=조사에서 공통적으로 나타나는 결함은 설문기준이나 내용이 중복되는 부분이 있다는 것이다. 예를 들면 ‘당신은 IS부서에 대해 어느 정도 만족하는가’ ‘당신은 IS부서의 전반적인 수준에 대해 어느 정도 만족하는가’ 또는 ‘당신은 IS업체와 관련한 당신의 전반적인 경험에 대해 어느 정도 만족하는가’와 같은 질문은 서로 중복된다. 이러한 현상은 여러 사람이나 부서에서 각자 필요한 질문을 작성, 이를 어느 한 사람이 전반적으로 검토하지 않고 하나의 설문서로 취합하기 때문에 일어나는 것이다. 설문내용이 중복되면 응답자가 응답을 작성할 때 이미 앞에서 답변한 내용이 다시 나오니까 혼란스럽고 짜증이 나게 된다. 또한 이를 분석하더라도 필요로 하는 결과를 얻을 수 없게 된다.
◇조사 설문내용이 명확하게 기술되지 않으면 불필요한 데이터도 수집하게 된다=IT기술 고객만족도 조사에서 역시 공통적으로 흔히 나타나는 결함은 명확하게 정의되지 않은 용어나 기준을 사용한다는 것이다. 가령 설문지에 자주 사용되는 용어는 ‘품질’인데 그에 대한 구체적인 정의나 용어의 목록이 없으면 그 정의가 애매해진다. 때문에 품질이라는 용어를 사용할 때는 측정하려고 하는 기준의
측면에 초점을 맞춰 구체적인 정의를 기술할 필요가 있다.
◇설문을 제대로 여과하지 못하면 편견이 내포될 가능성이 있다=각 응답자는 설문에 응답할 때 자기에게 중요하거나 사용하고 있는 사항에 대해서만 평가해야 한다. 만일 응답자가 특정 응용 프로그램이나 서비스를 사용하지 않고 있다면 그에 대해 평가해서는 안된다. 자기에게 해당되지 않는 질문에 대해 응답하면 조사에 불확실한 내용이나 편견이 내재돼 부적절한 결과와 행동계획을 낳게 될 것이다.
◇중요성 가중치에 대해 질문하지 않으면 우선순위를 정할 수 없다=만족도 조사에서 공통적으로 저지르는 실수는 응답자의 중요성 가중치를 제외시키는 일이다. 많은 기업체들은 주요성 가중치를 사실이 밝혀진 후에 응답자 데이터에 적용하는데 그렇게 하면 행동계획에 주안점을 둘 기회를 놓치고 응답자의 만족도에 가장 큰 영향을 미치게 될 기준에 대한 IT부문의 노력을 기울이지 못하게 된다.
◇응답자의 응답에 대한 근거를 질문하지 않으면 해결방안을 도출해 낼 수 없다=특정 부류 대상 조사나 전화 인터뷰 또는 심지어 대부분의 설문지를 통한 조사에서도 IS업체의 상황과 서비스에 대한 다양하고 초점이 흐린 정보자료가 수집된다. 이런 자료를 분석, 정리 및 관리하는 책임을 맡고 있는 대부분의 사람들은 개선계획의 추진에 전념하는 나머지 최우선순위의 최종 사용자 문제를 간과하거나 그들 문제를 충분히 해결하지 못하고 있다. 미사여구나 현학적인 전문용어를 장황하게 늘어놓지 않고 IS문제에만 국한시키지 않은 설문서가 효과적이다. 설문지는 그 응답 내용을 구분, 상대적인 우선순위를 정하고 만족도 수준을 평가하며 제안된 개선점을 검토할 수 있도록 작성돼야 한다.
사용자들이 어떤 서비스에 대하여 어느 정도 만족하고 있는지를 질문하는 것만으로는 충분치 않다. 그것이 사용자에게 얼마나 중요한지도 물어야 한다. 가령 ‘당신은 자동차의 안전성에 대해 얼마나 만족하는가’ ‘당신은 자동차의 경제성에 대해 얼마나 만족하는가’ 또 ‘당신은 자동차의 외양에 대해 얼마나 만족하는가’ 등의 질문을 한다면 그에 대한 응답은 단지 ‘만족도’만을 나타낼 것이다. 그러나 자동차의 안전성, 경제성, 외양의 상대적 중요성에 대해 질문한다면 그 응답 데이터는 더 큰 가치 갖게 될 것이다.
◇표준화된 데이터 대신 설문 응답내용을 그대로 사용하면 응답자의 편견이 포
함될 가능성이 있다=중요성과 만족도 데이터를 하나의 측정기준으로 해 가트너는 결정을 내릴 때 사용할 수 있도록 중요성과 만족도의 혼합 점수를 산출해냈다. 여기에서 중요성은 기준에 배정된 백분율 가중치로서 이를 백분율(퍼센트)로 전환했다. 또 만족도를 1.0점에서 5.0점으로 표시했는데 1.0이 만족도가 가장 낮은 것을 나타낸다. 중요성이 높은 기준은 중요성이 낮은 것보다 더 큰 가중치를 갖는다. 그림참조
◇대체 또는 경쟁 서비스를 무시하면 핵심 데이터가 누락된다=조사를 통해 IT환경의 인지도에 관한 정확한 상황을 파악하기 위해 응답자들로 하여금 그들이 사용하고 있는 대체 서비스, 제공 제품, 소스 또는 솔루션 등을 밝히도록 해야 한다. 이러한 대체 서비스에 대한 평가는 매우 가치 있는 자료다. 그 중에서도 대체 서비스를 서로 비교하여 가장 우수한 관행이나 이점 또는 개선의 기회를 확인하는 것이 가장 세련된 분석이다.
◇결과를 작성하는데 통계의 원칙을 지키지 않으면 신빙성이 약해진다=기업은 조사 대상자를 무작위로 선정하되 충분한 숫자를 선정해야 99%의 신뢰도를 달성할 수 있다. 신뢰도 수준을 수집된 데이터 단위에 적용하면 최소한의 비용으로 유효한 결과물을 얻을 수 있다. 신뢰도 수준의 유효성을 보장하기 위해서는 조사대상 그룹 안에서 참여자들을 무작위로 선정해야 한다. 모든 조사 참여자들은 가능한 한 설문서에 응답할 수 있는 자격이 있어야 한다. 응답비율 높아지도록 노력을 기울여야 하지만 조사대상자의 최소한 3분의 2는 설문서를 작성하지 않을 것이라는 사실을 알아야 한다.
◇데이터를 행동계획으로 적절히 전환시키지 않으면 개선되는 것이 없다=설문서를 작성, 배포, 수집하는 일은 그리 어려운 일이 아니다. 그러나 이러한 일들이 잘 처리되었다 하더라도 이를 바탕으로 결과를 도출하기 위한 체계적인 계획을 세우고 그 결과에 대해 의견을 교환하거나 기대 목표를 설정하고 약속 사항을 이행하지 않는다면 그것은 아무런 의미가 없다. 만족도 조사는 양날이 있는 칼과 같아서 적절히 관리하면 IS업체의 서비스를 개선할 수 있는 가치있는 자료를 제공할 것이고 그렇지 않으면 조사를 실시하지 않았을 때보다 IS업체의 이미지를 손상할 것이다. 조사를 실시하면 IS 업체가 그 결과에 대해 어떤 조치를 취할 것이라는 기대를 불러일으킨다. 고객의 이같은 기대에 부응하지 않으면 고객의 만족도가 감소하고 불신감이 높아지게 된다.
◇개선 정도를 측정하기 위해 주기적인 조사를 실시하지 않는다=조사를 주기적으로 실시하지 않으면 고객의 신뢰감을 잃는다. IS업체가 조사를 한번 실시하면 현 위치와 앞으로 실시할 조사의 기본선을 제시해 준다. 두번째 조사를 실시하면 IS업체의 진로 방향과 개선 방안을 제시해 주고 고객의 신뢰도를 높일 수 있다.
◇기업 자체내 조사를 실시한다=기업의 직원을 대상으로 조사를 실시하면 솔직하거나 정직한 응답을 기대할 수 없다. 제3자를 통하여 조사를 실시하면 전문가들의 지식과 경험을 이용하고 가장 좋은 관행을 배울 수 있는 기회를 얻을 수 있다. 또 응답자들은 제3업체에 설문서를 제출하면 익명으로 하여 비밀이 보장되고 설사 응답내용이 부정적이라 하더라도 자기에게 불리한 영향이 미치지 않기
때문에 그것을 더 마음 편하게 생각하고 있다.
◇조사의 중요성을 제대로 설명하지 못한다=최종 사용자들을 대상으로 조사를 실시하려면 그 중요성과 여러 가지 가능한 혜택을 설명하고 그를 통해 운영을 개선할 수 있다는 것을 강조할 필요가 있다. 그리고 상급자나 하위 직원들의 방해가 없도록 일반 직원들의 지지를 받아야 한다. 조사에 대한 충분한 설명이 없이 설문지가 배포되었을 경우 극단적으로는 응답비율이 너무 낮아 결론을 끌어낼 수가 없게 된다.
◇조사내용이 너무 많다 =조사내용이 너무 길면 대상자들에게 피로감을 주어 응답이 불완전해진다. 대부분의 사람들은 한 웹사이트에서 평균 몇 분 동안 머무는 것이 보통이다. 또 대부분의 사람들은 의견 조사에 10분 이상 시간을 할애하지 않는다. 때문에 설문서는 응답을 작성하는 데 15∼20분을 초과하게 해서는 안된다. 질문은 중요도의 순서로 나열하여야 한다. 또한 웹사이트를 통해 조사를 실시할 경우에는 즉각적인 응답을 요구해야 한다. 시간을 끌면 끌수록 응답할 가능성이 희박하기 때문이다. ◇분석 툴과 전문성이 없다=만족도 조사를 개발하고 시행하기가 쉽다는 인식은 훌륭한 목표를 가진 조사의 일부를 실패로 이끌게 하였다. 조사를 실시하는 기업은 효율적으로 데이터를 수집, 분석하는데 필요한 자원과 지식을 과소 평가하는 경우가 가끔 있다. 가령 전화나 그와 비슷한 단일 채널을 통해 조사 데이터를 수집하면 절차가 무시되거나 비용이 많이 들 것이다. 그러나 웹사이트를 통해 과거의 경험을 바탕으로 헌신적인 노력으로 조사를 실시, 분석 및 후속 계획을 세울 수 있는 업체가 조사를 실시하면 더욱 경제적이 될 것이다.
◇다른 서비스와 비교하지 않는다=다른 서비스나 제품과 비교 평가하지 않으면 결과에 대한 상황을 제대로 판단할 수 없다. 가령 어느 IS업체가 조사 결과를 최고점수 10점 중 6.63점으로 평가했다고 할 경우 그것이 긍정적인 것인지 아니면 부정적인 것인지를 판단하기 어렵다. 더구나 만족도 평가는 평가대상 서비스에 따라 다르고 산업부문, 지역, 응답자의 수준 등에 따라서도 다르다.
◇응답자들에게 조사 결과를 통보하지 않는다=조사 결과를 응답자들에게 통보하지 않으면 만족도를 떨어트리는 가장 중요한 요인이 될 뿐 아니라 차후 조사에 영향을 준다. 응답자들에게 조사 결과를 처음부터 끝까지 통보할 필요는 없고 해결이 가능한 주요 사항 3개 정도만을 알리면 될 것이다. 또한 업체가 잘하고 있는 부문을 홍보하는 것도 효과가 있다.
◇응답자들의 의견이 해결책에 반영되지 않는다=후속 조치 계획이 세워지면 조사결과와 후속 행동계획에 대하여 응답자들의 의견을 더 수렴하여야 한다. 여기에 응답자들을 모두 참여시킬 수는 없을 것이나 각 부류에서 선별하여야 할 것이다. 또 행동계획을 시행하는 과정에서 변경사항이 생기면 그것도 응답자들에게 알려야 한다.
◇긴박감이 약하다=만족도에 대한 조사를 실시함에 있어서 데이터의 수집, 결과의 통보 및 행동계획의 시행 등은 시기 적절하게 이루어져야 한다. 시기가 적절치 못하면 효과 측정의 향상을 기대하기 어렵다. 대부분의 기업 자체내 만족도 조사는 계획보다 지연되는 경우가 많고 거기에서 범하는 공통적인 실책은 조사결과에 대한 보고서는 작성되지만 그에 대한 후속 조치가 거의 취해지지 않는다는 것이다. 이로 인해 응답자들의 불만이 고조되고 차후 조사에 응하지 않게 된다.