코리아리서치가 지난 11일부터 이틀간 진행한 대선후보 적합도 조사에서 문재인 후보가 34.5%, 안희정 후보가 33.3%로 접전을 보였다. 이에 대해 문재인 캠프 전병헌 전략기획본부장은 “여론조사에 역선택이 들어가 있다. 역선택을 반영하지 않은 허점이 있다”며 “언론사에서 여론조사를 할 때 현실적인 설계를 좀 했으면 좋겠다”고 지적했다. 여론조사에서 설문 문항이 역선택을 유도한 질문을 담아 왜곡했다는 것이다. 전략기획본부장이 언급한 역선택은 의도적으로 경쟁력이 약한 후보를 고르는 행위이다. 만약 역선택이 포함된 여론조사라면 그 신뢰성에 의심이 가는 것은 당연하다. 그렇다면 왜곡 없이 여론을 조사하기 위해서는 어떤 조사가 진행돼야 할까.

여론조사는 시작은 모집단을 설정하고 표집틀을 구성하면서부터 시작된다. 표집틀은 모집단 구성원을 담고 있는 리스트이다. 우리나라 유권자를 대상으로 한 전화 여론조사를 실시할 때, 모집단은 유권자이고, 표집틀은 유권자 명부 혹은 전화번호부다. 여론조사는 표집틀을 통한 표본을 대상으로 진행된다. 따라서 표집틀은 모집단을 대표하고 있어야 신뢰도 높은 여론조사 결과를 도출할 수 있다.

표집틀로부터 응답자를 선정하기 위해 표본추출이 진행된다. 표본추출은 무작위로 이뤄진 표본 선정을 기본으로 한다. 표본을 선정하는 과정에서 묻는 사람과 답하는 사람의 의지는 차단돼야 한다. 표본 선정의 과정에서 누군가의 의지가 개입된다면 표본이 모집단을 대표하지 못하기 때문이다. 이 특징은 선거일 출구조사에서 잘 볼 수 있다. 출구조사 요원은 투표장을 나오는 사람 중 일정한 순번에게만 조사를 한다. 그 외 사람이 조사를 받고 싶다고 해도 응답자로 선정할 수 없다.

확률표집을 통해 구성된 표본은 여론조사의 응답자가 된다. 여론조사의 방법은 다양하다. 조사업체들은 질문지, 면접, 전화, 자동응답서비스(이하 ARS) 등을 이용해 여론조사를 진행한다. 조사 방법마다 비용과 얻을 수 있는 정보의 깊이가 다르다. 간단한 질문지를 통할 경우 빠르게 조사가 진행된다는 장점이 있지만 표면적인 정보만 확인할 수 있다는 단점도 있다. 심층 인터뷰의 경우 얻을 수 있는 정보는 깊지만 비용과 시간이 그만큼 많이 소모된다. 그렇기에 조사자는 얻으려는 정보의 깊이와 비용을 비교해 가며 조사 방법을 취사선택한다.

▲ 총선 당시 새누리당의 우세를 점쳤지만, 더불어민주당이 최대의석을 차지했다.
▲ NBC는 미 대선 당시 힐러리의 우세를 예측했다.

여론조사 모든 과정에서 왜곡 가능해

여론조사가 진행되는 모든 과정에서 왜곡은 일어날 수 있다. 그중 신뢰도에 가장 많은 영향을 미치는 단계는 표본을 추출하는 과정이다. 여론조사를 전화를 이용해 조사하는 경우를 생각해보자. 유선전화의 경우 전화번호부가 잘 관리돼있으며, 대부분의 가정에 비치돼 있었기 때문이다. 하지만 전화를 자주 받는 사람은 가구 구성원 중 집안에 주로 있는 사람이다. 전화번호부라는 표집틀이 모집단을 대표할 수는 있어도 표본추출 과정에서 특정 계층만 뽑히게 된다는 얘기가 된다. 그렇게 조사가 진행되면 전화를 잘 받지 못하는 집단의 의사는 반영하지 못하게 된다. 이와 같이 표본 추출이 제대로 되지 않으면 모집단을 대표하지 못하는 상황을 초래한다.

표집틀을 구성하는 과정에서도 왜곡 현상은 일어날 수 있다. 유명한 예로 주간지인 리터러리 다이제스트(이하 리터러리)의 조사가 있다. 리터러리는 1910년부터 1930년대까지 대선후보에 대한 여론조사를 진행했다. 여론조사의 대상을 자동차와 전화를 가진 사람으로 설정했다. 이 당시 자동차와 전화를 가진 사람들은 부유층이었고, 부유층은 공화당을 지지하는 경우가 많았다. 이렇듯 리터러리는 표집틀을 부유층 중심으로 구성해 이를 왜곡했다. 덕분에 여론조사와 실제 선거 결과에는 큰 차이가 나게 됐다.

표본추출을 마친 후 조사 과정 역시 왜곡이 발생할 수 있다. 설문지 질문에서 ‘상당히’, ‘약간’ 등의 애매한 단어를 사용하는 경우라든가 ‘엄청난’, ‘더 강한’, ‘침입자’ 와 같이 가치가 반영된 질문을 사용하는 경우에 왜곡이 발생한다. 또한 질문을 해석하는 시각이 영향을 미치기도 한다. 두 개의 질문 A, B를 가정해보자. A: 정부는 사유재산의 사용에 규제를 할 수 있는 권한을 가져야 하는가? B: 정부는 개발이 환경파괴를 초래할 가능성이 있다면 개발을 막는 권한을 가져야 하는가?라는 질문이 있다. A, B 두 질문의 차이는 규제에 관한 해석의 차이에서 비롯된다. A질문의 경우 규제를 추상적으로 제시해 불필요한 간섭으로 해석하게 만든다. B의 경우 환경보호라는 해석틀 아래에서 규제를 해석하게 된다. 이렇듯 여론조사의 모든 과정에서 왜곡은 일어날 수 있다. 그렇다면 왜곡을 막기 위한 방법들은 어떤 것이 있을까.

유선전화를 통한 여론조사에서 응답자가 특정 집단이 되는 경우를 막기 위해 그 가구 내에서 다시 무작위로 응답자를 선정하는 키쉬그리드와 생일법이 고안됐다. 키쉬그리드의 경우 가구 내 성인의 수와 남성의 수를 변수로 해 표본을 추출하는 방법이다. 생일법의 경우 전화를 받은 당사자가 아닌 가구 구성원 중 생일이 가장 가까운 사람을 대상으로 조사를 실시하는 방법이다. 이 경우 응답자가 정작 집에 없는 경우도 있기 때문에 조사원은 최소 3번 이상 시간대를 달리하여 재전화를 시도하고 이를 통해 응답률을 높인다.

집단 간의 가중치를 둠으로써 결과를 보정하기도 한다. 작년 미국에서 트럼프와 힐러리 사이의 여론조사에서 힐러리가 항상 앞섰지만 실제 선거 결과는 트럼프의 승리로 끝이 났다. 여론조사에서 나타나지 않았던 트럼프의 지지자들인 샤이트럼프를 고려하지 못해 여론조사는 선거 결과와 동떨어진 결과를 낸 것이다. 도시사회학과 이윤석 교수는 “이른바 샤이트럼프라고 표현된 자기의사를 드러내지 않는 사람들이 있다. 여론조사에서 실제보다 최소화된 집단에 대해서 한 사람을 1.2명으로 가중치를 두는 방식으로 보정을 하기도 한다”며 “의견 개진이 적은 집단에 대해 가중치를 높여 모집단과의 비율을 맞추기도 한다”고 말했다. 이정희 교수는 “개별 집단들이 가중치에 맞게 골고루 의사를 반영해야 한다. 집단 간의 차이는 사회마다 시기마다 다르다. 우리나라의 경우 연령에 의한 차이가 크지만, 미국의 경우 민족, 인종에 대한 차이가 더 크다”며 “사회를 진단하기 위해서는 그 사회에 대한 오랜 관찰과 이해가 필요하다”고 말했다.

여론조사의 왜곡을 막기 위해 많은 장치가 고안됐지만 100% 신뢰할 수만은 없다. 이윤석 교수는 “어떤 조사를 하더라도 모집단을 정확히 대변하기 힘들기 때문에 비판적인 수용이 중요하다”고 말했다. 이정희 교수는 “여론조사를 통해서 알 수 있는 정보는 제한적이다. 지지의 시간적 추세 혹은 강도에 관해서는 한 시점의 여론조사만으로는 알 수가 없다. 참고 자료 이상으로 의존해서는 안된다”고 수용자의 비판적인 시각을 강조했다.


이재윤 기자 ebuuni321@uos.ac.kr

 

저작권자 © 서울시립대신문 무단전재 및 재배포 금지