문재인 더불어민주당 전 대표가 지난달 31일 부산지역 총선 판세에 대해 이렇게 얘기합니다.
“자체 조사에 의하면 적어도 5명 정도가 당선가능권에 들어와 있어요. 지금 언론이 전하는 여론조사는 유선전화에 의한 여론조사인데, 응답률이 지독히 낮아요. 실제 바닥 민심하고는 굉장히 많은 차이가 있어요.”
언론의 여론조사를 믿을 수 없다는 이유로 ‘낮은 응답률’을 제시했네요. 그런데 이 말은 정말 사실일까요?
남기남 기자가 파헤쳐봤습니다.
우선 응답률이 뭔지 살펴보겠습니다.
응답률이란, 응답자 수를 전체 통화 시도 횟수(응답자+불응자)로 나눈 수치에요. 응답률 10%라면 10명 중 1명이 조사에 응했다는 뜻이죠. 응답률 1%라면 100명 중 1명이 조사에 응했다는 뜻이고요. 전국 1000명을 조사하기 위해 1만명에게 전화를 했느냐(응답률 10%), 10만명에게 전화를 했느냐(응답률 1%)의 차이에요. 1000명에게서 답을 받았다는 사실은 같죠.
어쨌든 1000명의 답을 구했는데, 응답률이 낮다는 게 왜 문제가 된다는 걸까요?
응답률이 낮다는 것은 무응답자가 많다는 뜻입니다. 응답율이 10%라면 1만명 중 9000명이 조사에 응하지 않았다는 뜻이죠.
‘낮은 응답률=낮은 신뢰도’라고 주장하는 이들은 9000명이 조사에 응하지 않은 이유에 주목합니다. 특별한 이유(편향)가 있다면, ‘낮은 응답률=낮은 신뢰도’가 성립합니다. 예를 들어, <조국일보>가 실시하는 조사라고 밝힐 경우 <조국일보>를 싫어하는 이들이 ‘무응답’할 가능성이 있습니다. 조사에 응한 응답자들이 전체 여론을 대표하지 못할 가능성이 생기는 것이죠.
그러나 9000명이 조사에 응답하지 않은 ‘특별한 이유’가 없다면, 예를 들어 단순히 바쁘다는 이유로 많은 이들이 조사를 거부했다면, 다양한 이유로 무응답자가 많이 생겼다면, 특정 집단이 응답 과정에서 배제됐다고 보기 어렵습니다. 이런 경우 ‘낮은 응답률=낮은 신뢰도’는 성립하지 않습니다.
선관위는 지난해 선거여론조사 기준을 내놨습니다. 가중값과 표본 크기를 규제하는 내용이 담겼는데 응답률에 관한 규제는 빠졌습니다. 선관위 관계자의 설명을 들어볼게요. “검토는 했지만 응답률이 조사의 질을 결정하는 직접적 지표는 아니라고 판단했어요. 응답률이 낮더라도 표본이 대표성 있게 표집되면 되거든요.”
정리하겠습니다.
무응답 사유에 일정한 편향성이 없다면 낮은 응답률은 조사 신뢰도에 영향을 미치지 않습니다. 무응답이 특정한 이유로 발생한다면 낮은 응답률은 조사 신뢰도에 영향을 끼칩니다.
“언론 여론조사는 응답률이 지독히 낮다. 실제 바닥 민심하고는 굉장히 많은 차이가 있다.” 문 전 대표의 말은 사실일 수도 아닐 수도 있겠네요.
글쓰기