현직 조사회사 근무자로써 여론조사를 읽는 몇가지 팁을 안내해 드리려고 합니다. 많이 참고해 주시길.

#1. 큰 회사 결과가 그나마 믿을 만 하다.

현재 리서치회사 top10을 이야기하자면

2014년 순 매출액기준(출처:kisline)으로

1. Tns (720억)

2. 닐슨컴퍼니 (500억)

3. 한국리서치 (470억)

4. 입소스코리아 (390억)

5. 미디어리서치 (265억)

6. 갤럽 (250억)

7. 나이스알앤씨 (245억)

8. 엠브레인 (215억)

9. 포커스 (115억)

10. 리서치앤리서치 (110억)

순이고... 나머진 다 연 매출 100억미만인 작은회사들임. 특히 언론사에 많이 나오는 코리아리서치센터(krc),리얼미터,조원씨앤씨,KSOI, 매트릭스 이런 회사들은 모조리 제대로 이윤을 내기 힘든 영업구조를 가진 회사들임.

특히 위에서 200억이 넘는 회사인지 아닌지가 중요한데... 매출액 200억미만 회사들은 모조리 소속 연구원들 월급을 한번씩 떼어먹거나 밀려본 경험이 있는 회사일 정도로 열악한 상황임.

영업구조가 나쁘다는 것은 곧 달콤한 유혹에 빠지기 쉽다는 것을 의미함. 사실 여론조사 3대 강자라고 할 수 있는 Tns, 한국리서치, 미디어리서치 중 올해 한국리서치가 거대 여당 조사풀에서 제외되고 미디어리서치가 출구조사 풀에서 제외된 사실은 여러 배경이 있지만 여론조사를 매개로한 모종의 유혹으로 부터 얻을 수 있는 메리트보다 정상적으로 조사를 수행하는 것으로 부터 얻을 수 있는 이점이 더 큰 회사들이라는 점에도 크게 기인함.

상기한 리서치 사들 가운데서 닐슨과 나이스는 사실 제대로 여론조사를 하는 회사라고 보기 힘들다는 점을 감안하면 200억 넘는 회사중 그나마 주어진 제약 조건내에서 사실 그대로 결과를 제공하고 있는 회사는 Tns,한국리서치,입소스,미디어리서치,갤럽,엠브레인(?여긴 쫌..) 5~6개라고 봐도 무방.

#2. 언론사 조사는 웬만하면 무시해도 무방.

안심번호 조사 시스템이 법제화되면서 언론사 연합이나 한국조사협회에서 8억~10억 정도만 투자했다면 전보다 훨씬 신뢰도 높은 여론조사 모집단을 기초로 조사가 가능한 상황임.

하지만 그렇게 하지 않고 전과 똑같이 하는 건

1.언론사의 정파적 이해... 약 30%

2.값싸게 데이터를 얻어 온 오랜 관행...약 30%

3.데이터의 신뢰도보단 그냥 했다는 게 중요한 수준인 언론인 특유의 안일함... 약 30%

4.기타 조사기관 간 역학관계등 미묘하고 복잡다난한 그들 사정 10%...

정도로 이해하면 딱 맞음.조사기관은 거기에 응하는 수준인 거고.

현재 언론사 조사 단가는 500샘플기준 ARS가 100만원 이하 전화조사가 250~300만원 수준이며 목표한 샘플수와 쿼터(연령,성별)을 맞추기 위해 온갖 꼼수들이 조사회사내에서 난무하는 상황임.

언론사 조사에 활용되는 꼼수 몇개 소개하면...(유선/무선 똑같다.)

1.예전 응답자 명부 섞어넣기.

2.예전 대형 정당 국민경선 명부 섞어넣기.

3.예전 정당 발주조사 리스트 섞어넣기.

4.기타 옆사람 지인 소개받기 등등.

표본추출과정 선관위에 등록해야니까 말도 안된다고? 이거 묻기 전에 많은 이들이 좋아하는 RDD 조사 실컨택율(전화받음)과 실 응답율이 얼마인줄 아는가? 각각 9%,1%다... 제대로 모집단 리쿠르팅 작업을 준비해온 미디어리서치쪽 전언이니 정확할 거다. 이런 상황에서 저 가격에 하루만에 FM으로 RDD조사한다? 신이와도 불가능이다. 선관위가 여론조사 신뢰성 제대로 검증하고 싶다면 직원이 조사기관에 상주하면서 리스트 추출과정 실시간 감청, 응답DB 로그 분석 등을 다 한대도 될까 말까다.

따라서 언론사 조사는 걍 신경꺼도 무방하다.

(참고로 진짜 돈 되는.. 정당이 구매한 안심번호를 활용한 경선조사의 단가는 최소 13000원 이상으로 알려져 있다. 즉 언론사 조사의 최소 2배인 셈이다. 결국 정당조사가 현단계에선 가장 정확한 편이지만 이건 대외공표도 안 될 뿐 아니라, 정당간 예산차이 등등의 이유로 많이 이뤄지지도 않음)

#3. 그래도 여론조사 응답을 착실히 해야 하는 이유.

간단하다. 정치인들이 그나마 국민들 목소리 신경써서 듣는 건 요때뿐이고 이 때 응답된 응답값이 지들의 정치적 선택의 잣대가 되기 때문이다.귀찮더라도 해주자..

1. 앞에 글에서 그나마 큰 회사것이 신뢰도가 있다고 했는데요. 하지만 그건 자기들의 한계를 명확히 했다는 거지 결과값 신뢰도가 높다는 건 절대 아닙니다. 이제 부턴 선관위 홈피에 있는 내용에 있는 내용에 근거해서 그 증거들을 말씀드리겠습니다.

2. 앞에서 미디어리서치가 RDD로 모집단 리크루팅을 했다고 했는데요.. 그 증거는 미디어리서치 홈피에도 있습니다.

여기보심 PDS라는 게 나오는데요. 이게 ars를 활용한 rdd 표본틀표집->이 표본틀을 활용하여 전화조사 수행이라는 RDD조사 원칙을 제대로 지킨 사례입니다.

하지만 재미난 건요... 미디어가 항상 조선일보랑 조사를 진행하는데 자기들의 표집틀은 전혀 활용하지 않고 주구장창 고전적 표집틀. 유선전화100% KT표집틀을 활용하고 있다는 점입니다. 왜 그럴까요?

1. PDS로 모인 표집틀이 충분하지 않다.(40%)

: 이게 은근히 비싼 방법입니다. 이거 전문으로 하는 외국회사(SSI)도 있는데 거기 한국브랜치... 사실 문닫은 상태입니다. 더구나 미디어가 꽤 큰회사지만 글로벌 모기업인 칸타그룹에서 TNS와의 합병을 사실상 종용하고 있거든요. 그러니 더더욱 투자하긴 힘든 상황이죠. 더구나 이렇게 수집된 표본틀을 인정안해주는 시장분위기를 감안하면 실험만 하고 충분히 표본틀을 갖춰놓고 있지 않을 가능성이 훨씬 큽니다.

2. 메인 고객사의 정파적 성향(50%)

: 조선일보... 아시죠...^^

3.기타 (10%)

: 그래도 이미 한계가 뚜렷한 표집틀이기 때문에 빠져나갈 구멍도 확실하니 대외신뢰도 하락에는 큰 영향이 없다.는 이유 등등

근데... 또 하나 놀라운 건 예를 들어 구로을의 경우 응답율이 7.9%가 나왔는데 연령할당을 거의 근사치로 채웠다는 점. 사실 KT인명편에는 연령정보가 없기때문에 조사전단계에서 할당(쿼터)를 주는 건 불가능하거든요. 결국 응답기준으로 스크리닝했단 이야기인데... 응답율 7.9%라면... 20~40대의 경우 응답을 유도했거나 사전에 KT db와 자기들 응답자 db를 크로스시켜 응답가능성이 높은 사람들을 심어놨을 가능성이 90%이상입니다. 나중에 선관위 검증땐 어쨌거나 해당 전화번호가 KT전화번호부에 있기만 하면 ok거든요. 유도여부야 녹취파일 검증따윈 하지 않는 선관위 특성상 걸릴 일도 없구요.

어쨌든 큰 회사 조사도 언론사 발주면 꼼수는 다 들어가있다고 보면 됩니다. 그나마 돈 잘주는 조선일보 발주니 한계가 있어도 크게 신경안쓰고 당당히 내 놓을 수 있고 지적되는 한계점이라 해봤자 오래된 이야기니 not worse거든요.

3.그럼 RDD를 이용해 발표한 조사는 어떨까요? 최강자 TNS와 SBS가 수행한 사례입니다.

순천시 것만 살펴보면 흠. 우선 유선이란 한계가 확실하구요.무작위 생성번호가 80000개인걸 보면 대표국번 8개 가지고 생성한 것은 확실하네요.(나름 형식적인 원칙은 충실히 따랐다고 할 수 있다는 뜻) 근데... 응답율이 와우 16.5%... 이건 틀림없이 기존 응답자DB를 활용한 리스트 재정열이 있었다는 증거네요. 왜냐구요.

통상적으로 가장 응답율이 좋은 조사가 리스트조사중에서도 이른바 해피콜(통신사나 as센터,은행같은데서 하는 만족도 조사입니다.)조사가 1회컨택 기준으로 13~18%나오는게 업계의 정설이거든요. 8만개중에서 2만개수준으로 조사 종료된 것보면 재컨택은 없었을테고 당연히 연령정보등은 사전정보가 아닌 응답정보기준으로 짰을테니 보나마나 자체 보유 응답자DB 썼네요.

RDD조사란 이름이 보편화되면서 재밌는 현상이 벌어진 게 응답율이 이전 전화번호부 명부썼을 때보다 오히려 올라가는 추이를 나타내요. 근데 사실 이건 응답율에 대한 잘못된 오해가 보편화되면서 생긴 사회적 제약 더하기 RDD방식의 보편화로 조사기관에서 자기 DB를 끼워넣기 훨씬 편해진 상황이 결합된 결과에요. 아까 말씀 드렸지만 RDD의 유효컨택율이 10%미만이라고 했잖아요. 제대로 RDD조사를 했다면 선관위 등록기준에 훨씬 못미치는 1%언저리가 나오는 게 맞는거에요. 응답율을 공표기준으로 삼은 선관위는 사실 엉터리 여론조사를 조장하고 있다고 봐도 무방하죠.

자... 위에 미디어리서치도 그렇고 TNS도 그렇고 응답율 20%를 자랑하는 갤럽,리얼미터 등등 여론조사 많이 하는 회사든 아니든 언론사 조사는 DB스크리닝이 다 이뤄졌다고 보는 게 정답입니다. 그럼 왜 큰 회사가 그나마 신뢰도가 높은가 하면... 맞아요. 스크리닝할 DB가 많고 머 언론사나 기타 관계자들이 암묵적 혹은 대놓고요구하지 않는 이상 최대한 편향되지 않게 효과적으로 나름 섞어 넣기 때문이죠. 그래도 신뢰도가 뚜욱 떨어질 수 밖에 없는 이유는 어쨌거나 예전에 조사 응답한 적이 있는 사람이 또 다시 응답하게 될 개연성이 크다는 점은... 맞아요. 일정 수준이상 정치적으로 색깔이 확실한 분들이 응답할 확률이 높고 돈많은 여당이 조사를 많이 했던 만큼 그 사람들에게 좀 더 가까운 사람들이 응답할 가능성(가장 많은 응답데이터를 지닌 DB중 하나가 바로 정당들의 국민경선 선거인단이에요. 누가 더 크게 많이 했는지 생각해보세요.)도 크단 이야기가 되겠죠? 유선 무선을 넘어 현행 언론사 발주조사는 다 이런 한계점을 갖고 있지요.

4. 그렇다면 중소리서치사들은 어떤 상황이냐... 사실 한숨만 나오죠. 일단 중소리서치사는 응답율이 전반적으로 낮아요. 형식적으로나마 표본틀을 갖춰야하는데 대부분 시장에 유통되는 응답자DB가 유선이니 유선조사를 할 수밖에 없고 그 DB보유자들이 예전 리서치 낭인들이다보니 오래되서 신뢰도도 떨어져요. 그러다보면 대부분 특정정당 경선조사 응답DB같은 걸 구하려고 눈이 뻘개서 돌아다니죠. 그러면 정치컨설턴트라고 불리는 사람들 구미에 맞는 조사라도 할 수 있으니 말이죠.그걸로는 모자라니까 두잇서베이니 하는 정체를 알 수 없는 2~3만명 패널가진 곳을 청년층 응답자 확보라는 허울좋은 명분으로 이용하는데 거기 응답율이 70% 80%이래요. 조사물량이 연간 100회도 안되고 패널들에게 reward도 제대로 줄 수 없는 회사들인데 말이죠. 조사업자들이 비양심적이라기 보단... 그렇게 해야 여론조사 시장에서 밥을 먹고 살 수 있으니 그렇게들 하는 거에요.

5. 결론은 이렇습니다.

1.우리나라 언론사나 선관위는 사실 객관적인 결과를 얻는데는 관심이 없다...고 봐도 무방하다.

2.조사회사의 경우 크던작던 실력이 있건 없건 양심이 있건 없건 간에 언론사조사를 FM대로 했다간 밥굶기 딱 좋으므로.. 자기가 할 수 있는 범위, 다시 말하자면 다른 조사 수주에 마이너스가 될 편법/불법은 아슬아슬하게 피하는 수준으로만 조사를 수행한다.

3.실제 결과와 여론조사간의 격차는 여론의 변화보다 사용되는 표본틀 정보의 편향성에 더 크게 좌우되며 요즘 정당에서 발표없이 경선에서 쓴 안심번호로 조사를 한 것을 보면 더욱 그러하다.

4. 조사회사는... 아니 여론조사를 수행하는 모든 조사쟁이들은 현단계에서 만큼은 안심번호를 쓰고 싶어한다.

5. 참고로 안심번호가 아닌 FM RDD,즉 위의 PDS로 전 유권자의 1%인 30만명수준의 표본틀을 갖추기 위한 리서치회사의 최초 투자비용은 1년에 약 10억수준이며 이건 여론조사 시장이 3~4개 회사의 전문 영역으로 굳어지지 않는 이상 불가능하다. 덧붙여 가장 큰 리서치회사인 TNS KOREA의 연 영업이익이 15억을 밑돌고, 상위 8개사(매출액 규모 200억 이상) 평균 영업이익률이라 해봐야 3~7%수준이며 이는 적어도 한국에서만큼은 리서치회사가 정보회사라기 보단 제조업에 가까운 매출구조를 갖고 있음을 뜻한다. 처분자산이라고 볼 수 있는 게 극히 적으며 항상 불안정한 시장수요와 인적자원 투자에 소홀히 할 수 없는 위험에 노출되어 있는 정보산업의 특성을 감안하면 현재 리서치 시장의 이익률은 사실 착취에 가깝다.

이건 아주 민감할 수 있는 정보라 회사명을 철저히 익명에 붙입니다.

1. 희망적인 글...

사실 안심번호 경선이 이뤄진 곳이 많지 않고 유효기간도 거의 다 되어가는 쪽이라 (물론 돈많은 모당은 길게도 잡아두셨더만은) 안심번호 활용 정당내 자체조사는 제한적으로 이뤄지는 듯 합니다. 하지만 몇몇 빨대에게 들은 이야기론.. 더민당//정의당 지지도가 꽤 빠르게 상승하는 것 같습니다. 여당이 엄살떠는 것도 아주 근거가 없진 않아요. 일단 그정도...

비관적인 것 하나... 이건 정말 갑갑한 건데... 국민의 당이 헛돈쓰면서 깜깜이 선거하고 있다는 거죠. 그들도 맹추는 아니라 앞서 말한 10개사 중에 4~5곳과 중소회사 1곳...이른바 정치여론조사 잘한다는 곳 몇군데를 전략적으로 집중해서 자료를 받아보고 있는 듯해요. 문제는 호남쪽을 빼고는 안심번호를 받은 곳이 거의 전무한 국민의 당이라 전국차원의 신뢰성있는 데이터를 사실상 못가지고 있는데다가 여기 선대 실세라는 모씨가 여론조사하면 생각나는 모 두회사 빠라서 개중 자체 응답패널을 제대로 갖고 있는 모 회사들 결과는 경시하고 그 두회사 결과를 과하게 신뢰하여 전략을 짜고 있다는 거죠. 특히 그 두회사중에 하나는... 헤여 여당과 특수관계라 DB스크리닝도 묘하게 틀어잡아서 진행하는 모양이던데. 더구나 실무자급에서 그걸 제대로 컨트롤할 만한 인재도 없어서 그 회사들에게 사실상 농락당하는 수준이라더군요. ㅠ.ㅠ 돈은 더 비싸게 쓰고 있는데 말이죠. 여기에 안철수씨 특유의 고집까지 더해서 단일화가 쉽진 않을 듯 싶습니다. 

몇분 안되지만 긴 글 읽어주셔서 감사합니다.

어떤 분 말대로 투표만이 답이네요.그럼 총총