권순정 리얼미터 조사분석 본부장의 페이스북 글에 대한

한국리서치 입장

담당 : 한국리서치 여론조사본부장 김춘석

연락처 : 010-9525-8416/02-3014-0082/cskim@hrc.co.kr

권순정 리얼미터 조사분석 본부장(이하 권순정본부장)은 2019년 8월 26일 자신의 페이스북에 KBS <일요진단 라이브>와 한국리서치가 실시한 응답자 패널 대상 웹조사는 ‘매우 부적절한 조사방법’이어서, ‘사회적으로 영향을 크게 미치는 쟁점 현안조사, 정당지지도/국정지지도 조사, 선거조사에는 패널을 사용해서는 안된다‘며 다음과 같은 글을 올렸다.

정치사회 여론조사 전문가로서 여론조사 결과에 영향을 미치는 요인을 분석하는 데 많은 시간을 들입니다.

■ 조국 법무부 장관 후보자를 둘러싼 세부 의혹과 논란에 대한 보도량이 이례적입니다. 장관 인사와 관련해서 이렇게 쏟아진 보도를 본 적이 없습니다.

■ 또한 의혹과 논란을 다루는 방식 역시 너무나 선정적(sensational)입니다. 쟁점 정치사회 현안에 대한 의혹과 논란 보도는 균형적으로 다뤄져야 함에도 불구하고, 언론은 거의 한 쪽 방향으로만 다루고 있습니다.

■ 청문회 일정도 잡히지 않으면서 한 쪽은 거의 손발이 묶여 있는 상황입니다. 이른바 비대칭적인 정보가 여론에 전달되고 있습니다.

■ 미디어의 시대에 여론 그 자체가 진실은 아닙니다. 진실에 근접하기 위해 최소한 균형적 정보가 전달되어야 합니다.

-----

어제 KBS <일요진단> 프로그램이 공표한 조국 법무부장관 후보자에 대한 적합성 여부 조사를 접했습니다.

한국리서치가 실시한 조사로 이메일 웹조사와 휴대전화 문자발송 조사 혼용방식인 것으로 보입니다(KBS가 국민에 제시한 조사방법에 따르면 ‘휴대전화 등 활용 웹조사 방식’이 전부임).

■ 조사결과는 논외로 하고, 매우 부적절한 조사방법입니다. 사용한 이메일은 조사업체가 자체적으로 수집한 것일 수밖에 없습니다. 사용한 휴대전화 역시 조사업체가 자체적으로 수집한 패널일 가능성이 높습니다.

■ 선거조사, 정당지지도/국정지지도, 쟁점 현안조사와 같이 선거 또는 정국 여론에 중요한 영향을 미치는 조사에는 패널을 사용하면 안 됩니다.

■ 물론 수집한 패널을 여러 번 사용한 조사 결과가 무작위 생성 전화번호(이른바 RDD, random digit dialing)와 별 차이가 없다고 주장할 수 있고, 실제로 그러할 수 있음을 부정하지는 않습니다.

■ 그럼에도 불구하고, ①패널 조사는 패널로 가입하지 않은 다른 국민은 원천적으로 배제하는 조사입니다. 여러 번 무작위 생성 전화번호 조사와 비슷한 결과를 얻었다고 해서 항상 비슷한 결과를 얻는 것은 아니며, 설령 비슷한 결과를 ‘자주’ 얻는다고 해도 패널이 아닌 다른 국민은 조사에 참여할 확률이 원천적으로 ZERO일 수밖에 없는 방식의 조사는 그 자체의 문제점으로 인해 언제라도 논란을 야기할 수 있습니다.

■ ②패널은 성, 연령, 거주지역과 더불어, 정치성향까지도 알 수 있는 경우가 많습니다. 왜냐하면, 패널 응답자는 한 번의 조사에만 참여하는 것이 아니라 여러 번의 조사에 참여하며, 조사자는 여러 번의 조사로 축적한 성, 연령, 거주지역 등의 개인정보를 알 수 있습니다. 부족한 성, 연령, 거주지역을 채우기 위해 해당 패널만을 뽑아 설문 초대(invitation)를 보낼 수 있을 뿐만 아니라, 조사 직업윤리가 취약할 경우 일정한 목적에 따라 패널의 개인정보를 임의로 사용해 조사에 활용할 수 있는 위험성도 있습니다. 대부분의 조사업체는 이러한 직업윤리를 지킬 것입니다. 하지만, 이러한 위험성이 있는 조사방법을 사회적으로 영향을 크게 미치는 쟁점 현안조사에 굳이 사용하는 것은 바람직하지 않습니다.

■ 이러한 문제들 때문에 중앙선거여론조사심의위원회는 임의로 수집한 패널로 선거조사를 못하게 하고 있습니다.

■ 패널을 사용하면 돈과 시간을 절약하고 영업 이윤을 극대화할 수 있습니다. 언제라도 매우 빠른 시간 안에 결과를 내놓을 수 있습니다. 그래서 조사업체와 방송사들의 구미가 당길 수 있습니다.

■ 언론과 정치사회 조사기관은 신뢰성을 먹고 삽니다. 국민들이 ‘못 믿겠다’고 하는 순간 그들의 존재기능은 무력화될 수밖에 없습니다.

■ 사회적으로 영향을 크게 미치는 쟁점 현안조사, 정당지지도/국정지지도 조사, 선거조사에는 패널을 사용해서는 안 됩니다.

권순정본부장의 주장과 논거를 다음과 같이 정리할 수 있겠다.

[주장1]

선거조사, 정당지지도/국정지지도, 쟁점 현안조사와 같이 선거 또는 정국 여론에 중요한 영향을 미치는 조사에는 패널을 사용하면 안된다.

논거1. 패널 대상 조사는 패널로 가입하지 않은 다른 국민을 원천적으로 배제하는 조사이다.

논거2. 패널 대상 조사는 패널의 정치 성향을 알 수 있어, 조사자 임의대로 조사대상자를 선정하고 조사에 참여하도록 자극할 수 있다.

논거3. 중앙선거여론조사심의위원회는 임의로 수집한 패널로 선거조사를 못하게 하고 있다.

[주장2]

패널을 사용하면 돈과 시간을 절약하고 영업 이윤을 극대화 할 수 있어, 조사업체와 방송사들의 구미가 당길 수 있다.

한국리서치의 입장과 논거는 다음과 같다.

[권본부장 주장1 관련]

선거조사, 정당지지도/국정지지도, 쟁점 현안조사와 같이 선거 또는 정국 여론에 중요한 영향을 미치는 조사에는 패널을 사용하면 안된다.

□ 한국리서치 입장 : 패널 대상 조사도 여론 및 정국에 중대한 영향을 미치는 조사를 할 수 있는 타당하고 신뢰할만한 조사방법이다. 조사방법은 조사현실과 요건 및 목적에 따라 과학적으로 입증된 적정한 방법을 적용하는 것이지, 정국이나 여론에 미치는 영향의 정도에 따라 달리 선택하는 것은 아니다.

근거1. 외국의 유수 조사회사와 대학 등에서는 정국 여론에 중요한 영향을 미치는 조사에 패널을 대상으로 한 조사를 활발히 실시하고 있다.

1) 퓨리서치센터(Pew Research Center)

퓨리서치센터는 2014년부터 랜덤하게 모집한 패널(일명 American Trends Panel) 3만 여명(2018년 11월 기준)을 대상으로 2018년 기준 39차 정치사회여론조사를 실시하였고, 현재도 지속하고 있음

https://www.pewresearch.org/methods/2019/02/27/growing-and-improving-pew-research-centers-american-trends-panel/

2) GALLUP PANEL

미국 갤럽은 10만여명의 응답자 패널을 대상으로 사회조사와 마케팅조사를 수행하고 있음

https://www.gallup.com/analytics/213695/gallup-panel.aspx

3) 시카고대학 여론조사센터(NORC)

시카고대학 여론조사센터에서는 랜덤하게 모집한 패널(일명 Ameri speak) 3만 5천여명(2019년 현재)을 대상으로 옴니버스 조사를 포함하여 다양한 정치사회 여론조사를 실시하고 있음

https://amerispeak.norc.org/our-capabilities/Pages/default.aspx

4) 유고브(YouGov)

유고브는 패널대상 웹조사 전문회사로 38개국 5백 6십만 여명(2018 기준)의 온라인조사 패널을 확보하고 있으며, 패널을 기반으로 정치사회조사 뿐만 아니라 다양한 마케팅조사를 실시하고 있음

https://d25d2506sfb94s.cloudfront.net/r/8/YouGov_Online_Panel_Book2017.pdf

근거2. 중앙선거여론조사심의위원회에 등재된 조사 중에는 패널을 이용한 조사가 다수 존재한다.

<표> 선관위 여심위 등록 조사회사 자체패널 조사 사례

선거구분	조사 횟수
제7회 지선(2018년)	6
19대 대선(2017년)	5
20대 총선(2016년)	142

※ 2018년 지선부터 가상번호를 활용할 수 있게 되어 조사회사 패널 대상 조사 횟수가 급격히 줄어듬. 상세 리스트는 요청시 제공할 수 있음

상기 여론조사는 선거 시기에 실시된 조사이거나 정국과 관련한 언론 공표 조사라는 점에서 정국 여론에 중요한 영향을 미친 조사라 할 수 있다.

근거3. 정국 여론에 미치는 조사와 별개로, 통계청 승인통계를 비롯한 주요한 정책 및 연구 조사에도 패널 대상 조사가 활발하게 실시되고 있으며, 이러한 경향은 점차 확대되고 있다. 통계청 승인조사와 정책조사 등이 정국 여론에 영향을 미치는 선거조사보다 덜 엄중하다고 할 수 없다.

<표> 한국리서치 수행 응답자 패널 대상 정책․언론 주요 조사

순번	의뢰기관	조사시기	표본수	조사방법	표집틀	비고
1	한국주택금융공사	2009년~2016년	5,000명	웹조사	MS 패널	통계청 승인통계 : 32103호
2	인터넷진흥원	2004년~2016년	6,000명	웹조사	MS 패널	통계청 승인통계 : 342004호
3	내일신문·현대정치연구소	2017년 9월	1,000명	전화면접	MS 패널	선관위 여심위 등록
4	명지대 미래정치연구소	2018년 6월	2,000명	웹조사	MS 패널	SSK 지원 사업
5	명지대 미래정치연구소	2017년 3월1	1,000명	웹조사	MS 패널	SSK 지원 사업
6	명지대 미래정치연구소	2018년 3월	22,279명	웹조사	MS 패널	SSK 지원 사업
7	한국정치학회	2018년 8월	14,630명	웹조사	MS 패널	일반국민 조사
8	국립과학수사연구원	2018년 9월	400명	웹조사	MS 패널	일반국민 조사
9	한국은행	2018년 12월	1,000명	웹조사	MS 패널	일반국민 조사
10	여성정책연구원	2019년 9월	2,500명	웹조사	MS 패널	일반국민 조사
11	여성정책연구원	2019년 7월	3,000명	웹조사	MS 패널	일반국민 조사
12	국토연구원	2018년 12월	2,000명	웹조사	MS 패널	일반국민 조사
13	기획재정부	2018년 12월	1,000명	웹조사	MS 패널	일반국민 조사
14	정책기획위원회	2018년 11월	1,000명	웹조사	MS 패널	일반국민 조사
15	한국행정연구원	2019년 6월	600명	웹조사	MS 패널	일반국민 조사

※ MS 패널 : 한국리서치 응답자 패널에 대한 지칭(Master Sample)

[권본부장 주장1의 논거 관련]

<논거1> 패널 대상 조사는 패널로 가입하지 않은 다른 국민을 원천적으로 배제하는 조사이다.

□ 한국리서치 입장 : 패널 대상 조사는 패널로 가입하지 않은 다른 국민을 원천적으로 배제하는 조사라는 것은 표본조사에 대한 통계적 이해가 충분하지 않은 비과학적 주장일 따름이다.

근거1. 응답자 패널이 모집단을 대표한다면, 응답자 패널을 이용한 조사 또한 전체 모집단을 대표한다는 것이 통계적 사고이다.

[별첨] 한국리서치 응답자 패널 소개 : 운용방안 및 대표성 보증 현황

○ 조사는 모집단을 모두 조사할 수 없기 때문에 표본추출(sampling)을 통해 표본(sample)을 조사한다. 이점에서 표본의 대표성을 확보하는 것이 타당한 조사를 위한 필수 요건이다.

- 응답자 패널은 모집 단계에서 지역, 성별, 연령, 학력, 직업 등의 주요 변인이 모집단을 대표하도록 구성한다. 미국 갤럽(GALLUP)은 대표성을 보증하는 엄정한 절차에 따라 10만여명을 모집하여 운용하고 있고, 한국리서치는 45만여명을 모집․운용하고 있다.

- 패널 모집 과정에서 패널이 모집단을 대표한다면 응답자 패널을 표본추출틀(sampling frame)로 활용할 수 있다.

- 이는 패널에 가입하지 않은 사람을 배제하는 것이 아니라, 모집단을 대표할 표본을 보다 효과적으로 선정하는 과학적 방식(이중추출, two-stage sampling)이다.

- 한국리서치 응답자 패널은 통계청으로부터 국가승인통계 표본추출틀로 승인을 받았다. 이는 한국리서치 응답자 패널이 모집단을 대표하는 표본추출틀이라는  것을 국가 기관으로부터 공인 받았다는 것을 의미한다.

근거2. 한국리서치는 ⅰ)응답자 패널 모집에 대표성을 보증함과 아울러, ⅱ)한 사람이 유사한 조사를 반복적으로 참여함으로써 발생할 수 있는 패널 효과(panel effect)를 방지하기 위한 모집 및 관리 관련 국제규정을 준수하고 있다.

[응답자 패널 모집 및 관리 관련 국제 규정]

▷ ESOMAR Guideline on Conducting Market and Opinion Research Using the Internet

▷ ISO/DIS 26362 - Access panels in market, opinion and social research (2008-06)

[한국리서치 주요 패널 관리 규정]

① 유사 프로젝트 조사 참여자 3개월 이상, 같은 유형 조사 참여자 1개월 이상 조사 참여 제한

② 조사 참여에 대한 적절한 사례금 (조사 참여 후 통장으로 지급)을 책정

③ 정기적인 조사에 참여하는 패널은 일반조사에 참여하지 못하도록 제한

④ 응답 성실도에 따른 패널 등급 분류(불성실 응답자, 거짓 응답자 패널 탈락)

⑤ 정기적인 패널 프로파일 조사를 통한 패널 정보의 지속적인 업데이트

⑥ 1개월에 한 번씩 이메일 ACTIVE 여부 업데이트

<논거2> 패널 대상 조사는 패널의 정치 성향을 알 수 있어, 조사자 임의대로 조사대상자를 선정하고 조사에 참여하도록 자극할 수 있다.

□ 한국리서치 입장 : 상상조차 할 수 없는 상황이다.

근거1. 조사자로서 이러한 상상을 해본 적도, 들어본 적도 없다. 권본부장이 이러한 상상을 할 수 있는 근원이 무엇인지를 되묻는다.

○ 한국리서치를 비롯한 한국조사협회 회원사는 한국조사협회 윤리강령을 준수하며, 조사자로서 비윤리적 행위에 해당하는 사안은 지속적으로 환기하고 있으나, 상기 사안은 이번 글을 통해 처음 접하는 방식이다.

한국조사협회 윤리강령 : https://www.ikora.or.kr:5009/N/kora/ethics.asp

<논거3> 중앙선거여론조사심의위원회는 임의로 수집한 패널로 선거조사를 못하게 하고 있다.

□ 한국리서치 입장 : 중앙선거여론조사심의위원회의 「선거여론조사 기준」을 오독한 것이다. 중앙선거여론조사심의위원회의 선거여론조사 기준은 조사회사가 자체적으로 구축한 응답자 패널 대상 조사를 적정한 조사로 명시하고 있다.

근거1. 중앙선거여론조사심의위원회의 「선거여론조사 기준」은 자체 구축 패널 이용 인터넷조사를 적정 방법론으로 명시하고 있다.

- 제10조(조사방법 신고) 6. 인터넷조사[전자우편조사, 웹조사(web-based survey)

- 제11조(표본의 크기 및 피조사자 선정방법 신고) ②~이 경우 제10조제2호․제3호에 따른 조사 및 특정 표본추출틀(패널 등을 포함하여, 이하 같다)~

근거2. 권본부장이 언급한 내용의 관련성을 굳이 찾는다면 ‘공표‧보도목적의 선거여론조사에 특정 후보자(입후보예정자 포함)에게 유리하거나 불리한 결과를 가져올 수 있는 후보자 제공 전화번호부 DB 사용 제한’과 관련한 검토사항이며, 이는 선거여론조사 기준에 아직 명시되지 않았다.

[권본부장 주장2 관련]

패널을 사용하면 돈과 시간을 절약하고 영업 이윤을 극대화 할 수 있어, 조사업체와 방송사들의 구미가 당길 수 있다.

□ 한국리서치 입장 : 조사회사가 패널을 자체적으로 구축하여 운용하는데 적지 않은 자원이 소요되기 때문에, 응답자 패널을 구축 운용하는 회사가 소수에 불과하며, 방송사 또한 보도를 위한 조사방법으로 채택하는데 주저하였다. KBS<일요진단 라이브>와 한국리서치는 과학적 조사방법이자 세계적 트렌드인 <응답자 패널 대상 휴대전화와 이메일을 이용한 웹조사>를 우리나라 조사업계와 방송계에 선도적으로 도입하고 있다.

근거1. 조사회사가 자체 패널을 모집하고 운영하기 위해서는 많은 자원이 소요된다. 한국리서치는 응답자 패널 관리(추가 모집, 정보 업데이트, 소속감을 높이기 위한 자체 행사 등)를 위해 연간 3억원 이상을 투자하며, 응답자 패널 관리와 운영을 전담하는 정직원이 3명이다. 응답자 패널에게 지급하는 년간 사례비가 9억원이 넘는다.

근거2. 응답자 패널 대상 조사는 세계적인 트렌드이며, 점차 확대되고 있다. 이는 이윤 극대화 차원보다는 개별면접조사나 전화면접조사를 할 수 있는 여건이 날로 악화됨에 따라 불가피하게 선택할 수밖에 없는 조사환경적 요인이 더 크게 작용한 결과이다.

근거3. 그럼에도, 우리나라 조사업계는 자체 구축 패널을 보유한 조사회사가 2개(한국리서치, 엠브레인)에 불과하며, 한국갤럽조사연구소가 진입단계에 있다. 모집과 관리 및 운용에 따른 비용부담이 만만하지 않기 때문이다. 언론계는 응답자 패널 대상 웹조사의 대표성과 타당성에 대한 신뢰가 충분하지 않아 보도용 조사로는 채택하고 있지 않은 것이 현실이다.

김춘석 한국리서치 여론조사 본부장은 권순정 리얼미터 조사분석 본부장의 글이 사실에 부합하지 않을 뿐만 아니라,

추론과 표현이 매우 부적절하다는 입장에서

상기 내용과 관련한 공개 토론을 제안한다.