2개의 설문조사 결과가 전혀 다르다. 각각 비슷한 시기, 비슷한 인원을 대상으로 남강유등축제 유료화 설문을 한 것. 논란이 일었다. 9월 7일 강민아(무소속. 바선거구) 진주시의원이 SNS에 진주문화예술재단이 지난 4월에 실시한 설문조사지와 결과분석을 올리고 난 뒤다. 이에 단디뉴스에서는 '진주시(주관 진주문화예술재단) 시민 설문 조사서'를 권오범(경상대 정치경제학과 박사과정 수료) 씨에게 사회조사 방법에 입각해 신뢰도 여부를 의뢰했다. 아래는 진주시 설문조사에 대한 권오범 씨의 평가서다. - 편집자 주 

지난 3월 31일 남강유등축제를 지키기 위한 진주시민행동(이하 시민행동)을 2015년 남강유등축제 전면유료화 정책에 대해 정확한 시민설문조사를 시 측에 요구하였고, 5월 17일 '시민행동'이 약 한 달(4월 2일부터 5월 1일) 동안 진행한 남강유등축제 유료화 정책과 가림막에 대한 설문조사(응답자 2284명)결과를 발표하였다.

그 결과는 응답자의 90%가 유등축제 '가림막'에 반대의견을 나타냈으며, 2015년 처음 도입된 전면 유료화 정책에 대해서도 약 92%가 비판적인 의견(축제 유료화 자체 반대 41%·가격 조정 16%·부분 유료화 지지 35%)을 나타내었다.

하지만 5월 시민행동의 설문조사결과를 보도하는 몇몇 기사들에는 진주시 혹은 진주문화예술재단(이하 문화예술재단)에서 4월 18일~27일에 걸쳐 실시한 설문조사 결과를 보도하였다(응답자 1912명). 보도된 내용에 따르면 문화예술재단의 설문조사 결과는 유료화에 대한 찬성의견 68.5%, 축제장 인근의 가림막(안전펜스) 필요하다는 의견 52.1%로 시민행동 측 설문조사와는 상반되는 내용을 보여주었다.

"비슷한 시기에 

비슷한 인원을 대상으로 한 

두 개의 설문조사....

그런데 결과는 전혀 달라"

누가 거짓을 얘기하나!

비슷한 시기에 비슷한 인원을 대상으로 한 두 개의 설문조사가 상반된 결과를 보여주었기에 다소 의문이 제기될 수 밖에 없는 상황이었다.

그러나 9월 7일 진주시 강민아 시의원이 SNS에 올린 지난 4월 문화예술재단이 실시한 설문조사지와 결과분석 문건 덕분에 지난 시기의 의문을 완벽히 해소할 수 있게 되었다. 그가 올린 문건이 문화예술재단이 작성한 진본이라면 이는 2016년 남강유등축제의 전면유료화 정책 유지를 지지하는 근거자료가 될 수 없다.

첫째, 현저하게 객관성이 떨어지는 질문 문항과 응답항목 때문이다.

"3. 진주남강유등축제를 무료화 할 경우 유등축제에 시의 예산을 대폭 늘일 수밖에 없고 다른 축제나 행사는 예산을 대폭 줄여야 합니다. 만약 축제-행사경비를 줄이지 않을 경우 그 피해는 진주시민에게 돌아갈 수 밖에 없습니다. 이럴 경우 유등축제는 어떤 선택을 해야 합니까

1) 유료화를 할 수 밖에 없다. 2) 다른 분야에 피해가 가더라도 무료화해야 한다. 3) 모르겠다. 4) 기타"

"6. 진주남강유등축제가 세계적인 축제로 발전하기 위하여 부득이 유료화 됨에 따라 관람객의 안전한 입장객 관리를 위해 설치한 안전펜스는 어떻게 생각하십니까?

1) 안전과 관리를 위해 필요하다. 2) 다소 혼잡하고 위험하더라도 불필요하다. 3) 모르겠다. 4) 기타"

3번 질문의 경우 유등축제 무료화를 제1전제로, '축제•행사경비'를 줄이지 않는다는 것을 제2 전제로 '만약에'라는 조건문을 이중으로 달고 있는 질문이므로 객관성과 명료성이 현저하게 떨어지며 무료화 정책에 대한 진주시민의 진정한 입장을 알아볼 수 있는 질문이 아니다. 또한 응답지를 보면 '무료화 지지 응답'에는 '다른 분야에 피해가 가더라도'라는 부정적 설명을 붙어있으며 아예 축제•행사경비를 줄이는 선택지를 질문에 넣음으로써 해당 의견의 선택을 원천적으로 제거한 결과를 가져왔다. 6번 질문의 경우 '안전펜스'에 대해 긍정적인 설명을 붙어놓았으며 응답지에도 안전펜스 설치에 반대하는 응답지 앞에 '다소 혼잡하고 위험하더라도'라는 부정적 설명을 넣고, 안전펜스 설치를 찬성하는 응답지 앞에 '안전과 관리를 위해'라는 긍정적 설명을 달아두었다. 이는 사실상 질문과 응답의 구성을 통해 조사자가 원하는 응답을 권유, 유도하는 설문지라고 볼 수 있다.

둘째, 진주남강유등축제 예산의 어려움을 해결하는 방안으로 오로지 (막대한 시 예산을 지출하는)무료화 또는 전면 유료화, 두 가지 가능성만을 열어둔 설문지라는 점이다.

개방적인 설문지가 아니라 폐쇄적 질문으로 구조화된 설문지의 경우 제공된 응답의 범주가 기대할 수 있는 모든 응답을 반드시 포함해야 한다. 그러나 예술재단의 설문지는 반복적으로 무료화 또는 (현재 방식의) 전면 유료화 두 가지 선택지 그리고 기타를 선택지로 제공한다. 이는 진주시 의회의 부분유료화 권고안에서 드러나듯이 진주성 중심의 부분 유료화라는 많은 공감을 얻고 있는 방안을 선택지에서 제거하는 것이며 만약 응답자가 해당 방안을 지지하는 경우 기타의견에 일일히 기입을 할 수 밖에 없는 편향된 설문구성이다.

셋째, 문화예술재단의 설문조사 응답대상이 진주시민 전체인 모집단에서 상당히 어긋난, 편향된 표본일 가능성이 농후하기 때문이다.

설문조사가 전체 진주시민을 대상으로한 전수조사가 아님에도 신뢰성을 가지려면 진주시 인구구성에 비례하는 응답자 구성을 보이거나 적어도 전체 시민 중에서 (기존의 인맥이나 연고관계가 아니라 아무나 응답자가 될 수 있는)무작위 추출로 모집단에서 편향되지 않는 표본을 응답자로 구성해야한다. 하지만 SNS에 공개된 문건의 조사개요에 따르면 "응답자는 1912명으로(진주시민 1824명, 진주시외 거주자 88명)"이고 자세한 응답자 구성을 명수로 표시하고 있다. "노인(261), 일반시민(200), 예술인(129), 공무원(212), 상공인(69), 서비스업(95), 농민(205), 이통장(201), 시민단체(203), 주부(201), 학생(136)"이 응답자 구성이고 설문조사는 "방문조사" 및 "현장조사"를 했다고 나온다.

일단 개요에 나온 응답자 구성의 범주는 직업이 아니며 '일반시민' 같은 정체불명의 집단을 명시하고 있다. 더욱 신뢰성이 떨어지는 것은 설문조사지 어디에도 응답자 구성의 범주를 물어보는 응답자의 '직업' 또는 '사회적 지위'에 대한 질문이 존재하지 않는 다는 것이다.

예술재단은 어떻게 응답자의 '직업' 또는 사회적 지위'를 물어보지도 않고 조사개요에 넣을 수 있었을까? 두 가지 가능성을 유추할 수 있다. 하나는 애시당초 예술재단이 설문조사를 설계할 때 최대한 원하는 결과가 나올 가능성이 높은 인맥, 연고관계를 동원하여 응답자를 모집하였거나, 다른 하나는 예술재단이 평소에 업무 및 협조관계를 유지하고 있는 공공기관, 직능단체, 예술단체, 봉사활동단체 등을 통해 응답자를 모집하였기 때문에 설문지에 해당 질문에 없더라도 '정체불명'의 응답자 구성을 표기할 수 있는 것이다.

첫 번째의 경우 응답자 추출부터 완전히 객관성을 상실하게 되며 두 번째의 경우 문화예술재단이 업무 및 협조관계를 맺고 있는 조직들이 진주시민의 99%를 관할하고 있고, 해당 조직의 구성원들을 대상으로 무작위 추출을 한 것이 아니라면 신뢰성을 담보할 수 없는 것이다.

설문조사결과의 신뢰성과 표본의 편향성, 특정 응답을 유도하는 설문구성 등 여러문제는 사실상 모든 설문조사에 해당되는 난제이다. 사실 위에서 지적한 문제들은 사회적 쟁점에 대해 시민단체가 실시하는 설문조사에도 완전히 적용될 수 있다.

그러나 정부 및 지방자치단체, 국민과 시민의 세금을 일상적으로 지원받거나 일시적으로 지원받는 프로젝트를 수행하는 공공기관 및 공조직이 첨예한 논쟁이 있는 현안에 대해 설문조사를 할 때는 최대한 객관적이고, 편향되지 않은, 신뢰성 있는 조사방식과 내용을 위해 노력해야 한다고 생각한다.

"시민 의견을 소중히 생각하는

남강유등축제를 기대한다"

만약 진주남강유등축제가 진주시민이 자부심을 느끼고 애정을 갖고 있는 축제가 아니었다면 2015년부터 시작된 전면 유료화 정책에 대해 이렇게 많은 논란이 발생하지도 않았을 것이다. 현재 방식의 전면 유료화 정책과 가림막 설치에 비판적인 진주시민의 의견 역시 적절한 방식으로 축제에 반영되어야 할 소중한 의견이다. 진주시와 진주문화예술재단은 편향되지 않고 신뢰성과 객관성을 담보할 수 있는 방식으로 전체 진주시민의 의견을 조사하고, 축제에 반영할 의무가 있다.

SNS에 올라온 진주문화예술재단의 설문조사 결과 문건이 진실이라면, 주최측이 현재 방식의 유등축제 유료화 정책에 비판적인 진주시민의 의견을 어떤 방식으로든 반영되어야 할 시민여론으로 전혀 여기지 않는다는 현실을 적나라하게 보여주는 것이다.