질문지법

질문지방법원이 아니다!

1 일반적인 의미 : 설문조사

특정 집단에 어떤 주제에 대한 의견을 묻고 그 통계를 내는 것. 의견이 대립하는 경우에 대한 찬반을 묻거나, 혹은 서로 대립하지 않는 주제에 대한 선호도를 물을 때도 자주 사용된다. 또한 종합 커뮤니티 같은 데서 뜬금없이 설문조사 글이 올라올 때가 있는데, 이 경우는 딱히 뭐에 활용하고자 만든 설문이 아니라 그냥 심심해서 올린 뻘글인 경우가 많다.(...)

적절히 왜곡해서 증거로 제시하면 아무리 터무니없는 것이라도 갑자기 설득력이 생긴다. 대표적으로 일본을 공격한다 같은 경우.(…) 일본에선 아직도 믿고 있는 사람도 있다.

기업, 연구소, 방송국 등이 주최해서 플래카드와 홍보용품을 동원한 설문조사이거나, 대학교 안에서 소속을 미리 밝히고 실시하는 설문조사가 아닌 일반인과 같은 옷차림의 조사자가 말을 걸어서 실시하는 설문조사는 대부분 사이비 종교 단체의 포교행위로 보면 된다. 대학교나 길거리, 주택가, 신도림역 같은 유동인구가 많은 곳이 타깃이다. 이런 종류의 사이비 종교단체의 포교는 가면 갈수록 절묘해지기 때문에 더욱 조심해야 한다. 설문조사하는 여대생이 자신에게 관심이 있는 줄 알고(…) 전화번호를 주고 연락을 주고받다가 갑자기 경전 공부를 하자며 덤비는 경우도 가끔 보인다. 사이비 종교이단들이 포교할 때에는 실제 유명 대학교의 유명 학과를 거론하면서 "그곳 교수님과 함께 연구를 진행중이다", "논문을 쓸 때 필요한 자료를 모으고 있다", "무료 심리상담 및 치료를 준비중이다"[1] 같은 식으로 접근한다. 대학교 연구실에서는 절대로 길거리 보행자들을 상대로 연구를 진행하지 않는다. 기레기라면 모를까. 자료수집 문서 참고.

그래도 의심스러운 경우에는, 다음과 같은 몇몇 기준들을 고려해 보는 것이 좋다. 이하에 걸리는 것이 있다면 사이비 종교 전도를 의심해 봐야 한다.

  • 연구가 체계적이고 계획적인 느낌이 부족하다. 그러나 실제 학술연구는 극도로 계획적이며, 자신이 왜 이 연구에 참여할 자격이 있는지가 정확히 안내된다.[2] 또한 연구자와 참가자 간의 정보공유가 활발해서, 하다못해 생동성 알바만 하더라도 정말 쓸데없는 것까지 전부 알려주려고 든다.(…) 참가자는 전체 일정의 상세 내용을 안내받고, 설령 일부 비밀로 하거나 부득이 기만한 것이 있을지라도 마지막에는 반드시 정확하게 안내받는다. 이를 디브리핑(debriefing)이라고 한다.
  • 자신의 소속을 명확히 밝히지 않고 둘러댄다. 교수의 이름을 대지 않거나 참여 저자들에 대해 언급하기를 회피한다.[3] 그러면서 대학교에서 보자는 게 아니라 자신이 직접 찾아가겠다고 하거나 엉뚱한 곳에서 중간에 만나자고 한다. 즉, 상대방의 개인정보에 대해서는 세세하게 요구하지만, 자신의 정체와 소속에 대해서는 있는 힘을 다해 숨기려고 든다.
  • 자칭 연구라면서 연구동의서를 작성하게 하지 않는다. 사실 이것이 제일 중요하다. 참가자에게 연구동의서를 받아내지 못한 연구는 대학교의 연구윤리위원회(IRB)에서 승인받지 못하므로, 정상적인 연구자라면 서류 작성에 초점을 기울인다. 더불어 참가자의 모든 개인정보가 관련 법률에 의거하여 철저하게 보호된다는 사실이 정확히 안내된다.
  • 연구가 끝날 때 소정의 사례비를 지급한다는 약속이 없다. 의외일 것 같지만 이것 역시 연구윤리의 중요한 기준이다. 사이비 종교들은 학계 돌아가는 사정을 몰라서인지 사례비 준다는 얘기는 안 한다. 도리어 자기네 책을 사라거나 약팔이를 한다거나 하지 않으면 다행. 그러나 실제 학계에서는 30분짜리 설문조사라도 하다못해 커피 쿠폰이라도 들려서 보낸다.

위 연구윤리는 학부생들이 전공과목 과제로 하는 설문조사에는 거의 적용되지 않지만, 애초에 학부생들은 길거리까지 잘 나오지 않는다. 온라인으로 하거나 자기 지인, 같은 학교 학생들 동원해서 하지 번화가로 갈 이유가 없다. 학부생 전공과목 설문조사의 경우 그보다는 그 사람과 같은 강의를 듣는 타 과목 학부생들, 같은 동아리 학부생들이 주 타깃이 된다.(…)[4] 대부분 별로 품도 안 들고 서로 아는 사이인 경우가 많은데다 도의적 차원에서 선선히 조사에 응하는 편. 이 경우 자주 쓰이는 것이 구글 드라이브의 "구글 Docs 설문지" 기능이다.[5] 그 외에도 카카오톡과 같은 서비스에서도 간단한 설문조사 양식을 만들 수 있도록 지원하고 있는데, 질문이 하나 혹은 둘 정도의 사소한 정도라면 이용할 만하다. 조금 더 전문적인 설문 조사를 원한다면 유료 설문 작성 플랫폼을 사용해 보는 것도 가능하다. 문자나 메일을 통한 배포 외에, QR코드 등의 배포 방식을 지원하며, 국내 플랫폼의 경우 설문지 작성시 전화 지원도 가능한 경우가 있으니 초보라면 도움될 수 있다. 예시

2 연구방법론에서 자료수집 방식의 일종

Questionnaire questionaire이 아니다!

어떤 개념을 측정할 수 있는 척도를 바탕으로 구성된 질문들을 통해서 자료를 수집하는 방법. 각 질문들은 상호 관련성을 갖고 있으며, 특정 연구목적에 부합하는 방향으로 논리적으로 연결되어 있어야 한다. 잘 만든 질문지는 그만큼 우수한 데이터를 산출하지만, 못 만든 질문지는 그냥 쓰레기만 뱉어낼 뿐이다. 형태는 위의 설문지와 큰 차이는 없다. 설문지도 학술적으로는 질문지법의 일종이다.

질문지는 모든 응답자에게 동일한 양식과 형태를 갖춘 정형화된 질문을 함으로써 측정오차를 최소화한다. 흔히 생각하기로 질문지를 배포하고 응답을 회수하는 과정이 가장 힘들 것 같지만, 실제 연구자들에게 있어서 가장 힘든 과정은 질문지를 구상하고 비평한 뒤 배치하는 과정이다. 일반인들이 보기에는 "아니, 그게 뭐가 어렵다고? 질문 문장 만드는 것 정도라면 별로 어렵지 않을 텐데..." 와 같이 생각하기도 하지만, 실제로 그 질문지의 성패 여부는 제대로 된 질문 문항이 만들어졌는가 아닌가에서 성패가 갈리기 때문에 굉장히, 매우 중요한 작업이다.

실제로 사회과학 계열의 학문 전공수업을 들을때 연구방법론은 첫 학년에 거의 반드시 포함되어 있을 정도로 보편적이고 기본적인 내용인데, 그 기본적 내용 안에서 또 거의 첫번째로 나오는 내용. 그만큼 질문지법은 흔하면서도 중요한 방법이라 하겠다. 의외로 질문지를 내 놓고 어떤 요소가 미흡하거나 잘못되었는지 찾는 건 상당히 어렵다. 수능에서 사회문화를 공부한다면 맛보기로 배울 수 있다.

2.1 적절한 질문 문항이란?

질문 문항들을 준비하면서 중요한 판단기준이 몇 가지 있는데, 우선 연구주제에 필요한 질문들이 빠짐없이 포함되었으며, 무관한 질문은 배제되었는가를 살펴봐야 한다. 연구자는 연구의 목적을 달성하기 위한 질문들을 모두 포함함과 동시에, 전체 질문의 수를 최소화해야만 한다. 자칫 불필요한 질문들이 포함될 경우, 그 자체로서도 아무런 의미가 없거니와 응답자의 시간과 수고를 공연히 들이게 하고 불성실한 응답을 초래하게 한다.[6] 더불어, 연구와는 무관한 인구학적 문항 역시 존재할 이유가 없다.[7] 게다가 그것이 응답자의 거주지역, 전화번호, 심지어 주민등록번호라면... 그거 전부 개인정보다! 응답자들에게 개인정보의 취급에 관련된 약관(…)을 읽히게 할 게 아니라면 그런 정보들을 모으려 하지는 말자.

일부 질문 문항들은 연구자의 주관적인 가치가 개입된 편향적인 질문이 나오거나,[8] 응답자의 성향 등을 불필요하게 추적하려는 식으로 유도신문을 하기도 한다. 이처럼 중립적이지 못한 질문이 존재하는지를 확인하는 것도 필요하다. 답안 속에는 응답자가 선택할 자유를 충분히 확보하고, 응답하지 않으려는 사람들을 위해 "판단 유보" 나 "의견 없음", "생각해 본 적 없음" 등의 값(value)을 배치하는 것이 좋다. 더불어 이 질문 문항에서 사용된 척도측정의 목적에 잘 부합하는지 확인하는 것도 중요하다. 이에 대한 자세한 내용은 척도 항목을 참고.

좋은 질문 문항은 또한 간단 명료하면서도 응답자가 자의적으로 해석할 여지가 최소화되어야 한다.[9] 예를 들어, "귀하의 수입은 얼마입니까?" 의 개방형 질문 문항에 대해서 응답자들은 월급으로 응답하는 쪽과 연봉으로 응답하는 쪽으로 나누어지게 될 것이다. 그나마 이 경우는 환산을 하면 해결이 가능하지만, 다른 예로 "귀하의 연령은 어떻게 되십니까?" 의 질문은 동아시아식 나이인지 만 나이인지 헷갈리는 사람들이 발생할 수 있으며, 이것이 제대로 탐지되기도 힘드므로 주의가 필요하다. 더불어, 응답자가 충분히 이해할 것으로 기대되는 질문인지 확인하는 것도 중요한데, 예를 들어 초등학생 어린이들을 대상으로 한 질문지 조사에서는 초등학생들이 모를 것으로 생각되는 질문 문항을 가급적 포함시키지 않는 것이 좋다. 전문 용어가 부득이 삽입되어야 한다면, 각주와 같은 방식으로 별도의 설명을 기입할 수도 있다.[10]

일부 질문은 하나의 질문 문항 속에 둘 이상의 서로 다른 질문 내용을 담고 있는 경우가 있다. 이를 이중 질문(double-barreled question)이라고 하는데, 이중 질문을 배제하고 한 질문 문항에는 하나의 질문만을 담도록 할 필요가 있다. 예를 들어, "우리나라 청년들의 일자리를 창출하기 위해서는 청년들의 해외 진출을 확대하고 이주노동자들의 유입을 차단해야 한다는 주장에 동의하십니까?" 의 질문을 보자. 이 질문은 "청년들의 해외 진출을 확대함으로써 일자리를 창출하자는 주장에 동의하십니까?" 라는 질문과 "이주노동자들의 유입을 차단함으로써 일자리를 창출하자는 주장에 동의하십니까?" 라는 질문이 겹쳐져 있다. 이 경우 전자와 후자에 대해 서로 다르게 판단하는 응답자는 혼란을 느끼게 되고, 차후 분석에 있어서도 연구자를 골치아프게 할 것이다.

마지막으로, 질문 문항의 문장은 가능한 한 긍정형으로 하는 것이 좋다. 사람들은 흔히 부정형으로 된 문장을 오독하거나 불성실하게 읽는 경향이 있기 때문에, 필요하다면 가급적 긍정형으로 문장을 바꾸어야 한다. 부득이 부정형 질문을 포함시켜야 한다면, 가능한 한 오독이나 혼란의 가능성을 줄이기 위해서 굵게 표시하거나 밑줄, 기울임 등을 복합적으로 적용하는 것이 좋다. 당장 다양한 영어능력증명 시험들에서도 유독 "NOT" 단어에는 밑줄을 치거나 대문자로 표시하고 있음을 볼 수 있다.

2.2 사전조사

사전조사(pretest)는 쉽게 말해서 질문지의 알파테스트다. 본격적인 설문을 진행하기에 앞서서 질문지가 제대로 만들어졌는지 확인하는 단계. 소규모의 사전조사용 집단을 만들어서 그들을 대상으로 우선 조사를 실시하고, 그들에게 피드백을 받은 결과를 토대로 질문지를 보완하는 데 활용한다. 이걸 안 하고 넘어가 버리면 자칫 실제 설문 도중에 예상치 못한 문제점이 발생할 수 있다.

사전조사 단계에서 연구자가 확보해야 할 정보는 다음과 같다.

  • 이 질문지의 전체적인 난이도는 적절한가?
  • 이 질문지가 예상 응답자들의 관심과 흥미를 끌 수 있을까?
  • 이 질문지를 작성하는 데 예상보다 지나치게 적거나 많은 시간이 소요되지는 않는가?
  • 이 질문지의 예상 응답자가 편안한 마음으로 작성할 수 있을까?
  • 질문 문항들에서 "모름", "무응답", "기타" 와 같은 반응이 얼마나 수집되는가?
  • 사전조사 응답자들이 유독 어려움을 토로하거나 이해하지 못하는 질문 문항이 있는가?

2.3 왜곡된 반응 세트

모든 응답자들이 성실하고 진실된 마음가짐으로 질문지에 응답해 준다면 참 좋겠지만, 불행히도 연구자가 기껏 낑낑대며 좋은 질문지를 만들어 놓아도 꼭 이상하게 반응하려는 사람들이 나온다.(…) 연구자들은 응답자들로부터 수검된 반응 패턴에서 데이터를 왜곡하는 방향으로 문제가 될 수 있는 사례들을 찾았고, 이들의 세트를 유형화하고 분류하였다. 예상 가능한 반응의 세트를 거론하자면 다음과 같다.

  • 개인이 보이고 싶어하는 방향으로 반응을 왜곡하는 경우
    • 긍정적 허위반응(faking good) : 질문지 상에서 더 좋은 사람으로 보이도록 거짓된 모습으로 반응하는 것. 이들은 자신이 실제보다 더 유능하거나, 심리적으로 건강하거나, 올바르거나, 균형잡힌 가치관을 갖고 있거나, 바람직하다고 여겨지는 등의 모습으로 보이고 싶어한다. 이거 얘기 아니다 그 근저에는 사회적 선망 편향이라는 개념이 원인으로 작동하기 때문이라고 여겨진다.
    • 부정적 허위반응(faking bad) : 질문지 상에서 더 나쁜 사람으로 보이도록 거짓된 모습으로 반응하는 것. 쉽게 말해서 꾀병 부리기. 일반적인 질문지 조사에서는 발견되기 힘들지만, 심리검사와 같은 일부 질문지에서는 흔하게 발견된다. 이것은 연구자로부터 자신에게 더 동정적이고 지지적인 반응을 조장하기 위한 전략이라고 여겨진다.
  • 개인의 반응에서 데이터에 해로운 특징이 발견되는 경우
    • 극단적 반응(extreme responding) : 응답자가 문항 척도의 중간을 피해서 극단적 값을 선택하려는 반응 경향성. 이들에게 있어서 중간은 없다. 전부 모 아니면 도.(…) 특이하게도, 아래의 중간 반응과 같이, 이것은 문화적인 차이가 존재함이 밝혀져 있다. 즉, 동양 문화권에 비해서 서양 문화권의 응답자들이 더 많은 극단적 반응을 보인다.
    • 중간 반응(moderate responding) : 응답자가 문항 척도의 극단을 피해서 중간 값을 선택하려는 반응 경향성. 이들은 이것도 애매하게, 저것도 애매하게 응답하고, 자신의 선호나 입장을 분명하게 밝히지 않는다. 잘해봐야 "일부 동의" 내지는 "일부 반대".(…) 이 경우 서양 문화권에 비해서 동양 문화권의 응답자들이 더 많은 중간 반응을 보인다.[11]
  • 응답자가 진정성이 부족한 태도로 응답하는 경우
    • 묵인 반응(acquiscent responding) : 응답자가 예/아니오 형태의 문항들에 대해서 일관되게 전부 YES 로만 밀어붙이는 경향성.(…) 많은 경우는 레알 진정성이 부족하기 때문에 반쯤 장난치듯이 응답하는 사례이지만, 간혹가다가 정말로 성격 자체가 이런 식이라서(…) 정말로 진지하게 모두 "YES" 라고 생각하는 사람들도 있을 수 있겠다. 네 말도 옳고, 네 말도 옳구나
    • 저항 반응(reactant responding) : 응답자가 예/아니오 형태의 문항들에 대해서 일관되게 전부 NO 로만 밀어붙이는 경향성. 이것 역시 위의 묵인 반응과 비슷하게 간주될 수 있다. 연구자는 응답자가 질문지를 작성할 동기가 충분한지에 대해 다시 한 번 확인할 필요가 있다.
    • 패턴 반응(patterned responding) : 응답자가 전체 문항들에 걸쳐서 일정한 패턴을 그리면서 응답하는 경향성. 가장 대표적인 사례는 1-2-3-4-5-1-2-3-4-5-... 같은 경우다.(…) 물론 정말로 응답을 이런 식으로 하는 사람이 흔한 것은 아니다. 당장 학교에서 시험을 보더라도 답안이 저런 식으로 나오면 괜히 불안해지게 되는 게 일반적이니.(…)

이런 문제들을 해결하기 위해서 지금껏 다양한 노력들이 이어져 왔다. 예를 들어 극단적 반응을 막는 대표적인 방법은 Q-분류 검사(Q-sort test)라는 것이 있는데, 이것은 각각의 척도상의 값들에 대해서 동일한 양의 "카드" 를 배정시킨 뒤, 특정 값에 응답할 때마다 카드를 하나씩 소모하게 한다. 만일 극단적 반응에 의해 극단적 값에 배정된 카드가 일찍 다 떨어지면, 그 응답자는 그 이후부터는 극단적 응답을 할 수 없게 되고, 더 온건한 반응을 기대할 수 있게 된다.[12] 사회적 선망 편향에 의한 반응의 경우, 별도로 "Crowne-Marlow 척도" 와 같은 특수한 척도가 배치될 수 있으며, 인간의 보편적인 생활의 '흔한 모습들' 을 인정하기를 꺼리는 경향을 측정한다.[13] 묵인 반응의 경우, 희귀한 질문 척도를 활용하는 방법도 있다.[14] 그 외에도 응답의 익명성을 보장하거나, 물리적으로 질문지 작성 공간을 분리시키거나, 응답지를 봉투에 넣어서 비밀리에 제출하게 하는 등의 사회적 처리를 가하는 것도 좋은 방법이다.

2.4 질문지 작성기법

질문지의 양식은 크게 1) 협조 요청, 2) 식별 데이터, 3) 지시문(instruction), 4) 질문 문항, 5) 인구학적 문항 순서로 구성되어 있다. 협조 요청 단락에서는 조사자와 조사기관을 소개하고, 필요하다면 신상과 연락처를 공개한다. 또한 필요하다면, 응답 결과에 대한 비밀 보장을 포함할 수 있고, 설문에 응할 시 혜택을 줄 계획이라면 이 역시 여기서 언급하면 좋다. 식별 데이터 단락에서는 차후 코딩작업을 위해 설문지 식별번호 및 후속조치(follow-up)용 정보, 조사자 데이터와 조사일시 데이터를 기록하는데, 특히 우편조사법에서 꼭 필요하다. 지시문 단락에서는 응답 요령과 주의 사항, 행동지시 사항 등을 기입하게 된다. 질문 문항은 질문지에서 본격적으로 질문을 실시하는 단계이고, 마지막 인구학적 문항 단락은 응답자의 인구학적, 통계학적 변인들을 명목측정 수준에서 확인하게 된다. 이때 질문은 응답자의 사생활을 침해하지 않도록 조심스럽게 이루어져야 하며, 설문지의 최후반부에 작성하는 것이 일반적이다.

각 질문 문항들은 기준에 따라 여러 종류로 구분될 수 있다. 우선 개방형 질문(open-ended question)은 쉽게 말해서 주관식이라고 보면 된다. 응답의 범주를 지정하지 않고 그냥 밑줄이나 공백을 두어서, 응답자가 자신의 생각을 자유롭게 기술할 수 있도록 보장하는 질문 방법이다. 이것은 다시 "제한 개방형 질문" 과 "무제한 개방형 질문" 으로 나누어지는데, 전자는 두 가지 혹은 세 가지만 순서대로 기입해 달라고 요청하는 것이고, 후자는 생각나는 대로 전부 적어 달라고 요청하는 것이다. 이것의 장점은 연구 초기단계에 활용하기가 쉽고, 이 질문에 대해 나올 수 있는 응답의 범주가 어느 정도일지 연구자가 예측하기 힘들 때 쓸 수 있다는 것이다. 또한, 연구자가 의도적으로 창의적이거나 예상치 못한 응답을 수집할 필요가 있을 때 효과적이며, 응답자에게 응답의 자유를 최대한 보장한다는 점도 있다. 반면 단점으로는 계량적 비교와 분석이 어렵고, 요약 정리 과정에서 연구자의 주관이 개입할 가능성이 있으며, 응답자들이 불필요하게 길거나 지나친 단문 형태로 응답하는 데 그칠 가능성도 있다. 또한 자기표현 능력이 부족한 일부 응답자 집단에게는 사용이 부적절하며, 대규모 표본을 대상으로 하는 경우에도 쓰기 힘들다.

다음으로 폐쇄형 질문(closed-ended question)은 쉽게 말해서 객관식이라고 보면 되는데, 응답의 범주를 지정하여 그 속에서 응답자가 하나를 선택할 수 있도록 값을 나열하는 질문 방법이다. 이것은 다시 "단일선택 질문" 과 "다중선택 질문" 으로 나누어지는데, 전자는 하나만 골라 달라고 요청하는 것이고, 후자는 여러 개를 골라 달라고 요청하는 것이다. 폐쇄형 질문의 가장 대표적인 형태가 바로 척도를 활용하는 것인데, 그 중에서도 서열 수준, 등간 수준, 비율 수준에서의 척도가 자주 쓰인다. 이것의 장점은 응답자가 답하기가 쉽고,[15] 계량적 분석이 용이하다는 것이다. 또한 코딩작업의 어려움이 절감될 수 있으며, 응답자가 대답하기 부담스러워하는 주제에도 적절하다.[16] 반면 단점으로는 빠뜨린 응답의 범주가 생길 수 있다는 점,[17] 응답자에게 연구자가 만든 응답 범주를 강요할 수 있다는 문제가 있다.

폐쇄형 질문의 특이한 형태로는 필터링(filtering)을 통한 부수적 질문(contingency question)이 있다. 이것은 특정 질문 문항에 대해서 일부 응답자만 선별적으로 응답하게 하는 방법으로, 앞선 질문 문항의 응답방향에 따라서 일부는 그냥 뛰어넘게 하고 일부는 부수적 질문에 응답하게 하는 식으로 지시할 수 있다. 이것은 몇 가지 경우에 적합한데, 애초에 일부 응답자들은 아예 응답이 불가능한 종류의 질문이 있거나, 특히 이런 질문이 반복될 때 효과적이다.[18] 또한, 일부 응답자들이 해당 질문에 대해 잘 모를 것으로 여겨질 때, 무지를 숨기기 위해 적당히 답하려는 경향을 막기 위해서도 필터링을 가할 수 있다.

질문 순서에 관련된 테크닉은 보통 쉽고 흥미로운 질문은 앞에, 어렵고 부담스러운 질문은 뒤에 배치하는 것이다. 흥미를 유발할 수 있거나, 동기를 부여시키거나, 언뜻 보기에 쉽다고 느껴지거나, 무난해 보이거나, 폐쇄형 질문들은 질문들은 앞쪽에 두어서 응답자의 참여를 독려하는 것이 바람직하다. 반대로, 생각을 많이 해야 하거나, 대답을 회피할 가능성이 높거나, 개인의 신념이나 사생활 또는 이데올로기에 관련된 민감한 질문이거나, 개방형 질문인 경우에는 뒤에다 배치함이 좋다. 의외로 사람들은 뒤에서 고전하게 되더라도 질문지 작성 자체를 포기하지는 않는데, 이는 문간에 발 들여놓기 기법(foot-in-the-door technique)의 원리와도 유사할 것으로 여겨진다.

2.5 질문지 작성의 예시 : 나무위키

이하는 나무위키를 주제로 가상의 질문지 작성 사례를 구상한 것이다. 각각의 각주들은 어떤 질문지 작성기법이 쓰였는지 보여주고 있다. 실제 링크에 구현한 사례나[19] 응답 결과도 등장한다.혹시 나무위키 관리자가 보게 되거든 차후의 설문조사에 참고하는 것도 좋겠다.

(이하는 모바일 환경이나 일부 모니터에서는 제대로 보이지 않을 수 있다.)

설문지 ○○ 호

> 오늘도 나무위키를 이용해 주시는 기여자 여러분, 안녕하십니까?
> 한 해가 벌써 저물어 가고 있습니다. 관리진은 본 위키의 장기적 발전계획을 수립하기 위한 보조 목적으로써 위키 이용자 분들의 의견을 수렴하고자 합니다. 바쁘시더라도 설문에 응답해 주시면 우리 위키를 더욱 풍성하게 가꾸고 발전시키는 데 많은 도움이 될 것입니다. 응답하신 내용은 조사 목적 이외에는 사용되지 않습니다.
>
> 바쁘신 와중에 귀한 시간을 내어 주셔서 감사드립니다.[20]
>
> 2015년 12월 나무위키 관리자 ○○○○○

* 응답 일시 : 2015 년     월    [21]
* 문의 링크 : https://board.namu.wiki/qna

안 내 사 항[22]
 1. 전체 질문은 총 10여 개로 구성되어 있으며, 5분 정도 소요됩니다.
 2. 가벼운 마음으로 빠르게 답변하여 주십시오. 정답은 없습니다.
 3. 문항에서 요청하는 바에 따라 한 개 또는 여러 개의 보기를 골라 주시면 됩니다.
 4. 주관식 항목의 경우 100자 미만으로 간략히 써 주시면 됩니다.
 5. 작성이 끝나면, 하단의 "제출" 버튼을 클릭해 주십시오.

-----

1) 귀하의 성(sex)은 어떻게 되십니까?[23]
 [ ] 남성   [ ] 여성   [ ] 인터섹스

2) 귀하께서 나무위키를 알게 되신 지는 얼마나 되었습니까?
 [ ] 1년 미만   [ ] 1년 이상 2년 미만   [ ] 2년 이상 3년 미만   [ ] 3년 이상 4년 미만   [ ] 4년 이상   [ ] 기억하지 못함[24]

3) 나무위키의 장점으로 생각되는 것을 한 개만 골라 주십시오.[25]
 [ ] 방대하고 자세한 자료   [ ] 희귀한 정보의 제공   [ ] 중립성과 정확성   [ ] 집단지성에 기여하는 즐거움   [ ] 기타   [ ] 특별한 장점 없음[26]

4) 나무위키의 콘텐츠 중에서 귀하께서 주로 기여하고 계시는 정보를 다음 중에서 세 개만 골라 주십시오.[27]
 [ ] 학문 - 자연과학/공학/의학   [ ] 학문 - 사회과학   [ ] 학문 - 인문학   [ ] 학문 - 예술/체육/기타1[28]   [ ] 일반사회 - 정치/시사 이슈
 [ ] 일반사회 - 연예/인물/TV프로그램   [ ] 일반사회 - 밀리터리   [ ] 일반사회 - 학교/대학   [ ] 일반사회 - 대중교통   [ ] 일반사회 - 종교
 [ ] 서브컬처 - 성우/아티스트/작가  [ ] 서브컬처 - 게임/미연시  [ ] 서브컬처 - 모에/클리셰  [ ] 서브컬처 - 만화/웹툰/영화  [ ] 서브컬처 - 장르문학/라노벨2

───────────
1 : 음악가, 운동선수 등의 인물 정보도 포함합니다.
2 : 순문학의 경우 학문 - 인문학 쪽에 체크해 주십시오.

5) 나무위키를 운영하는 관리자들의 이미지에 대해서 이하에서 골라 주십시오.[29]
  소극적이다                      적극적이다
  고압적이다                      수용적이다
 힘들어 보인다                      여유로워 보인다
 비효율적이다                      효율적이다
  편향적이다                      중립적이다

6) 귀하께서는 한 번이라도 다른 이용자들과 의견의 충돌을 경험하신 적이 있으십니까?[30]
  [ ] 예   [ ] 아니오 - 10번 문항으로 이동해 주십시오.

7) 의견의 충돌을 경험하셨다면, 이를 주로 어떻게 해결하십니까?
 [ ] 동의하지 않는 부분을 별도의 언급 없이 직접 삭제하거나 수정
 [ ] 요약(수정 코멘트)을 통해 반론 후 직접 삭제하거나 수정
 [ ] 토론 탭을 이용하여 다른 이용자들과 의견을 조율한 후 삭제하거나 수정 - 9번 문항으로 이동해 주십시오.
 [ ] 자신의 서술에 대한 변호 없이 상대방의 주장에 수긍하고 종결

8) 토론 탭을 이용하지 않으시고 계신다면, 그 이유는 무엇입니까?
 [ ] 나무위키에 토론 문화는 불필요하다고 생각하기 때문에 - 감사합니다. 설문을 종료해 주십시오.
 [ ] 토론 탭 기능에 대한 홍보가 부족해서 알지 못했기 때문에
 [ ] 라이트 유저로서 토론에 참여할 엄두가 나지 않았기 때문에
 [ ] 토론란에서 벌어지는 분쟁이 위키와 무관해 보이기 때문에

9) 현재 나무위키에 토론 탭 기능이 제공됨에 있어, 가장 시급하게 개선할 것은 무엇인지 한 가지만 자유롭게 적어 주십시오.[31]
                                   

10) 나무위키 이용자들의 더 나은 토론 문화를 위해, 이용자 차원에서 개선해야 할 것이 있다면 무엇인지 생각나는 대로 자유롭게 적어 주십시오.[32]
                                                                   
                                                                   


추 가 정 보[33]
통계 결과는 2016년 1월 ○○일에 공지사항(https://board.namu.wiki/notice) 게시판에서 공개할 예정입니다. 통계분석에 일부 도움이 될 수 있도록, 로그인 이용자들은 ID를 제공할 수 있습니다. 이것은 의무가 아니며, 제공할 시 추후 통계 자료에 로그인 이용자들의 데이터가 별도로 표시됩니다. 수집된 ID는 통계분석 목적 이외에는 사용되지 않습니다.

 ID :       



설문지 작성이 모두 끝났습니다. 참여해 주셔서 감사합니다.

  ┌───────┐
  │ 제  출 │
  └───────┘
물론 이 예시는 상당히 작위적이고 어색해 보일 수도 있다. 그 이유는 이 설문지가 (당연하게도) 사전조사를 거치지 않은 것이기 때문이다. 질문지를 작성했을 때 본격적인 자료수집에 앞서서 사전조사를 거쳐야 하는 이유가 바로 이것이다.
  1. 이동 세상에 공짜 점심은 없다. 공짜 심리상담 따위는 절대 바라지 말 것. 흔히 10회 정도의 세션에 수만~수십만 원 정도 깨지는 경우가 많다. 공짜를 강조한다는 건 이쪽에게 뭔가 다른 원하는 것이 있는 것이다.
  2. 이동 일반적으로 학계에서는 통계적 가공에 따라서 무선적으로 표집된 단순무선추출(SRS)을 통해 대표성을 보장받는다. 그러나 포교꾼들에게 여러분이 걸려든 이유는 기가 맑기 때문에 그냥 만만해 보여서일 가능성이 높다.
  3. 이동 이 경우 "교수님이 이 연구가 대외적으로 알려지는 것을 꺼리신다" 는 애드립이 붙는다. 세상에 자기 연구 참가자를 외부의 제3자인 마냥 취급하는 연구는 없다. 무슨 매드 사이언티스트의 비밀 실험도 아니고(…) 그리고 학자 입장에서는 이 연구를 바탕으로 자기 이름을 알리고 성과를 내야 지위가 높아지는데 대외적으로 알리는 걸 꺼릴 리가. 물론 정부나 기업에서 의뢰하는 연구 중에는 극비리에 수행하는 것도 있긴 하지만 그걸 길 가는 사람 붙잡고 연구하진 않는다.
  4. 이동 생각해 보자. 당장 자기 주위에 잠재적 응답자들이 널리고 널렸는데 뭐하러 길거리까지 나가는 수고를 할까? 물론 표본대표성 같은 걸 생각한다면 나갈 수도 있겠지만, 학부생 레벨에서 그 정도까지 요구하는 경우는 극히 드물다.
  5. 이동 인터넷에 사용방법이 많이 소개되어 있는 데다, 만드는 과정도 크게 어렵지 않고 직관적이다. 다만 조사대상을 대면할 수가 없어서 양질의 정보를 얻기 어려울 수도 있다는 게 함정.
  6. 이동 반면 몇몇 분야들, 특히 심리검사와 같은 주제에서는 인위적으로 더미 데이터를 만들기 위해 의미없는 문항을 규칙적으로 삽입하기도 한다. 한 예를 들면, 총 40개의 질문들 속에서 5n+2 에 해당하는 문항들(2, 7, 12, 17, 22, ..., 37)은 전혀 상관없는 질문을 하게 할 수 있다. 이런 데이터의 존재의의는 그 질문지가 무엇을 의도하고 있는지 응답자가 간파하지 못하게 하기 위함이다.
  7. 이동 응답자의 성생활에 대해 조사하려는 연구자가 기명 질문지를 만들었다면, 응답자가 자신의 이름을 기입하게 하는 것 자체가 연구와는 전혀 무관할뿐더러 공연히 응답 결과를 왜곡시킬 수 있다.
  8. 이동 질문지에서 "귀하는 현 정부가 추진중에 있는 FTA에 대해서 어떤 입장을 갖고 계십니까?" 와, "귀하는 현 정부가 야당과 국민의 반발을 무릅쓰고 강행하고 있는 FTA의 망국적인 위험성에 대해서 어떤 입장을 갖고 계십니까?" 는 분명히 서로 다른 것이다.(…)
  9. 이동 "가끔", "종종", "자주", "빈번히" 와 같은 빈도부사는 서열적인 관계는 성립하겠지만 사람마다 각각의 단어의 의미를 다르게 받아들일 가능성이 있다. 예를 들면, 어디까지가 "운동을 가끔 한다" 이고, 어디부터가 "운동을 자주 한다" 일까? 여기에 정답은 없다. 즉, 이런 류의 질문에서는 서열 수준보다는 등간 수준이나 비율 수준을 활용함이 바람직하다. 측정 항목도 참고.
  10. 이동 물론 학계 관련 인물들이나 전문가들을 상대로 실시하는 질문지라면, 전문 용어의 사용은 물론이고 약어나 외국어 단어의 사용도 가능할 것이다. 어떤 경우에든 중요한 것은, 예상 응답자의 수준에 맞게 질문 문항을 만드는 것이다.
  11. 이동 이 때문에 과거 많은 사회학자들과 심리학자들이 일본인들을 대상으로 한 연구에서 꽤나 애먹었다.(…) 항상 물에 물 탄 것 같은 애매한 반응으로 일관되게 나오는 바람에 환장하겠다는 것. 물론 우리나라의 응답자들도 그 못지않게 심한 중간 반응을 보인다.
  12. 이동 반대로 중간 반응을 막기 위해서는, 리커트 척도와 같은 몇몇 척도에서 "보통" 의 값 자체를 아예 빼 버리는 것이 있다.
  13. 이동 예를 들어 빨랫감이나 설거지가 밀린 경험이 있다거나, 누군가를 증오해 본 경험이 있다거나, 뜬소문에 부화뇌동한 적이 있다거나 하는 문항이 배치될 수 있다. 어지간히 특이한 사람이 아닌 이상, 이런 경험은 살면서 한 번 이상은 겪어보게 되는 것들이다. 응답자가 이것을 부인하여 해당 척도에서 높은 점수를 얻으면 연구자는 사회적 선망 편향이 관여했다는 결론을 얻고, 해당 데이터의 가치를 자신 있게 절하할 수 있게 된다.
  14. 이동 이 경우에는 "귀하는 오세아니아의 솔로몬 제도 출신이십니까?" 와 같은(…) 문항을 삽입하는데, 이런 문항에도 YES로 응답할 경우 묵인 반응이 관여했을 가능성이 증가한다. 물론, 그런데 그것이 실제로 일어났습니다 같은 가능성도 있으니(…) 희귀한 반응 척도는 다양한 희귀 질문들을 준비해놓고 있으며, 어느 하나에 우연히 YES 가 나온다고 해도 큰 문제가 되진 않는다.
  15. 이동 개방형 질문을 많이 배치하면 당장 응답자의 손목이 아플 뿐만 아니라(…) 시간도 오래 걸리게 된다. 일부 응답자들은 뜻밖에도 적벽가 뺨치도록(…) 한없이 길게 뭔가를 끄적이고 있는 모습을 보일 수도 있다.
  16. 이동 예를 들어 공공보건 관련 설문을 하면서 "귀하의 몸무게는 몇 kg입니까?" 라고 묻는다면 적잖은 20대 여성들은 당황할 것이다.(…) 이것을 개방형 질문으로 묻게 되면 응답자는 자신의 몸무게를 고스란히 적어 낼 수밖에 없지만, 만일 10kg 단위로 폐쇄형 범주를 구성해서 41~50, 51~60, 61~70 이런 식으로 값을 정한다면 응답에 한결 수월함을 느낄 것이다. 실제로 민감한 주제에 대해서 이렇게 약간의 연막을 치는 테크닉은 많은 질문지들에서 활용되고 있다.
  17. 이동 물론 이것은 연구자 역량에 따라 최소화할 수 있는 부분이다.
  18. 이동 예를 들어 앞 문항에서 "귀하는 현재 흡연 중이시거나, 한 번이라도 과거에 흡연하신 적이 있습니까?" 를 물었다면, 여기에 그렇다고 응답한 응답자를 따로 떼어내어 "귀하께서 선호하시는 브랜드에 대해 세 가지만 적어주시기 바랍니다." 라고 요청할 수 있을 것이다.
  19. 이동 질문지를 저작 도구를 사용하여 작성하는 경우 툴에 따라 일부 제약이 있을 수 있다. 본 구현은 나우앤서베이를 사용하였다.
  20. 이동 협조 요청 단락이다. 오프라인에서는 한 가지 더 추가된다. 문지 작성에 대한 동의가 반드시 친필 서명으로 포함되어야 한다.
  21. 이동 식별 데이터 단락이다.
  22. 이동 지시문 단락이다.
  23. 이동 질문 문항 단락이다.
  24. 이동 정확하게 기억하지 못하는 이용자들에게 배려했다.
  25. 이동 단일선택 폐쇄형 질문이다.
  26. 이동 나무위키에 장점이 존재하지 않는다고 생각하는 응답자들을 배려함으로써 편향성을 방지하는 값이다.
  27. 이동 다중선택 폐쇄형 질문이다.
  28. 이동 각주를 통해 부연설명을 하고 있다.
  29. 이동 의미 차별화 척도를 사용하고 있다.
  30. 이동 필터링을 사용하고 있다.
  31. 이동 제한된 개방형 질문이다.
  32. 이동 무제한 개방형 질문이다.
  33. 이동 인구학적 문항의 단락이지만, 전형적인 형태는 아니다. 그래도 개인정보나 사적 범위에 있는 정보들을 이렇게 최후반부에 떼어서 배치하는 건 일반적이다.