통제집단과 실험집단

Control group and Experimental group (CG/EG)

우리가 실험이라는 활동을 믿을 수 있는 이유.

과학적 방법의 요체이자 실험이 실험답다고 말할 수 있는 핵심적인 개념이다. 흔히 "실험" 이라는 단어는 자주 쓰이고 있지만, 엄밀히 말하자면 학술세계에서 어떤 연구활동이 실험으로 인정받기 위해서는 이와 같은 집단 분류가 전제되어야만 한다. 이하를 읽어보면 학계에서 뛰는 연구자들이 지적 성실성을 보장하기 위해 얼마나 애를 쓰고 있는지 짐작할 수 있겠지만, 사실 이는 흔한 과학자들의 영업철학이며,(…) 그야말로 숨쉬는 것처럼 자연스러운 기초적인 활동이다.

1 왜 필요한가 : 가상의 이야기

만일 어떤 연구를 하면서 실험을 실시할 필요를 느꼈다고 가정하자. 우선 연구자는 자신이 궁금해하는 인과관계의 주제에 개입해 있는 변인(variable)이 극도로 많다는 것을 확인하게 된다. 물론 연구자는 그 중에서도 (임의로 표현하자면) a, b, c, d, e 다섯 가지의 변인을 연구에 반영하기로 하고, 그 중에서도 변인 a 의 유무가 연구대상으로 삼은 것에 얼마나 영향을 미치는지를 확인하고 싶어할 것이다. 즉, 변인 a 를 독립변인(IV)으로, 연구대상의 측정가능한 수치를 종속변인(DV)으로 설정하는 것이 우선이다. 그러려면 다른 모든 실험 조건들은 건드리지 않고, 독립변인 하나만 건드려서 그 변화의 결과를 지켜봐야 할 것이다.

그런데 이 연구자는 초짜(…)였다고 가정하자. 연구자는 대상으로 삼은 집단에다 먼저 변인 a 를 처치(treatment)[1]하기로 했다. 즉, 최초의 실험 조건에서 우선 그 집단을 관찰하고, 독립변인 a 에 대해서만 더하거나 빼는 방식으로 실험 조건을 변경시킨 다음, 다시 집단을 관찰하여 종속변인 수치가 어떻게 증감하는지 살펴본 것이다.[2] 하지만 이 연구자는 곧 지도교수에게 심한 갈굼을 당했다. 그 변화가 변인 a 때문인지 어떻게 장담하느냐는 것이다. 즉, 변인 a 의 변화가 없었더라도 자연 상태에서 변화가 있을 수 있지 않느냐는 것이다.

곧 연구자는 새로운 실험설계를 제안했다. 자신이 관찰하고 싶은 집단과 잘 비교해 볼 수 있도록 집단을 하나 더 선정해서, 최초 조건에서 두 집단을 관찰하고, 자신이 관찰하고 싶은 집단에만 독립변인 a 를 "처치" 하고, 그 이후 두 집단을 다시 관찰해서 두 집단의 종속변인 수치가 어떻게 증감하는지 살펴본 것이다. 즉, 연구자가 보고 싶은 처치된 집단은 실험집단(EG)이 되고, 대조하기 위해서 기본상태로 놓아둔 집단은 통제집단(CG)이 되는 것이다. 하지만 이 연구자는 다시 지도교수에게 심한 갈굼을 당했다.(…) 그 변화가 변인 a 때문인지, 아니면 실험집단에만 발생한 제3의 외생변인(extraneous variable)의 개입 때문인지 어떻게 장담하느냐는 것이다. 즉, 실험 환경이 "잘 통제되어 있다" 고 장담할 수 있느냐는 것이다.

이 연구자는 크게 깨달은 바가 있어서 우선 자신의 실험 장소를 자기 집 뒷마당에서(…) 대학원 연구실로 옮겼다. 자신이 찾아냈던 기타 변인들인 b, c, d, e 가 개입하지 못하도록 이래저래 신경을 썼고, 그 결과 일체의 외생변인들이 "잘 통제되었다" 고 장담할 수 있는 환경을 만들어냈다. 이제 두 집단에서 어떤 변화가 발생한다면 그것은 순전히 변인 a 덕분일 터였다.[3] 하지만 이 연구자는 아직도 지도교수를 만족시킬 수 없었다. 변인의 통제는 그럭저럭 이루어졌지만, 애초에 두 집단으로 선정된 구성 단위들이 서로 동질적(equivalent)이라는 보장이 없지 않느냐는 것이다.

그래서 이 연구자는 마지막 기회를 얻어서(…) 다시 실험을 차렸다. 우선 실험대상들을 무작위 표본추출해서 무작위로 통제집단과 실험집단에 배정시켰다. 이를 통해 그 연구자는 두 집단이 처치 이전에는 본질적으로 동일한 집단이라고 통계학적으로 보장할 수 있게 되었다. 그 이후, 연구자는 조심스럽게 사전 관찰을 한 뒤, 통제집단은 그대로 두고 실험집단에만 변인 a 의 처치를 가했다. 그리고 그 결과 발생하는 변화의 증감을 파악하기 위해 두 집단의 종속변인을 다시 관찰하여 데이터를 뽑아냈다. 드디어 제대로 된 "실험" 이라고 부를 만한 것이 진행된 것이다.[4] 연구자는 변인 a 가 여전히 유의미하게 영향을 미치고 있다는 결론을 얻고 흡족해했다. 그리고 실험대상이 자신이 실험받고 있다는 사실을 눈치채게 했다는 이유로 지도교수에게 심하게 까이고는 결국 연구실에서 쫓겨났다고 카더라.

아무튼 통제집단과 실험집단을 통한 실험의 설계를 표 형식으로 옮기면 다음과 같다. 대상이 된 실험설계는 통제집단 사전사후 설계.

집단무선추출사전측정처치사후측정
EG →RO1XO2
CG →RO1　O2

보다시피 실험의 전 과정과 요건들이 심히 논리적이며, 일말의 예외적 가능성조차 이중 삼중으로 꽉꽉 틀어막고 있음을 볼 수 있다. 그리고 이런 연구들이 전세계 대학교들의 실험실에서 반복되고 누적되고 있으며, 그 결과 얻어진 "확실히 인과관계가 존재한다!" 는 결론들이 쌓이고 쌓이면서 인간 지성의 한계를 넓혀 가고 있는 것이다.

2 사회문화를 배우는 고등학생들을 위한 예시

나는 오늘 야간자율학습이 성적 향상에 도움이 된 다는 것[5]을 증명하고 말테다!

실험1. 우리반 애들[6]한테 야자를 강제로 시켜보자!
결과➡ 모두 성적이 상승했지만...야자 안 했어도 성적이 늘었을지도 몰라

실험2. 다른 반 아이들[7]한테는 야자를 시키지 말고 우리반 애들한테만 시키자!
결과➡ 우리반 애들만 성적이 상승했지만...우리반 애들 과외랑 학원[8]도 많이 다니잖아? 그것때문에 성적이 늘었을 수도 있어!

실험3. 학원이랑 과외도 모두 그만두게 하자! 공부도 교과서로만! 다른 반 애들은 아무것도 시키지 않게 하는것도 잊지 말고
결과➡야자만으로 우리반 애들이 성적이 늘었지만...우리반 애들 원래 머리가 좋았을 수도 있어.[9] 좀 더 확실한 방법 없을까?

실험4. 전국에 있는 모든 학생들을 추첨해서 뽑아야지![10] 그 중에서 야자를 시키는 놈들이랑 안 시키는 놈들이랑 무작위로 두면 가장 확실한 결과가 나올거야!
결과➡역시 야자만으로도 성적이 느는걸 볼 수 있군! 야자는 역시 좋은 공부법이야![11]

3 기타

의약학 분야에서 신약을 개발하면 일반적으로 그 효능을 알아보기 위해 "가짜약" 즉 플라시보를 써서 그것이 정말로 효과가 있는지를 대조해보게 되는데, 이때 플라시보를 쓰는 집단이 바로 통제집단, 실제 신약을 쓰는 집단이 바로 실험집단이 된다. 이때 두 집단 사이에 병세가 차이가 없다면 신약은 약으로서의 효능을 인정받지 못하지만, 플라시보 집단에 비해 실험집단에서 상당한 차도가 보이게 된다면 이 신약은 비로소 약으로서 인정받고 대량생산에 돌입한다.

외과 수술 현장에서도 통제집단을 두는 경우가 있는데, 이런 경우는 전신마취에 개복에 모든 것이 똑같지만 정작 아무런 치료를 하지 않고 도로 봉합하고 회복시킨다.(…)
  1. ↑ 조작(manipulation)이라는 단어도 많이 쓴다. 일반인들 사이에서야 어감이 이상해졌지만(…) 오히려 이쪽을 더 많이 쓰는 분야도 많다. 참고로 조작 이후에는 자신이 조작한 게 제대로 먹혀들었는지(?) 확인하는 과정을 추가할 수도 있는데 이 경우에는 조작 점검(manipulation check)이라고 한다. 보다시피 연구자들이 지적 진실성을 지키기 위한 노력은 이처럼 고달프다.
  2. ↑ 이를 다시 표현하면 단일집단 사전사후 실험설계라고 한다. 성형외과 광고들에서 굉장히 흔하게 찾아볼 수 있다.(…)
  3. ↑ 이를 다시 표현하면 비동일 통제집단 설계라고 한다.
  4. ↑ 이를 다시 표현하면 통제집단 사전사후 설계라고 한다.
  5. ↑ 가설 설정
  6. ↑ 실험집단
  7. ↑ 통제집단
  8. ↑ 외생변수
  9. ↑ 실험집단과 통제집단의 동질성
  10. ↑ 무작위 표본추출
  11. ↑ 최종 결론도출