초능력 논문 게재 사건

문서 제목을 보고 안드로메다로 날아가는 듯한 아득한 기분을 느꼈다면 지극히 정상입니다.

주의. 사건·사고 관련 내용이 있습니다.

이 문서에는 실제로 발생한 사건·사고에 대한 자세한 내용과 설명을 포함합니다. 불법적이거나 따라하면 위험한 내용도 포함할 수 있으며, 일부 이용자들이 불쾌할 수 있으니 열람에 주의하시기 바랍니다. 또한, 실제 사건·사고를 설명하므로 충분히 검토 후 사실에 맞게 수정하시기 바랍니다.

또한, 이 틀을 적용하시려면 적용한 문서의 최하단에 해당 사건·사고에 맞는 분류도 함께 달아주시기 바랍니다. 분류 목록은 분류:사건사고 문서에서 확인하실 수 있습니다.

1 개요

  • 논문 제목 : Feeling the Future: Experimental Evidence for Anomalous Retroactive Influences on Cognition and Affect[1]
  • 문제의 논문 읽기(PDF 자동 다운로드)그리고 엄청난 영어의 압박 이걸 다 읽는 사람이 있을까
  • pubmed ID : PMID: 21280961 초록만 확인하려면 이쪽으로
  • Doi 번호 : 10.1037/a0021524

유명한 과학자가 유명한 저널에 초능력이 실존한다는 내용의 논문을 덜컥 실어버린 사건. 이거 실화입니다.

2011년 1월 31일에 출판된 《Journal of Personality and Social Psychology》(이하 JPSP)에[2] 대릴 벰(Daryl Bem)이라는 한 미국 심리학자가 제출한 논문이 학계 전반에 파장을 일으킨 사건이다. 이 논문은 전인지(precognition), 쉽게 말해서 그냥 "예지능력" 에 대한 것으로, 인간이 미래를 내다볼 수 있는 인지적 능력을 갖고 있다고 주장함으로써 엄청난 반발을 불러왔다.

잘 모르는 사람이 보기에는 그냥 관심병 걸린 타락한 과학자 내지는 유사과학 좆문가의 전형적인 사례라고 치부하고 쿨하게 넘길지도 모르나, 실제로 이는 병적과학의 극적인 사례이며,[3] 학계에 가볍게 넘길 수만은 없는 수많은 화두를 던져주었다.

2 상세

2.1 저자는 도대체 뭐하는 사람인가?

저자 대릴 벰(Daryl J. Bem)은 코넬 대학교의 심리학자로, 1967년과 1972년에 이미 자기지각 이론(self-perception theory)을 발표하여 레온 페스팅어(L. Festinger)의 유명한 이론인 인지부조화의 대안적 설명으로 각광받은 바 있는 성공한 심리학자였다. 그는 자기지각 이론을 통하여 "인간은 자신의 현재 행동에 대한 의미를 찾아 해석함으로써 그들의 태도나 선호를 결정한다" 고 주장했으며, 실제로 2010년대 들어서까지도 숱하게 인용되면서[4] 후속연구가 이루어지는 성공한 이론으로 만들었다. 특히 이는 심리치료나 마케팅 및 광고 분야에도 접목되면서 많은 파생이 이루어진 바 있다.

그리고 성 소수자 담론에 익숙한 사람이라면 그의 또 다른 주장을 접해 보았을 것인데, 2000년에 낯설기 때문에 끌린다 이론(exotic-becomes-erotic theory)을 발표하였다. 이 이론은 어째서 동성애와 이성애의 구분이 결정되는지에 대한 많고 많은 설명들 중 하나인데, 여기서는 "생물학적 소인에 의해, 유년시절에 경험하는 젠더 동조(gender-conforming)의 여부가 향후 성인이 되어서 그 개인의 성적 지향을 예측하게 한다" 고 보았다.[5] 거칠게 말하자면 그냥 자기랑 같은 성의 또래들이랑 노는 경험이 반대 성의 또래들을 낯설게 만들고, 이것이 나중에 성적 지향으로 고스란히 이어진다는 얘기. 이 이론은 여러분이 짐작하듯이 비판도 숱하게 받았지만 어쨌든 벰이 독자적이면서도 특이한 자기주관이 있는 학자로 인정받는 데 기여했다.

여기까지만 읽어도 알겠지만 자칭 재야과학자 같은 사람들과는 차원이 다르다는 것을 알 수 있다.(…) 초능력 논문 게재 사건이 충격을 주었던 이유 1. 물론 대릴 벰 본인이 예전부터 줄곧 초능력을 비롯한 초심리학(parapsychology)에 많은 관심을 보였으며 간츠펠트 실험(Ganzfeld experiment) 관련 연구들을 리뷰하여 논문으로 낸 적이 있긴 하므로,[6] 이 사건 자체가 아주 뜬금포인 것은 아니었다. 자신의 연구업적 이면에 특이한 관심사를 갖고 있었던, 아는 사람들은 다 아는 괴짜(?)였는지도.

2.2 저널은 도대체 어느 정도 수준인가?

문제의 저널 JPSP(ISSN: 0022-3514)는 1965년부터 현재까지 줄곧 출판되어 오는 유서 깊은 저널이며, 미국심리학회 소속이다. JPSP는 그 이름처럼 성격심리학(personality psychology)과 사회심리학(social psychology)의 전 범위를 포괄하는 SSCI급 저널이며, 이들 세부분야에서는 TOP 3 내에 들고, 심리학 전체에서 보아도 논자에 따라서는 TOP 5 내에 포함시키기도 하는 상위급 저널에 속한다. 특히 이들 분야에서 뛰는 연구자들에게 JPSP에 얼마나 출판을 했는가는 굉장히 중요한 연구업적의 기준이 될 정도이다. 임팩트 팩터 역시 2014년 기준으로 5.031로 무척 높은 수준이다.

보다시피 흔한 무료저널이나 오픈액세스 저널이 아니라는 것이 오히려 충격과 공포.(…) 보통 "급" 이 높은 저널일수록 더욱 깐깐하게 검증하고 혹독하게 동료평가를 거친다는 점을 생각하면 의문스러운 점이 한두 가지가 아니다. 특히 이런 고급진 저널들은 일부러 투고 대 게재 비율을 관리하고 있으며, 투고된 논문이 어지간히 혁신적이거나 설득력이 있지 않으면 가차없이 광탈이다. 그 분야 중진급 연구자들도 JPSP에는 리젝을 맞는 게 일상다반사. 그런데 그걸 이 초능력 논문이 뚫었다. 초능력 논문 게재 사건이 충격을 주었던 이유 2.

2.3 논문은 도대체 무슨 소리를 했는가?

논문의 핵심 내용을 요약한 것이라고 말할 수 있는 초록을 먼저 보자면, 그 내용을 요약하면 대략 다음과 같다. 더 좋은 번역 환영.

  • "Psi" 는 오늘날의 과학으로 설명되지 않는 에너지의 전환 과정이나 정보를 의미하며, 인지적 인식의 영역과 정동적 평가(affective apprehension)의 영역으로 나누어진다.
  • 1,000명 이상의 참가자들이 참여한 9건의 실험이 제시되었다. 여기서는 어떤 자극이 있기 전에 그에 대한 반응이 먼저 나타날 수 있음을 확인하고자 하였다.
  • 이러한 Psi는 불쾌한 자극의 회피, 성적 자극에 대한 반응, 소급적인 점화(priming), 소급적 습관화, 소급적 회상 촉진으로 나누어지는 것으로 확인되었다. 평균 효과 크기는 d=.22였고, 8건의 실험에서 유의미한 결과가 나타났다.
  • Psi는 외향성의 구성 요소 중 하나인 자극 추구(sensation seeking)를 통해 예측될 수 있는 것으로 보인다. 이것이 높은 참가자들의 평균 효과 크기는 d=.43으로 훨씬 높았다.

논문에서 저자 벰은 자신의 연구가 굉장히 논쟁적(controversial)인 주제임을 인정하고 있으며, 별도의 주석을 달아 "자신의 연구에 친절하게 협조하고 참여해 준 학생들과 학장, 교수들에게 감사드린다" 는 감사의 글을 적어둔 바 있다. 자기 커리어 꼬일 걸 무릅쓰고 초능력 논문 쓰는 걸 도와줬는데 당연히 감사해야지 또한 서문에서는 심리학자들이 다른 사회과학자들이나 심지어는 자연과학자들보다도 초능력에 대해서 훨씬 더 회의적이라는 연구를 인용하기도 하는 등[7] 자신에게 주어진 현실을 잘 알고 있어 보인다.(…) 그러면서 하는 패기쩌는 말이 "너네들, 엄청난 주장에는 엄청난 근거가 필요하다며? 지금까지의 초심리학은 그만한 근거를 못 들고 왔지만, 지금 내가 방법론적으로 쩔어주는 통계적 근거를 들고 왔거든? 내 실험 재현되는 것도 자신있거든? 그러니까 이제 좀 믿어주지?" 정도의 내용.(…) 그 이후에 나오는 것도 비슷한데, Psi를 설명할 수 있는 이론이 없다고 해서 멀쩡히 존재하는 현상을 무조건 없다고 거부하면 안 된다든가, 최근의 사회인지적 연구나 심지어는 fMRI를 활용한 뇌 연구의 트렌드를 보더라도 내 연구는 전혀 동떨어진 주제가 절대 아니라든가 하는 항변이다.

이 논문에서는 초록에서 밝혔듯이 총 9건의 실험들이 제시되고 있으며, 성적 자극에 대한 전인지적 탐지 1건, 불쾌한 자극에 대한 전인지적 회피 1건, 소급적인 정동적 점화 2건, 소급적 습관화 및 지루함의 유도 3건, 소급적 회상 촉진 2건이다.[8] 저자에 따르면 모든 실험 연구들은 가능한 한 동료 연구자들이 쉽게 이해하고 쉽게 재현할 수 있도록 설계되었다고 한다. 더 정교하고 현학적인 분석을 할 수도 있었지만 자칫 페이크로 오해받을까 봐서 일부러 쓰지 않았다고 한다.(…) 그 때문인지 사용된 통계적 분석 기법 역시 단일표본 t-검정이다.[9] 또한 자칫 파일 서랍장 문제(file-drawer problem)[10]가 있다는 식으로 오해받을 수도 있겠지만, 자기 연구 중에 결론이 유의하지 않게 나온 실험도 함께 섞여서 보고되어 있다고 밝혔다.

후반부에 나오는 재현성 관련 단락은 한번쯤 읽어 볼 만하다. 기존의 초심리학자들은 과학적 회의주의자들이 실험을 할 때 유의한 결과가 나오지 않는 것에 대해서 "저 아저씨들한테서 나쁜 기가 나와요 징징"(…) 하는 식의 애드혹 논증으로 무마하려 했지만, 여기서는 흥미롭게도 실험자 편향(experimenter bias)이라는 좀 더 세련된 관점에서 설명하려 하고 있다. 물론 실험자 편향을 최소화하는 길은 맹검법을 쓰거나 아니면 다양한 기대를 갖고 있는 복수의 실험 진행자들을 동원하는 것. 그래서 벰 역시 실험조교들을 일부러 무선추출해서 그들의 Psi에 대한 기대를 다양하게 하려 했다고 설명했다.

3 학계의 반응과 저널의 변

대명천지에 이런 망측한(…) 일이 벌어졌으니 학계가 당연히 가만히 있을 리 없었다. 벌떼처럼 들고 일어난 학자들이 많았지만, 일단 여기서는 그러한 연구들을 종합해 메타분석(meta-analysis)한 연구 하나만 인용해 보기로 한다.[11] 벰의 연구에서 가장 극적으로 초능력이라는 개념에 부합하는 실험은 8번과 9번 실험인데, 이 논문에서는 수많은 재현 문헌들로부터 해당 연구 패러다임의 통계적 데이터들을 확인해서 비교해 보았다. 그러자 굉장히 유의한 결과로 밝혀진 벰의 논문과는 달리, 다른 문헌들에서는 유의하지 않다는 결과가 나왔다.[12] 심지어 벰이 연구에 활용한 소프트웨어를 바꿔 보기만 해도 결과가 달라졌다.(…)[13] 최종적으로 결정된 전체적인 효과 크기는 d= .04로, 이 정도라면 처음부터 그런 거 없다고 판단해도 무방한 수준인 셈이다. 한편 벰이 주장했던, 외향적 성격의 주요 특성 중 하나인 감각추구(sensation seeking)의 경우에도, 후속 재현연구들을 메타분석하여 종합하자 r= -.03으로 의미가 없어졌다. 이에 연구자들은 벰의 당초 연구에서 놀랄 만한 유의한 결과가 나온 것은 단순히 Type 1 error[14] 때문일 수 있다고 제안하였다.

저널 입장에서도 사실 할 말은 있었다. 같은 호에 실렸던 편집장 코멘트(Editorial comment)를 요약해 보면 다음과 같다. 더 좋은 번역 환영.

  • 이 논문에 대해 게재를 결정했고, 이에 반발하는 Wagenmakers, Wetzels, Borsboom, & Van der Maas의 코멘터리 역시 게재하기로 결정했다. 둘 다 엄격한 심사를 통과한 것들이다.
  • 독자 여러분이 이 사실에 대해 놀란 만큼, 우리 역시 이 논문의 데이터가 가리키는 것에 대해 놀랐으며, 이것이 우리의 지식과 충돌하고, 극도로 당황스럽다고 느낀다.
  • 하지만 아무리 이상해 보여도 이 논문 역시 다른 논문들과 동등한 자격으로 평가해야 하는 게 옳다고 생각했다. 우리는 기존의 특정한 이해를 옹호하기 위해서가 아니라 학계를 발전시키고 자극시키기 위해 편집장 일을 하고 있다.
  • 학계에서 이에 대한 많은 비판적인 논의가 이루어지게 된다면, 그것이야말로 편집장으로서 정말 바라는 바일 것이다.

결국 요약하자면 우리는 특정 결론으로 우리의 출판 논문들의 방향을 이끌 생각이 없으며 데이터가 말하는 대로 따라가게 할 뿐이고, 그것이야말로 저널 편집자로서 가져야 할 태도라는 얘기다. 이러한 현실을 두고 "정 데이터로 하여금 말하게 하겠다면 오히려 우리가 데이터를 평가하는 관점 자체를 바꾸어야 한다" 고 일군의 연구자들이 절규하자, JPSP는 그 코멘터리 역시 쿨하게(…) 나란히 실어주었다.[15] 즉 이들의 입장은 어떤 연구가 아무리 이상해 보일지라도, 그렇다고 해서 그것이 무조건 거짓일 거라고 반응하는 것은 오히려 폐쇄적이고 편협한 태도이며, 그 발견으로 인해 발생할 혼란과 당혹스러움을 당당히 감당할 수 있어야 한다는 것이다. 또한 이를 계기로 학계에 많은 논의와 큰 변화의 바람이 부는 것은 오히려 편집자로서 환영할 만한 일이라는 것.

보다시피 저널의 입장도 아주 틀린 말은 아니며, 학자적 양심과 나름의 연구철학을 갖고 결정한 것이고 어느 정도 일리가 있는 말이다. 그리고 그들이 예상했던 "더 많은 논의" 는 실제로 사회심리학계의 수많은 유사 사건들과 절묘하게 겹치면서 소위 재현성 위기설이라는 거대한 나비효과로 되돌아왔다.

문제는, 기존의 JPSP의 출판 규정상 단순 논박을 위해 실시한 직접재현(direct replication) 연구는 게재가 불가능하다는 것이었다. 많은 과학 연구들은 분명히 독자성(originality)을 중요한 가치로 삼고 있으며, 남들이 생각해내지 못한 무언가를 자신이 생각했다는 것을 (그리고 그것이 꽤 설득력 있다는 것을) 보여주어야만 한다. 그런데 이에 따르면, 남이 생각한 그것이 정말로 설득력이 있는지 검증하는 내용의 논문은 가치가 없다는 이상한 결론에 도달하게 된다. 실제로 화가 머리 끝까지 나서 부리나케 재현을 실시한 연구자들이 JPSP의 문을 두드렸을 때, 이들은 "단순 재현 연구는 출판이 불가능하다" 는 답변을 들어야 했다. # 이는 학계에서 재현성이라는 이슈에 대해서 주목하게 되는 중요한 계기 중 하나가 되었으며, 이들 중 일부는 아연실색하여 여러 과학적 회의주의 포럼이나 웹 게시판에 이 사건을 알리기도 했다.

실제로 위에서 소개한 바 있는 Galak et al.(2012)의 연구의 경우, 지금까지의 수많은 연구들을 메타분석한 결과를 표로 정리해 놓았더니 반수 이상의 데이터 세트가 "출판되지 않음"(Unpublished)으로 분류되었을 정도였다. 그렇다면 이들의 메타분석 연구는 어떻게 다시 JPSP에 실릴 수 있었는가 하면, 원론적으로 메타분석 자체가 독자성이 있는 학술활동이라서 그렇다. 이런 분석기법은 단순히 남들의 연구를 인용하고 요약하는 수준에서 그치는 것이 아니다.

어쨌거나 벰은 아직까지는 초능력에 대한 자신의 확신을 버리지 않은 것으로 보인다. 그도 엄연히 제도권 학자에 속하기 때문에,[16] 공식적이거나 비공식적으로 동료 학자들과 온갖 날선 코멘터리가 왔다갔다하며 디펜스를 해 오고 있다. 따라서 위키러 여러분도 영어가 된다면 항의 메일이라도 한 마디 전달해 보자. 어? 그래도 학계의 중론은 그냥 흑역사 취급. 여전히 우리가 인식하는 세계의 안정을 위하여 그의 연구는 유의미한 것으로 간주되지 않고 있고, 초능력 같은 것도 처음부터 없었다고 생각되고 있다.

4 의의

우선 언급할 만한 것으로, 위에서도 잠깐 지나갔던 재현성 문제를 들 수 있다. 2011년 이후로 학계에서는 재현성에 대한 많은 자성이 일어났으며, 재현성 연구를 하는 것에 대한 일체의 인센티브가 없다는 비판이 많이 이어졌다. 이번 초능력 논문 게재 사건에서도, 너도 나도 단순 재현성 연구를 해서 JPSP에 실어 보려고 애썼지만 결국 무위로 돌아가고, 그것들을 정리한 메타분석 연구만이 게재에 성공했을 뿐이었다. 그런데 학계에서 출판에 실패했다는 얘기는 곧 그 학자의 커리어나 연구 업적에 대해서 아무런 영양가가 없다는 얘기랑 마찬가지다. 연구비는 연구비대로 들고 시간은 시간대로 드는데, 대학교는 정교수직을 위해, 테뉴어를 위해 연구자들을 한없이 몰아붙이고 있는 상황. 이런 분위기에서 재현성 연구가 제대로 이루어지기는 요원할 따름인 것이다.

또한 이번 사건은 과연 "어떤 주제에서든 간에 통계적으로 유의한 결과가 나온다면 '데이터가 말하는 것'을 따라가야 하는가?"에 대한 궁금증을 불러일으킨다. 실제로 Wagenmakers 등이 지적한 바가 바로 그것이었다. 우선, 학계에 어느 정도의 패러다임이라는 것은 존재하고, 그런 거는 우리에게는 있을 리가 없다고 생각되어서 그 존재를 주장했다간 오히려 연구자가 욕을 처먹는(…) 것들도 존재한다. 그러나 (적어도 경험적으로 측정 가능한 주제이고, 연구자가 연구부정행위를 하지 않은 이상) 무엇이 일단 통계적으로 충분히 유의미해 보인다면, 어쩌면 그것에 기초하여 우리의 세계관을 뒤집을 필요가 있을지도 모른다. 여기서 학계의 많은 연구자들은 전자를 선택했고, 저널 편집위원들은 후자를 선택했다. 중요한 것은 'either-or'가 아니라 'both-and'일 수 있다는 것이다. 즉 둘 중에 어느 하나만을 취하고 다른 하나는 버리는 것이 아니라, 데이터에 대한 두 가지 관점 사이에서 절묘한 줄타기를 할 필요가 있을 수 있는 것이다.

마지막으로 문제의 논문은 흔히 학술계량에서 활용되는 피인용수(number of citation)의 한계를 지적하는 사례로 활용되기도 한다. 2016년 5월, 구글 스콜라 기준으로 확인되는 피인용수는 대략 500회에 좀 못 미치는 수준인데, 심리학 분야에서 이 정도는 많은 것은 아니지만 그래도 그 분야의 상당한 학자들에게 읽히고 있다는 얘기다. 그러나 피인용수의 결정적 한계점은 그것이 정말로 지지와 옹호를 위해 인용한 것인지,[17] 아니면 동일한 저자가 자기인용을 한 것인지, 아니면 도리어 비판하기 위해서 인용했거나 심지어 반면교사로 삼기 위해서 인용한 것인지 등을 구분할 수 없다는 것이다. 적어도 학계에서 벰의 의견에 찬동하며 나타난 동료 연구자는 딱히 없는 것 같다. 그 말인 즉슨, 이 논문은 400~500회 가량 줄기차게 까이고 있다는 얘기.(…) 그만해, 이 논문의 라이프는 이미 0이야!
  1. ↑ Bem, D. J. (2011). Feeling the future: experimental evidence for anomalous retroactive influences on cognition and affect. Journal of personality and social psychology, 100(3), 407.
  2. ↑ Volume 100, Issue 3, 2011.
  3. ↑ 단, 학계의 추앙과 후빨(…)까지는 없었으므로 "교과서적인" 사례라고는 하기 어렵겠다.
  4. ↑ 2016년 7월 기준으로, 구글 스콜라에서 확인되는 Advances in Experimental Social Psychology에 실린 벰의 1972년 논문의 피인용수는 6000회가 넘는다.
  5. ↑ 물론 이 이론을 오늘날 곧이곧대로 받아들이는 성심리학자들은 더 이상 없다. 현재까지 미국심리학회(APA)에서 말하는 동성애의 원인은 "아마도 유전과 환경의 상호작용 뭐 그런 거겠지만 어쨌건 알 수 없음" 정도다.(…)
  6. ↑ 《Psychological Bulletin》 에 게재되었던 것으로, Bem & Honorton, 1994 참고. 물론 이것도 학계에 의해 탈탈 털렸다. 특히 리처드 와이즈먼에게.
  7. ↑ Wagner & Monnet, 1979.
  8. ↑ 이 중에서 마지막 2건이 우리가 흔히 생각하는 "뭔가 신비한" 초능력에 가까운 느낌을 준다. 나머지는 그보다는 그냥 흔한 심리학 논문처럼 읽히는 주제들.
  9. ↑ 물론 t-검정 자체가 데이터의 정규성을 가정하므로, 이를 보완하기 위해 비모수적 이항검정을 함께 실시하였다.
  10. ↑ 연구자가 자기 가설을 입증해 주지 않는 데이터는 슬쩍 숨기고 출판하는 경향을 말한다. 이와 관련하여 p-해킹 문서도 함께 참고.
  11. ↑ Galak, LeBoeuf, Nelson, & Simmons, 2012.
  12. ↑ 벰의 연구에서 CI= .13~ .45, 재현 문헌에서 CI= -.02~ .07.
  13. ↑ 벰의 SW에서 CI= .02~ .17, 다른 SW에서 CI= -.04~ .07.
  14. ↑ 영가설의 잘못된 기각을 의미한다.
  15. ↑ 실제로 많은 저널들에서 이렇게 상반되는 내용의 논문들을 나란히 놓고 함께 읽히는 일은 무척 흔하다.
  16. ↑ 이쯤에서 노파심에 언급하지만 벰이 타락한 과학자라거나 재야과학자라거나(…) 하는 인물은 절대 아니므로 나중에 괜히 오해하지 말자.
  17. ↑ 즉 이 연구가 옳다는 가정을 토대로 자신의 연구를 진행했다는 의미인지