문헌오염

500px
(출처)

"나는 과학자로서 실패했소..."

(I have failed as a scientist...)

- 전(前) 사회심리학자 디데리크 슈타펠(Diederik A. Stapel)[1]

"논문은 그 전에 발표된 논문도 참고로 해서 쓰여지지. 과학은 그렇게 발전하는 거야. 만일 조작된 데이터가 들어간다면, 그것을 참고로 한 모든 논문이 물거품이 되고 말아. 말하자면 문헌 오염인 거지. 용서받을 수 있는 일이 아니야."

- 《Q.E.D. 증명종료》, 25편 〈Parallel〉 中

신뢰성이 보장되지 않은 채 저널에 실린 잘못된 연구에 대해, 다른 연구자들이 그 연구를 인용하면서 부지불식간에 또 다른 잘못된 연구를 진행하는 것. 쉽게 말해 연구부정행위의 결과로서는 최악의 시나리오. "문헌오염" 이라는 말은 만화 Q.E.D. 증명종료의 2006년에 연재된 에피소드 〈Parallel〉(일:パラレル) 에서 논문조작의 해악을 설명하기 위해 언급된 말이다. 그 후 일부의 사람들 사이에서 간간히 쓰이는 말이 되었지만 용례는 많지 않다. 영어권에서는 의료윤리학 전문가 아서 카플란 교수가 논문 조작, 표절, 쓰레기 저널[2] 등을 싸잡아 Publication-Pollution으로 부른 사례가 있다. [3]

어떤 연구가 위조, 변조 등의 조작을 가하거나, 기타 지적으로 정직하지 못한 상태로 진행되었다면, 일차적으로 저널 에디터를 비롯하여 많은 동료 연구자들이 동료평가(peer review)라는 과정을 통해서 그것을 깐깐하게 걸러낸다. 유명한 저널일수록 더욱 까탈스럽게 체크한다. 이걸 통과하더라도 다시 과학 공동체를 통하여 다른 연구자들이 의심과 회의의 시선을 보내고, 재현성 실험을 하고, 신뢰성에 이의제기를 할 수도 있다. "일반적으로는" 그렇다.

여기서 문제는 이 모든 검증의 절차를 운 좋게 통과했을 경우이다. 연구자들은 그것이 틀렸다고는 꿈에도 모른 채로 이제 그것을 열심히 인용하고, 자신의 후속 연구를 위한 밑바탕으로 활용한다. 그 이후에 이어지는 많은 연구들이 잘못된 하나의 연구 위에 올라서서 또 다른 잘못된 연구를 하게 된다. 그러다가 뒤늦게 내부고발자나 다른 사건에 의해서 우연히 그 문제성이 발견될 경우, 학계에는 헬게이트가 열리고 연구자들은 충공깽을 외치면서 혼돈의 카오스에 빠지고 만다. 이유는 간단하다. 물론 배신감 때문에 나타나는 분노나 당혹감일지도 모른다. 가장 기본적인 덕목인 "신뢰" 가 깨졌다는 것에 대한 불안일지도 모른다. 그러나 또 다른 무시할 수 없는 이유는, 그 한 사람의 부정직함 때문에 지금껏 수많은 선량한 동료 연구자들이 단체로 삽질을 했다는 게 밝혀졌기 때문이다.(…)카오스 이론 진짜 오차로 인해 발생하는 혼돈의 카오스다

결함 있는 연구를 바탕으로 했으니 그 후속 연구 역시 결함이 없을 리 없어서 쓰레기통 직행이다. 반박논문 역시 한때의 삽질이 되고 만다. 물론 해당 반박을 한 연구자는 경우에 따라서는 상당한 추앙과 재평가를 받을 수도 있겠다. 이 연구를 바탕으로 한 핸드북이나 리뷰 논문들도 죄다 두툼한 폐지 뭉치로 탈바꿈한다. 그리고 수많은 연구비를 쏟아부었던 대학교들과 후원자들이 뒷목을 잡는다. 저널마다 "게재 철회"(Retraction) 요구가 빗발친다. 이제 그 연구자가 저자로서 참여했던 모든 논문들은, 설령 그것의 연구부정행위가 입증되지 않았다고 하더라도, 다시 한 번 따가운 의심의 눈초리를 받게 된다. 같이 일했던 다른 연구자들 또한 그들의 연구 진실성을 의심받는 등 상당한 봉변을 당하게 된다. 그 연구의 문제점을 발견하지 못하고 넘어간 저널과 리뷰어들 역시 무사하지는 못한다. 즉, 학계에서 엄청난 인력과 금전의 낭비가 발생하는 것이며, 거대한 퇴행이 일어나는 것이다.[4] 잘못된 연구가 있기 직전으로 돌아가서 다시 새로 연구를 시작해야 한다. 돌아가지 않으면 학문의 길을 벗어나게 되므로 퇴행을 피한다면 그게 더 큰 문제가 된다

물론 게재 철회를 한다고 하더라도, 학술 데이터베이스 상에서 아주 사라지게 되는 것은 아니다. 제목 맨 앞에 게재 철회 표시가 붙을 뿐 여전히 열람은 가능하고, 심지어 게재 철회 표시가 뜨지 않는 경우도 있긴 있다. 그리고 그 밑에는 피인용수가 고스란히 붙게 되고, 학술DB는 심지어 인용의 추세까지 종합하여 보고서로 뽑아주기 때문에 문제의 논문은 부끄러운 흔적이자 반면교사로 남게 된다. 물론 학계가 발칵 뒤집힌 이상, 더 이상 그 논문들을 거들떠 볼 연구자들은 없을 테니 인용의 추세를 보여주는 건 어찌보면 확인사살이라고 봐야 할지도.(…)

국내에는 익히 알려졌다시피 황우석의 사기 사건이 대표적인 문헌오염의 사례이다. 심지어 이 경우는 그 《사이언스》 조차도 좋다고 실어주었으니 그 충격과 공포는... 그 외에도 상단에 소개된 디데리크 슈타펠이라는 인물도 어지간하게 한 건 했다.(…) 구글 스콜라에서 "저자:DA 저자:Stapel" 로 입력해 보면, 이 양반이 참여한 논문들이 얼마나 신뢰를 갖고 사방에 인용되어 나갔는지 확인이 가능할 것이다. #

해외에도 유명 학술 출판사인 "Springer" 에서 무려 64편의 거짓 논문들이 무더기로 게재 철회되어 소동이 벌어지기도 했다. # 동료평가를 조작해서 억지로 게재 수락을 했다는 건데, 이 출판사는 이미 과거에도 《바이오메드 센트럴》 에서 43편의 논문들을 똑같이 조작하여 올렸다가 뒤늦게 게재 철회해서 논란을 빚기도 했다고. 심지어 논문 게재철회 문제만 집중적으로 다루는 한 사이트에 따르면 이 사이트가 개설된 2012년 이래로 취소된 논문 수만 무려 1,500건(!)에 달한다고.[5] 현실은 시궁창

서브컬처에는 상단의 《Q.E.D. 증명종료》 25편에서 언급된 적이 있다.
  1. 상단 사진의 인물. 심리학계의 황우석(…)이라 할 수 있는 이 인물은 총 55편의 논문에서 연구부정행위가 입증되었고, 일부 논문들은 100~170회 인용되었으며, 총 피인용수는 무려 2,000회(!)에 이른다. 그는 이전까지만 해도 이 분야의 권위자로 여겨지고 있었으며, 그의 연구를 인용했던 수많은 다른 연구들까지도 한꺼번에 신뢰성에 의심을 받아 집단 게재철회 소동이 벌어지게 되었다. 이 양반은 참회하려는 뜻에서였는지 자신이 어떻게 유혹을 느껴서 데이터를 주작했는지에 대한 자서전도 썼다고.
  2. Get me off Your Fucking Mailing List 참고.
  3. Caplan, Arthur L. "The Problem of Publication-Pollution Denialism." Mayo Clinic Proceedings. Vol. 5. No. 90. 2015.
  4. 심할 경우 그 분야 전체의 추진동력 자체가 상실될 정도이다!
  5. 단, 모든 게재 철회가 전부 연구부정행위를 의미하는 것은 아니니 주의.