동료평가

• 한자: 同僚評價
• 영어: peer review

1 인사평가의 방법

평가의 한 방법으로 동기이거나 근접기수에 해당하는 사람들끼리 서로 평가하도록 하는 제도이다.

일반적으로 부서장이나 선임직원이 평가하는 근무평정과는 달리 동료들이 보기 때문에 상사가 보기 힘든 부분을 볼 수 있다는 장점이 있다. 단점으로는 친목질을 잘 하는 사람이 높은 평가를 받을 수 있고 비슷한 승진 시기가 걸린 사람들이면 서로 악의적인 평가를 내릴 수도 있다.

간혹 대학교 조모임 등에서 동료평가를 실시하는 경우도 있는데 이런 경우 무임승차자를 가차없이 공격한다. 그리고 각 조별 발표를 조장들이 서로 점수를 매기게 하는 경우도 있는데 이 경우도 동료평가의 일종이다.

2 학술 연구자들의 상호작용

• 상위 항목 : 연구방법론 관련 정보, 논문

"논문 투고가 받아들여지기 위해 충족되어야 할 첫 번째 기준은 논문 내용에 충분한 타당성이 있어야 한다는 것이다. 과학 논문은 괴짜나 사기꾼, 실력 없는 엉터리들에게 끊임없이 시달리는데, 학술지가 그런 사람들로 인해 수렁에 빠지지 않으려면 그들이 투고한 논문에 퇴짜를 놓아야 한다."

- 마이클 폴라니(M.Polanyi)

"학문은 상처 투성이의 논쟁을 통해서 발전한다."

- 프랜시스 베이컨

파일:Peer-review.jpg
(출처)

같은 학자들끼리 논문을 돌려보며 평가한다고 해서 동료평가다.

학술세계에서 동료평가는 대략 두 가지로 구분될 수 있는데, 하나는 과학자 동료들 사이에 서로의 연구 아이디어나 방법론을 접해보고 나름대로의 의견을 교류하는 코멘트(comment) 또는 비평(criticism)이고, 다른 하나는 실제로 저널에서 특정 연구자의 논문을 출판하기 전에 그 질적 수준을 평가하는 과정이다. 전자는 좀 더 캐주얼한 느낌이지만, 후자는 정말로 하드코어한 과정이다.

비유하자면, 길거리 클럽들에서 출입자를 관리하는 과정이 바로 저널의 동료평가라고 할 수 있다. 클럽들이 이를 통해서 자기네 클럽의 "물" 을 관리하듯이, 저널들도 엄격한 동료평가를 통해서 자기 저널의 "물" 을 관리한다. 만일 어떤 클럽이 유독 입구에서 까다롭게 굴면서 정말 그럴싸한 사람들만 들여보내 준다면, 그 클럽 안에 있는 사람들은 일단 기본적으로 어지간히 차려입고 매력적인 사람이라고 봐도 될 것이다. 마찬가지로, 어떤 저널이 동료평가를 엄청나게 까다롭게 하면서 짜게 평가한다면, 그 저널에 실린 논문들의 가치는 그만큼 높을 것이라고 믿어도 될 것이다.

저널의 동료평가를 하는 사람들은 다시 두 종류로 나누어진다. 하나는 편집장(editor)이고, 다른 하나는 심사위원(reviewer)이다. 편집장은 자기 저널의 질적인 수준이나 내용적 측면에 대해서 책임을 지게 된다. 물론 그만큼 권한도 막강해서, 심사위원들의 의견과는 다른 결정을 내릴 수 있다. 저널이 영세할 경우 편집장이 직접 심사하기도 하고, 거대할 경우에는 부편집장(associate editor)을 두어서 역할을 분담하기도 한다. 만일 투고된 논문이 너무 쓰레기거나 반대로 세상을 놀라게 할 희대의 논문이라고 생각되면, 편집장은 심사위원들의 도움을 거치지 않고 독자적으로 채택(accept) 혹은 거부(reject)할 수 있다.

그러나 편집장들이 현실적으로 자기 전공분야라 하더라도 모든 논의주제에 통달하기는 힘들다. 학문의 외연은 엄청나게 넓고, 비록 편집장이 ○○학을 전공한다고 해도 ○○학 내부에서 진행되는 수많은 논의주제에서 벌어지는 최신의 흐름을 모두 이해하기란 쉽지 않다. 여기서 심사위원들의 활약이 필요하다. 심사위원들은 편집장이 적절하다고 생각되는 인물로 찾아서 요청하게 되는데, 투고된 논문과 일치하는 세부분야를 전공한 다수의 학자들이 심사위원이 된다. 심사위원들은 그 논문을 읽어보고 그 가치에 대해서 편집장에게 정보를 제공하게 되는데, 이들은 그 논문을 채택 혹은 거부할 권한까지는 없으며, 단지 채택 혹은 거부에 필요한 조언만을 해줄 수 있을 뿐이다. 가끔이긴 하지만, 마이너한 분야 혹은 막 생겨난 신생분야에서는 편집장이 그 분야 심사위원을 구하지 못해 논문이 거부되는 안습한 상황도 있긴 있다고 한다. 그래서 일부 저널들은 투고자가 원할 경우 자신이 희망하는 심사위원을 지명하여 추천할 수 있도록 배려하기도 한다.

이처럼 동료평가는 그 저널의 생명과도 같고 핵심적인 요체이기 때문에, 그 저널의 품질을 결정하는 결정적인 요소다. 이 때문에 새 논문을 발표하는 연구자는 자기 연구주제에 대해서 전세계에서 뛰는 그 분야 석학들의 파상적인 공격을 온몸으로 막아내며 방어해야 한다는 얘기가 나오는 것이다. 이것을 실패하면 백발이 성성한 최종보스급 노학자들에게서 뿜어져 나오는 내공과 포스가 여러분의 논문을 탈곡기마냥 탈탈 털어버리게 된다. 보다 소프트하게 보자면 오래된 속담인 "머리 두 개가 하나보다 낫다"(Two heads are better than one)는 말처럼, 다른 연구자의 시선에서는 내가 놓쳤을 수 있는 결함이나 약점이 의외로 많이 발견된다. 당장 석사과정 대학원생들끼리 각자의 학위논문 주제를 놓고 난상토론을 벌여 봐도 숱하게 쏟아져나온다.

그리고 심사위원들은 자신이 평가하는 논문의 저자명을 알 수 없게 되어 있다. 당연히, 좁은 학계 바닥에서는 아는 사람의 논문을 접하게 될 가능성이 있을 것이고, 그렇게 되면 편향이 개입하여 제대로 된 평가를 하지 못하고 괜히 더 실드를 치거나 더 가혹하게 독설을 퍼붓거나 할 가능성이 있기 때문.

전체 심사과정은 짧게는 몇 개월에서 길게는 1년에 육박하기도 한다. 물론 심사에 오랜 시간이 걸린다고 해서 논문의 품질이 나쁘다는 것을 의미하는 것은 아니다. 도리어 논문의 품질이 나쁘면 심사도 그만큼 짧고 쉽게 끝나게 마련이다.(…) 이런 경우는 심사위원이 게을러서 그렇거나(…) 혹은 논문이 좋거나 나쁘다기보다는 어떻게 의견을 주기가 너무 애매해서 준비시간이 오래 걸리거나 하는 이유인 경우가 많다.

심사가 끝나고 게재가 결정되어 출판이 되었다고 해서 동료평가도 끝나는 건 아니다. 이제부터는 본격적인 오프라인에서의 대면 말싸움(…), 즉 게재 후 동료평가(post-publication peer review)라는 것이 시작된다. 대표적으로 저널 클럽(journal club) 같은 데서 그 저널을 애독하는 학자들이 모여서 비평을 하게 되고, 게재는 되었어도 의구심이 가시지 않는 문헌에 대해서는 여기서 한번 더 뒷담화를 당한다. 차후 피인용수를 높이는 데 하등 도움이 되지 않는 것. 반대로 정말 희대의 논문이다 싶을 경우에는 게재 후에 이런 과정을 거쳐서 상당한 인기를 얻을 수도 있다.

물론 저널에 있어서의 동료평가가 중요함은 부정할 수 없으나, 앞서 언급했던 코멘트나 비평 역시 그 못지않게 중요하다. 즉 저널에서 이루어지는 동료평가는 상당히 좁은 의미의 "체계화된" 절차라면, 코멘트나 비평은 보다 넓은 의미의 캐주얼한 상호작용이라고 봐도 되겠다. 특히 학술대회의 프로시딩과 같은 물건들이 포스터 발표를 할 때 중요하다. 포스터를 걸어놓고 다른 연구자들의 열람과 즉석 코멘트를 받는 것은 저널에서 받는 동료평가와는 사뭇 다르다. 실제로 그 목적부터가 저널은 이 논문이 실릴지 말지 에 대한 조언을 제공하기 위함이라면, 즉석 코멘트의 경우 그냥 말 그대로 궁금한 게 뭔지, 생각난 게 뭔지, 유사한 연구가 뭔지에 대해 질문하거나 언급할 수도 있으며 필요하다면 칭찬이나 격려도 당연히 할 수 있다. 괜히 학술세계에서 과학 공동체 활동이 중요한 게 아니다. 연구는 절대 혼자서 하는 게 아니라는 것이다.

과학적 회의주의를 다루는 사이트 한국의사과학연구소에서 강건일 교수는 과학과 과학이 아닌 것을 구분하는 기준으로서 대등한 과학자의 심사 를 거쳤는지를 확인할 것을 제안하고 있다. 동료평가가 업계에서 얼마나 중요하게 작용하는지 알 수 있는 부분 중 하나. 물론 꼭 과학분야가 아니더라도 인문학과 같은 다른 분야에서도 동료 연구자들의 평가는 매우 중요한 건 마찬가지다.

동료평가도 셀프로 할 수 있다고 한다. 이메일 계정을 잔뜩 만들어 그 계정들로 다중이짓을 하는건데 그 시초가 한국이라고... 게다가 국내에서는 상호간 익명성이 보장되는 경우도 많지 않은데다, 심사위원이 일부러 사소한 것까지 잔뜩 트집잡아서 투고자를 가혹하게 몰아붙인 뒤 조용히 술자리로 불러서 편집장에게 해당 논문을 추천해주는 대가로 200~300을 요구하는(!) 터무니없는 관행도 일부 잔존한다고 한다. 출판윤리 개념이 미숙한 나라의 과학자사회일수록 이런 경향이 심하며, 세계적으로는 이 문제로 중국 학계가 악명이 높다고.

또한 가끔이지만 국내에서는 동료평가의 전문성이 역전되는 경우도 있다. 방법론이 그다지 강조되지 않고 학문의 여건도 부족할 당시에 학위를 받은 사람들이 원로 석학이 되어 논문에 대한 평가를 하는 건데, 젊은 신진 연구자들은 해외 동향에도 빠르고 첨단 통계분석 기법에도 개방적이다 보니 간혹 리뷰어들이 듣도보도 못한 고급 연구방법을 내세우게 되곤 한다. 그러다 보니 리뷰어는 이게 왜 이렇게 분석되는 건지 이해를 못한 채 분석방법이 틀렸다고만 하고, 투고자는 이걸 일일이 가르쳐줄 수도 없고 결국 억울하게 리젝당하게 되는 웃지 못할 일들도 종종 벌어지기도 한다.

2015년에 테일러 앤 프랜시스 그룹(Taylor & Francis Group)에서 동료평가에 대한 보고서를 냈다. (보고서 전문 보기) 많은 연구자들이 동료평가의 기능과 목적, 내용에 대해 합의하고 있었으며 소소한 개선이 필요하다는 보수적인 관점을 내놨다. 일반적으로 사회과학보다는 자연과학과 의학 등이 동료평가의 가치를 높게 평가했으며, 동료평가를 통해 방법론과 연구의 중요성, 저널이 추구하는 방향과의 합치성 등을 확인하는 것을 가장 기대하고 있다는 답변이 많았다.

동료평가도 많이 하면 상을 받을 수 있다고 한다. 2016년부터 새로 제정된 "과학의 수호자"(Sentinels of Science) 상이라는데, 상금 자체는 1,000달러 상품권 정도로 소소한(?) 편. 그러나 이는 동료평가의 중요성을 공식적으로 인정해 주기 위해 도입된 상으로, 자기 연구시간 쪼개기도 바쁜 교수들과 연구원들이 굳이 시간을 내어 타인의 연구에 대해 비평하고 도와주는 것에 자부심을 느끼게 하기 위해서라고 한다. #

꼭 상 때문이 아니더라도 젊은 연구자들이나 심지어 포닥들은 자신이 동료평가 리뷰어로 선정되기를 원하는 경우가 많은데, 눈코 뜰 새 없이 바쁜 일정임에도 굳이 리뷰어를 역임하려는 이유는 이것이 자신의 경력이 되기 때문이다. 실제로 연구자들의 이력서(CV)를 보면 동료평가 리뷰어로 뛰었던 기록들이 줄줄이 남겨져 있다. 또한 이는 아직 학계에서 기초가 부실한 이들이 확고한 인정을 받기 위한 수단이기도 하고, 또 자신이 이 분야의 전문가라고 과학자사회에서 공적으로 인정받는다는 자부심도 있기 때문에 상당히 매력적이다. 게다가 리뷰어로 뛰면서 상세하고 균형잡혀 있으며 건설적인 제안을 남기게 되면 (이미 그 분야의 석학의 위상을 누리는) 저널 에디터가 이 사람의 전문성에 대해서 눈여겨보게 되고, 이는 곧 학계에서의 명성으로 이어진다. 그래서 일부는 각종 저널들에 열심히 러브콜을 보내기도 한다고. 관련 블로그 포스트