 |
1 개요
2001년에 개설된 세계 최대의 영화, 게임, TV 쇼, 음악 앨범 리뷰 모음 집계 사이트
보통 리뷰 모음 사이트라면 특정한 미디어 한 종류만 모아두지만 메타크리틱은 다양한 범주를 포괄한다. '집계'라는 단어에서 알 수 있듯 자체적으로 리뷰하지는 않고, 전문적인 평론가의 리뷰 또는 유저 리뷰를 수치화하여 평균 점수로 보여준다. 엄청난 데이터로 인해 언론에서도 종종 인용되고, 스팀에서도 이 사이트의 점수를 사용하고 있으나 평균 평점제의 단점인 작품에 대한 평가를 수치화시키길 원치 않는 이들의 평가는 놓친다는 단점이 있다. 이런 요소까지 보강하려면 수치화시키지 않는 평가도 포함해서 측정하는 로튼토마토도 참고하는 게 더 정확한 편.
참고로 이 사이트는 미국 CBS 방송국 계열사인 CBS Interactive 소속의 사이트로, 익히 아는 씨넷, 게임스팟 등을 자매 사이트로 두고 있다.
2 영화 리뷰
영화의 경우 로튼토마토와 쌍벽을 이루는 리뷰 사이트이다. IMDB나 네이버는 유저 평점을 기준으로 하지만 메타크리틱과 로튼토마토는 전문가와 유저 리뷰를 분리해 놓고 있으며, 이렇게 해놓으면 보통 유저 리뷰보다 전문가 리뷰 위주로 참고하게 되기 때문에 평점 조작의 여지가 없고 신뢰도가 월등히 높다. 객관성을 중시하는 위키피디아에서는 영화 평점을 언급할 때 메타크리틱과 로튼토마토 딱 2개의 자료만 사용한다. 네이버 영화 같은 곳을 보고 말도 안되는 리뷰와 평점에 짜증이 나는 사람들은 이런 사이트들을 가도록 하자.
로튼토마토와 메타크리틱의 차이점은 다음과 같다.
1. 로튼토마토는 영화와 TV 프로그램 위주로 다루지만 메타크리틱은 다양한 카테고리를 다룬다.
2. 로튼 토마토는 전문가와 유명 리뷰어의 온라인 리뷰를 기준으로 하기 때문에 리뷰의 수가 많은 반면, 메타크리틱은 신문이나 잡지 등 매체에 올라온 리뷰만 취급하기 때문에 리뷰의 수가 적다. 예를 들어, 대중적인 인기작의 경우 로튼 토마토의 전문가 리뷰는 300개 가까이도 올라갈 때도 있지만 메타크리틱은 많아봐야 40개 정도에 불과하다. 리뷰 수가 적다고 꼭 단점은 아닌 것이, 매체 평론 자체가 상당한 공신력을 가지기 때문에 NC나 인터넷 리뷰어들처럼 온라인에서 활동하는 이들보다 공신력이 있다고 볼 수 있다. 물론 평점 평균제란 문제로 극소수의 평론가들만 참가한 경우 아래와 같은 단점 때문에 다른 사이트들 이상으로 신뢰성이 흔들릴 수 있는 여지가 더 큰 것은 사실이고, 로튼토마토로 비유하면 작품에 대한 평가에 평점도 별도로 매기는 이들의 평가만 모인 것과 같은 구성을 하고 있다.
3. 로튼토마토의 점수인 "토마토미터"는 해당 작품의 점수가 아니라 호평한 사람의 비율을 의미하고[1], 메타크리틱의 "메타스코어"는 해당 작품이 받은 평점들의 평균을 의미한다. 작품을 좋은 평가를 주로 받았나(Fresh), 안 좋은 평가를 주로 받았나(Rotten)를 위주로 구분하는 로튼토마토에 비해 메타크리틱은 0점에서 30대까지는 주로 안 좋은 평가들을 받은 빨간색 영역, 40대와 50대는 다소 호불호가 갈리거나, 그럭저럭 평작 이상은 하는 노란색 영역, 60대부터는 좋은 평가를 받은 그린라이트 녹색 영역 등 3가지 색으로 분류하며 같은 영역이라도 초반부에 위치한 점수를 받은 작품과 후반부에 위치한 점수를 받은 작품은 서로 격이 다른 것으로 판정하고 있다. 유저평 역시 0~3점까진 안 좋은 평가(빨간색), 4~5점까진 그럭저럭 보통 이상(노란색), 6점 이상부턴 좋은 평가(녹색)의 3단계로 구분하고 있다.
어디까지나 평균제이기에 같은 점수라도 대부분 공통된 평을 내놓거나, 극찬과 극악평이 섞이는 등 평 구성은 다를 수 있다. 이런 점 때문에 로튼토마토와 메타크리틱의 점수는 언뜻 보았을 때는 비슷하지만 자세히 뜯어보면 꽤 다르다는 것을 알 수 있다.
3 게임 리뷰
게임의 경우 영화, TV와 숫자 기준은 조금씩 다르지만 마찬가지로 빨간색, 노란색, 녹색[2]으로 혹평, 평균 이상, 호평을 구분하고 같은 게임이라도 기종별로 나눠져 있는데 점수에서 큰 차이는 없다. 상세하게 나오기 때문에 딱히 특정한 작품이 아닌 그냥 볼만한걸 스코어순으로 정렬하면 말 그대로 스코어가 높은순으로 나와서 검증된 작품을 볼수가 있는 곳이다. 국내에서도 매번 AAA게임이 발매될때마다 루리웹 등지에서 메타크리틱 점수가 거의 필수로 올라오는등 가장 잘 알려진 집계 사이트다.
4 장점
우선, 사이트 자체가 여러 리뷰들을 종합하여 한 번에 쉽게 볼 수 있도록 평균을 보여주는 사이트이기 때문에, 가장 큰 장점은 그냥 3단계 색을 통해 한 눈에 게임이 평이 좋았는지, 중간인지, 나빴는지, 그리고 같은 단계 내에서도 얼마나 좋거나, 중간 단계 중에서도 어느 정도인지, 혹은 얼마나 나쁜지 3단계에 걸쳐 알 수 있다는 것이다. 또한 다른 사이트들과 마찬가지로 유저 평점의 존재 덕분에 전문 리뷰어 뿐만이 아닌, 그냥 자신과 같은 일반인들의 견해와 의견 또한 얻을 수 있다는 점 덕분에 여러가지의 의견을 쉽고 빠르게 볼 수 있다. 이러한 점을 이용하여 언론 등에서는 메타크리틱의 정보를 인용하기도 하고, 스팀 등의 사이트에서는 메타크리틱 평균 점수를 보여줌으로서 전체적인 게임 평점을 쉽게 보여준다. 이런 방대한 양의 정보를 쉽게 입수 가능하다는 점에서 굉장한 힘을 보인다.
5 단점
5.1 전문가 평점
이렇게 많은 사람들이 애용하는 사이트지만, 리뷰 사이트에서 가장 중요한 과연 신뢰성이 있는가는 아주 확실하지 못하다.
예를 들어, "A"가 두 리뷰 사이트에서 평점 100점과 0점을 얻었다고 치자. 그 두 평점의 평균은 50점이 된다. 메타크리틱에서 점수만 보는 사람들은 "A"가 100점과 0점 둘 다 맞았다는 사실을 모르고, 결국 "A"는 50점 맞은 그저 그런 작품으로 기억될 것이다.(물론 이정도로 소수가 평가를 내리는 경우는 점수를 게재하지 않는다. 그러나 소수가 아닌데도 호불호가 극단적으로 갈리면 정확도가 떨어질 수 있다.)
또한, 아주 유명한 리뷰 사이트가 아닌 소형 규모의 블로그에서는 무조건 특정 작품에 극단적으로 높은 점수나 극단적으로 낮은 점수를 주는 경우가 있다. 그 이유는 이렇게 높은 점수를 올려 놓으면 사이트의 시스템 상 높은 점수가 제일 위에 올라가고 제일 낮은 점수는 아래로 내려가는데, 그 시스템을 악용해서 자신의 사이트를 홍보하려는 용도로 사용하는 것이다. 메타크리틱은 알다시피 리뷰어들의 리뷰를 종합해서 평점을 내리는 사이트다. 그런데 이런 리뷰가 있으면 평균 점수에 큰 변동을 준다. 그냥 리뷰 보려고 메타크리틱을 이용한다면 큰 문제처럼 보이지 않을 수도 있지만, 이런 리뷰들로 변경된 평균 점수가 작품이 후속작을 얻느냐 마느냐의 중대한 문제를 결정할 수도 있기 때문에, 사소한 문제라고 넘기기가 어렵다.
사실 이런 점을 메타크리틱측도 알기 때문에 나름대로 조치를 취했는데 문제는 그게 가중평균(weighted averages)이라는 점이다. 즉, 위의 사례에서는 100점과 0점이 같이 있는 경우, 단순한 산술평균을 하자면 평균 50점이라는 점수가 나오겠지만 실제 메타크리틱상 점수는 60점이나 80점이나 30점이 나올수도 있다. 실제로는 100점과 0점 준 평론에 각각 가중치를 다르게 부여해서 평균점수를 산출하기 때문이다. 그런데 이 '가중치'의 기준은 아직 한번도 공개된 적이 없다. 굳이 따지자면 "사회적 지명도(based simply because of their stature)"에 기반해서 가중치를 부여한다는데 그 사회적 지명도는 누가 판단하는 것인가? 한마디로 메타크리틱 운영측에서 임의로 부여한 가중치때문에 메타크리틱 스코어가 바뀔 수 있다는 것이다. 메타크리틱이 인기를 얻었던 것은 각지에 흩어져있는 평점을 모아서 하나의 숫자로 보여준다는 신뢰성때문인데 그 과정에서 운영진의 자의가 개입되었다는 사실은 그 신뢰성을 대폭 깎이게 만든다.
그리고 평점제 사이트의 대표적인 단점인 작품에 대한 평가를 수치화시키는 것은 원치않는 평론가나 평론 사이트들도 적지 않은 편인데,이런 평론가들의 평가는 무시받는 시스템이기에 수치화되지 않은 평가도 포함하는 로튼토마토처럼 다른 사이트들도 함께 참고해둘 필요는 있다.
예를 들어 5점 만점을 채택한 평점과 10점 만점을 채택한 평점 시스템이 있다고 하자. 여기서 어느 작품이 5점 만점 평점에서 3점을 얻는다면 이는 대개 나쁘지 않은, 평타 이상의 그럭저럭 괜찮은 수준이지만, 그런데 메타크리틱에서 집계하는 점수들이 해당 리뷰 기준에 따라선 5점 만점이 시스템이 아닌 10점 만점 시스템에 6점 이상을 괜찮다(Okay)고 표기하거나, 5점대 이상을 평타로 보는 등 서로 기준의 차이가 있을 때도 있다.
그런데 메타크리틱은 이걸 일률적으로 60점으로 취급하며, 위에 언급한 신뢰성이 의심되는 자체적인 가감치도 부가하며 자기들 기준에 맞춰 분류해버린다. 사이트에 따라 합격기준이 다른 평가들을 집계하면서도 이를 한가지 기준으로만 분류해서 게임계에서는 이것 떄문에 말이 많다.
5.2 유저 평점
유저 평점은 객관성 부문에서 믿음직하지 못하다.[3] 무엇이 문제인지 잘 모르겠다면, 한 번 어떤 매체든지 메타크리틱 유저 평점들을 둘러 보자. 대부분 다음과 같은 유형으로 나눠질 것이다.
- 유형 1: 대부분 프랜차이즈에 대한 지나친 충성심으로 인해 그냥 아무 설명도 없거나, 그냥 아주 적은 설명만을 포함한 채로 재미있으니 꼭 보라는 식으로 강요하는 유형. 가끔 낮은 평점을 받은 작품의 유저 평점에서 간간히 보인다. "이렇게 좋은 작품에 낮은 평점을 준 리뷰어들은 다 해고해야 한다!" 등등의 패턴도 가끔 보인다.
- 유형 2: 유저가 너무 비판적으로 유저 리뷰를 작성하며 지나치게 낮은 점수를 주는 유형. 대부분 자신이 좋아하는 프랜차이즈가 변화하거나, 자신의 기대에 부흥하지 못할 때의 배신감, 혹은 그냥 그 특정 매체가 싫어서 생겨나는 유형이다. 이런 류의 리뷰는 무조건 비관적이거나 심하게 비꼬는 말투를 사용하기 때문에 쉽게 알 수 있다. "이딴 작품 리뷰하며 좋다고 한 리뷰어들은 다 뇌물받고 쓴 것이 틀림없다!" 가 하나의 유형.
- 유형 3: 트렌드에 역류하는 내가 멋져서 다른 사람들과 그저 완전히 상반되는 리뷰를 내놓는 유형. 낮은 평점을 받은 영화에 들어가서 "이 작품에 낮은 평점을 주는 사람은 진정한 예술을 이해하지 못하는 사람이다!" 라든가, 높은 평점을 받은 영화에 들어가서 "이딴 작품을 보고 좋다고 하는 인간은 뇌가 빈 것이 틀림 없다!" 라고 강조하는 것이 대표적인 유형이다.
- 유형 4: 리뷰어처럼 여러가지를 고려하며 밸런스 잡힌 평점을 내는 유형. 가장 정상적이다.
메타크리틱을 돌아다니면서 가장 많이 보게 될 유형은 유형 1,2,3 이다. 이런 유형의 사람들로 얼룩져버린 유저 평점은 결국 끝에는 전혀 믿을 게 못되는 정보가 되어버리고 만다. 유형 1,2,3의 공격을 받은 매체들의 유저 평점은 가급적이면 신뢰하지 말고 전문적으로 분석한 웹진들의 평가를 참고해보는것이 좋다.
무엇이든지 리뷰를 쓰는 것은 막대한 책임이 따른다. 우선 리뷰를 쓰는 이유 자체가 어느 작품의 좋았던 점과 좋지 못했던 점을 나열하면서 과연 돈을 주고 시청할 가치가 있는 작품인가를 찾아보는 것이기 때문이다. 그러나, 메타크리틱 자체의 익명성과 리뷰어로써 따르는 책임감을 모르는 몇몇 때문에 유저 평점은 사람들 사이에서 사람이 이 작품을 관람하고 얼마나 분노하였나 만을 찾아보는 잣대가 되어버렸다.특히 해당 컨텐츠 관련 문제가 불거지게되면 우르르 몰려들어가 다중 ID를 통하여 0점 폭격을 내리는등 심심치않은 상황을 보게된다. 이렇기 떄문에 메타크리틱 유저리뷰나 평점의 신뢰도는 더욱 더 떨어지게된다.
6 총평
당연한 말이지만 게임뿐만 아니라 어느 매체의 작품이든 한 사이트나 한 사람 말만 보고 판단하지 않는 것이 좋다. 그리고 리뷰를 참조할 것이라면 점수만 보는게 아니라 해당 리뷰를 가능한 직접 읽어보는 것이 바람직한 정보 취득법이라고 볼 수 있다.[4] 또는 여러 사람들의 의견을 들으면서 공신력 있는 평들은 어땠는지 참고하며, 스스로의 취향에 맞을 수 있을지 판단하는 것이 가장 좋은 방법이다. 평이 안 좋더라도 취향에 따라선 재미 있게 즐길 수 있고, 평이 좋더라도 취향에 안 맞으면 큰 재미를 못 느낄 수도 있기 때문에 평가의 공신력 자체는 인정하되 자신의 취향의 작품인지 작품에 대한 정보 또한 알아볼 필요가 있다. 메타크리틱은 참고 목적으로서 여러 사람의 의견을 듣기에 아주 좋은 곳이다. 다시 말해서 점수만 보고 접하기도 전에 안 좋은 작품으로 미리 판단하는건 좋지 않다는 것이다. 물론 점수가 전혀 의미없다는건 아니라, 어쨌든 30대의 평가를 받은 빨간색 작품과, 50대의 노란색 평가를 받은 작품, 70점대의 녹색 평가를 받은 작품은 대부분 큰 차이가 있고, 유저 평점이 리뷰어 평점에 비해 지나치게 낮거나, 혹은 유저 평점은 좋은데 평론가 평점은 안 좋게 나온 작품은 또 분명히 무언가 호불호가 심해 평점이 왜곡됐거나, 일부 리뷰의 평점 조작 등 이유가 있다.(예: 디아블로 3) 그러므로 그 이유를 판단하기 위해선 리뷰를 읽어봐야 한다는 것. 그렇기에 점수가 극단적이고(90점대나 30점 이하대의 게임들) 웹진과 유저들의 평이 비슷할 때 신뢰할 수 있다는 의견이 많다. 사실 이 점은 어느 분야의 평론에서나 통하는 말이지만.