베타 테스트

(OBT에서 넘어옴)

1 개요

Beta Test.

어떠한 제품을 상용화하기 전에 실시되는 테스트로, 이를 통해 현재 제품이 지닌 결함, 결함 이외의 불편사항, 그 외 제품 상용화 시의 가치 등 종합적인 사항을 평가하는 단계이다. 이 단계까지 왔으면 제품 개발은 거의 끝난 셈이다.

체험단 모집 형식으로 베타 테스트를 진행하는 편이며, 바로 다운받을 수 있는 소프트웨어 계열 (게임 등)에서 베타 테스트가 널리 쓰인다.

베타 테스트를 통해 사용자들로부터 제품에 대한 다양한 의견을 수용하고 피드백을 주고 받을 수 있다. 베타테스트의 궁극적인 목표는 '제품의 내구도 문제나 소프트웨어의 버그'가 아니라 '사용자마다 호불호가 갈리는 기능 자체'에 대한 사용자의 주관적 의견을 직접 듣는 것이다. 즉, 정말로 유저가 원하는 기능을 만들기 위해 베타 테스트를 시행한다.

베타 테스트를 거쳐 여러 상황이 연출된다.

  1. 한 번에 테스트를 바로 마치는 경우
  2. 변경점이 너무 많아 이것저것 고치(갈아엎)다보니 여러 차례 테스트를 하는 경우
  3. 오히려 고친 것이 문제를 더 키우는 경우
  4. 상용 단계에라도 접어들지 못하고 베타 테스트만 마치고 소리소문 없이 사라지는 경우
  5. 베타 테스트 단계의 호평에 힘입어 야심차게 상용화를 했더니 좆ㅋ망ㅋ하는 경우


5번의 경우는 대부분 상대적으로 상용화시보다는 자체적으로 인원수를 제한하는 경우가 많아서 운영진 측에서 주의를 기울여야 한다. 베타 테스트를 너무 과신할 수 없다. 유저의 의견은 중요하지만, 유저'들' 만큼은 아니다.

여담으로 소프트웨어의 경우에는 정식으로 발표된 제품부터 v1.0 을 사용하는 불문율(유의적 버전)이 있다. 그 때문에 베타 테스트 중인 소프트웨어는 Beta version 이라 기록을 하거나 v0.7 ~ v0.9 사이로 표기하는 경향이 있다. 후자의 경우 모든 소프트웨어가 다 그런 것은 아니다.

우리나라 소비자는 베타 테스터 또는 호갱님이라고도 한다.

2 일반적인 베타 테스트의 단계

2.1 알파 테스트

Alpha Test. 알파벳의 첫 글자를 따서 가장 처음 테스트를 할 경우 흔히 붙이는 말이다.[1]

게임의 코어 메카니즘이 완성된 상태. 쉽게 말하자면 일단 게임이 '돌아가기만' 하는 버전으로, 핵심적 컨텐츠 몇가지 혹은 게임 엔진만 일단 완성시킨 상태가 이 단계에 해당한다. 철권으로 예를 들면 폴 피닉스 모양의 폴리곤으로만 플레이 가능하고. 기술도 일단 붕권밖에 없는 단계 정도. 또 다른 예로는...

주로 일단 릴리즈하여 회사의 초기반응/여론을 알아보기 위해서나 미디어 배포용[2] 기획의 실현가능성, 적절성 여부를 알아보는 용도로 릴리즈한다.

비공개 내부테스트[3]가 보통이고 QA팀, 혹은 전문 테스트 팀[4]이 주로 플레이하게 된다. 가끔 개발자의 친구 및 가족, 혹은 홍보용으로 몇몇 관계자(웹진 기자 등)에게 릴리즈되기도 한다. 필요 없을 때까지 여러 차례 할 수도 있다.

2012년 이후로 스팀 등의 플랫폼에서 몇몇 인디게임들을 중심으로 얼리 액세스란 이름으로 이 단계에서 게임을 팔기 시작하는 경우도 종종 있다. 대표작으로는 스타 시티즌이 유명하다. 일찍 게임을 해볼수 있다면서 좋다는 반응이 대부분이지만, 만들다 만 게임을 팔아먹는다는 비판도 존재한다. 그런데 훨씬 이전에 실제로 있었으니...

2.2 클로즈드 베타 테스트

Closed Beta Test. CBT.

알파테스트를 통과한 작품을, 회사가 선발한 제한 된 유저층에게 테스트를 하는 것을 의미.

개발이 완벽하게 되어 있지는 않았지만, 장기적으로 서비스를 할 의도가 있는 작품의 완성도를 높이고, 유저들의 대략적인 반응을 살피기 위해 실시한다. 게임 홈페이지에서 CBT 신청을 한 사람들 중 소수 인원을 뽑아서 진행하게 된다. 1번뿐만 아니라 여러 차례에 걸쳐 실시할 수 있으며, 오픈 베타 테스트를 실시하기 전까지 간헐적으로 진행된다.

2.2.1 프리 오픈 베타 테스트

Pre Open Beta Test. 'Pre OBT', '프리오베'로도 불린다. 대개 클로즈드 베타 테스트 다음에는 오픈 베타 테스트로 바로 넘어가게 되나 몇몇 부분유료화 온라인 게임은 오픈 베타 이전에 프리 오픈 베타 테스트를 거치는 경우도 있다.

보통 비공개 외부테스트[5]며 오픈 베타 테스트 직전에 실시하게 된다. CBT만큼 한정된 인원을 가지고 테스트할 수도 있고, 아예 신청자 대부분에게 테스트 자격을 부여하는 '사실상' 오픈 베타 테스트인 경우도 있다. 부분유료화 온라인 게임에서 오픈 베타 테스트의 의미는 게임 발매나 마찬가지의 단계이기 때문이다. 사전에 사람을 모으는것 뿐이지 신청자 대다수가 테스트를 할 수 있기 때문에 사실상 프리 베타나 오픈베타나 같은 말이다. 이런 방법을 택하는 이유는 사용자 DB 수집과 의미없는 한정 테스트라는 홍보효과를 노리기 위해서다.

2.3 오픈 베타 테스트

Open Beta Test. 'OBT', '오베'라고 부르기도 한다.

정식 공개이전에 세상에 모습을 드러낼 때 진행한다. 대상 국가의 모든 사용자들이 OBT에 참여 할 수 있으며 OBT에서 향후 공개물이 어떤 평가를 받을지 유추하기도 하며 OBT에서 좋은 반응을 얻으면 정식 서비스 이후에도 사용자들이 잘 찾는다. 정액제 온라인 게임은 유료 상용화 직전에 1~2개월 정도 OBT를 실시하는 것이 보통.

하지만 2005년 이후 한국에서의 오픈 베타 테스트의 의미는 사실상 게임 발매 단계나 마찬가지의 단계이다. 온라인 게임의 90% 이상이 부분유료화 게임이고 월 정액제 요금이 아니기 때문에 부분 유료화 게임은 정식 발매의 개념이 없기 때문이다.

따라서 상용화보다 더 중요한 가장 중요한 단계이다. 게임 완성도가 높지 않은 상황에서 OBT를 실시하게 되면 게임의 낮은 완성도(잦은 랙, 엉망인 밸런스 등)로 인해 유저들이 등을 돌리게 되어 높은 확률로 망하게 되어있다. OBT 때 유저들의 반응이 좋지 않으면 차후 패치로 게임의 완성도를 높히더라도 접속률이 반등하는 경우는 거의 없다.

정액제 게임에서는 정식 공개와 더불어 바로 유료화를 진행하는 경우 소비자가 이탈하는 경우도 있다.[6]

3 그 외

3.1 스트레스 테스트

Stress Test. 서비스 전 베타테스트 기간에 서버의 사용자 수용력이나 랙 정도를 측정하기 위해서 시험하는 것을 말한다. 원활한 테스트를 위해 스트레스 테스트임을 밝히지 않거나, (경품)이벤트를 하는 경우가 있다.

3.2 (베타)테스트 서버

흔히 (폐쇄적인 인트라넷을 포함한) 온라인 프로그램의 베타테스트를 진행하는 서버를 말한다.
공개물의 모든 단계에서 테스트 서버가 존재할 수 있으며, 유료화 이후에도 테스트 서버를 공개적으로 운영해 지속적인 시험자들의 유입 효과나 정식 공개시의 결과를 모의한다.

대개 정식 공개 이후 유료화된 게임에서 베타 테스트 서버는 무료인 경우가 많으므로 많은 유저들이 몰린다. 그러나 테스트 목적이므로 공개된 서버는 하나고 그마저도 새로운 업데이트나 오류 수정을 위해 공지 없이 지워지거나, 백섭[7]되는 경우가 많다. 대개의 게임 제공 회사들은 이용약관에서 그럴 경우 책임 없음을 규정하여 동의받는다.

3.3 유료 베타 테스트

베타 테스트를 거쳐 상용화 이후에도 제품의 퀄리티가 심히 저질일때 돈내고 산 제품인데 마치 테스트 버전 같다고 비꼴 때 사용하는 단어. 특히 빠른 시일내에 출시되는 다음 버전에선 논란이 된 문제점이 상당히 개선되서 초기 구매자만 엿되는 경우에 사용된다. 대표적으로 오리지널 땐 추억강간 수준이었으나 계속된 패치로 나름대로 만회에 성공한 디아블로3. 그리고 이 부분의 대표주자로 새롭게 떠오른 트오세, 심시티 5이쪽은 유료베타가 끝나지 않는다

여기서 더 나아가면 해외 서비스를 시작할때 국내 서비스 중 나온 문제점을 상당수 개선해서 출시하는걸 비꼴 때 쓰는 '국내섭은 테스트 서버'라는 소리도 있다.

DLC의 등장 이후, 정식출시된 제품들이 DLC를 위해 나사가 하나 내지 몇 개 씩 빠져있는 경우가 많아 이런 경우에도 자조적으로 유료 베타 테스트를 한다고 이른다.

유료 베타 테스트를 오픈 베타와 혼동하는 사람도 적지 않아 쓸때없이 키배가 벌어지기도 한다.

3.4 한국 게입 업계에서의 변질.

국내 온라인 게임 업계에서 베타 테스트는 테스트로서의 의미가 아니라 게임사에게는 홍보로서의 수단으로 유저에게는 테스트가 아닌 일면만 보고 망무새가 될 기회를 주는것으로 변질되어 버렸다. 상황이 이러다보니 당연히 제대로 된 테스터가 많을리가 만무하며 2천명을 테스터로 뽑는다고 가정하면 그 중에 극히 일부만이 제대로 테스트하고 피드백을 넘긴다고 보면 된다.

베타 테스트는 테스터로부터 피드백을 수집하고 그 속에서 유의미한 피드백을 선별해 게임 개발에 반영하는 것이 궁극적인 목적이자 당연한 성격이다. 외국 게임 업체에서 개발하는 게임은 클로즈 베타 테스트를 했는지 안 했는지를 알 수 없을 정도로 클로즈 베타 테스트를 기업 비밀로 처리하여 진행하고, 또 테스터들도 피드백 역량을 어느 정도 평가해서 선정한다. 그런데 국내 게임사는 이걸 단지 홍보용으로 미완성 게임을 잠시 플레이 하라는 정도로서 활용하고 있다. 사내 테스트나 전문 테스터에게 맡기는 클로즈 베타 테스트는 사실상 말만 클로즈드지 신청만 하면 주는 레벨로 진입 장벽만 없다면 오픈 베타 테스트와 다를 바가 없는 것이 현실이다. 또, 이처럼 베타 테스트가 제대로 활용되지 않는 것이 거의 관례처럼 굳어져서 테스트에 임하는 유저들도 진정성 있는 테스트를 하기보다는 단순히 게임을 즐기는 차원에서 끝나는 경우가 많다. 베타 테스트 계정을 사고파는 행위도 한다[8]. 아예 모두에게 공개한 오픈베타테스트임에도 불구하고, 클로즈베타테스트라고 하는 게임도 있어서 국내에선 그 의미가 아예 없어져가는 중이다[9]

거기에 테스트가 홍보성 이벤트로 변질되어버리면서 쓸데없이 테스트를 많이 한다. 클로즈드, 클로즈드 오픈뭐?, 프리 오픈, 오픈.. 별 이상한 이름은 다 가져다 붙이고 거기에 1/2/3차까지 붙여댔다.

이러한 것은 당장에 게임의 홍보에는 즉각적인 효과를 나타낼 수 있을지 모르지만, 게임의 완성도를 높이는데는 하등의 도움도 되지 않는다. 게임사 측에서 QA팀과 같은 전문 테스트 조직을 동원해 테스트를 한다 해도 일반 유저의 유의미한 피드백을 받을 수는 없기 때문이다. 또한, 홍보를 목적으로 내어 놓는 베타 버전은 상당한 수준의 완성도를 확보한 뒤에 내 놓을 수밖에 없는데, 만일 그러한 상태에서 유저들이 어떤 콘텐츠나 시스템에 대해서 비판을 한다고해도 게임 자체가 어느 정도 완성된 단계이기 때문에 그러한 피드백을 반영할지 말지 결정하는 것 자체가 게임사 입장에선 난감할 수 있다. 이렇게 유저의 입장에서 작성된 피드백이 반영되지 않은 게임이 오픈 베타 테스트에 접어들거나 상용화되면 기존에 나타나지 않았던(발견하지 못한) 문제들이 한꺼번에 터져나오는 것을 볼 수 있다. 여러 차례의 클로즈 베타 테스트를 거쳐 상용화 되었음에도 불구하고 버그나 게임 시스템적 문제가 있다거나 하는 식인 것이다.
  1. ↑ 비슷한 말로 FGT(Focus Group Test)가 있다. 주로 소규모 유저를 대상으로 테스트하는 방식이다.
  2. ↑ 이럴때는 스크립팅이 된 일부분을 따로 짜서 주거나 약속된 플레이를 녹화하기만 하는 식으로 제한된다.
  3. ↑ 베타 테스트와 방식은 같지만, 여기서 말하는 것 비공개 테스트는 대부분 회사에서만 하는 테스트다.
  4. ↑ 게임으로 치면 게임을 실력으로 잘하는 사람들이 아니라, 버그와 예외사항을 잘 잡고 그걸 개발자가 알아듣게 설명할 수 있는 사람들이다.
  5. ↑ 대상은 목적과 필요성에 따라 일반 사용자를 모으거나 전문적인 QA 인력을 활용하여 진행하기도 한다.
  6. ↑ 하지만 대부분의 상품의 경우 구매력 있는 소비자에 맞춰 기획, 진행되기때문에 큰 타격은 없다. 게임의 경우 동시접속자가 줄어든다는 것이 흠. 약간의 언플용/회사 주주 혹은 투자자들에게 브리핑할 목적의 칭찬받을 거리가 줄어드는 것이다.
  7. ↑ 서버가 처음 혹은 특정 시점으로 돌아가는 경우. 게임에서 아이템을 잃거나 마지막에 방문했던 지역을 벗어나거나, 퀘스트/사냥이 하지 않은것으로 돌아가는 것.
  8. ↑ 이러한 행위는 결국 그 게임을 좀 먹는 것이라 할 수 있다. 클로즈 베타건 오픈 베타건 게임에 도움이 될 수 있는 유의미한 테스트, 피드백 능력을 지닌 사람이 테스트에 신청하는 것이 좋다.
  9. ↑ 개발진행도에 따라 클로즈-오픈이 구분되는 게 아니다. 하지만 몇몇 게임은 그런 식으로 구분하고있다.