시각효과

1 개요

영상물에서 컴퓨터 그래픽스 또는 아날로그 테크닉을 써서 실재하지 않은 시각효과를 내는 기술의 총칭. 영문으로 Visual Effects. 줄여서 VFX라 칭한다. 시각효과를 주도하는 분야는 영화이며, 광고나 방송도 비중이 매우 높다.

2 상세

시각효과는 쉽게 말해서 현실에 없는 존재를 그럴듯하게 합성해서 영상을 만드는 과정이다. 어떻게 보면 영화가 태어나면서 시각효과도 같이 태어났다고 볼 수 있다. 초창기에는 연기자 뒤에 거대한 배경을 직접 그리는 매트 페인팅이 주류였고, 촬영기법이 발달하면서 그린매트나 블루매트를 배경에 배치하고 그 앞에서 배우가 포함된 전경을 촬영하고(이를 FG, Foreground라 부른다.) 후반작업에서 그린매트나 블루매트를 제거하고 그 부분에 디지털 매트페인팅같은 배경(BG, Background)을 집어넣는다.

시각효과는 디지털 기술 이전부터 사용되어왔고 디지털 기술의 발전과 함께 많은 부분이 컴퓨터 그래픽스로 대체되었다. 이제는 사람도 괴물도 배경도.. 아니 그냥 통짜로 3D영화도 나오고 있으니 촬영, 연출, 프로듀서의 축복. 시각효과 작업자의 지옥...

부디 이 문서를 보는 영화감독, 영상재작자, 스태프 등이 있다면 명심해두자. CG는 만능 마법사가 아니다. 철저한 프리 프로덕션과 촬영계획과 촬영물 없이 무턱대고 편집과정에서 CG로 어떻게 만져달라고 하는 감독과 피디들은 왠만한 업체에게선 요즘은 문전박대를 당할 뿐더러 자신들의 작품의 퀄리티도 한 없이 떨어진다. 제발 CG 탓하기 전에 기본 소양을 가지고 출발하자. 특히 그린 스크린이랑 트레커는 최소한 붙히고 촬영하자. 동대문 원단 가계서 맞추면 12m가 육만원 안밖이다.배달도 해준다. 그렇지 않으면 마스킹 작업이라고 일일이 전부 따야한다 (업계에선 쌩지 딴다, 누끼딴다라고 한다.) 당연히 시간과 비용은 늘어나고 퀄리티는 떨어질 수 밖에 없다.졸업 단편 찍은 너 말이야 너! 뮤비 찍는 너도! 바이럴 찍는 너도 포함이야

디지털 효과로 많은 영화들이 CGI로 화면을 화려하게 보여주지만 정작 실제로 연기하는 배우들은 횡한 단색 배경에서 혼자, 또는 단색, 혹은 특수 패턴이 칠해진 옷을 입은 대역 배우(상황에 따라서는 아예 주역 배우들이 이런 특수 촬영복을 입는 경우도 있다.)나 구조물들과 연기해야 하는 시대가 되었고 그 때문에 배우들의 연기력만큼이나 멘탈도 강인해지게 되는 효과를 낳았다(...). 배우 경력이 긴 이안 맥켈런 경도 호빗을 촬영할 때 화면상에는 다른 등장인물들과 같이 나오는 씬이지만 정작 촬영할 때는 녹색으로 칠해진 방에서 혼자서 연기해야 하는 상황에서 정신적인 피로를 호소하기도 했을 정도니...

3 분류

분류는 크게 디지털 이전과 디지털 이후의 2D와 3D로 구분한다.

디지털 이전에는 실제로 미니어처를 세워 찍거나 가상의 배경을 그림으로 그려 대고 촬영하거나 필름에 직접 그려 넣는 방법 등이 있었으며 지금의 무대미술과 교차점을 보이는 부분이 많다.

디지털 시대로 넘어오면서 거의 모든 작업은 디지털로 가능해졌으며 시간이 지날수록 각각 전문적인 분야를 다루는 프로그램들이 나타나고, 자연스래 시각효과도 그에 따라 분야가 세분화되어 효율적인 작업공정이 가능하도록 각 회사마다 나름의 작업공정 흐름도(이를 업계에선 파이프라인이라 칭한다.)를 구축한다.

3.1 디지털 이전

• 페인팅 온 필름 (painting on film)

촬영한 필름위에 한장 한장 물감으로 그림을 그리는 방법. 디테일하게 세필로 그리는 루뻬작업부터 하늘색 톤을 바꾸는 등의 작업에 쓰임. 한국 초기 TV광고들에도 컴퓨터가 없었을 시절 촬영한 필름위에 제품명을 그려서 자막을 만들곤 하였음.

• 매트 페인팅 (Matte painting)

다이내믹한 구름이 그려진 하늘을 그린다던가 성같은 그림을 그려서 카메라 앞에 위치한다. 그리고 거리 비례로 충분한 거리에 배우가 위치해서 마치 동화적인 하늘이나 성에 배우가 있는것처럼 촬영한다. 우리가 흔히 카메라 놀이할때 앞에 있는 사람이 뒤에 멀리 있는 사람을 잡아먹는듯한 포즈를 취하는것처럼 카메라 앞에 작게 그린 배경그림이 마치 큰 배경같은 착시효과를 노리는 방법이었다... 그래도 화질이 좋지않은 시대때나 유용했지 요즘같으면 다 티난다.

3.2 디지털 시대

3.2.1 2D

• 합성 (composition)

합성은 넓은 의미로 시각효과의 모든 것이다. 반론의 여지가 있을 수 있지만 매트 페인팅을 하건 3D를 하건 어쨌든 실사 촬영본에 집어넣는것 자체를 합성으로 부르기에 모든 시각효과는 합성의 범주에 들어가던가 모든 시각효과의 최종장이 합성이라고 보면 된다. 말그대로 수많은 소스, 작업물을 하나로 모아서 최종적인 결과물로 합성해내는 작업이다. 그리고 이는 2D상에서 이루어진다. 실사촬영본이 평면이니까... (3D애니메이션이라도 2D에서 합성하지만... 이는 아무리 Full-3D라도 리터치나 미묘한 색보정 등 평면작업은 필요하니까)

합성툴은 매우 다양하지만 현재 영화업계에선 대부분 영국 파운드리사의 누크가 평정하고 있다. 기본적인 2D 합성부터 프로젝션 기법을 이용한 2.5D, 최근 버전에선 아예 3D 모델링을 불러와 자체적으로 라이트를 배치하고 간단한 렌더링이 가능하며, 파티클 기능까지 더해져서 이 프로그램을 잘 다루면 왠만한 영상물을 제작할 수 있다. 또한 다양한 분야에 적용되므로 합성뿐만 아니라 후술할 3D나 트래킹, FX 분야에서도 접목하여 사용한다. 광고나 방송쪽은 성향에 따라 매우 다양한 프로그램을 사용하는데 대표적으로 어도비사의 에프터이펙트(after effect)(흔히 에펙이라 부른다.)가 널리 사용된다.

합성은 최종 결과물을 제작하는 부서라서 마감일(업계에선 데드라인이라 부른다.) 또는 클라이언트에게 결과물을 넘겨주는 딜리버리 날짜가 다가올수록 엄청난 업무량과 스트레스에 시달린다. 또한 타 부서의 결과물을 넘겨받아 합성하는 경우가 많아서 일정에 쫓기는 경우가 많고, 심하면 타 부서는 업무가 마감되어 여유를 부릴때 본격적으로 밤샘을 시작하는 경우도 많다.

• 로토 스코핑 (Roto Scoping)

실사 촬영본에서 필요없는 요소를 제거하거나 필요한 요소(주로 배우를 배경에서 분리하는 경우가 대다수.)만 외곽선을 따서 분리하는 과정이다. 이 과정 전반을 업계에선 로토라 칭한다. 합성 이전에 거의 기본적으로 이뤄지는 과정이다. 요즘 영화는 대부분 그린매트나 블루매트를 배경으로 깔아놓고 촬영하기며, 합성 프로그램들을 기본적으로 이런 그린매트나 블루매트의 배경색을 제거하는 기능이 있다. 여기에 추가적으로 로토 작업을 거쳐 완벽한 상태로 배우를 분리하는 것이다. 업무 특성상 굉장한 집중력과 체력이 요구된다. 쉽게 말해서 사진을 찍어놓고 가위나 칼로 필요한 부분만 정교하게 떼어내는 과정인데 영화는 1초에 24장이 필요하다. 머리카락이라도 로토로 딴다 치면 1초만 작업해도 미세하게 움직이는 머리키락 외곽선과 모션블러같은 다양한 장애요소를 감안해 작업해야하고, 그걸 플레이 했을때 외곽선이 어색하게 튄다거나 원본을 크게 손상시키지 않는 범위에서 만족할 품질이 나와야 한다. 보통 영화컷은 5초에서 10초정도로 나누는데 단순히 계산해도 5초짜리 컷이면 120장을 따야한다..

업무 특성상 고급 기술이 별로 필요치 않으며, 노하우와 근성이 중요해서 주로 입사 초반 신입들에게 합성의 기본 개념으로 주로 배당하게 된다. 혹은 이 로토 작업만을 전문적으로 수행하는 업체가 존재하기도 한다.

• 디지털 매트 페인팅 (Digital Matte painting)

상기 디지털 이전 매트페인팅과 유사하다. 평면작업이라는데서 더더욱 유사하다. 하지만 손으로 그린 매트페인팅들은 사진소스나 디지털드로잉 등으로 대체 되었고 정말 카메라 앞에 놓고 착시로 보여주던것을 컴퓨터 합성 프로그램으로 보여주는것으로 바뀌었다. 카메라 뷰가 심하게 마뀌지 않고 좌우로 단순이동하거나 아주 먼 원경등은 3D 매트페인팅같이 다양한 각도가 필요없으므로 2D 매트페인팅으로 해결한다. 간단하게 그냥 시퍼런 하늘에 구름사진 한장가지고 살짝쿵 움직이게 넣어서 구름이 드라마틱한 하늘을 만들어도 2D 매트페인팅.

하지만 시간이 지나면서 클라이언트의 디테일한 요구가 많아졌고, 2.5D라 부르는 프로젝션 기법을 사용한 입체감이 느껴지는 배경을 요구하는 경우가 늘어나면서 배경을 입체적으로 구성하고 레이어로 나누어 합성팀에 넘겨주기도 한다. 또한 영화의 해상도가 높아지면서 그만큼 더 정교하고 해상도가 높은 배경이 요구되면서 4K는 기본이고 심하면 8K 이상의 엄청나게 광활한 매트를 제작하는 경우도 발생한다.

디지털 매트페인팅은 어도비의 포토샵이 기본적인 툴이다. 그 외에 2.5D를 요구하는 경우 누크나 오토데스크의 마야같은 툴을 곁다리로 이용하기도 한다.

• 모션 그래픽 (motion graphic)

실제같은 합성이 아닌 자막이나 그래픽이 움직이게 하는 분야. 흔히 영화 인트로나 엔딩에 출연자나 연출, 스탭, 또는 제목등을 나타낼때 나오는 모든것으로 보면 이해하기 쉽다. 타이틀 작업을 100% 모션그래픽으로 볼 순 없으나 그 중에 실사배경분을 뺀 자막, 그래픽등이 움직인다면? 모션그래픽이라고 이해하자. 특히 샘 레이미의 스파이더맨 삼부작 인트로 타이틀이나 《캐치 미 이프 유 캔》 같은 영화의 타이틀도 좋은 모션그래픽을 보여준다. 영화뿐 아니라 TV광고에 나오는 자막도 모션그래픽 범주에 속한다. (그래 그 읽기도 힘든 깨알같은 대출자막도 모션그래픽이라고 봐야할지도 모른다고...)

특성상 영화쪽보다 광고와 방송에서 더욱 가치를 인정받는다. 어차피 영화쪽에선 모션 그래픽을 잘 하는 회사에 필요한 부분만 외주를 주기때문에. 모션 그래픽은 참신한 아이디어가 매우 중요하다. 이쪽 분야는 대부분 애프터 이펙츠를 주력 툴로 사용한다.

• 리터치 (retouch)

포샵질의 동영상 버전. 그니까 가끔 연예인 원본이니 기럭지, 통허리 드립칠때 그거 사진 한장 수정하는거 하고 움직이는 동영상을 한장 한장 수정하는거 하고 뭐가 힘들겠니. 살려줘!! 연예인이 TV에 이쁘게 나온다고? 다 믿지는 말자. 그나마 드라마가 사람보정이 거의 없다시피 하고 영화는 중요한 클로즈업은 손을 대고 TV광고는 100%다.

보통 피부톤을 정리해 촉촉하고 매끈한 얼굴로 탈바꿈이 기본적인 업무다. 깐깐한 클라이언트는 피부에 잡티나 점도 지워달라는 경우가 있다. 특히 목주름은 최대 난코스. 리터치 분야는 광고에서 특히 중요시되며, TV해상도가 Full HD를 넘어 UHD로 치달으면서 덩달아 원본의 해상도가 4배 커졌으니 그만큼 더 정교한 노가다가 필요한 시대가 되었다..

• 색보정 (color correction / Digital Intermediate 줄여서 DI)

합성을 거친 결과물의 색을 보정하는 단계다. 색을 보정하기 전에는 다양한 색들이 조합되어 이도 저도 아닌 아마추어의 그것으로 보이지만 이 단계를 거치면 그런 색들을 조정하여 상당히 아름답게 나타낼 수 있다. 또한 이 단계와 더불어 컬러 그레이딩(Color Grading)을 함께 하기도 한다. 컬러 그레이딩이란, 한마디로 색의 스타일화라고 보면 될 것이다. 색보정과 그레이딩을 한 before & after 컬러 그레이딩은 특히 뮤직비디오에서 대놓고 쓰이는 경향이 있으며, 컬러 그레이딩이 컬러 코렉션에 비해서 좀 더 과감하게 색을 바꾸는 단계이기 때문에 초심자들은 이에 주의하여야 한다. 그래서, 많은 전문가들은 편집자가 색보정과 그레이딩 작업을 하다보면, 편집자의 눈이 그 작업 한 것에 익숙 해 져, 그 작업물이 아름답게 잘 보정이 되고 있는지 않되고 있는지 판단을 잘 못할 확률이 높아지기 때문에 중간 중간 몇시간씩 쉬고 다시 작업을 하는 것을 권장하는 편이다. 여담으로 몇몇 편집자들은 사람들이 가장 몰라주는 단계라며 칭얼대기도 한다.

영화의 경우, 색보정 과정을 DI라 칭하며, 최종적으로 극장 스크린에 걸기전 감독의 의도와 극장의 상영환경을 고려한 최종적인 색감을 만드는 과정이다. 보통 합성이 마무리된 결과물은 밝은 모니터 환경에서 제작되었기에 실제 어두운 상영관에서 보여지는 색감과는 차이가 크다. 따라서 그런 외부 요인을 고려해 특정 컬러대역을 좀더 어둡히거나 밝게 변화시키고, 명암 대비와 색감 대비를 변화시켜 관객이 보기에 자연스럽고 아름다운 컬러를 가진 영상으로 재탄생하는 것이다. 예를 들어 매트릭스 시리즈의 경우 전체적으로 매트릭스 내부 상황 장면은 녹색톤이 적용되어 있는데, 이는 DI 과정에서 감독의 의도에 따라 전체적으로 녹색톤이 나오도록 영상물을 보정한 결과이다. 이런 과정을 전문적으로 수행하는 사람을 디지털 컬러리스트(Digital Colorist)라 칭한다.

3.2.2 3D

• 3D 매트 페인팅 (Matte painting)

열번 듣기보다 한번 보는 게 낫다. 카메라의 움직임이 시야각의 변화가 느껴질만큼 크다면 2D매트페인팅으로 해결하기 어렵다. 2D매트페인팅의 경우 한 장의 종이와 같아서 정면을 제외한 측면들을 보여주지 못하기에 3D매트페인팅으로 원근과 입체적인 배경을 해결한다. 최근 추세는 2D 매트 페인팅에서 제한적으로 3D 툴을 이용해 구성하는 방식으로 변화했다.

• 3D 애니메이션 (Animation)

디지털 캐릭터나 크리쳐, 사물의 움직임을 만드는 과정이다. 3D 요소가 들어가는 장면이라면 거의 대부분 애니메이션이 필요하다. 3D 분야의 기본중의 기본이고 기초를 책임지는 분야. 아무리 모델링이 훌륭해도 애니메이션이 어색하면 결과물은 안봐도 비디오다. 특히 현실에 존재하지 않는 크리쳐(공룡이나 괴물, 외계인 같은)의 움직임을 구현하는게 난이도가 높다. 업무 특성상 애니메이션 스킬이 뛰어나면 영화뿐만 아니라 게임 업계에서도 활약할 수 있다. 프로그램에 따라 근육의 움직임을 시뮬레이션하는 기능이 사용될 수 있고, 더 나아가 애니메이션의 움직임에 따라 자연스러운 근육이나 피부의 변화가 구현되는 경우도 있다. 주로 오토데스크의 마야를 사용한다.

• 매치 무브 / 트래킹 (Integration / Match move / tracking)

실사 촬영본에 3D 요소를 올리려면 정확한 공간이 도출되어야 한다. 따라서 2D로 촬영된 원본을 3D 공간으로 재해석하는 과정을 업계에선 매치무브라 칭하며 최근에는 인티그레이션 파트로 부르기도 한다. 평면 화면에서 시차를 이용해 거리를 파악하고 그 거리 정보를 토대로 3D 공간으로 만드는데, 요즘 트랜드인 핸드헬드기법 으로 촬영되는 경우 카메라 자체의 모션블러가 생기는 경우가 많아 매치 무브의 난이도가 상승하기도 한다. 보통 이런 매치 무브를 위해서 일면 '트레커'라는 것을 설치하고 촬영한다.

아이언맨 2의 vfx 제작 영상을 참고하자
트레커란 영상 처럼 몸이나 배경에 검정과 흰색이 교차되는 일종의 스티커인데 , 색지나 도화지, 심지어 급할땐 현장에서 검정테이프와 A4용지로도 만들 수 있다. 트레킹의 기본원리가 Luminance값, 즉 음영의 차이를 추적하는 기술이기 때문에 이런 것. 만약 현장에서 귀찮다며 이 과정을 간과한다면 cg작업자의 작업량은 수십배가 늘어날 뿐더러 무브매치의 퀄리티도 떨어지게 된다. 보통 상업 영화에선 Vfx 슈퍼바이져가 현장에 붙어서 이걸 설치하지만 영세한 현장 혹은 이런 개념이 없는 스태프랑 일할 땐 대놓고 씹힌다. 그러니 영상제작자나 단편 찍는 예비 영화감독, 스태프가 있다면 제발 좀 붙히고 나서 CG작업자에게 주자. CG는 촬영의 보조이지 마법사가 아니다!

대표적인 프로그램은 PFtrack이나 Boujou, 3D Equalizer 등이 있다.

• 3D 모델링 (Modeling)

3D 프로그램을 이용해 필요한 요소를 입체로 구현하는 과정이다. 클라이언트가 구상한 화면을 위해선 매우 잡다한 사물부터 디지털 캐릭터나 크리쳐를 현실감있게 구현하는 스킬이 요구된다. 특히 사람의 주름이나 크리쳐의 울퉁불퉁한 외모 등을 구현하기 위해 미술적 기법인 스컬핑을 구현하는 프로그램이 대세를 이루고 있다. 모델링이 완성되면 사진등의 소스를 이용해 모델링의 표면을 실사느낌이 나도록 텍스쳐를 입힌다.

기본적으로 오토데스크의 마야를 사용하며, 경우에 따라선 3ds MAX나 Cinema 4D, 스컬핑을 위해선 Zbrush나 Mudbox같은 다양한 3D 툴을 사용한다. 텍스쳐 제작을 위해선 포토샵도 사용된다.

• 라이팅 / 렌더링 (Lighting / Rendering)

텍스쳐와 애니메이션이 적용된 모델링을 실사의 환경에 적합하도록 조명효과를 적용하고, 각종 쉐이더를 적용해 실제와 가까운 질감을 구현하며 최종적으로 평면상의 결과물로 렌더링하는 과정이다.

실사와 이질감이 느껴지지 않도록 컬러와 명암에 대한 감각이 중요하다. 쉐이더는 텍스쳐에 질감이 느껴지도록 컬러를 변화시키는 과정인데, 금속이나 나무, 피부, 반사 등 다양한 요소를 고려해 수많은 쉐이더를 하나의 텍스쳐에 적용하기도 한다.

이런 과정을 거친 결과물을 수십~수백장 이미지로 구현하는 과정을 렌더링이라 칭하며, 특성상 가장 시간소모가 크고, CPU 연산이 크게 요구된다. 따라서 PC 수준으로는 이런 작업량이 감당이 안되므로 보통 CPU 여러개를 묶어놓은 전용 렌더링 머신을 네트워크로 연결해 수십~수백대 돌리는데 이런 장비를 렌더팜(Render Farm)이라 칭한다. 어느정도 규모가 있는 시각효과 업체는 매우 거대한 서버실을 가지고 있고, 그 안에는 빽빽하게 들어찬 렌더팜 수백대를 볼 수 있다.

렌더링이 끝나도 경우에 따라선 이유를 알 수 없는 오류나 충돌이 발생해 원하던 결과물이 안나오거나 중간에 아예 렌더가 깨지거나 심하면 렌더가 걸리지 않는 경우도 있어서 이런 프로세스 관리에 제법 시간소모가 큰 편이다.

주로 마야를 사용하며, 쉐이더는 자체적으로 개발하거나 Mental ray, Vray, Pixar 스튜디오에서 개발한 Renderboy같은 다양한 쉐이더 플러그인을 사용한다.

렌더링에서 굉장히 중요한 역할이 바로 TD 이다. 작업 해본 위키러나 현업에 근무하는 아티스트들은 알겠지만 렌더링에서 컴퓨터로 분산처리하거나,혹은 분산처리된 렌더링을 한 곳에 모을 때 일반 워크스테이션이나 렌더팜으로도 감당이 안된다. 해서 중간에 붙는 것이 바로 TD이다. 그들은 쉽게 말해서 cg데이터의 렌더링에 대한 코딩을 다시 만져서 간소화하고 정리하는 역할을 한다. 이 분야는 사실 공학의 범위인데, 헐리우드의 업체에서는 TD가 붙어있지만 사실 한국의 영세 업체에서는 따로 두기 힘들기 때문에 몇몇 유명 업체를 제외하곤 무식하게 몇 십 시간씩 렌더링을 돌린다. 한국에도 몇 없다고 하니 관심있는 공대 위키러들은 찾아보도록.

• FX (effects)

3D 요소가 주변 환경과 상호작용이 필요할 때 요구되는 다양한 특수효과를 디지털로 구현하는 과정이다. 예를 들면 화염이나 연기, 안개, 비, 눈같은 환경요소부터 먼지나 파편 등 파티클 요소, 충돌이나 붕괴같은 물리적인 요소로 발생하는 3D 요소의 변화 등 매우 다양한 분야의 특수효과가 요구된다. 따라서 이런 복잡한 계산을 상황에 맞게 구현할 수 있는 프로그램적 지식이 요구된다.

작업의 난이도는 털 >물 > 불 혹은 연기 순으로 털 표현은 소프트웨어가 많이 좋아졌지만 아직도 상당한 난이도를 자랑한다. 한국에도 베테랑 작업자는 몇 없다고 한다.
이와 같은 효과를 만드는데 사용하는 프로그램 중 물 효과로는 Next Limit Technologies사의 RealFlow가 꽉 잡고 있으며 불이나 연기 등의 효과는 오토데스크사의 플레임이나 스모크, 마이너하지만 쉐이크나 퓨전같은 프로그램이 사용됐었다. 물론 요즘은 3ds max의 fume fx 나 마야의 플루이드 라는 플러그인이 나와 개인용 캄퓨터에서도 손쉽게 사용되니 유튜브 강좌를 이용해보는 것도 나쁘지 않다. 다만 렌더링 시간과 사양 요구 사양은 어마어마하니 준비를 빵빵하게 해야한다.

작업 난이도가 시각효과를 통틀어서 가장 높은 분야이고, 실제 상황에서 이질감이 느껴지지 않도록 정교한 시뮬레이션이 요구되므로 물리에 대한 이해가 높아야 한다. 거기에 영상으로 구현해야 하므로 미적인 감각도 같이 요구된다. 스킬이 뛰어난 FX 아티스트는 시각효과 분야에서 가장 높은 수준의 대우를 받는게 보통이다.

4 외부링크

할리우드 영화의 거목 '스탠 윈스턴'
시각효과의 귀재 데니스 뮤렌
덱스터(206560), 아시아 최고의 VFX 기업