[AI Frontier] 동작을 촬영하던 시대에서 움직임을 학습하는 시대로

[AI Frontier]

엔비디아 생성형 사전학습 제어기(GPC)가 모션캡처를 재생 자산에서 학습 가능한 운동 지능으로 바꾸는 방법

Image generated with OpenAI

게임 속 캐릭터가 달리다가 벽에 부딪히면 어떻게 될까요. 미리 제작된 충돌 동작을 재생할 수도 있고, 몇 개의 애니메이션을 섞어 비슷한 반응을 만들 수도 있습니다. 하지만 충격의 방향과 세기, 발의 위치, 주변 지형이 달라지면 준비된 동작만으로 자연스러운 반응을 만들기 어려워집니다.

엔비디아가 2026년 국제 컴퓨터 그래픽스·인터랙티브 기술 학회(Special Interest Group on Computer Graphics and Interactive Techniques, SIGGRAPH)에 발표한 생성형 사전학습 제어기(Generative Pretrained Controllers, GPC)는 이 문제를 다른 방식으로 접근합니다. 필요한 동작을 하나씩 촬영하고 재생하는 대신, 대규모 모션 데이터에서 움직임의 구조를 학습해 다음 행동을 생성합니다.

이 변화가 곧 모션캡처의 종말을 뜻하는 것은 아닙니다. 오히려 모션캡처 데이터의 역할이 달라지는 쪽에 가깝습니다. 한 번 사용할 애니메이션 클립을 만드는 재료에서, 다양한 상황에 대응하는 운동 능력을 학습시키는 기반 데이터로 이동하는 것입니다.

이 글의 핵심 질문

GPC는 기존 모션캡처와 캐릭터 애니메이션을 완전히 대체하는 기술일까요. 아니면 촬영된 동작을 더 오래, 더 많은 상황에서 재사용하게 만드는 새로운 제작 계층일까요?

엔비디아 GPC란 무엇인가

GPC는 대규모 모션 데이터에서 범용적인 운동 제어기를 만드는 연구 프레임워크입니다. 연구진은 움직임을 작은 이산 단위로 압축한 뒤, 문장에서 다음 단어를 예측하듯 캐릭터의 다음 움직임을 예측하도록 모델을 학습했습니다.

중요한 차이는 GPC가 관절 위치만 그려내는 모션 생성 모델에 머물지 않는다는 점입니다. 모델이 예측한 동작 토큰은 물리 시뮬레이션 속 캐릭터의 힘과 움직임을 결정하는 제어 정책으로 연결됩니다. 중력, 관성, 충돌과 균형을 무시한 자세가 아니라, 물리 환경에서 실제로 실행 가능한 움직임을 목표로 합니다.

GPC의 세 단계

1. 기술 양자화

모션 데이터를 유한 스칼라 양자화(Finite Scalar Quantization, FSQ) 방식의 이산 동작 토큰으로 압축합니다.

2. 생성형 제어기 학습

GPT 방식의 자기회귀 변환기가 캐릭터 상태와 이전 토큰을 바탕으로 다음 동작 토큰을 예측합니다.

3. 새로운 과제에 적응

사전학습된 운동 능력을 유지하면서 방향 제어, 지형 이동과 장면 상호작용 같은 과제에 맞게 조정합니다.

모션 데이터 → 움직임 토큰 → 다음 토큰 예측 → 물리 제어 → 새로운 과제 적응

GPT가 문장을 학습하듯 움직임을 학습한다

문장은 단어가 무작위로 이어진 결과가 아닙니다. 앞에 나온 단어와 문맥에 따라 다음에 올 가능성이 높은 표현이 달라집니다. 인간의 움직임도 비슷합니다. 달리던 사람이 갑자기 멈출 때는 속도를 줄이고 무게중심을 옮기는 과정이 필요하며, 점프 뒤에는 착지와 균형 회복이 이어집니다.

GPC는 이 연결 관계를 동작 토큰의 순서로 학습합니다. 현재 신체 상태와 이전 동작을 보고 다음 토큰을 선택하고, 제어 정책이 이를 물리적인 관절 움직임으로 실행합니다. 연구진은 이 구조를 600시간 규모의 데이터로 확장했으며, 대규모 모션 클립 재현 실험에서 99.98%의 성공률을 보고했습니다.

다만 이 수치를 “어떤 게임 캐릭터든 99.98% 자연스럽게 움직인다”는 의미로 읽어서는 안 됩니다. 연구 데이터의 모션을 정해진 평가 기준으로 재현한 결과입니다. 실제 제작 환경에서는 캐릭터 체형, 의상과 장비, 좁은 공간, 카메라 연출, 사용자 입력 지연과 게임 엔진 통합 같은 변수가 추가됩니다.

숫자를 읽는 기준

99.98%는 연구 환경의 모션 추적 성공률입니다. 상용 게임의 프레임 속도, 애니메이션 품질, 제작기간 절감 또는 플레이어 만족도를 직접 측정한 결과는 아닙니다.

모션캡처와 GPC는 무엇이 다른가

모션캡처는 배우가 수행한 움직임을 높은 정확도로 기록하는 데 강점이 있습니다. 특정 인물의 연기, 감정, 전투 스타일과 연출 의도를 보존해야 하는 영상·게임 제작에서는 여전히 중요한 도구입니다.

문제는 촬영되지 않은 상황입니다. 배우가 평지에서 달리는 동작을 촬영했더라도 경사면, 좁은 발판, 옆에서 들어온 충격과 무거운 장비를 든 상태까지 모두 준비하려면 촬영과 후반 작업이 빠르게 늘어납니다. GPC가 노리는 영역은 바로 이 빈칸입니다.

비교 항목	기존 모션캡처 중심 제작	GPC가 제시하는 방향
데이터의 역할	완성된 동작 클립과 연기 자산	범용 운동 능력을 학습하는 기초 데이터
실행 방식	미리 만든 클립을 재생하거나 혼합	현재 상태에 맞는 동작 토큰과 물리 제어를 생성
예외 상황	추가 촬영, 수작업 보정 또는 별도 상태 설계	학습된 기술을 조합해 충격·낙상·지형 변화에 대응
제작자의 역할	클립 제작과 전환 구간 보정	데이터 선별, 행동 조건, 연출 제약과 결과 검수

따라서 GPC는 모션캡처를 없애기보다 촬영된 움직임의 활용 범위를 넓힐 가능성이 큽니다. 중요한 연기는 배우가 촬영하고, 그 사이의 전환과 환경 적응, 반복 변형은 학습된 제어기가 보완하는 혼합형 제작 방식입니다.

공식 데모에서 확인해야 할 장면

GPC의 가치는 정지 이미지보다 움직이는 장면에서 더 잘 드러납니다. 아래 공식 영상에서는 화려한 동작의 종류보다 캐릭터가 예상하지 못한 상황에 어떻게 반응하는지를 보는 편이 좋습니다.

공식 GPC 프로젝트 영상

다양한 동작 재현, 무조건부 움직임 생성, 외부 충격에 대한 반응, 낙상 후 회복과 새로운 과제 적응 장면을 중심으로 확인할 수 있습니다.

영상에서 볼 네 가지

동작 클립을 따라 하는 데서 끝나지 않고 자연스럽게 다음 행동으로 이어지는가?
밀리거나 균형을 잃었을 때 고정된 충돌 동작 대신 상황에 맞춰 반응하는가?
넘어진 뒤 미리 지정하지 않은 방식으로 다시 일어설 수 있는가?
지형과 과제가 달라져도 기존 운동 능력을 조합해 움직이는가?

게임 제작에서 어떤 가치가 생길까

게임 캐릭터는 영화처럼 정해진 순서대로만 움직이지 않습니다. 플레이어의 입력과 지형, 충돌, 적의 위치, 이동 속도가 계속 달라집니다. 이 때문에 게임 제작자는 수많은 애니메이션 클립과 상태 전환, 역운동학(Inverse Kinematics, IK), 모션 매칭과 물리 보정을 함께 사용합니다.

GPC의 첫 번째 가치는 동작 수를 줄이는 것이 아니라, 예상하지 못한 상황에 대한 반응성을 높이는 데 있습니다. 발판의 높이가 조금 달라지거나 옆에서 충격이 들어왔을 때도 현재 신체 상태를 읽고 균형을 회복하는 움직임을 만들 수 있기 때문입니다.

지형 대응

평지용 동작을 단순 재생하지 않고 경사, 장애물과 불규칙한 발판에 맞춰 보폭과 균형을 조정합니다.

전환 동작

걷기, 달리기, 회피, 점프와 착지 사이에 필요한 중간 움직임을 학습된 기술 조합으로 보완합니다.

비플레이어 캐릭터

비플레이어 캐릭터(Non-Player Character, NPC)가 같은 반응을 반복하지 않고 상황에 따라 다른 움직임을 선택할 여지가 생깁니다.

재사용 가능한 제어기

새 게임과 과제마다 제어기를 처음부터 학습하기보다 사전학습된 운동 능력을 적은 추가 매개변수로 조정합니다.

GPC 프로젝트는 조건부 저순위 적응(CoLA)을 통해 1% 미만의 추가 매개변수로 새로운 과제에 적응하는 방식을 제시합니다. 연구 데모에서는 지형을 이동하고 장애물을 통과하는 인간·장면 상호작용(Human-Scene Interaction, HSI) 과제에 학습된 운동 기술을 조합했습니다.

이 구조가 상용 게임 엔진에 안정적으로 들어간다면 애니메이터는 모든 예외 동작을 직접 제작하는 대신, 캐릭터가 지켜야 할 스타일과 행동 조건을 설계하는 데 더 많은 시간을 쓸 수 있습니다. 다만 실시간 계산 비용, 입력 지연, 네트워크 게임의 재현성, 디버깅과 아트 디렉션 통제는 아직 확인해야 할 과제입니다.

영상·가상 제작에서는 무엇이 달라질까

영화와 영상 제작은 게임보다 카메라와 장면이 정해져 있지만, 촬영 전 시각화와 배경 캐릭터, 군중 장면, 위험 동작의 반복 수정에서는 생성형 모션의 활용 가치가 있습니다.

프리비주얼라이제이션 단계에서는 감독이 대략적인 이동 경로와 행동을 지정하고, 여러 동작 시안을 빠르게 비교할 수 있습니다. 가상 스턴트에서는 실제 배우의 연기를 기반으로 낙상, 충돌과 회복 동작의 변형을 물리 환경에서 시험할 수 있습니다.

여기에서 GPC와 함께 볼 기술이 Kimodo입니다. Kimodo는 700시간 규모의 광학식 모션캡처 데이터를 학습한 운동학적 모션 확산 모델로, 텍스트와 키프레임, 관절 위치, 이동 경로 같은 제약을 이용해 움직임을 생성합니다. GPC가 물리 환경에서 실행할 제어 정책에 가깝다면, Kimodo는 제작자가 원하는 동작을 지시하고 편집하는 모션 저작 도구에 더 가깝습니다.

모션캡처 데이터는 생성, 편집, 물리 제어와 실시간 응용을 연결하는 학습 자산으로 이동하고 있습니다.

엔비디아 모션 기술의 역할

Kimodo: 텍스트와 운동학적 제약으로 3차원 인간·로봇 동작을 생성하고 편집합니다.
GPC: 움직임 토큰을 예측해 물리 시뮬레이션 캐릭터를 제어하고 새로운 과제에 적응합니다.
MotionBricks: 실시간 동작 생성과 빠르고 안정적인 중간 동작 생성에 초점을 둡니다.
ARDY: 인터랙티브 애플리케이션을 위한 실시간 제약 기반 모션 생성을 목표로 합니다.

애니메이터와 모션캡처 스튜디오는 사라질까

현재 공개된 연구만으로 그렇게 결론 내리기는 어렵습니다. GPC가 강한 영역은 대규모 동작 데이터의 재사용, 물리적 반응과 새로운 과제 적응입니다. 배우의 미묘한 감정 표현, 캐릭터 고유의 연기, 감독이 요구하는 정확한 타이밍과 프레임 단위 연출은 별도의 문제입니다.

오히려 모션캡처 스튜디오는 더 체계적인 학습 데이터를 만드는 역할로 확장될 수 있습니다. 촬영 품질만큼 동작의 다양성, 메타데이터, 신체 접촉, 물체와 지형 조건, 사용 권리와 학습 허용 범위가 중요해집니다.

애니메이터의 역할도 사라진다기보다 이동할 가능성이 큽니다. 클립 사이를 반복해서 연결하는 작업은 줄어들 수 있지만, 어떤 동작을 허용할지, 캐릭터의 무게와 성격을 어떻게 유지할지, 생성 결과를 어느 수준까지 사용할지 판단하는 일이 남습니다. 생성형 제어기가 많아질수록 스타일 가이드와 검수 기준은 더 중요해질 수 있습니다.

모션캡처는 동작을 기록하는 장치에서 움직임을 학습시키는 데이터 인프라로, 애니메이터는 클립 제작자에서 운동 행동의 연출자와 감독자로 이동할 수 있습니다.

지금 제작사가 확인해야 할 것은 무엇인가

저는 모션캡처 스튜디오를 운영하거나 게임 캐릭터 제어기를 직접 개발한 경험은 없습니다. 이번 글도 해당 제작 영역의 내부 경험을 전달하기보다, 공개된 연구를 플랫폼과 데이터 운영의 관점에서 읽어본 결과에 가깝습니다.

플랫폼과 머신러닝 기반 최적화 시스템을 기획하며 반복해서 확인한 것은 개별 결과물을 계속 추가하는 방식과, 반복되는 패턴을 학습해 새로운 상황에 대응하게 만드는 방식의 운영 구조가 다르다는 점이었습니다. GPC의 의미도 동작 하나를 더 잘 만드는 데만 있지 않습니다. 움직임 제작을 재사용 가능한 학습 체계로 바꾸려는 시도라는 점이 더 중요합니다.

제작사 점검 항목

보유한 모션 데이터의 형식, 품질, 메타데이터와 사용 권리를 설명할 수 있는가?
반복 제작 중인 전환·회복·지형 대응 동작은 어느 정도인가?
캐릭터의 동작 스타일을 수치와 제약 조건으로 표현할 수 있는가?
생성된 동작을 사람이 검수하고 수정하는 제작 절차가 있는가?
실시간 추론 비용과 프레임 지연을 목표 플랫폼에서 감당할 수 있는가?
동일한 입력에서 결과를 재현하고 오류 원인을 추적할 수 있는가?

다음에 확인해야 할 지표는 데모 동작의 화려함만이 아닙니다. 상용 게임 엔진과 디지털 콘텐츠 제작 도구(Digital Content Creation, DCC)에 얼마나 쉽게 연결되는지, 애니메이터가 생성 결과를 얼마나 정확하게 수정할 수 있는지, 실제 프로젝트에서 추가 촬영과 수작업 보정이 어느 정도 줄어드는지를 봐야 합니다.

Summary

엔비디아 GPC는 모션캡처 데이터를 작은 움직임 토큰으로 바꾸고, GPT 방식의 다음 토큰 예측과 물리 제어를 결합해 범용적인 운동 제어기를 만듭니다. 기술의 가치는 촬영된 동작을 단순히 재생하는 데서 벗어나 충격, 낙상, 지형과 새로운 과제에 대응하도록 만드는 데 있습니다. 모션캡처와 애니메이터를 당장 대체하기보다, 촬영 데이터의 역할을 학습 자산으로 확장하고 제작자의 업무를 반복 보정에서 행동 설계와 검수로 이동시킬 가능성이 큽니다.

FAQ

자주 묻는 질문

Q. 엔비디아 GPC는 모션캡처를 대체하나요?

현재 단계에서는 완전한 대체보다 역할 변화에 가깝습니다. 모션캡처는 중요한 연기와 고품질 학습 데이터를 제공하고, GPC는 촬영되지 않은 전환과 환경 적응, 예외 반응을 보완할 가능성이 있습니다.

Q. GPC와 일반적인 인공지능 모션 생성은 무엇이 다른가요?

GPC는 관절 자세를 생성하는 데서 끝나지 않고, 물리 시뮬레이션 속 캐릭터를 움직이는 제어 정책을 학습합니다. 따라서 충돌, 균형과 낙상 회복처럼 물리적 반응이 중요한 과제에 초점을 둡니다.

Q. GPC를 지금 게임 제작에 바로 사용할 수 있나요?

연구 코드와 프레임워크는 공개됐지만, 모든 상용 게임 제작 환경에서 바로 사용할 수 있는 완성형 도구라고 보기는 어렵습니다. 게임 엔진 연결, 실시간 성능, 캐릭터 리깅, 제작자용 편집 기능과 품질 검수 절차를 별도로 확인해야 합니다.

Q. 영상 제작에서는 어떤 작업에 먼저 적용될 수 있나요?

촬영 전 시각화, 군중과 배경 캐릭터, 가상 스턴트와 동작 변형처럼 시안을 빠르게 반복해야 하는 작업이 우선 후보입니다. 배우의 섬세한 연기와 프레임 단위 연출은 여전히 사람의 촬영과 애니메이션 작업이 중요합니다.

TERMINOLOGY

본문의 주요 용어

용어	뜻	실무자가 볼 지점
GPC	생성형 사전학습 제어기	대규모 동작 데이터에서 재사용 가능한 물리 기반 운동 제어기를 학습합니다.
FSQ	유한 스칼라 양자화	연속적인 움직임을 모델이 예측할 수 있는 이산 기술 토큰으로 바꿉니다.
CoLA	조건부 저순위 적응	사전학습 능력을 유지하면서 적은 추가 매개변수로 새로운 과제에 맞춥니다.
물리 기반 캐릭터 제어	힘과 관절 제어로 시뮬레이션 캐릭터를 움직이는 방식	자세 모양만 만드는 것이 아니라 중력, 충돌과 균형 안에서 동작을 실행해야 합니다.

이 블로그 검색