NVIDIA 가 공개한 월드모델? Cosmos 그게 뭐죠?

CES 2025 행사의 NVIDIA 키노트에 다녀왔다. 사실 미국에 온 이후 가장 기대했던 이벤트가 CES 였던 만큼 너무나 만족스러운 경험이었다. 경험에 대한 후일담은 다른 글에서 다루기로 하고, 이번 NVIDIA 키노트는 세상을 이해하는 월드 파운데이션 모델인 "Cosmos" 와 함께 "Omniverse" 플랫폼, 그리고 자율주행과 로봇 공학 등 다양한 응용 사례를 중심으로 진행되었다.

 

NVIDIA가 이번 발표에서 강조한 핵심은 물리적 AI 와 이를 구현하는 새로운 플랫폼인 "Cosmos" 인데, "Cosmos" 는 물리적 세계의 데이터를 학습하고 예측하며 시뮬레이션할 수 있는 AI 기술을 제공한다. 간단히 말하면 NVIDIA가 개발한 세계 기반 모델로, 하나의 거대한 플랫폼이다.  (*세계 기반 모델이란 예전처럼 텍스트만 학습한 언어 모델이 아닌, 우리가 살고있는 세계를 학습한 모델이다.)

 

먼저, 왼쪽에 위치한 "DGX"는 데이터 센터이다. 인공지능을 학습하려면 NVIDIA의 데이터 센터를 사용해야 한다. 그 아래에는 "AGX"가 있는데, 이는 온 디바이스 AI, 즉 실제 유저들이 사용하는 디바이스에 내재된 AI 모델을 의미한다. 

 

그리고 오른쪽 상단의 "Omniverse"와 "Cosmos" 는 소프트웨어 플랫폼으로 이 세 가지 요소를 통해 하드웨어와 소프트웨어의 통합을 이끌어 내게 된다. 이러한 통합이 바로 NVIDIA가 향후 AI 생태계 전반을 이끌어 가기 위한 핵심 목표이다.

 

현실 세계에서 수집된 다양한 데이터들은 NVIDIA의 툴을 통해 "Omniverse"로 옮겨진다. "Omniverse" 는 현실을 그대로 복제한 디지털 세계를 생성할 수 있는 플랫폼으로, 이를 통해 가상의 시뮬레이션을 수행할 수 있다. 

 

하지만 이 시뮬레이션이 제대로 작동하려면 현실 세계의 물리 법칙이 적용되어야 하는데, 여기서 "Cosmos" 가 역할을 하게 된다.

예를 들어, "물방울이 맥주병 위로 떨어지는 장면"이라는 프롬프트를 입력하면, 속도, 중력, 마찰을 계산하여 "Cosmos" 가 시뮬레이션 하는 것이다. 

 

다시 말해, 실제 현실의 데이터를 "Omniverse" 로 가져와 가상 세계를 생성한 뒤, "Cosmos" 를 통해 물리 법칙을 적용하는 것으로, 이러한 방식은 기존 AI와 비교했을 때 매우 독창적이며, 물리적 세계를 이해하고 응용하는 데 있어 큰 의미를 갖게 된다.

 

자율주행 시스템을 예로 들어보면, 맵 정보나 지형 정보를 기반으로 가상 세계를 구성한 뒤 시뮬레이션을 실행할 때 현실의 물리 법칙이 적용되지 않는다면 해당 시뮬레이션의 현실성이 떨어지게 되겠지만, Cosmos를 통해 현실 세계와 동일한 물리 환경을 구현하여 운전자 입장에서 상상할 수 있는 수천만 번의 케이스를 시뮬레이션 하게 만든다.

 

이것은 마치 어벤져스 에서 닥터 스트레인지가 수천 번의 케이스를 시뮬레이션 하는 장면과 유사한 것으로, 흔히 말하는 "엣지 케이스", 즉 운전자가 평생 단 한 번 겪을 수 있을 만한 극히 드문 상황들을 가상 공간에서 시뮬레이션하고 이를 학습하는 것을 통해 자율주행 기술의 완성도를 높이는 것이다. 

 

현실 세계의 모든 데이터를 가상 세계에서 시뮬레이션하고, 이를 바탕으로 더 효율적인 방법을 현실에 적용하는 이러한 방식은 다양한 산업 분야에서도 활용이 가능하다. 과거에는 경험 많은 전문가들이 주관적인 판단으로 업무를 분배했다면, 이제는 데이터를 기반으로 과학적인 리소스 배분이 가능해진 것이다. 물류 산업에서는 이미 아마존과 월마트가 이러한 기술을 적극적으로 도입하며 빠르게 혁신을 이루고 있다.

 

젠슨 황은 이를 "물리적 AI의 시대"라고 표현했는데, 이번 발표에서 또 한가지 주목할 점은 차량이나 로봇에 직접 내장되는 온 디바이스 AI가 예상보다 빠르게 출시 되었다는 것이다.

 

젠슨 황이 이번 발표에서 들고 나온 컴퓨터는 "Jetson Thor" 인데, 이 컴퓨터는 블랙엘 아키텍처를 기반으로 만들어진 온 디바이스 AI, 즉 추론용 AI 이다. 자율주행 차량에는 평균적으로 12개의 카메라, 9개의 레이더, 1개의 라이더, 그리고 12개의 초음파 센서가 장착되어 있으며, 이 방대한 데이터를 실시간으로 처리하고 즉각적인 행동으로 연결시키는 역할을 "Jetson Thor" 가 수행하게 된다.

 

이전 모델인 "Orin" 은 많은 자율주행차 제조사에서 사용되었으며, 특히 중국 자동차 업체들은 거의 대부분 채택한 상황이다. 그러나 "Jetson Thor" 는 "Orin" 대비 약 20배 향상된 성능을 제공하기 때문에 테슬라를 비롯한 더 많은 제조사들이 협업에 참여하게 되었으며, 이를 통해 자율주행 분야에서 NVIDIA 의 영향력은 더욱 커져가는 상황이다.

 

또한, NVIDIA는 "Cosmos"를 오픈소스로 공개했는데, 이는 CUDA를 오픈소스로 제공한 사례와 유사하며, 구글이 안드로이드를 공개한 것과 같은 맥락이라고 볼 수 있다. 결국 플랫폼 생태계라는 것은 수많은 개발자와 사용자가 참여해야만 완성될 수 있기 때문에 이러한 전략은 매우 중요한 의미를 가진다고 생각한다.

 

NVIDIA는 이번 키노트에서 Cosmos와 Omniverse를 통해 물리적 AI의 새로운 시대를 열겠다는 비전을 제시했다. 이는 단순히 데이터를 처리하는 것을 넘어, 물리적 세계를 학습하고 이해하며 응용할 수 있는 AI 플랫폼을 제공하는 것이다. 자율주행, 로봇 공학, 산업 디지털화 등 다양한 분야에서 Cosmos와 Thor의 응용이 기대되며, NVIDIA는 이를 통해 AI 기반의 거대한 플랫폼 생태계를 계속해서 구축해 나갈 것이다.