NVIDIA DGX Spark vs Jetson AGX Thor: 현업 개발자가 말하는 차이점 분석

[영상 출처] 엥지유니버스 | 로봇 엔지니어
[영상 링크] http://www.youtube.com/watch?v=OzwcD8vXXIQ

---

1. 근본적인 용도 차이 (AI를 만드는 곳 vs. 실행하는 곳)

• DGX Spark: 연구실/개발 환경에서 AI 모델을 설계하고 검증하는 개인용 AI 워크스테이션임. (00:00:19)
• Jetson Thor: 설계된 모델을 실제 로봇, 자율주행 시스템 등 현장(Edge)에서 실행하는 엣지 컴퓨팅 플랫폼임. (00:00:34)
• DGX Spark는 'AI를 만드는 곳', Jetson Thor는 'AI를 실행하는 곳'에 놓여 있음. (00:01:05)

2. 핵심 기술: 하드웨어 및 메모리 아키텍처

• GB100 슈퍼칩: Grace CPU와 Blackwell GPU가 결합된 DGX Spark의 핵심 칩임. (00:01:16)
• NV-C2C 고속 통신: 기존 PCIe보다 훨씬 높은 대역폭과 낮은 지연을 제공하는 고속 회로로, CPU와 GPU를 직접 연결함. (00:02:54)
• 코히어런트 통합 메모리 (DGX Spark): 128GB 통합 메모리를 사용하며, 하드웨어(NV-C2C)가 캐시 일관성을 자동으로 유지하여 대규모 모델 훈련에 최적화됨. (00:04:08)
  • CPU와 GPU가 마치 하나의 거대한 칩처럼 동작하여 메모리 접근 지연을 극적으로 줄임. (00:06:49)
• Thor의 메모리 특징: Thor는 메모리를 공유하지만, 하드웨어 일관성 프로토콜이 명시되어 있지 않아 소프트웨어(UVM/드라이버)가 캐시 일관성을 담당할 가능성이 높음. (00:07:12)

3. 성능 및 소프트웨어 생태계 비교

• FP4 연산 성능:
  • DGX Spark는 최대 1 Petaflop 수준을 제공함. (00:07:37)
  • Jetson Thor는 특정 조건 하에 최대 2.07 Petaflops 수준을 기록함. (00:09:18)
  • 성능 비교 시, 혼합 정밀도 운용 및 스파시티 적용 여부 등 연산 조건을 명확히 통일해야 공정함. (00:10:33)
• DGX Spark (개발 워크스테이션):
  • DGX OS를 사용하며, CUDA, TensorRT, NGC 카탈로그가 사전 탑재되어 복잡한 환경 세팅 없이 모델 실험 및 튜닝을 바로 시작할 수 있음. (00:11:43)
  • 프롬프트 엔지니어링, 파인튜닝, 로컬 추론 검증 등 데이터 사이언스적 작업에 유리함. (00:17:03)
• Jetson Thor (엣지 로봇 런타임):
  • JetPack과 Isaac ROS 스택을 중심으로, 센서 입력부터 모터 출력까지 실시간(Real-Time) 제어 파이프라인 처리에 최적화되어 있음. (00:15:56)
  • 40~130W 전력 예산 안에서 낮은 지연으로 로봇 AI 시스템을 완전 자율적으로 구동하도록 설계됨. (00:17:31)

4. 결론: AI 개발 사이클의 완성

• 두 장비는 성능 비교 대상이 아닌, AI 개발과 활용을 잇는 연속된 생태계로 이해해야 함. (00:19:22)
• DGX Spark에서 개발된 모델이 Thor 위에서 움직이고, Thor의 데이터가 다시 Spark로 돌아와 모델을 고도화하는 상호 보완적인 사이클을 구성함. (00:19:31)