슈퍼갑! 혹은 유일신! 엔비디아 왕국은 '이제 시작' (김창욱 보스턴컨설팅그룹 MD파트너 1강)

슈퍼갑! 혹은 유일신! 엔비디아 왕국은 '이제 시작' (김창욱 보스턴컨설팅그룹 MD파트너 1강)ㅣ 알.재

유튜브 링크: http://www.youtube.com/watch?v=57_dcKAEz2Y

1. 엔비디아의 독점과 하이퍼스케일러의 반격

• 엔비디아의 슈퍼 갑(甲) 지위: GPU 패키징 제품(HBM 포함) 가격 약 6천만 원, 영업 이익률 70%에 달하는 독점적 지위 확보 [00:00:10].
• 고객사(하이퍼스케일러)의 불만 고조: 높은 가격과 독점적 지위로 인해 구글, 아마존 등 고객사들의 불만과 분노 발생 [00:00:21].
• 전성비 개선 및 의존도 탈피 노력: 전력 성능비(전성비)를 높이고 엔비디아 의존도를 줄이기 위해 자체 칩(NPU) 개발 시작 [00:34:18].

2. AI 시대의 변화와 투자 부담 (데이터 센터)

• AI의 보편화(B2B → B2C): ChatGPT(2023) 출시와 함께 AI가 범용적인 B2C 서비스로 전환되며 폭발적 성장 [00:04:14].
• 천문학적인 인프라 투자: 하이퍼스케일러들이 모델 개발 및 인프라 확충에 연간 약 25조 원 규모의 자본 투입(Capex) [00:09:06].
• 운영 비용(Opex) 문제: 서버 냉각 및 전력비 부담으로 전력 성능비(전성비) 개선이 최대 고민으로 대두 [00:09:36].
• 모델 효율화 노력: 모델 간소화(MOE, 데이터 디스틸레이션) 및 성능 개선(강화 학습 등)을 위한 추가 투자 병행 [00:11:30].
• 멀티모달로 인한 투자 증가: 텍스트 외 사진/영상 등을 처리하는 라지 멀티모델(LMM) 등장으로 학습 데이터량이 폭증하며 투자 부담 가중 [00:15:41].

3. GPU와 NPU의 역할 분담

• GPU의 재발견: 병렬 처리에 강점이 있어 AI 학습(Training/암기)에 최적화된 칩으로 활용 [00:24:03].
  • 엔비디아는 독자적인 플랫폼(CUDA)과 칩 간 통신 기술(MVLink)을 통해 강력한 경쟁 우위 구축 [00:27:45].
• NPU의 부상: AI 학습보다 추론(Inference)의 중요도가 높아지면서, 추론에 최적화되고 전성비가 높은 NPU(Neural Processor Unit) 개발이 핵심으로 부상 [00:33:57].
  • NPU는 메모리와 연산 부분이 페어링되어 추론에 효율적인 구조 [00:34:22].
• 시장 변화 예측: 추론의 보편화로 엔비디아의 시장 점유율이 50% 수준으로 떨어질 것이라는 추정 존재 [00:37:21].

4. 엣지 AI 도입 (PC/스마트폰)

• 엣지 디바이스 혁신 정체: PC 및 스마트폰 교체 주기가 3년으로 늘어나는 등 혁신 동인 부족 [00:16:54].
• 엣지 AI 도입 동기: 디바이스 제조사는 기능 강화, 하이퍼스케일러는 데이터 센터 부하 감소를 위해 엣지 AI 도입 추진 [00:19:34].
• 구현되는 기능:
  • PC: 개인 학습 기반의 화풍으로 그림 생성, 맥락 기반 검색 및 정리 기능 제공 [00:20:31].
  • 스마트폰: 비디오에서 사람 얼굴 인식 및 개인 정보 기반 실시간 정보 제공 [00:21:18].

5. 반도체 생태계의 새로운 독과점 발생

• 브로드컴의 부상: 하이퍼스케일러의 자체 칩(NPU) 개발 시, 브로드컴이 주문형 반도체(ASIC) 설계를 대행해주면서 새로운 독점적 지위 확보 [00:41:06].
  • 엔비디아 의존도를 낮추려 했으나, 브로드컴, TSMC 등 다른 영역에서 다시 독과점 문제에 직면 [00:41:31].
• TSMC의 강점: '고객과 경쟁하지 않겠다'는 원칙과 함께, 제조를 넘어 설계 지원 및 밸류체인 통합(VCA) 등 서비스업 마인드로 고객들의 부족한 부분을 메워준 것이 독보적인 성장의 핵심 [00:44:57].