제공해주신 영상은 김정호 카이스트 교수의 강연으로, 인공지능(AI) 반도체 시장의 흐름이 '학습(GPU 중심)'에서 '추론(메모리 중심)'으로 급격히 변화 하고 있다는 점을 강조하고 있습니다. 주요 내용을 요약해 드립니다.
1. AI 지능의 핵심은 '기억 용량(메모리)'
과거에는 AI 모델의 크기를 키우는 '학습' 단계가 중요했으나, 현재는 실시간 데이터를 활용하는 '추론'의 시대 로 넘어왔습니다 [ 02:16 ].
학습에는 미분 연산에 특화된 GPU가 유리했지만, 추론 단계에서는 얼마나 많은 데이터를 실시간으로 공급하느냐가 중요해졌습니다. 즉, AI의 능력은 곧 '토큰 생산량'이며, 이는 메모리 용량에 비례 합니다 [ 05:13 ].
2. '컨텍스트 엔지니어링'과 메모리 폭발
질문을 잘하는 것(프롬프트)보다, AI가 나에 대한 방대한 정보(컨텍스트)를 얼마나 기억하고 활용하느냐가 중요해졌습니다 [ 05:34 ].
개인화된 비서 기능을 위해 과거 대화 기록, 메일, 검색 기록 등을 모두 유지해야 하므로 메모리 요구량이 기하급수적으로 증가 하고 있습니다 [ 06:12 ].
3. 엔비디아(GPU)의 한계와 메모리의 반란
엔비디아의 GPU는 열 문제 등으로 인해 더 이상 성능을 획기적으로 높이기 어려운 구조적 한계에 직면해 있습니다 [ 13:52 ].
반면, HBM(고대역폭 메모리)은 4세대, 5세대를 거치며 GPU의 일부 연산 기능까지 흡수하는 형태로 진화하고 있으며, 결국 메모리가 시스템의 중심이 되는 '메모리 센트릭 컴퓨팅' 시대가 올 것입니다 [ 16:40 ].
4. 미래 전략 및 전망
HBM5 단계에서 삼성, SK하이닉스, TSMC, 엔비디아의 운명이 갈릴 중요한 분기점이 올 것으로 예측됩니다 [ 15:47 ].
메모리가 모자라기 때문에 HBM 뒤에 낸드 플래시를 쌓은 HBF(High Bandwidth Flash) 같은 새로운 구조가 필요하며, 이는 추론 전용 메모리 시장의 성장을 이끌 것입니다 [ 19:19 ].
결론: 금광 시대에 청바지 업체가 돈을 벌었듯, AI 시대의 진정한 수익원은 GPU를 넘어 삼성전자와 SK하이닉스가 주도하는 메모리 반도체가 될 것이라는 전망입니다 [ 19:09 ].