티스토리 뷰
솔직히 저는 작년까지만 해도 AI 투자라고 하면 엔비디아와 HBM 메모리만 쳐다봤습니다. GPU가 없으면 AI가 안 돌아간다는 논리는 맞았고, 실제로 포트폴리오 성과도 나쁘지 않았습니다. 그런데 AI 에이전트를 직접 업무에 쓰기 시작하면서 뭔가 이상하다는 걸 느꼈습니다. GPU 서버는 충분한데, 복잡한 지시를 내릴 때마다 전체 시스템이 버벅거리는 겁니다. 그 병목이 어디서 오는지 파악하고 나서야 CPU라는 퍼즐 조각이 제 머릿속에 맞춰졌습니다.
AI 에이전트 시대, CPU 병목이 왜 지금 터졌나
제가 클라우드 인스턴스에서 AI 에이전트 작업을 돌릴 때, GPU 사용률은 40%대에 머무는데 CPU 점유율이 90%를 넘어가는 상황을 직접 목격했습니다. 처음엔 설정 문제인 줄 알았는데, 반복해서 같은 패턴이 나오더군요. 이건 단순한 튜닝 이슈가 아니라 구조적인 변화였습니다.
기존 AI의 주된 작업은 질문 하나를 받아 답변 하나를 생성하는 반복 추론이었습니다. 이 구조에서는 병렬 연산 처리 능력이 핵심이기 때문에 GPU의 역할이 절대적이었습니다. GPU(Graphics Processing Unit)란 수천 개의 코어가 동시에 단순 연산을 처리하는 반도체로, AI 모델 학습과 추론에서 막대한 병렬 처리 능력을 발휘합니다. 그래서 엔비디아가 몇 년째 AI 반도체의 대명사로 군림해 온 것입니다.
그런데 AI 에이전트(Agentic AI) 시대로 넘어오면서 일의 성격이 근본적으로 바뀌었습니다. AI 에이전트란 단순 질의응답을 넘어 스스로 계획을 세우고, 도구를 호출하고, 결과를 검토한 뒤 다시 실행하는 자율적 작업 수행 시스템을 말합니다. "이 자료 찾아서 엑셀로 정리해서 내일까지 보내줘"라는 지시 하나에 수십 번의 검색, 코드 실행, 결과 확인, 오류 수정이 연쇄적으로 이어지는 구조입니다.
이 과정에서 각 단계를 판단하고 순서를 배정하고 다음 명령을 내리는 역할은 GPU가 아니라 CPU(Central Processing Unit)가 담당합니다. CPU란 복잡한 논리 판단과 순차적 명령 처리를 고속으로 수행하는 반도체로, 시스템 전체의 오케스트레이션(orchestration), 즉 여러 구성 요소를 조율하고 지휘하는 역할을 맡습니다. 제가 실제로 체감한 병목이 바로 여기서 발생한 것이었습니다.
모건 스탠리의 분석에 따르면, 단순 챗봇 단계에서는 GPU 대 CPU의 비중이 약 12대 1이었습니다(출처: Morgan Stanley). 그런데 추론(inference) 단계로 넘어가면 2대 1까지 좁혀지고, AI 에이전트 단계에서는 1대 1에 근접한다는 분석이 나왔습니다. ARM의 자체 전망에서는 AI 에이전트 작업 하나를 처리하는 데 소요되는 시간의 최대 90%가 CPU 처리에 집중된다고 밝혔습니다. GPU가 아무리 빠르게 진화해도 CPU라는 병목이 해소되지 않으면 전체 시스템 효율은 올라가지 않는다는 얘기입니다.
엔비디아 젠슨 황 CEO도 2025년 3월 GTC 기조연설에서 "CPU는 이제 모델을 단순 지원하는 것이 아니라 모델을 구동한다"라고 명확히 언급했습니다. AI 생태계 내부에서 CPU의 위상이 어디까지 올라왔는지를 단적으로 보여주는 발언이었습니다.
- 챗봇 단계 GPU:CPU 비중 = 약 12:1 → AI 에이전트 단계에서는 약 1:1로 수렴
- AI 에이전트 작업 처리 시간의 최대 90%가 CPU 오케스트레이션에 집중
- GPU 성능이 아무리 올라가도 CPU 병목이 남아 있으면 전체 효율은 제한됨
- 엔비디아 CEO조차 2025년 3월 CPU의 핵심 역할 변화를 공개 언급
서버 CPU 시장 5배 확장, 투자전략은 어떻게 짜야 하나
제가 처음 이 시장을 들여다봤을 때, 솔직히 "이미 너무 늦은 거 아닌가" 하는 생각이 먼저 들었습니다. GPU 관련주는 이미 몇 배씩 올라 있었으니까요. 그런데 숫자를 들여다보니 서버 CPU 시장은 이제 막 출발선에 선 상태였습니다.
뱅크오브아메리카(Bank of America)는 2030년 글로벌 서버 시장 규모 전망을 기존 1,250억 달러에서 1,700억 달러로 대폭 상향 조정했습니다(출처: Bank of America Securities). 서버 CPU 시장만 별도로 보면 2025년 기준 약 350억 달러 수준이었는데, 5년 안에 다섯 배 가까이 성장할 것으로 전망됩니다. 이 숫자가 현실화된다면, 지금이 메모리 반도체 슈퍼사이클 초입이었던 시점과 구조적으로 유사한 국면이라는 해석이 가능합니다.
현재 서버 CPU 시장은 세 회사가 주도하고 있습니다. 먼저 인텔(Intel)입니다. x86 아키텍처 기반 범용 CPU 시장에서 여전히 높은 점유율을 유지하고 있으며, 기존 서버 소프트웨어 대부분이 x86 기반으로 작성되어 있어 호환성(compatibility) 면에서 강력한 해자를 보유하고 있습니다. 여기서 x86이란 인텔이 설계하고 AMD가 라이선스를 받아 쓰는 CPU 명령어 체계로, 수십 년간 서버와 PC 시장의 사실상 표준 구조로 작동해 왔습니다. 특히 인텔은 엔비디아와 파트너십을 맺어 맞춤형 x86 CPU를 공동 개발하기로 했고, 구글과는 장기 공급 계약을 체결했습니다. 자체 파운드리(foundry), 즉 반도체 생산 공장을 보유하고 있다는 점도 공급망 불확실성이 높아진 지금 환경에서 새롭게 주목받는 강점입니다.
두 번째는 ARM입니다. ARM은 원래 IP(지식재산권) 전문 기업으로, 반도체 설계 도면을 만들어 로열티를 받는 구조로 35년을 버텨온 회사입니다. 그런데 2025년 3월, 창사 이후 처음으로 자체 칩인 ARM AGI CPU를 직접 제조해 판매하겠다고 선언했습니다. ARM이 이 제품에 집중하는 이유는 전성비(전력 대비 성능 비율, Power Efficiency) 때문입니다. 전성비란 같은 전력으로 얼마나 많은 연산을 처리할 수 있는지를 나타내는 지표로, 데이터 센터 운영 비용의 핵심 변수가 된 전기 소비 문제에서 ARM 아키텍처가 x86 대비 구조적으로 유리한 위치에 있습니다. ARM은 2025년 전체 매출이 약 47억 달러 수준이었는데, 데이터 센터 사업만으로 5년 내 150억 달러를 목표로 제시했습니다. 현재 전체 매출의 세 배가 넘는 수치를 신사업 하나에서 달성하겠다는 의지로, 저 개인적으로는 상당히 공격적인 목표라고 봅니다.
세 번째는 AMD입니다. AMD는 x86 진영에서 인텔의 사실상 유일한 경쟁자이면서, CPU와 GPU를 모두 설계하는 독특한 포지션을 갖고 있습니다. 두 칩을 하나의 패키지에 통합하는 이종집적(heterogeneous integration) 기술에서 경쟁우위를 보이고 있으며, CPU 측면에서는 인텔 대비 발열과 코어 효율에서, ARM 대비로는 소프트웨어 호환성에서 각각 우위를 주장할 수 있는 하이브리드형 플레이어입니다.
세 회사가 모두 강점이 있고, 시장 자체가 커지는 구조라는 점이 핵심입니다. 제 경험상 이런 국면에서는 승자 하나에 집중하는 것보다 파이 자체가 커지는 흐름에 편승하는 전략이 실제로 더 유효했습니다. GPU 사이클 때 엔비디아가 독주하는 동안 메모리 3사도 동반 상승했던 패턴을 기억한다면, 이번 CPU 사이클에서도 비슷한 전개를 기대해 볼 수 있습니다. 다만 빅테크들이 자체 ASIC(주문형 반도체) 설계 비중을 높이고 있는 만큼, 전통 CPU 제조사들의 마진이 중장기적으로 압박받을 가능성은 냉정하게 시야에 넣어둘 필요가 있다고 봅니다.
자주 묻는 질문
Q. AI 에이전트 시대가 오면 GPU는 이제 필요 없어지는 건가요?
A. 그렇지 않습니다. CPU의 역할이 커진다는 것은 GPU를 대체한다는 의미가 아니라 보완한다는 의미입니다. 병렬 연산의 중심은 여전히 GPU와 NPU에 있으며, CPU 병목이 해소되면 오히려 GPU를 더 효율적으로 활용할 수 있게 됩니다. 두 반도체의 수요는 함께 성장할 가능성이 높습니다.
Q. 인텔, ARM, AMD 중 어느 회사가 가장 유리한가요?
A. 상황에 따라 다릅니다. 기존 서버를 AI로 업그레이드하는 수요에서는 x86 호환성을 가진 인텔과 AMD가, 새로 짓는 대규모 AI 데이터 센터에서는 전성비가 높은 ARM이 상대적으로 유리합니다. 세 회사 모두 시장 확대 국면의 수혜를 받을 수 있는 구조여서, 어느 하나만 고르기보다 섹터 전반에 분산 접근하는 전략이 현실적입니다.
Q. ARM은 원래 설계 라이선스 회사 아닌가요? 왜 갑자기 칩을 직접 만드나요?
A. 맞습니다. ARM은 창사 35년간 IP 라이선스와 로열티 수익 모델로 운영해 왔습니다. 그런데 2025년 3월 자체 칩 ARM AGI CPU 양산을 선언하면서 매출 구조 다각화에 나섰습니다. 현재 전체 매출 47억 달러 대비 데이터 센터 신사업에서만 5년 내 150억 달러를 목표로 제시한 만큼, 단순한 전략 조정이 아닌 사업 모델의 근본적 전환으로 봐야 합니다.
Q. CPU 반도체 투자 시 주의해야 할 리스크는 무엇인가요?
A. 가장 눈여겨봐야 할 리스크는 빅테크들의 자체 ASIC 채택 확대입니다. 구글의 TPU, 아마존의 트레이니엄처럼 대형 클라우드 기업들이 범용 CPU 대신 자체 설계 반도체 비중을 높일 경우, 전통 CPU 제조사들의 시장 점유율과 마진이 중장기적으로 압박받을 수 있습니다. 시장 성장 전망이 밝더라도 이 변수는 지속적으로 모니터링할 필요가 있습니다.
결론
AI가 단순히 답변을 생성하던 시대에서 실제로 일을 수행하는 에이전트 시대로 넘어오면서, 반도체 투자의 지형도가 바뀌고 있습니다. GPU 병목이 먼저 부각됐고, 그다음이 HBM 메모리였다면, 지금은 CPU가 그 바통을 이어받을 시점으로 보입니다. 제가 직접 AI 에이전트 작업 환경에서 CPU 병목을 체감했을 때, 이것이 단순한 기술적 불편함이 아니라 구조적인 투자 시그널이라는 걸 직감했습니다.
물론 모든 전망치는 전망치일 뿐입니다. 빅테크 자체 칩 채택 확대, x86 진영과 ARM 진영 간의 경쟁 격화, 공급망 변수 등 복병은 분명히 존재합니다. 그럼에도 불구하고 서버 CPU 시장이 현재의 다섯 배 수준으로 성장하는 방향성 자체는 AI 에이전트 수요와 데이터 센터 투자 흐름이 뒷받침하고 있습니다. GPU와 메모리에만 집중해 온 포트폴리오라면, 지금이 CPU 섹터를 새로운 시각으로 들여다볼 시점입니다.