AI 서버 이야기를 보다 보면 대부분 GPU와 HBM에 시선이 갑니다.
실제로도 그렇습니다. 생성형 AI 모델이 커질수록 GPU 연산 성능과 HBM 대역폭이 중요해졌고, 관련 뉴스에서도 이 두 부품이 가장 많이 언급됩니다.
그런데 AI 서버를 조금 더 들여다보면 생각보다 평범한 부품 하나가 계속 중요한 역할을 하고 있습니다.
바로 DDR 메모리입니다.
DDR(Double Data Rate, 더블 데이터 전송률 메모리)은 우리가 일반 PC와 서버에서 오랫동안 사용해온 시스템 메모리입니다.
처음에는 저도 AI 서버라면 HBM이 핵심이고 DDR은 그다지 중요하지 않을 거라고 생각했습니다.
하지만 실제 구조를 보면 그렇지 않습니다.
GPU는 계산을 담당하지만 서버 전체를 움직이는 것은 CPU와 시스템 메모리입니다. 데이터를 읽고, 정리하고, GPU에 넘기고, 네트워크 요청을 처리하는 과정에서 DDR이 계속 사용됩니다.
쉽게 말하면 HBM이 GPU 바로 옆의 초고속 작업대라면 DDR은 서버 전체가 사용하는 큰 작업공간에 가깝습니다.
1. AI 서버는 GPU 한 장으로 움직이지 않는다
AI 서버를 설명할 때 GPU가 가장 먼저 등장하다 보니 서버 전체가 GPU 중심으로만 움직이는 것처럼 보이기 쉽습니다.
하지만 실제로는 CPU도 계속 일을 합니다.
운영체제를 실행하고, 파일을 불러오고, 네트워크 요청을 처리하고, 여러 GPU에 작업을 나누고, 데이터를 준비하는 역할을 맡습니다.
그리고 CPU가 이런 일을 할 때 사용하는 메모리가 DDR입니다.
GPU가 아무리 빠르더라도 CPU 쪽에서 데이터를 준비하지 못하면 결국 GPU가 기다리게 됩니다.
AI 서버는 가장 비싼 부품 하나가 빠르다고 끝나는 시스템이 아니라는 뜻입니다.
2. HBM과 DDR은 경쟁 관계가 아니다
HBM(High Bandwidth Memory, 고대역폭 메모리)과 DDR을 비교하면 HBM이 훨씬 빠릅니다.
그래서 처음 보면 DDR이 필요 없어질 것처럼 보일 수 있습니다.
하지만 두 메모리는 애초에 역할이 다릅니다.
HBM은 GPU 가까이 붙어 있으면서 엄청난 양의 데이터를 짧은 시간 안에 공급합니다.
반면 DDR은 CPU가 사용하는 기본 메모리로, 훨씬 큰 데이터 공간을 비교적 경제적으로 구성할 수 있습니다.
HBM은 빠른 대신 비싸고 용량을 늘리는 데 한계가 있습니다.
DDR은 HBM보다 느리지만 상대적으로 큰 용량을 확보하기 쉽습니다.
결국 하나가 다른 하나를 대체한다기보다 서로 다른 위치에서 역할을 나누는 구조입니다.
3. 데이터를 GPU에 넣기 전에도 할 일이 많다
AI 모델은 데이터를 받자마자 바로 GPU에서 계산하는 것이 아닙니다.
이미지를 학습한다고 해보겠습니다.
사진 파일을 저장장치에서 읽어오고, 크기를 맞추고, 형식을 변환하고, 여러 이미지를 묶어 GPU가 처리하기 좋은 형태로 만들어야 합니다.
텍스트라면 문장을 Token(토큰) 단위로 나누고 모델이 사용할 수 있도록 숫자 형태로 변환해야 합니다.
이 과정을 Data Preprocessing(데이터 전처리)이라고 합니다.
이런 작업은 CPU와 DDR 메모리에서 상당 부분 처리됩니다.
DDR이 부족하거나 속도가 따라오지 못하면 GPU에 데이터를 공급하는 과정이 늦어질 수 있습니다.
4. 비싼 GPU가 기다리는 상황이 가장 아깝다
AI 서버에서 가장 아까운 상황은 GPU가 계산을 하지 않고 기다리는 것입니다.
GPU는 가격도 비싸고 전력도 많이 사용합니다.
그런데 CPU나 DDR, 저장장치가 데이터를 제때 넘기지 못하면 GPU는 일을 할 수 없습니다.
고속 생산라인을 설치해놓고 앞 공정에서 부품이 도착하지 않아 기계가 멈춰 있는 상황과 비슷합니다.
그래서 AI 서버에서는 GPU 성능뿐 아니라 전체 데이터 흐름을 같이 봐야 합니다.
이 부분이 일반 사용자 입장에서는 잘 보이지 않지만 실제 서버 성능에는 상당히 중요합니다.
5. 대규모 학습에서는 DDR 용량도 커진다
AI Training(학습)은 방대한 데이터를 반복해서 읽는 작업입니다.
학습 데이터가 수백 GB나 수 TB 이상으로 커지면 모든 데이터를 HBM 안에 넣어둘 수 없습니다.
결국 저장장치에서 데이터를 읽고 DDR에 올린 뒤 필요한 데이터를 GPU로 넘기는 과정을 반복하게 됩니다.
DDR 용량이 충분하면 더 많은 데이터를 미리 준비해둘 수 있습니다.
반대로 시스템 메모리가 부족하면 저장장치를 더 자주 읽어야 하고 데이터 준비 과정에서 지연이 생길 수 있습니다.
AI 학습에서 DDR이 단순한 보조 메모리가 아닌 이유입니다.
6. 추론 서버도 DDR을 많이 사용한다
Inference(추론)는 학습이 끝난 AI가 실제 사용자 요청에 답하는 과정입니다.
챗봇이나 검색형 AI 서비스가 대표적입니다.
사용자가 많아지면 동시에 수많은 요청이 들어옵니다.
서버는 각 요청을 분류하고 입력 데이터를 처리하고 세션을 관리해야 합니다.
이런 부분은 GPU에서만 처리되는 것이 아닙니다.
CPU와 DDR이 상당한 역할을 합니다.
특히 여러 사용자가 동시에 접속하는 서비스에서는 시스템 메모리 사용량이 생각보다 커질 수 있습니다.
7. GPU 메모리가 부족할 때 DDR이 보조 공간이 되기도 한다
대형 AI 모델은 너무 커서 하나의 GPU HBM에 모두 올라가지 않는 경우가 있습니다.
이럴 때 여러 GPU에 모델을 나누거나 일부 데이터를 CPU 메모리로 옮겨둘 수 있습니다.
이를 Offloading(오프로딩)이라고 부르기도 합니다.
물론 DDR은 HBM보다 훨씬 느립니다.
따라서 중요한 데이터를 계속 DDR과 GPU 사이에서 옮기면 성능이 떨어질 수 있습니다.
그래도 HBM 용량이 부족해 아예 실행할 수 없는 모델을 돌릴 수 있다는 점에서는 의미가 있습니다.
8. DDR이 크면 무조건 좋은 것은 아니다
DDR 용량이 많으면 좋을 것 같지만 무조건 많이 넣는 것이 답은 아닙니다.
서버 메모리는 비용이 들어갑니다.
사용하지 않는 메모리를 과도하게 설치하면 투자비만 늘어날 수 있습니다.
반대로 너무 적게 구성하면 저장장치를 자주 사용하게 되고 성능이 떨어집니다.
결국 중요한 것은 실제 AI 작업이 얼마나 많은 데이터를 동시에 사용하느냐입니다.
AI 서버에서는 GPU 사양만 볼 것이 아니라 CPU와 DDR 용량까지 워크로드에 맞춰 구성해야 합니다.
9. DDR은 용량보다 대역폭이 중요할 때도 있다
DDR을 이야기할 때 흔히 몇 GB인지, 몇 TB인지 용량부터 봅니다.
하지만 AI 서버에서는 Memory Bandwidth(메모리 대역폭)도 중요합니다.
CPU가 많은 데이터를 빠르게 전처리해야 한다면 메모리에서 데이터를 가져오는 속도가 병목이 될 수 있습니다.
예를 들어 DDR 용량은 충분한데 메모리 대역폭이 부족하다면 CPU가 데이터를 기다릴 수 있습니다.
그래서 서버 CPU는 일반 데스크톱보다 훨씬 많은 메모리 채널을 지원하는 경우가 많습니다.
10. 메모리 채널을 제대로 채우는 것도 중요하다
서버 CPU에는 여러 개의 Memory Channel(메모리 채널)이 있습니다.
채널이 많으면 여러 메모리 모듈에서 동시에 데이터를 읽을 수 있습니다.
그런데 슬롯을 아무렇게나 채우면 CPU가 지원하는 전체 대역폭을 제대로 활용하지 못할 수 있습니다.
같은 512GB 메모리라도 어떤 방식으로 모듈을 구성했느냐에 따라 실제 성능 차이가 생길 수 있습니다.
AI 서버처럼 데이터 이동량이 많은 시스템에서는 이런 기본적인 메모리 구성도 무시하기 어렵습니다.
11. 서버용 메모리에 ECC가 붙는 이유
AI 서버는 몇 시간만 계산하고 끝나는 장비가 아닙니다.
며칠이나 몇 주 동안 계속 학습 작업을 수행할 수도 있습니다.
이럴 때 작은 메모리 오류 하나가 전체 작업을 망칠 수 있습니다.
그래서 서버용 DDR에는 ECC(Error-Correcting Code, 오류 정정 코드)를 사용하는 경우가 많습니다.
ECC는 메모리에 작은 오류가 발생했을 때 이를 감지하고 일부 오류를 수정하는 기능입니다.
일반 PC에서는 크게 느끼지 못할 수 있지만 장시간 대규모 연산을 수행하는 서버에서는 안정성이 중요합니다.
12. HBM이 비싸다고 DDR로 대신할 수는 없다
여기서 한 가지는 분명하게 구분할 필요가 있습니다.
HBM 가격이 비싸다고 DDR을 더 많이 넣어서 HBM을 대신할 수 있는 것은 아닙니다.
두 메모리의 대역폭 차이가 크기 때문입니다.
GPU가 AI 계산을 수행할 때 필요한 핵심 데이터는 여전히 HBM에서 빠르게 공급받아야 합니다.
DDR은 더 넓은 보조 공간과 시스템 메모리 역할을 합니다.
즉 HBM이 부족한 문제와 DDR이 부족한 문제는 서로 다른 문제입니다.
13. CXL이 등장하는 이유도 결국 메모리 때문이다
25번에서 살펴본 CXL(Compute Express Link)도 이 문제와 연결됩니다.
AI 서버에 필요한 메모리 용량이 계속 늘어나면 CPU에 직접 연결할 수 있는 DDR만으로 부족해질 수 있습니다.
CXL은 서버에 추가 메모리를 연결하거나 여러 시스템에서 메모리를 더 유연하게 활용하기 위한 기술입니다.
결국 기본 DDR이 있고, 부족한 공간을 CXL 메모리가 보완하는 구조를 생각할 수 있습니다.
CXL이 DDR을 없애는 것이 아니라 DDR 중심의 메모리 구조를 확장하는 역할에 가깝습니다.
14. AI 서버는 메모리가 여러 층으로 나뉜다
AI 서버를 이해하기 쉽게 보면 메모리가 여러 층으로 구성되어 있습니다.
가장 빠른 위치에는 GPU 옆의 HBM이 있습니다.
그다음 CPU가 사용하는 DDR이 있습니다.
더 아래에는 SSD 같은 저장장치가 있습니다.
앞으로는 DDR과 SSD 사이에 CXL 메모리가 더 많이 들어갈 수도 있습니다.
이 구조를 Memory Hierarchy(메모리 계층 구조)라고 볼 수 있습니다.
빠른 메모리는 비싸고 용량이 작습니다.
느린 메모리는 상대적으로 저렴하고 큰 용량을 제공합니다.
그래서 데이터의 중요도와 사용 빈도에 따라 어느 위치에 둘지 결정하게 됩니다.
15. SSD와 DDR의 차이도 분명하다
AI 서버에는 대용량 SSD도 필요합니다.
그렇다면 데이터를 모두 SSD에서 읽으면 되지 않을까 생각할 수 있습니다.
문제는 속도입니다.
SSD는 장기간 데이터를 저장하기에는 좋지만 CPU가 작업하면서 계속 접근하기에는 DDR보다 훨씬 느립니다.
그래서 자주 사용하는 데이터는 DDR에 올려두고 장기간 보관할 데이터는 SSD에 저장합니다.
AI 서버에서는 이 이동이 계속 반복됩니다.
저장장치에서 DDR로, DDR에서 GPU로 데이터가 이동합니다.
결국 어느 한 부분이 느리면 전체 속도에 영향을 줄 수 있습니다.
16. HBM은 빠른 작업대, DDR은 큰 작업실에 가깝다
개인적으로 HBM과 DDR의 차이는 이렇게 이해하는 것이 가장 쉽습니다.
HBM은 작업자가 바로 손을 뻗어 사용하는 작은 초고속 작업대입니다.
DDR은 그 뒤에 있는 큰 작업실입니다.
작업대에는 당장 필요한 물건만 올려놓고, 작업실에는 더 많은 부품과 자료를 보관합니다.
작업실에서 필요한 물건을 제때 가져오지 못하면 아무리 좋은 작업대를 가지고 있어도 일이 멈춥니다.
AI 서버도 비슷합니다.
GPU와 HBM만 빠르다고 전체 시스템이 자동으로 빨라지는 것은 아닙니다.
17. AI 서버가 늘면 일반 서버 DRAM도 같이 중요해진다
AI 데이터센터 투자가 늘면 HBM 수요가 증가한다는 이야기는 많이 나옵니다.
하지만 AI 서버 한 대에는 HBM만 들어가는 것이 아닙니다.
CPU가 필요하고 CPU용 DDR도 들어갑니다.
고성능 AI 서버는 일반 서버보다 시스템 메모리 용량도 크게 구성하는 경우가 있습니다.
결국 AI 데이터센터가 확대되면 HBM뿐 아니라 서버용 DRAM 수요에도 영향을 줄 수 있습니다.
AI 메모리 시장을 볼 때 HBM 하나만 보면 전체 그림을 놓칠 수 있는 이유입니다.
18. 앞으로 DDR은 없어지는 메모리가 아니다
HBM이 계속 발전하고 CXL 메모리가 등장한다고 해서 DDR이 사라지는 것은 아닙니다.
CPU 중심의 시스템 메모리 역할은 여전히 필요합니다.
오히려 AI 서버가 복잡해질수록 각 메모리가 맡는 역할이 더 세분화될 가능성이 있습니다.
GPU 가까이에서는 HBM이 속도를 담당합니다.
CPU 주변에서는 DDR이 기본 시스템 메모리 역할을 합니다.
CXL은 부족한 메모리를 확장하고 SSD는 대용량 데이터를 저장합니다.
각각의 역할이 다릅니다.
19. AI 서버에서 중요한 것은 가장 빠른 부품이 아니다
AI 서버를 보면 사람의 시선은 가장 비싸고 빠른 GPU에 먼저 갑니다.
그런데 실제 시스템 성능은 가장 빠른 부품 하나보다 가장 느린 구간에 영향을 받는 경우가 많습니다.
GPU는 충분히 빠른데 저장장치가 느릴 수 있습니다.
DDR 대역폭이 부족할 수도 있습니다.
네트워크가 병목이 될 수도 있습니다.
결국 AI 서버 성능은 GPU, 메모리, 저장장치, 네트워크가 얼마나 균형 있게 연결되어 있는지가 중요합니다.
20. DDR을 정리해보면
DDR(Double Data Rate, 더블 데이터 전송률 메모리)은 AI 서버에서 CPU가 사용하는 기본 시스템 메모리입니다.
HBM처럼 AI 반도체 뉴스의 중심에 서는 부품은 아니지만 실제 서버에서는 빠질 수 없는 메모리입니다.
운영체제를 실행하고 데이터를 전처리하고 사용자 요청을 관리하고 GPU에 필요한 데이터를 준비하는 과정에서 계속 사용됩니다.
특히 AI 모델과 데이터가 커질수록 DDR의 용량과 대역폭도 함께 중요해질 수 있습니다.
제가 보기에는 AI 서버를 이해할 때 가장 중요한 점은 “어떤 메모리가 가장 빠른가”를 따지는 것이 아닙니다.
어떤 데이터가 어디에 있어야 가장 효율적인지를 보는 것이 더 중요합니다.
GPU가 바로 사용할 데이터는 HBM에 있어야 하고, CPU가 처리하는 데이터는 DDR에 있어야 합니다. 오래 저장해야 하는 데이터는 SSD가 맡고, 앞으로 부족한 메모리를 확장하는 역할은 CXL이 일부 담당할 수 있습니다.
결국 AI 서버는 하나의 메모리로 움직이는 장비가 아닙니다.
여러 종류의 메모리와 저장장치가 각자의 역할을 나누면서 하나의 데이터 흐름을 만듭니다.
그래서 HBM이 AI 시대의 주인공처럼 보이더라도 DDR은 그 뒤에서 서버 전체를 받쳐주는 기본 메모리라고 보는 것이 더 정확합니다.