AI 반도체 관련 뉴스를 보다 보면 GPU, HBM과 함께 CoWoS라는 단어가 자주 등장합니다.
처음 보면 반도체 공정 이름인지, 메모리 기술인지 헷갈리기 쉽습니다.
CoWoS는 Chip-on-Wafer-on-Substrate의 약자로, 여러 개의 반도체 칩을 하나의 패키지 안에서 아주 가깝게 연결하기 위해 사용하는 첨단 패키징 방식입니다.
쉽게 말하면 GPU와 HBM을 따로 떨어뜨려 놓는 것이 아니라 하나의 패키지 안에서 매우 짧은 거리로 연결해주는 기술입니다.
AI 반도체가 커질수록 연산 능력만큼 중요한 것이 데이터 이동 속도입니다.
GPU가 아무리 빠르게 계산할 수 있어도 HBM에서 필요한 데이터를 제때 가져오지 못하면 성능을 제대로 활용하기 어렵습니다.
그래서 최근 AI 반도체에서는 칩 자체뿐 아니라 칩을 어떻게 연결하느냐가 중요해졌고, 그 과정에서 CoWoS가 계속 등장하고 있습니다.
1. CoWoS를 쉽게 이해하면
CoWoS를 처음 접하면 이름부터 복잡합니다.
Chip-on-Wafer-on-Substrate를 그대로 보면 칩을 웨이퍼 위에 올리고, 다시 그 구조를 기판 위에 올린다는 의미입니다.
여기서 중요한 것은 단순히 여러 부품을 쌓는다는 점이 아닙니다.
GPU와 HBM처럼 서로 많은 데이터를 주고받는 반도체를 매우 가까운 거리에서 연결한다는 점이 핵심입니다.
기존 방식에서는 각각의 칩이 패키지 기판을 통해 연결되는 경우가 많았습니다.
하지만 AI 반도체는 처리해야 할 데이터가 워낙 많기 때문에 더 촘촘하고 빠른 연결이 필요합니다.
CoWoS는 이런 요구를 해결하기 위한 기술 가운데 하나입니다.
2. AI 반도체에서 패키징이 중요해진 이유
예전에는 반도체 성능을 이야기할 때 몇 나노 공정인지가 가장 먼저 나왔습니다.
공정이 미세해질수록 더 많은 트랜지스터를 넣을 수 있고 성능과 전력 효율을 높일 수 있었기 때문입니다.
하지만 AI 반도체는 하나의 칩만 잘 만들어서는 원하는 성능을 내기 어려워졌습니다.
GPU 옆에 여러 개의 HBM을 배치해야 하고 경우에 따라 여러 연산칩을 하나의 패키지 안에 넣어야 합니다.
이렇게 여러 칩을 묶어서 하나의 시스템처럼 동작하게 만드는 기술이 Advanced Packaging(첨단 패키징)입니다.
CoWoS는 그 대표적인 방식 가운데 하나입니다.
3. GPU와 HBM을 가까이 붙이는 이유
AI 모델은 엄청난 양의 데이터를 처리합니다.
GPU는 계산을 담당하고 HBM은 계산에 필요한 데이터를 공급합니다.
문제는 GPU가 빠르게 계산하더라도 메모리에서 데이터를 늦게 가져오면 기다려야 한다는 점입니다.
이런 현상을 Memory Bottleneck(메모리 병목)이라고 합니다.
그래서 GPU와 HBM 사이의 거리를 최대한 줄이고 더 많은 신호선을 연결하려고 합니다.
CoWoS는 GPU와 HBM을 같은 패키지 안에서 가까이 배치해 데이터가 빠르게 이동할 수 있도록 도와줍니다.
4. 인터포저와 CoWoS의 관계
23번에서 살펴본 Interposer(인터포저)는 CoWoS를 이해할 때 중요한 부분입니다.
인터포저는 GPU와 HBM 사이를 연결하는 중간 연결층이라고 볼 수 있습니다.
특히 Silicon Interposer(실리콘 인터포저)를 사용하면 아주 미세한 배선을 만들 수 있습니다.
GPU와 HBM 사이에는 수많은 신호가 오가기 때문에 일반 기판보다 훨씬 높은 배선 밀도가 필요합니다.
CoWoS 구조에서는 이런 인터포저를 이용해 GPU와 HBM을 연결합니다.
즉 인터포저가 실제 연결 통로라면 CoWoS는 이런 칩과 인터포저, 기판을 하나의 패키지로 구성하는 전체 방식에 가깝습니다.
5. 2.5D Packaging이라는 표현이 나오는 이유
CoWoS는 흔히 2.5D Packaging(2.5차원 패키징)으로 설명됩니다.
이 표현도 처음 보면 조금 이상합니다.
GPU와 HBM이 완전히 위아래로 쌓이는 구조라면 3D 패키징이라고 이해하기 쉽습니다.
하지만 CoWoS에서는 GPU와 HBM이 인터포저 위에 나란히 배치됩니다.
기존의 평면형 패키징보다 훨씬 촘촘하게 연결되지만 칩을 완전히 위아래로 쌓는 것은 아닙니다.
그래서 2D와 3D 사이에 있다는 의미로 2.5D라는 표현을 사용합니다.
6. HBM이 늘어날수록 CoWoS가 중요해진다
AI 모델이 커지면서 GPU에 필요한 메모리 용량도 계속 증가하고 있습니다.
그래서 하나의 GPU 패키지 주변에 여러 개의 HBM 스택을 배치합니다.
HBM 개수가 늘어나면 연결해야 할 신호선도 많아집니다.
패키지 자체도 커집니다.
이 과정에서 인터포저 면적과 패키징 난이도도 함께 올라갑니다.
결국 HBM 수요가 증가한다고 해서 메모리만 많이 만들면 되는 것이 아닙니다.
GPU와 HBM을 하나로 연결할 수 있는 CoWoS 같은 패키징 능력도 같이 늘어나야 합니다.
7. CoWoS가 AI GPU 공급과 연결되는 이유
AI GPU 공급 부족 이야기를 보면 처음에는 GPU 칩 생산만 부족한 것처럼 느껴집니다.
실제로는 여러 공정이 연결되어 있습니다.
GPU 칩이 있어야 하고 HBM도 확보해야 합니다.
그리고 두 부품을 하나의 패키지로 묶을 수 있는 첨단 패키징 공정도 필요합니다.
CoWoS 생산능력이 부족하면 GPU와 HBM을 모두 가지고 있어도 최종 AI 가속기를 충분히 만들지 못할 수 있습니다.
이 때문에 AI 반도체 공급망에서 첨단 패키징 능력이 중요한 병목 가운데 하나로 자주 언급됩니다.
8. 단순한 후공정이라고 보기 어려운 이유
예전에는 반도체 패키징을 칩을 보호하고 외부와 연결하는 마지막 단계 정도로 생각하는 경우가 많았습니다.
하지만 AI 반도체에서는 상황이 달라졌습니다.
패키징 방식에 따라 GPU와 HBM 사이의 데이터 이동속도와 전력 효율이 달라질 수 있습니다.
즉 패키징이 실제 반도체 성능에 직접 영향을 줄 수 있습니다.
그래서 이제 패키징은 단순히 반도체 생산의 마지막 단계가 아니라 성능을 결정하는 핵심 기술로 바뀌고 있습니다.
9. CoWoS가 전력 효율에도 영향을 주는 이유
AI 데이터센터에서는 전력 사용량이 매우 중요합니다.
GPU와 메모리 사이에서 데이터가 이동할 때도 전력이 필요합니다.
두 부품 사이 거리가 길어질수록 신호를 전달하는 데 더 많은 전력이 사용될 수 있습니다.
CoWoS는 GPU와 HBM을 가까운 거리에서 연결합니다.
데이터 이동거리를 줄이고 넓은 인터페이스를 사용할 수 있기 때문에 전력 효율에도 도움이 될 수 있습니다.
AI 반도체에서는 계산 속도만 높이는 것이 아니라 데이터가 이동하는 데 드는 전력까지 줄이는 것이 중요합니다.
10. 패키지가 커지면서 생기는 문제
CoWoS도 장점만 있는 것은 아닙니다.
GPU와 여러 개의 HBM을 하나의 패키지에 넣다 보면 전체 크기가 커집니다.
인터포저도 커지고 패키지 기판도 복잡해집니다.
크기가 커질수록 제조 과정에서 불량 가능성이 높아질 수 있습니다.
또 열이 발생하는 영역도 넓어집니다.
결국 더 큰 AI 반도체를 만들수록 생산과 냉각의 난이도도 같이 올라갑니다.
11. 수율이 중요한 이유
반도체에서는 Yield(수율)가 매우 중요합니다.
수율은 생산한 제품 가운데 정상적으로 사용할 수 있는 비율을 의미합니다.
예를 들어 GPU도 정상이고 HBM도 정상인데 패키징 과정에서 문제가 생기면 최종 제품을 사용할 수 없을 수 있습니다.
패키지 안에 들어가는 부품이 많아질수록 이런 위험도 커질 수 있습니다.
그래서 첨단 패키징에서는 단순히 생산량만 늘리는 것이 아니라 안정적인 수율을 유지하는 것도 중요합니다.
12. 열 관리도 함께 어려워진다
고성능 AI GPU는 많은 전력을 사용하고 그만큼 많은 열을 발생시킵니다.
여기에 여러 개의 HBM이 같은 패키지 안에 들어갑니다.
반도체가 촘촘하게 배치될수록 열을 밖으로 빼내는 것이 어려워질 수 있습니다.
그래서 AI 반도체 설계에서는 패키징과 냉각을 따로 생각하기 어렵습니다.
칩을 어떻게 배치할 것인지에 따라 Heat Dissipation(열 방출) 구조도 달라져야 합니다.
AI 데이터센터에서 액체냉각 기술이 함께 주목받는 이유와도 연결됩니다.
13. CoWoS라는 이름 하나에도 여러 방식이 있다
CoWoS라고 해서 항상 완전히 같은 구조를 의미하는 것은 아닙니다.
반도체 크기와 연결 방식, 인터포저 구조에 따라 여러 형태로 발전할 수 있습니다.
AI 칩이 커지고 HBM 수가 늘어나면서 기존 구조를 더 크게 확장하거나 새로운 재료와 연결 방식을 사용하는 기술도 필요해집니다.
즉 CoWoS는 하나의 고정된 기술이라기보다 고성능 반도체를 연결하기 위한 첨단 패키징 기술군으로 이해하는 편이 쉽습니다.
14. 왜 실리콘 인터포저를 사용하는가
CoWoS에서 Silicon Interposer(실리콘 인터포저)를 사용하는 중요한 이유는 배선을 아주 미세하게 만들 수 있기 때문입니다.
GPU와 HBM 사이에는 많은 신호선이 필요합니다.
일반 기판에서는 배선을 원하는 수준까지 촘촘하게 만들기 어려울 수 있습니다.
실리콘은 반도체 제조 공정과 비슷한 방식으로 정밀한 배선을 만들 수 있습니다.
덕분에 짧은 거리 안에서 많은 데이터를 동시에 주고받을 수 있습니다.
이것이 HBM의 높은 메모리 대역폭을 활용하는 데 도움이 됩니다.
15. CoWoS와 패키지 기판은 역할이 다르다
CoWoS 구조에는 인터포저뿐 아니라 Substrate(패키지 기판)도 들어갑니다.
두 부품은 역할이 다릅니다.
인터포저는 GPU와 HBM처럼 칩끼리 아주 촘촘하게 연결하는 역할을 합니다.
패키지 기판은 이런 반도체 패키지를 서버 보드 같은 외부 시스템과 연결합니다.
쉽게 보면 인터포저는 칩 사이의 짧고 넓은 고속도로에 가깝고, 패키지 기판은 그 고속도로를 외부 도로망과 연결하는 역할이라고 볼 수 있습니다.
16. Chiplet 구조에서도 패키징이 중요하다
최근 반도체에서는 Chiplet(칩렛) 구조도 중요해지고 있습니다.
칩렛은 하나의 거대한 반도체를 만드는 대신 여러 개의 작은 칩으로 나눈 뒤 다시 연결하는 방식입니다.
이 방식은 각 기능에 맞는 공정을 사용할 수 있고 제조 수율을 개선하는 데도 도움이 될 수 있습니다.
하지만 칩을 여러 개로 나누면 칩끼리 빠르게 연결해야 하는 문제가 생깁니다.
그래서 칩렛 시대에는 패키징 기술의 중요성이 더 커집니다.
CoWoS 역시 이런 흐름과 연결해서 볼 수 있습니다.
17. 미세공정만으로 성능을 높이기 어려워지는 이유
반도체 성능을 높이는 전통적인 방법은 공정을 계속 미세하게 만드는 것이었습니다.
하지만 공정이 작아질수록 기술 난이도와 비용이 크게 올라갑니다.
그래서 최근에는 칩 자체의 미세공정과 함께 여러 칩을 효율적으로 연결하는 방식으로 성능을 높이려는 움직임이 커지고 있습니다.
이른바 More than Moore(무어의 법칙을 넘어선 확장)라는 흐름과도 연결됩니다.
즉 앞으로는 칩 하나를 얼마나 작게 만드는지만큼 여러 칩을 어떻게 묶는지도 중요합니다.
18. AI 반도체 가격에 패키징 비용도 들어간다
고성능 AI GPU의 가격이 비싼 이유를 GPU 다이 하나만으로 설명하기는 어렵습니다.
고성능 HBM이 여러 개 들어갑니다.
대형 실리콘 인터포저도 필요합니다.
첨단 패키징과 테스트 과정도 복잡합니다.
즉 최종 AI 가속기 가격에는 메모리와 패키징 비용도 상당 부분 포함될 수 있습니다.
AI 반도체가 고성능화될수록 후공정 비용의 중요성도 커질 수 있습니다.
19. CoWoS 생산능력이 중요한 이유
AI 시장이 빠르게 성장하면 GPU 주문도 함께 늘어납니다.
그런데 GPU 칩 생산량만 늘린다고 최종 제품을 바로 많이 만들 수 있는 것은 아닙니다.
HBM 공급도 늘어야 하고 CoWoS 같은 첨단 패키징 생산능력도 같이 늘어야 합니다.
반도체 공급망에서는 가장 부족한 공정 하나가 전체 생산량을 결정할 수 있습니다.
그래서 AI 반도체 시장을 볼 때는 GPU 생산뿐 아니라 HBM과 패키징 증설도 함께 보는 것이 필요합니다.
20. AI 반도체에서 연결 기술이 중요한 이유
AI 반도체의 성능은 이제 단순히 연산장치가 얼마나 빠른지만으로 결정되지 않습니다.
GPU와 HBM 사이에서 데이터가 얼마나 빠르게 움직이는지, 여러 칩이 얼마나 효율적으로 연결되는지도 중요합니다.
AI 모델이 커질수록 데이터 이동량도 크게 늘어납니다.
그래서 연산 성능을 높이는 것만큼 연결 속도를 높이는 것이 중요해졌습니다.
CoWoS가 계속 등장하는 이유도 여기에 있습니다.
21. 앞으로 CoWoS가 더 중요해질 가능성
AI 모델이 계속 커진다면 GPU 주변에 더 많은 HBM이 필요할 수 있습니다.
여러 개의 AI 칩을 하나의 패키지 안에서 연결하려는 시도도 늘어날 수 있습니다.
그럴수록 패키지는 더 커지고 연결해야 할 데이터 통로도 많아집니다.
기존 패키징 기술만으로는 감당하기 어려운 영역이 생길 수 있습니다.
따라서 첨단 패키징 기술은 앞으로도 계속 발전할 가능성이 높습니다.
22. CoWoS를 정리해보면
CoWoS(Chip-on-Wafer-on-Substrate)는 GPU와 HBM 같은 여러 반도체를 하나의 패키지 안에서 매우 빠르게 연결하기 위한 첨단 패키징 기술입니다.
핵심은 단순히 칩을 한곳에 모아놓는 것이 아닙니다.
GPU와 HBM 사이의 데이터 이동거리를 줄이고 넓은 통로를 만들어 AI 반도체가 가진 연산 성능을 제대로 활용하도록 만드는 데 있습니다.
23번에서 살펴본 Interposer(인터포저)가 GPU와 HBM 사이의 직접적인 연결층이라면 CoWoS는 이런 인터포저와 칩, 기판을 하나의 고성능 패키지로 구성하는 더 큰 개념으로 이해하면 쉽습니다.
제가 보기에는 AI 반도체 시장을 이해할 때 이제 GPU와 HBM만 보는 것은 부족합니다.
GPU가 있고 HBM이 있어도 두 부품을 제대로 연결할 패키징 기술이 부족하면 최종 AI 가속기 생산이 제한될 수 있기 때문입니다.
과거에는 반도체 패키징을 마지막 조립 과정 정도로 생각하기 쉬웠지만 AI 시대에는 패키징 자체가 성능과 공급량을 결정하는 핵심 기술로 올라오고 있습니다.
결국 CoWoS가 계속 등장하는 이유는 AI 반도체가 하나의 칩으로 끝나는 제품이 아니라 여러 고성능 칩을 하나의 시스템처럼 묶어야 하는 제품으로 바뀌고 있기 때문입니다.