AI 모델 설명을 보면 32K, 128K, 200K, 1M Context 같은 숫자를 자주 볼 수 있습니다.
여기서 Context Window(컨텍스트 윈도우·AI가 한 번에 읽고 참고할 수 있는 정보의 범위)는 AI 모델의 중요한 성능 지표입니다.
Context Window가 커질수록 더 긴 문서와 대화, 프로그램 코드를 한 번에 처리할 수 있습니다.
하지만 AI가 기억할 수 있는 범위를 늘리면 그만큼 메모리와 연산 부담도 커집니다.
1. Context Window는 무엇인가
Context Window는 AI가 한 번의 작업에서 처리할 수 있는 Token(토큰·AI가 문자와 단어를 나눠 계산하는 기본 단위)의 범위를 말합니다.
여기에는 사용자가 방금 입력한 질문만 들어가는 것이 아닙니다.
System Prompt(시스템 프롬프트·AI의 역할과 행동 규칙을 미리 지정하는 명령문), 이전 대화, 검색 결과, 첨부 문서, 프로그램 실행 결과 등이 함께 포함될 수 있습니다.
따라서 128K Context라고 하면 약 128,000개의 Token을 다룰 수 있는 범위를 의미하지만 실제 사용 가능 공간은 서비스 구성에 따라 달라질 수 있습니다.
2. 긴 Context가 필요한 이유
AI가 단순한 Chatbot(챗봇·사람과 대화를 주고받는 프로그램)을 넘어 업무 도구가 되면서 긴 Context의 필요성이 커지고 있습니다.
기업에서는 수백 페이지짜리 보고서를 AI에게 읽히고 싶어 합니다.
개발자는 수만 줄의 Source Code(소스 코드·프로그램을 구성하는 원본 명령문)를 한꺼번에 분석시키려고 합니다.
AI Agent(AI 에이전트·목표를 받고 검색, 계산, 프로그램 실행 등을 스스로 이어가는 AI)는 이전 작업 결과까지 기억해야 합니다.
이 때문에 AI 기업들은 더 긴 Context Window를 지원하기 위한 경쟁을 벌이고 있습니다.
3. Transformer와 Attention
대부분의 대형 언어 모델은 Transformer(트랜스포머·문장 속 단어들의 관계를 효율적으로 계산하는 AI 구조)를 기반으로 합니다.
Transformer의 핵심 기능 중 하나가 Attention(어텐션·한 Token이 다른 Token을 얼마나 참고해야 하는지 계산하는 기술)입니다.
예를 들어 긴 문서 마지막에 이 회사라는 표현이 등장했다면 AI는 앞부분에서 어떤 회사를 언급했는지 찾아 연결해야 합니다.
Attention이 바로 이런 관계를 계산합니다.
문제는 Token이 늘어날수록 서로 참고해야 할 관계도 많아진다는 것입니다.
전통적인 Full Attention(전체 어텐션·모든 Token이 다른 Token과 관계를 계산하는 방식)은 입력 길이가 증가하면 계산량이 매우 빠르게 커질 수 있습니다.
다만 Context가 길어진다고 모든 메모리 항목이 같은 비율로 폭증하는 것은 아닙니다. KV Cache의 저장공간은 일반적으로 Sequence Length가 늘어나는 만큼 대체로 선형적으로 증가합니다. 반면 전통적인 Full Attention의 Prefill 단계에서는 Token 사이의 관계를 계산하는 부담이 입력 길이에 대해 제곱 수준으로 커질 수 있습니다.
예를 들어 Context 길이가 8,000 Token에서 16,000 Token으로 2배가 되면 단순한 KV Cache 저장량은 대략 2배 방향으로 증가하지만, 전통적인 Full Attention의 관계 계산량은 조건에 따라 약 4배 수준까지 커질 수 있습니다. 따라서 긴 Context의 부담을 이해할 때는 ‘메모리 저장량’과 ‘Attention 계산량’을 구분해서 보는 것이 중요합니다.
4. 답변은 한 번에 만들어지지 않는다
AI가 답변 한 문단을 완성된 형태로 한 번에 만들어내는 것은 아닙니다.
일반적으로 다음 Token을 하나씩 생성합니다.
이를 Autoregressive Generation(자기회귀 생성·앞에서 만든 결과를 이용해 다음 Token을 순서대로 생성하는 방식)이라고 합니다.
첫 Token을 만든 다음 그 Token까지 포함해 다음 Token을 계산합니다.
이 과정을 수백 번 또는 수천 번 반복해야 긴 답변이 완성됩니다.
이 과정에서 앞의 Token 계산을 매번 처음부터 반복한다면 속도가 매우 느려집니다.
그래서 KV Cache가 중요합니다.
5. KV Cache란 무엇인가
KV Cache(Key-Value Cache·앞에서 계산한 Attention 정보를 저장해 다시 활용하는 메모리)는 AI 추론 속도를 높이는 핵심 기술입니다.
AI는 이전 Token을 처리하면서 만든 Key(키·다른 Token이 어떤 정보를 찾을지 판단하는 값)와 Value(밸류·실제로 전달할 정보가 담긴 값)를 저장합니다.
다음 Token을 생성할 때 저장된 값을 다시 사용합니다.
덕분에 앞부분 전체를 처음부터 다시 계산하지 않아도 됩니다.
하지만 대화가 길어질수록 KV Cache에 저장해야 할 데이터도 계속 증가합니다.
6. Sequence Length가 길어질수록 부담이 커진다
Sequence Length(시퀀스 길이·AI가 한 번에 처리하는 Token의 길이)가 4,000일 때와 100,000일 때 필요한 메모리는 크게 다릅니다.
Token이 늘어나면 모델의 여러 Layer(레이어·AI 신경망을 구성하는 계산 단계)마다 저장해야 하는 Key와 Value의 양도 늘어납니다.
한 명의 사용자라면 큰 문제가 아닐 수도 있습니다.
하지만 동시에 수천 명이 긴 Context를 사용한다면 각 사용자의 KV Cache를 따로 유지해야 합니다.
이 때문에 긴 Context는 AI 서비스의 동시 접속 처리 능력과 직접 연결됩니다.
7. HBM은 왜 중요한가
AI GPU에는 HBM(고대역폭 메모리·GPU가 대량의 데이터를 매우 빠르게 읽고 쓸 수 있도록 만든 고성능 메모리)이 사용됩니다.
AI 모델의 Weight(가중치·학습으로 결정된 모델 내부 숫자값)도 HBM에 저장됩니다.
추론을 시작하면 KV Cache와 임시 계산 데이터도 HBM을 사용합니다.
HBM 용량이 100GB라고 해서 모델 가중치만 100GB까지 넣을 수 있는 것은 아닙니다.
여러 데이터가 같은 공간을 함께 사용해야 합니다.
따라서 Context가 길어지면 한 GPU가 동시에 처리할 수 있는 사용자의 수가 줄어들 가능성이 있습니다.
8. MQA와 GQA가 등장한 이유
KV Cache를 줄이기 위해 Attention 구조도 계속 개선되고 있습니다.
MQA(Multi-Query Attention·다중 쿼리 어텐션)는 여러 Query가 Key와 Value를 공유하도록 만드는 방식입니다.
Query(쿼리·현재 Token이 어떤 정보를 찾아야 하는지를 나타내는 값)가 각각 별도의 Key와 Value를 모두 사용하는 대신 공유하도록 해 메모리 사용량을 줄일 수 있습니다.
GQA(Grouped-Query Attention·그룹 쿼리 어텐션)는 여러 Query를 그룹으로 묶어 Key와 Value를 공유하는 방법입니다.
MQA와 기존 Attention의 중간 형태라고 이해하면 쉽습니다.
이런 기술의 중요한 목적 중 하나가 KV Cache 크기를 줄이는 것입니다.
9. KV Cache Quantization도 사용된다
KV Cache Quantization(KV 캐시 양자화·KV Cache 데이터를 더 적은 비트로 저장해 메모리 사용량을 줄이는 기술)도 주목받고 있습니다.
예를 들어 기존에 16bit(16비트·하나의 값을 표현하는 데 16개의 이진 정보를 사용하는 방식)로 저장하던 값을 8bit나 4bit로 줄이면 같은 메모리에 더 많은 데이터를 넣을 수 있습니다.
하지만 무조건 낮은 비트가 좋은 것은 아닙니다.
정밀도를 너무 줄이면 모델의 답변 품질이 떨어질 수 있습니다.
따라서 Memory Saving(메모리 절약)과 Accuracy(정확도) 사이에서 균형을 맞춰야 합니다.
10. Context가 크면 무조건 더 똑똑한가
그렇지 않습니다.
1M Context를 지원한다고 해서 AI가 100만 Token 안의 내용을 전부 동일한 수준으로 이해한다는 의미는 아닙니다.
관련 없는 문서를 지나치게 많이 넣으면 중요한 정보가 오히려 묻힐 수도 있습니다.
이 때문에 RAG(Retrieval-Augmented Generation·검색 증강 생성, 필요한 외부 자료를 검색해 AI 답변에 활용하는 기술)를 함께 사용합니다.
회사 문서 전체를 AI에게 한꺼번에 넣는 것이 아니라 질문과 관련된 부분만 찾아 Context에 넣는 방식입니다.
11. AI Agent 시대에는 메모리가 더 중요하다
AI Agent는 검색하고, 문서를 읽고, 계산하고, 다른 프로그램을 실행하는 작업을 반복합니다.
각 과정에서 새로운 Token과 작업 기록이 생깁니다.
모든 내용을 계속 Context Window에 넣으면 Token 수가 빠르게 증가합니다.
그래서 Context Compression(컨텍스트 압축·긴 대화나 작업 기록을 핵심 내용만 남도록 줄이는 기술)이 필요해집니다.
Long-Term Memory(장기 메모리·현재 Context 밖에 정보를 저장했다가 필요할 때 다시 불러오는 구조)도 중요합니다.
AI Agent가 장시간 일하려면 단순히 Context Window를 무한정 늘리는 방법만으로는 부족합니다.
12. 긴 Context 경쟁은 결국 메모리 경쟁이다
Context Window가 길어지는 것은 단순히 AI 소프트웨어 기능 하나가 좋아지는 문제가 아닙니다.
GPU, HBM, KV Cache, SSD(Solid State Drive·대용량 데이터를 저장하는 고속 저장장치), Network(네트워크·서버와 서버 사이에서 데이터를 전송하는 통신망)까지 모두 영향을 받습니다.
미래 AI가 수백만 Token을 지속적으로 처리하게 된다면 모델의 Weight를 저장하는 메모리 못지않게 작업 기록을 저장하는 메모리가 중요해질 수 있습니다.
결국 중요한 것은 AI가 얼마나 많이 기억할 수 있느냐만이 아닙니다.
그 기억을 얼마나 적은 메모리에 저장하고, 필요한 순간에 얼마나 빨리 다시 가져올 수 있느냐가 중요합니다.
긴 Context Window 경쟁은 결국 AI 모델 경쟁인 동시에 메모리와 데이터센터 인프라 경쟁입니다.