AI에게 같은 질문을 두 번 입력했는데 서로 다른 답변이 나오는 경우가 있습니다.
첫 번째 답변에서는 A라는 표현을 사용했는데 두 번째에는 B라는 표현을 사용하기도 하고, 추천 항목의 순서나 문장의 구조가 달라지기도 합니다.
이는 생성형 AI가 완성된 답변을 데이터베이스에서 그대로 꺼내 보여주는 방식으로 작동하지 않기 때문입니다.
AI는 현재까지의 문맥을 바탕으로 다음에 등장할 Token(토큰·AI가 문장을 처리하고 생성하는 기본 단위)의 확률분포를 계산하고, 그중 하나를 선택하는 과정을 반복하면서 답변을 만듭니다.
이때 Token(토큰)의 선택 확률에 영향을 주는 대표적인 설정 가운데 하나가 Temperature(템퍼러처·출력의 다양성을 조절하는 값)입니다.
1. Temperature란 무엇인가
Temperature(템퍼러처·출력의 다양성을 조절하는 값)는 AI가 다음 Token(토큰)을 선택할 때 확률분포를 얼마나 뾰족하게 또는 평평하게 만들지를 조절하는 값입니다.
Temperature라는 이름 때문에 실제 컴퓨터나 GPU 온도와 관련 있다고 생각하기 쉽지만 하드웨어 온도와는 관계가 없습니다.
Temperature(템퍼러처)가 낮아지면 높은 확률을 가진 Token(토큰)을 선택하는 경향이 강해집니다.
반대로 Temperature(템퍼러처)를 높이면 상대적으로 확률이 낮은 Token(토큰)도 선택될 가능성이 커집니다.
쉽게 설명하면 낮은 Temperature는 확률이 높은 후보에 선택이 더 집중되는 방향이고, 높은 Temperature는 상대적으로 다양한 후보가 선택될 가능성을 키우는 방향입니다.
2. AI는 다음 단어를 어떻게 선택하는가
AI가 다음과 같은 문장을 생성하고 있다고 가정해보겠습니다.
오늘 서울의 날씨는 매우…
이 문장 뒤에는 여러 Token(토큰)이 올 수 있습니다.
좋습니다, 춥습니다, 덥습니다, 변덕스럽습니다 등 다양한 후보가 존재할 수 있습니다.
AI는 각 후보에 Probability(프로버빌리티·등장할 가능성을 나타내는 확률)를 부여합니다.
예를 들어 첫 번째 후보가 50%, 두 번째 후보가 25%, 세 번째 후보가 15%, 나머지가 10%라고 가정할 수 있습니다.
실제 AI에서는 훨씬 많은 Token(토큰) 후보가 동시에 계산됩니다.
이 전체 확률구조를 Probability Distribution(프로버빌리티 디스트리뷰션·확률분포)이라고 합니다.
Temperature(템퍼러처)는 바로 이 Probability Distribution(확률분포)의 모양에 영향을 줍니다.
같은 Logit도 Temperature에 따라 확률이 달라집니다
이해를 위한 단순 예시로 세 Token 후보의 Logit(로짓·Softmax를 적용하기 전 모델의 원점수)이 각각 2, 1, 0이라고 가정해보겠습니다.
Temperature가 1일 때 이 값을 Softmax로 바꾸면 선택 확률은 대략 66.5%, 24.5%, 9.0%가 됩니다.
Temperature를 0.5로 낮추면 높은 점수의 후보가 더 강하게 강조되어 약 86.7%, 11.7%, 1.6%가 됩니다. 반대로 Temperature를 2로 높이면 분포가 평평해져 약 50.6%, 30.7%, 18.6%가 됩니다.
즉 Temperature를 낮추면 원래 점수가 높은 후보에 확률이 더 집중되고, 높이면 상대적으로 낮은 점수의 후보에도 선택 기회가 더 많이 돌아갑니다. 실제 모델에는 훨씬 많은 Token 후보가 있지만 원리는 같습니다.
3. Temperature를 낮추면 어떻게 되는가
Temperature(템퍼러처)를 낮추면 원래 확률이 높은 Token(토큰)의 선택 가능성이 더 강해집니다.
예를 들어 여러 Token(토큰)의 확률이 각각 60%, 20%, 10%, 5%라고 가정해보겠습니다.
Temperature(템퍼러처)가 낮아지면 가장 높은 60% 후보가 선택될 가능성이 더욱 커지는 방향으로 확률분포가 조정됩니다.
그래서 같은 질문을 여러 번 입력했을 때 비슷한 답변이 나올 가능성이 높아집니다.
이런 특성 때문에 Data Extraction(데이터 익스트랙션·문서에서 정해진 정보를 추출하는 작업), Classification(클래시피케이션·분류 작업), 정형화된 보고서 작성처럼 결과의 일관성이 중요한 작업에서는 낮은 Temperature(템퍼러처)가 유리할 수 있습니다.
다만 낮은 Temperature가 반드시 정확한 답변을 보장하는 것은 아닙니다.
4. Temperature를 높이면 무엇이 달라질까
Temperature(템퍼러처)를 높이면 상대적으로 확률이 낮은 Token(토큰)도 선택될 가능성이 커집니다.
같은 질문을 여러 번 입력했을 때 서로 다른 표현과 아이디어가 등장할 가능성도 높아집니다.
예를 들어 광고 문구, 소설 아이디어, 브랜드 이름, 블로그 제목, 캐릭터 설정처럼 다양한 후보를 만들어야 하는 작업에서는 높은 Temperature가 도움이 될 수 있습니다.
하지만 높은 Temperature가 Intelligence(인텔리전스·AI의 지능) 자체를 높여주는 것은 아닙니다.
AI가 모르던 지식을 갑자기 알게 되는 것도 아닙니다.
이미 계산된 여러 Token(토큰) 후보 가운데 상대적으로 다양한 후보가 선택될 가능성을 높이는 것입니다.
따라서 Creativity(크리에이티비티·창의성)와 Accuracy(애큐러시·정확성)는 서로 다른 개념으로 이해해야 합니다.
5. Temperature를 낮추면 Hallucination이 사라질까
생성형 AI에서 자주 언급되는 문제가 Hallucination(할루시네이션·사실이 아닌 내용을 그럴듯하게 만들어내는 환각 현상)입니다.
Temperature(템퍼러처)를 낮추면 답변의 변화가 줄어들고 보다 일관된 결과가 나올 수 있습니다.
하지만 Hallucination(할루시네이션)을 완전히 없앨 수 있는 것은 아닙니다.
AI 모델이 잘못된 정보를 학습했거나 필요한 최신 정보를 가지고 있지 않다면 낮은 Temperature에서도 잘못된 답변을 할 수 있습니다.
Hallucination(할루시네이션)을 줄이기 위해서는 RAG(Retrieval-Augmented Generation·검색 증강 생성), Grounding(그라운딩·답변을 실제 자료와 출처에 연결하는 기술), Tool Calling(툴 콜링·AI가 검색이나 계산 같은 외부 도구를 사용하는 기능) 등이 함께 사용될 수 있습니다.
Temperature는 사실을 확인하는 장치가 아니라 답변 생성 과정의 확률 선택을 조절하는 장치입니다.
6. Temperature가 0이면 항상 같은 답이 나올까
Temperature(템퍼러처)를 매우 낮게 설정하거나 0에 가깝게 설정하면 높은 확률을 가진 Token(토큰)을 선택하는 성향이 강해집니다.
따라서 같은 질문에 비교적 비슷한 답변이 나올 수 있습니다.
하지만 Temperature가 0이라고 해서 모든 환경에서 글자 하나까지 완전히 동일한 답변이 항상 나오는 것은 아닙니다.
AI 모델이 업데이트될 수 있고, 서버의 Parallel Processing(패럴렐 프로세싱·여러 계산을 동시에 처리하는 병렬처리) 방식도 영향을 줄 수 있습니다.
또 System Prompt(시스템 프롬프트·AI에게 행동방식과 규칙을 지정하는 내부 지시문)가 달라지면 결과도 달라질 수 있습니다.
따라서 반드시 동일한 결과가 필요한 업무라면 Temperature 설정만 믿기보다 별도의 검증 규칙이나 프로그램을 함께 사용하는 것이 안전합니다.
7. Temperature가 너무 높으면 생기는 문제
Temperature(템퍼러처)를 지나치게 높이면 확률이 낮은 Token(토큰)도 선택될 가능성이 크게 증가합니다.
이렇게 하면 독특하고 다양한 표현이 만들어질 수 있지만 문장이 어색해지거나 논리적인 연결이 약해질 수도 있습니다.
또 같은 내용을 반복하거나 질문과 관련성이 낮은 방향으로 답변이 흘러갈 가능성도 높아질 수 있습니다.
정확한 숫자, 제품 사양, 법률문서, 프로그램 코드처럼 작은 오류도 문제가 될 수 있는 작업에서는 지나치게 높은 Temperature 사용이 적합하지 않을 수 있습니다.
반대로 창의적인 글쓰기에서 Temperature를 지나치게 낮추면 비슷한 표현과 안전한 문장만 반복될 가능성이 있습니다.
따라서 모든 작업에 적합한 하나의 Temperature 값이 있는 것은 아닙니다.
8. Top-P는 Temperature와 무엇이 다른가
Temperature와 함께 자주 등장하는 설정이 Top-P(톱피·누적확률을 기준으로 토큰 후보 범위를 제한하는 값)입니다.
Top-P는 Nucleus Sampling(뉴클리어스 샘플링·누적확률을 이용해 후보 토큰을 선택하는 방식)에 사용됩니다.
예를 들어 Top-P가 0.9라고 가정해보겠습니다.
AI는 확률이 높은 Token(토큰)부터 순서대로 더해 누적확률이 약 90%가 될 때까지의 후보를 중심으로 다음 Token(토큰)을 선택합니다.
확률이 매우 낮은 Token(토큰)은 처음부터 선택 후보에서 제외될 수 있습니다.
Temperature(템퍼러처)가 전체 Probability Distribution(확률분포)의 모양을 조절하는 값이라면 Top-P(톱피)는 선택 가능한 Token(토큰)의 범위를 누적확률 기준으로 제한하는 방식이라고 이해할 수 있습니다.
둘 다 답변의 다양성에 영향을 주지만 작동방식은 다릅니다.
9. Temperature 외에도 답변에 영향을 주는 요소가 많다
AI 답변은 Temperature 하나만으로 결정되지 않습니다.
Model(모델·사용하는 AI 모델 자체), System Prompt(시스템 프롬프트·AI의 기본 행동규칙), Context Window(컨텍스트 윈도우·AI가 한 번에 참고할 수 있는 정보 범위), RAG(검색 증강 생성), Tool Calling(외부 도구 호출), 출력 길이 등이 모두 영향을 줍니다.
Reasoning Model(리즈닝 모델·여러 단계의 사고와 검증을 거쳐 문제를 해결하도록 설계된 추론형 모델)에서는 내부 추론 과정이 답변에 더 큰 영향을 줄 수도 있습니다.
서비스 제공자가 일부 Sampling Setting(샘플링 세팅·토큰 선택과 관련된 설정)을 자동으로 조절하는 경우도 있습니다.
따라서 같은 Temperature 값이라도 서로 다른 AI 모델에서는 답변의 성격이 다르게 나타날 수 있습니다.
10. Temperature를 이해하면 생성형 AI 원리가 보인다
Temperature(템퍼러처)를 이해하는 가장 큰 이유는 단순히 설정값 하나를 알기 위해서가 아닙니다.
이 개념을 이해하면 생성형 AI가 어떻게 문장을 만들어내는지도 이해할 수 있습니다.
생성형 AI는 미리 저장된 완성문장을 그대로 꺼내 보여주는 검색 시스템이 아닙니다.
현재 Context(컨텍스트·AI가 참고하고 있는 전체 문맥)를 바탕으로 다음에 나올 Token(토큰)의 Probability(확률)를 계산합니다.
그중 하나의 Token(토큰)을 선택하고 다시 그 Token을 Context에 추가합니다.
그다음 또 다음 Token의 확률을 계산합니다.
이 과정을 매우 빠르게 반복하면서 하나의 문장이 완성됩니다.
Temperature는 바로 이 과정에서 가장 높은 확률의 Token을 얼마나 강하게 선택할지, 상대적으로 낮은 확률의 Token까지 어느 정도 허용할지를 조절하는 설정입니다.
낮은 Temperature는 비교적 일관된 결과가 필요한 작업에 적합할 수 있습니다.
높은 Temperature는 여러 가지 아이디어와 다양한 표현이 필요한 작업에서 활용할 수 있습니다.
하지만 Temperature가 높다고 AI가 더 똑똑해지는 것은 아닙니다.
반대로 Temperature가 낮다고 모든 답변이 사실로 바뀌는 것도 아닙니다.
Temperature는 AI의 지능을 조절하는 버튼이 아니라 AI가 계산한 여러 가능성 가운데 어떤 Token을 선택할지를 조절하는 장치입니다.
이 원리를 이해하면 같은 질문에도 AI의 답변이 조금씩 달라지는 이유와 생성형 AI가 기본적으로 확률을 이용해 문장을 만드는 시스템이라는 점을 훨씬 쉽게 이해할 수 있습니다.