Latest posts
-
On-device AI(온디바이스 AI)란? 스마트폰 안에서 AI가 직접 실행되는 원리
요즘 스마트폰이나 노트북 관련 신제품을 보다 보면 On-device AI(온디바이스 AI)라는 표현이 자주 등장합니다. 예전에는 AI 기능을 사용하려면 대부분 인터넷을 통해 외부 서버에 접속해야 했습니다. 사용자가 사진이나 음성, 문장을 입력하면 데이터가 서버로 전송되고, 서버에 있는 AI가 계산한 뒤 결과를 다시 보내주는 방식이었습니다. 그런데 최근에는 이런 과정의 일부를 스마트폰이나 노트북 안에서 직접 처리하는 방식이 늘어나고 있습니다. 이것이…
-
Small Language Model(작은 언어 모델)이란? 거대한 AI보다 작은 모델이 유리한 분야
AI 관련 뉴스를 보다 보면 계속 더 큰 모델이 등장합니다. 매개변수가 몇십억 개인지, 몇천억 개인지 비교하기도 하고 얼마나 많은 GPU를 사용했는지도 자주 언급됩니다. 그래서 처음에는 저도 AI 모델은 무조건 클수록 좋은 것처럼 보였습니다. 그런데 실제로 기업이나 스마트폰, 자동차, 공장 같은 곳에서 AI를 사용하는 상황을 보면 이야기가 조금 달라집니다. 모든 업무에 가장 크고 비싼 AI가 필요한…
-
AI 데이터 라벨링 시장은 왜 아직도 사람이 필요한가
AI가 빠르게 발전하면서 이제는 사람이 데이터를 하나씩 정리하고 분류하는 일도 대부분 없어질 것처럼 보입니다. 실제로 예전보다 자동화된 부분이 많아졌습니다. 사진 속 사람이나 자동차를 AI가 먼저 찾아내기도 하고, 음성을 글자로 바꾸거나 문장을 종류별로 나누는 작업도 AI가 상당 부분 처리할 수 있습니다. 그런데 AI 관련 자료를 계속 보다 보면 오히려 반대되는 모습도 보입니다. AI가 발전할수록 사람이 데이터를…
-
미국판 AI 사령부 나오나…트럼프가 발표한 AI Force는 무엇인가
트럼프 대통령이 새 AI czar 임명과 AI Force 신설을 예고했습니다. 아직 조직의 권한과 예산은 공개되지 않았습니다. 미국 AI 규제, 데이터센터, 중국과의 경쟁까지 연결해 의미를 정리했습니다.
-
Synthetic Data(합성 데이터)란? AI가 만든 데이터로 다시 AI를 학습시키는 이유
AI 모델을 만들려면 가장 먼저 필요한 것이 데이터입니다. 텍스트 AI라면 많은 문장이 필요하고, 이미지 AI라면 수많은 사진이 필요합니다. 자율주행 AI에는 도로 영상과 차량 데이터가 필요하고, 로봇 AI에는 행동 데이터가 필요합니다. 그런데 실제 데이터를 무한정 수집하는 것은 어렵습니다. 비용도 많이 들고 개인정보 문제도 생길 수 있습니다. 이런 한계를 해결하기 위해 사용하는 방법 가운데 하나가 Synthetic Data(합성…
-
AI Grounding(인공지능 근거 연결)이란? 환각을 줄이기 위해 출처를 연결하는 기술
생성형 AI를 사용하다 보면 답변이 자연스럽기는 하지만 실제 사실인지 확인하기 어려운 경우가 있습니다. 특히 날짜, 수치, 제품 사양, 기업 발표, 법률, 계약조건처럼 정확성이 중요한 정보를 다룰 때는 AI의 말만 그대로 믿기 어렵습니다. 이 문제를 줄이기 위해 자주 등장하는 개념이 Grounding(근거 연결)입니다. AI Grounding(인공지능 근거 연결)은 생성형 AI가 자신의 학습 내용이나 추측에만 의존하지 않고, 확인 가능한…
-
AI Hallucination(인공지능 환각)은 왜 생길까? 틀린 답을 자신 있게 말하는 이유
생성형 AI를 사용하다 보면 가장 당황스러운 순간이 있습니다. 답변이 너무 자연스럽고 구체적이어서 맞는 정보라고 생각했는데 나중에 확인해보면 사실과 다른 경우입니다. 존재하지 않는 논문을 실제 논문처럼 소개하기도 하고, 없는 인물이나 사건을 사실처럼 설명하기도 합니다. 날짜나 통계를 틀리게 말하면서도 문장 자체는 상당히 자연스럽습니다. 이런 현상을 AI Hallucination(인공지능 환각)이라고 부릅니다. 여기에서 말하는 Hallucination(환각)은 사람이 경험하는 의학적인 환각과 같은…
-
임베딩이란? AI가 글과 이미지를 숫자로 바꾸는 과정
생성형 AI를 공부하다 보면 RAG, 벡터 데이터베이스와 함께 자주 등장하는 단어가 있습니다. 바로 임베딩입니다. 임베딩이라는 이름은 처음 들으면 어렵게 느껴질 수 있습니다. 하지만 실제 역할은 생각보다 단순합니다. 사람은 문장이나 사진을 보면 그 의미를 바로 이해합니다. 반면 컴퓨터는 글자나 이미지를 사람이 느끼는 방식 그대로 이해하지 못합니다. 그래서 AI는 글, 이미지, 음성 같은 정보를 숫자로 바꿔 처리합니다.…
-
벡터 데이터베이스란? AI가 문장의 의미를 검색하는 방법
생성형 AI 관련 내용을 보다 보면 벡터 데이터베이스라는 말을 자주 만나게 됩니다. 처음 보면 이름부터 어렵습니다. 데이터베이스 앞에 벡터라는 말까지 붙어 있으니 더 복잡하게 느껴질 수 있습니다. 이름은 어렵게 느껴지지만 원리를 하나씩 살펴보면 생각보다 복잡하지 않습니다. 기존 키워드 검색은 입력한 단어나 비슷한 표현을 찾는 데 강합니다. 반면 벡터 데이터베이스는 문장에 쓰인 단어가 달라도 의미가 가까운…
-
RAG란? AI가 기업 내부 문서를 읽고 답하는 원리
회사에서 생성형 AI를 업무에 써보려고 하면 금방 한 가지 한계가 보입니다. 인터넷에 공개된 정보는 잘 설명해도 우리 회사의 제품 매뉴얼이나 업무 지침, 계약서, 회의록까지 알고 있는 것은 아니기 때문입니다. 기업에서 생성형 AI를 실제 업무에 적용하려고 하면 이 부분이 생각보다 중요합니다. AI 성능이 아무리 좋아도 회사 내부 자료를 모른다면 직원이 원하는 답을 정확하게 주기 어렵기 때문입니다.…
-
AI 모델의 Temperature란? 같은 질문에도 답이 달라지는 이유
AI에게 같은 질문을 두 번 입력했는데 서로 다른 답변이 나오는 경우가 있습니다. 첫 번째 답변에서는 A라는 표현을 사용했는데 두 번째에는 B라는 표현을 사용하기도 하고, 추천 항목의 순서나 문장의 구조가 달라지기도 합니다. 이는 생성형 AI가 완성된 답변을 데이터베이스에서 그대로 꺼내 보여주는 방식으로 작동하지 않기 때문입니다. AI는 현재까지의 문맥을 바탕으로 다음에 등장할 Token(토큰·AI가 문장을 처리하고 생성하는 기본…
-
AI 추론 비용은 어떻게 계산할까? GPU·토큰·전력의 관계
생성형 AI를 이야기할 때 가장 많이 언급되는 비용은 대규모 모델을 처음 만드는 학습 비용입니다. 수천 대 또는 수만 대의 GPU(Graphics Processing Unit·그래픽처리장치)를 동시에 사용해 몇 주에서 몇 달 동안 모델을 학습하기 때문에 막대한 비용이 들어갑니다. 하지만 AI 서비스를 실제로 운영하기 시작하면 또 다른 비용이 계속 발생합니다. 바로 Inference(인퍼런스·추론) 비용입니다. Training(트레이닝·학습)은 AI 모델을 만드는 과정이고, Inference(인퍼런스·추론)는…
-
토큰은 왜 AI 비용의 기준이 됐을까? 문자와 토큰의 차이
생성형 AI 서비스를 살펴보면 100만 Token당 얼마라는 가격 표현을 자주 볼 수 있습니다. 일반 인터넷 서비스는 월 이용료를 받고, 클라우드는 CPU 사용시간이나 저장 용량을 기준으로 가격을 계산하는 경우가 많습니다. 그런데 AI에서는 Token, 즉 토큰이 중요한 비용 단위가 됐습니다. 이유는 AI가 우리가 보는 문자나 단어를 그대로 읽는 것이 아니라 토큰이라는 작은 단위로 나눠 계산하기 때문입니다. 1.…
-
AI 컨텍스트 윈도우가 길어지면 왜 메모리 부담이 커질까
AI 모델 설명을 보면 32K, 128K, 200K, 1M Context 같은 숫자를 자주 볼 수 있습니다. 여기서 Context Window(컨텍스트 윈도우·AI가 한 번에 읽고 참고할 수 있는 정보의 범위)는 AI 모델의 중요한 성능 지표입니다. Context Window가 커질수록 더 긴 문서와 대화, 프로그램 코드를 한 번에 처리할 수 있습니다. 하지만 AI가 기억할 수 있는 범위를 늘리면 그만큼 메모리와…
-
Mixture of Experts는 무엇인가? 일부 Expert만 선택해 계산하는 이유
AI 모델의 성능을 높이는 대표적인 방법 가운데 하나는 모델의 크기를 키우는 것입니다. 더 많은 Parameter(파라미터·AI가 학습 과정에서 조정하는 내부 숫자값)를 사용하면 모델은 더 복잡한 언어 패턴과 지식을 학습할 수 있습니다. 하지만 모델이 커질수록 문제가 생깁니다. 질문 하나에 답하기 위해 거대한 모델 전체를 매번 계산한다면 GPU(Graphics Processing Unit·그래픽처리장치이지만 현재는 AI 연산에 핵심적으로 사용되는 반도체)의 연산량과 메모리…