AI가 빠르게 발전하면서 이제는 사람이 데이터를 하나씩 정리하고 분류하는 일도 대부분 없어질 것처럼 보입니다.
실제로 예전보다 자동화된 부분이 많아졌습니다. 사진 속 사람이나 자동차를 AI가 먼저 찾아내기도 하고, 음성을 글자로 바꾸거나 문장을 종류별로 나누는 작업도 AI가 상당 부분 처리할 수 있습니다.
그런데 AI 관련 자료를 계속 보다 보면 오히려 반대되는 모습도 보입니다.
AI가 발전할수록 사람이 데이터를 직접 만드는 일은 줄어들 수 있지만, AI가 만든 결과를 확인하고 평가하는 일은 더 중요해지고 있습니다.
이 과정에서 계속 등장하는 것이 Data Labeling(데이터 라벨링)입니다.
데이터 라벨링이라고 하면 사진에 네모 상자를 그리고 이름을 붙이는 단순한 작업을 떠올리기 쉽습니다. 하지만 지금은 그 범위가 훨씬 넓어졌습니다.
AI가 만든 답변이 정확한지 확인하고, 두 개의 답변 중 어떤 것이 더 좋은지 고르고, 전문적인 내용을 제대로 이해했는지 평가하는 일도 넓게 보면 데이터 품질을 만드는 과정에 포함됩니다.
1. 데이터 라벨링의 기본 역할
데이터 라벨링은 AI에게 데이터의 의미를 알려주는 작업입니다.
도로 사진 한 장만 봐도 라벨링이 왜 필요한지 알 수 있습니다.
사람은 사진을 보는 순간 자동차, 사람, 신호등, 도로를 바로 구분합니다.
하지만 처음 학습하는 AI는 사진 속 어떤 부분이 자동차인지 알지 못합니다.
그래서 사람이 자동차 부분을 표시하고 자동차라는 정보를 붙여줍니다.
보행자에는 보행자라는 표시를 붙이고 신호등도 따로 구분합니다.
AI는 이런 데이터를 많이 보면서 자동차는 어떤 형태를 가지고 있고 보행자는 어떤 특징이 있는지를 학습하게 됩니다.
텍스트도 비슷합니다.
고객이 남긴 문장을 제품 문의, 배송 문의, 불만, 환불 요청 등으로 나눠놓으면 AI는 각각의 표현이 어떤 의미를 가지는지 배울 수 있습니다.
2. 단순 작업은 이미 자동화되고 있다
데이터 라벨링이 계속 필요하다고 해서 예전처럼 모든 작업을 사람이 직접 한다는 뜻은 아닙니다.
단순한 작업은 이미 AI가 상당 부분 대신하고 있습니다.
이미지 속 자동차 위치를 AI가 먼저 표시하고, 사람은 틀린 부분만 고치는 방식으로 작업량을 줄일 수 있습니다.
이를 Auto Labeling(자동 라벨링)이라고 부르기도 합니다.
예전에는 사진 1만 장을 사람이 처음부터 끝까지 확인했다면 이제는 AI가 먼저 작업하고 사람이 결과를 검토하는 방식으로 바뀌고 있습니다.
이렇게 보면 단순 작업 인력은 줄어들 수 있습니다.
하지만 사람의 역할 자체가 없어지는 것은 아닙니다.
오히려 AI가 어려워하는 부분만 사람이 집중해서 확인하는 방향으로 바뀌고 있습니다.
3. 애매한 데이터는 여전히 판단이 어렵다
현실의 데이터는 생각보다 애매한 경우가 많습니다.
고객이 남긴 문장 하나를 분류하는 작업도 생각보다 단순하지 않을 수 있습니다.
“제품은 괜찮은데 배송이 너무 늦었습니다.”
이 문장을 긍정으로 분류해야 할지 부정으로 분류해야 할지 단순하지 않습니다.
제품에 대한 평가는 긍정적이지만 배송에는 불만이 들어 있기 때문입니다.
사람은 문장을 읽고 두 가지 의미가 섞여 있다는 것을 바로 알 수 있습니다.
하지만 AI가 단순히 긍정과 부정 둘 중 하나만 선택하도록 학습되어 있다면 정확한 판단이 어려울 수 있습니다.
실제 데이터에는 이런 애매한 사례가 많습니다.
그래서 AI가 먼저 분류하더라도 사람이 최종적으로 확인해야 하는 데이터가 남게 됩니다.
4. 생성형 AI가 등장하면서 평가 방식도 달라졌다
생성형 AI가 등장하면서 데이터 라벨링의 역할도 조금 달라졌습니다.
예전에는 이미지나 문장을 분류하는 일이 중심이었다면 이제는 AI가 만든 답변 자체를 평가하는 일이 많아지고 있습니다.
같은 질문에 AI가 두 개의 답변을 만들면, 사람은 어느 답이 더 정확하고 자연스러운지 비교할 수 있습니다.
첫 번째 답변은 짧지만 정확하고, 두 번째 답변은 길지만 일부 내용이 틀릴 수 있습니다.
이 경우 단순한 프로그램이 어느 답이 더 좋은지 판단하기 쉽지 않습니다.
사람이 직접 읽어보고 질문에 제대로 답했는지, 사실관계가 맞는지, 설명이 이해하기 쉬운지를 평가해야 합니다.
이런 평가 자료가 다시 AI 학습에 사용될 수 있습니다.
5. RLHF에서 사람이 하는 역할
생성형 AI를 설명할 때 RLHF(Reinforcement Learning from Human Feedback, 인간 피드백 기반 강화학습)라는 말을 자주 볼 수 있습니다.
RLHF라는 이름은 어렵게 들리지만 원리는 비교적 단순합니다.
AI가 여러 답변을 만들면 사람이 어떤 답변이 더 좋은지를 선택합니다.
AI는 이런 평가 결과를 학습하면서 사람들이 선호하는 답변의 방향을 익힙니다.
사람이 장황한 답보다 핵심을 잘 설명한 답을 계속 선택하면 AI도 이런 선호 패턴을 학습하게 됩니다.
위험하거나 부적절한 답변을 낮게 평가하면 그런 답변을 피하도록 학습할 수도 있습니다.
즉 사람이 AI에게 하나하나 정답을 직접 가르치는 것은 아니지만 어떤 방향이 더 좋은지를 알려주는 역할을 합니다.
6. 전문 분야에서는 일반적인 평가만으로 부족하다
AI가 기업 업무에 들어가면 이 부분은 더 중요해집니다.
의료 AI처럼 전문성이 필요한 분야는 일반적인 평가만으로는 부족할 수 있습니다.
문장이 자연스럽다는 이유만으로 좋은 답변이라고 판단할 수 없습니다.
의학적으로 맞는 내용인지 확인해야 합니다.
법률, 회계, 금융, 제조 분야도 비슷합니다.
전기 제품의 기술 사양을 AI가 설명했는데 일반 사람이 읽기에는 자연스러워 보여도 실제 전압이나 소비전력이 틀릴 수 있습니다.
이런 경우에는 해당 분야를 아는 사람이 검토해야 합니다.
그래서 AI가 발전할수록 단순 라벨링 인력보다 Domain Expert(분야 전문가)의 역할이 더 중요해질 수 있습니다.
7. 언어와 문화는 자동 판단이 더 어렵다
언어 데이터도 생각보다 단순하지 않습니다.
한국어 표현만 봐도 이런 차이가 생깁니다.
“참 잘하셨네요.”
라는 문장은 상황에 따라 진짜 칭찬일 수도 있고 반대로 비꼬는 표현일 수도 있습니다.
앞뒤 상황을 모르고 문장 하나만 보면 의미를 잘못 판단할 수 있습니다.
유행어나 줄임말도 계속 생깁니다.
같은 단어라도 세대나 상황에 따라 의미가 달라질 수 있습니다.
이런 부분은 해당 언어와 문화에 익숙한 사람이 더 잘 판단하는 경우가 많습니다.
AI가 여러 언어를 지원할수록 언어별 평가도 중요해지는 이유입니다.
8. 데이터 품질이 나쁘면 AI도 영향을 받는다
AI 모델의 성능을 이야기할 때 모델 크기나 GPU 성능만 보는 경우가 많습니다.
하지만 실제로는 어떤 데이터를 학습했는지도 매우 중요합니다.
잘못된 데이터를 많이 학습하면 좋은 모델이라도 잘못된 결과를 낼 수 있습니다.
고양이 사진에 ‘강아지’라는 잘못된 표시가 반복되면 AI도 두 동물을 제대로 구분하기 어려워질 수 있습니다.
텍스트도 마찬가지입니다.
틀린 답변을 좋은 답변이라고 계속 평가하면 AI가 잘못된 기준을 배울 수 있습니다.
그래서 데이터를 많이 만드는 것만큼 정확하게 만드는 것도 중요합니다.
9. 합성 데이터가 늘어도 검증은 남는다
앞에서 살펴본 Synthetic Data(합성 데이터)는 AI나 컴퓨터가 만들어낸 학습용 데이터입니다.
합성 데이터를 사용하면 사람이 데이터를 직접 수집하는 부담을 줄일 수 있습니다.
하지만 여기에도 문제가 있습니다.
AI가 잘못된 데이터를 만들면 그 잘못된 내용을 다시 다른 AI가 학습할 수 있기 때문입니다.
AI가 제품 설명을 1만 개 자동으로 만들었다고 해도 일부 정보가 틀렸다면 그대로 학습에 쓰는 것은 위험합니다.
그래서 AI가 만든 데이터도 일부를 사람이 확인하고 품질을 평가하는 과정이 필요합니다.
데이터 생성은 자동화되더라도 검증까지 완전히 없어지기 어려운 이유입니다.
10. 사람이 모든 데이터를 보는 방식은 줄어들 수 있다
앞으로는 사람이 수백만 건의 데이터를 처음부터 끝까지 하나씩 확인하는 방식은 점점 줄어들 가능성이 높습니다.
대신 AI가 먼저 판단하고 자신이 확신하지 못하는 데이터만 사람에게 보여주는 방식이 늘어날 수 있습니다.
이를 Active Learning(능동 학습)이라고 부르기도 합니다.
AI가 100만 개의 데이터를 분류한 뒤 대부분은 높은 확신도로 처리하고, 애매한 5만 개만 사람에게 넘기는 방식도 가능합니다.
사람이 100만 개 전체를 볼 필요는 없습니다.
AI가 어려워하는 5만 개를 중심으로 확인하면 됩니다.
이런 구조라면 사람의 작업량을 크게 줄이면서도 품질을 유지할 수 있습니다.
11. 기업 내부에서는 기존 문서 정리도 중요하다
기업이 자체 AI나 RAG(검색 증강 생성)를 사용하려고 하면 기존 문서부터 문제가 되는 경우가 있습니다.
같은 제품 매뉴얼이 여러 버전으로 저장되어 있을 수도 있고, 오래된 가격표와 최신 가격표가 함께 남아 있을 수 있습니다.
사람이 봐도 어떤 자료가 최신인지 헷갈리는 상황이라면 AI도 정확하게 판단하기 어렵습니다.
그래서 AI를 도입할 때는 문서를 분류하고 최신 버전을 정리하는 과정도 필요합니다.
단순히 좋은 AI 모델을 연결한다고 회사 내부 데이터가 자동으로 정리되는 것은 아닙니다.
이런 작업 역시 결국 AI가 사용할 데이터를 사람이 이해하기 좋은 구조로 정리하는 과정입니다.
12. Human in the Loop가 현실적인 이유
AI 분야에서 Human in the Loop(사람이 참여하는 검토 구조)라는 말을 자주 사용하는 이유도 여기에 있습니다.
AI가 먼저 작업하고 필요한 부분에서 사람이 확인하는 방식입니다.
고객 문의 1만 건도 AI가 먼저 분류하고, 확신도가 낮은 사례만 사람이 확인하는 식으로 운영할 수 있습니다.
AI가 만든 계약서 요약을 담당자가 마지막에 검토하는 방식도 비슷합니다.
모든 일을 사람이 하는 것보다 빠르고, 모든 일을 AI에게 맡기는 것보다 안전합니다.
현재 기업에서 AI를 실제 업무에 적용할 때 현실적으로 사용하기 좋은 구조 가운데 하나입니다.
13. 앞으로 데이터 라벨링에서 달라질 사람의 역할
제가 보기에는 앞으로 데이터 라벨링은 없어지기보다 역할이 달라질 가능성이 더 커 보입니다.
자동으로 처리할 수 있는 단순한 작업은 계속 줄어들 것입니다.
반면 AI의 결과가 정확한지 평가하거나 전문적인 내용을 검증하고, 애매한 사례를 판단하는 역할은 남게 됩니다.
즉 사람의 역할이 단순 작업자에서 Reviewer(검토자), Evaluator(평가자), Domain Expert(분야 전문가) 쪽으로 이동하는 것입니다.
특히 AI가 실제 기업 업무와 연결될수록 회사 내부 사정을 이해하는 사람의 검토도 중요해질 수 있습니다.
14. AI 데이터 라벨링을 정리해보면
AI 데이터 라벨링은 단순히 사진에 이름표를 붙이는 작업만을 의미하지 않습니다.
AI 시대에는 데이터를 만들고 분류하는 과정뿐 아니라 AI의 답변을 평가하고 잘못된 결과를 찾아내는 과정까지 중요해지고 있습니다.
단순한 작업은 계속 자동화될 것입니다.
하지만 AI가 판단하기 어려운 데이터, 전문 지식이 필요한 내용, 문화적 맥락이 중요한 표현에서는 사람의 역할이 쉽게 사라지기 어렵습니다.
결국 AI가 발전한다고 사람의 역할이 사라진다기보다, 단순 반복 작업은 줄고 판단과 검증의 비중이 커진다고 보는 편이 더 자연스럽습니다.
AI가 먼저 작업하고 사람이 어려운 부분을 검토하는 구조가 앞으로 더 많이 사용될 가능성이 있습니다.
좋은 AI를 만들기 위해서는 좋은 데이터가 필요하고, 좋은 데이터를 유지하려면 아직은 사람의 판단과 검증이 필요한 부분이 많습니다.
그래서 데이터 라벨링 시장도 단순 반복 작업 중심에서 품질 관리와 전문 평가 중심으로 계속 바뀌어갈 가능성이 높습니다.