이런 분께 도움이 됩니다
흩어진 사내 데이터를 AI 학습 데이터로 바꾸고 싶은 기업 담당자
한눈에 보기
본 프로젝트의 원천데이터는 문제와 해설이 분리되어 있거나, 손글씨 답안과 첨삭이 겹쳐 있어 자동으로 처리하기 어려운 상태였습니다. 크라우드웍스는 원천데이터의 관계를 파악해 스키마를 설계하고, 사람의 판단이 필요한 영역은 작업·검수 기준을 세워 구조화했습니다. 그 결과 프로젝트는 1차 사업에 이어 2차 사업까지 이어졌습니다.
1. 교재·논술 데이터 구축, 왜 250명이 필요했을까?
AI 학습데이터는 데이터의 형태와 복잡도에 따라 구축 난이도가 크게 달라집니다. 특히 교재·논술 데이터는 텍스트와 이미지 가공을 비롯해 데이터(문제·정답·해설) 간의 관계와 맥락까지 이해해야 하기 때문에 더욱 어렵습니다.
이번 프로젝트의 목표는 멀티모달 AI와 LLM·VLM의 추론 능력 향상에 필요한 대규모 학습데이터 확보였습니다. 크라우드웍스는 KT가 추진하는 이 사업에 참여해 데이터 구조 설계부터 구축, 납품 전반을 맡았는데요. 데이터 특성상 사람의 확인이 필수적이었기에 교재 133명, 논술 117명, 총 250명이 투입되었습니다.
복잡하게 얽혀 있는 교재·논술 데이터는 어떻게 AI가 학습할 수 있는 구조로 만들어졌을까요?
2. 문제·정답·해설이 서로 다른 파일에 있습니다
이 프로젝트에서 가장 어려웠던 부분은 원천데이터의 형식과 구성이 제각각이었다는 점입니다.
교재는 문제와 해설이 서로 다른 파일에 있거나, 정답과 해설이 교재 안의 여러 위치에 나뉘어 있었습니다. 사람이 맥락을 판단하지 않고는 정답·해설을 연결할 수 없는 구조적 한계가 있었죠. 하나의 문항을 온전히 데이터화하려면 질문·지문·보기·선택지를 구분하고, 이미지·표·차트 같은 콘텐츠가 어느 문항에 속하는지도 파악해야 했습니다.
논술 데이터는 대학이 제시한 논제와 학생의 손글씨 답안, 그 위에 덧붙여진 교사의 첨삭이 함께 존재했습니다. 각각의 내용을 구분하는 것뿐 아니라, 학생 답안과 교사 첨삭이 어떤 의미로 연결되는지도 파악해야 했습니다.
3. 교육 데이터를 이해하는 PM이 필요한 이유
크라우드웍스에는 교육 관련 사업을 약 2년간 수행한 경험이 있는 PM이 있었습니다. 이번 프로젝트는 교육 콘텐츠의 구조와 맥락을 이해하는 역량이 중요한 만큼, 담당 PM의 전문성이 프로젝트 전반에 반영되었습니다. 이를 바탕으로 고객과 원천데이터의 특성, AI 활용 목적, 데이터 구조를 함께 논의할 수 있었습니다.
4. AI가 학습할 수 있도록 데이터 구조를 다시 설계하다
1) 문제·정답·해설을 연결하는 데이터 스키마 설계
먼저 고객과 함께 원천데이터의 특성과 활용 목적에 맞는 데이터 스키마 구조를 논의했습니다.
교재 데이터는 문항 안의 문제·정답·해설을 각각 구분했습니다. 그리고 항목 안의 질문·지문·보기·선택지·힌트 같은 텍스트 요소와, 이미지·음성·표·차트 같은 콘텐츠도 문항별로 연결했습니다. 특히 각 콘텐츠를 별도 메타값으로 관리할 수 있도록 구성해, 문제집과 해설집처럼 서로 다른 파일에 존재하는 정보도 하나의 문항 안에서 정확히 매칭될 수 있도록 구조화했습니다.
논술 데이터는 논제와 학생 답안, 교사 첨삭을 각각 구분하면서도 서로의 의미가 이어질 수 있도록 구성했습니다. 특히 교사의 첨삭 내용이 학생 답안의 어느 부분과 연결되는지까지 데이터에 반영해, 원천데이터의 관계와 맥락을 유지하는 데 초점을 맞췄습니다.
2) 수식은 LaTeX로, 손글씨는 사람의 판단으로
구조를 정했다고 해서 모든 데이터를 같은 방식으로 처리할 수 있었던 것은 아닙니다. 교재마다 문항 구성과 정답·해설의 위치가 달랐고, 규격을 벗어나는 예외 케이스도 계속 발생했습니다. 크라우드웍스는 교재별 작업 방식을 영상으로 제작해 작업자 교육에 활용하고, 새로운 예외가 발견될 때마다 가이드와 검수 기준을 지속적으로 업데이트했습니다.
인문논술은 학생마다 표현 방식이 달랐기 때문에 답안과 첨삭을 일관된 기준으로 구분할 수 있도록 별도 가이드를 마련했습니다. 수리논술은 손글씨 수식의 의미를 정확하게 표현할 수 있도록 LaTeX* 작성 기준을 강화했는데요. 이 과정에서 고객사의 AI 모델 학습 환경에 맞춰 LaTeX 렌더링 규격과 유니코드 표현 기준을 맞추고 결과를 지속적으로 조율했습니다.
또한 학생 답안 위에 교사 첨삭이 겹쳐 있는 데이터는 자동 처리만으로 정확도를 확보하기 어려워, 1차 추출 이후 사람이 직접 확인하고 수정하는 방식으로 보완했습니다.
*LaTeX: 수식과 기호 등을 구조적으로 표현하기 위한 문서 작성 시스템
3) 의미 판단이 필요한 부분은 도메인 전문가의 검수
교재에서는 문항 유형을 판별하거나 해설을 바탕으로 실제 정답을 확인해야 하는 경우가 많았습니다. 논술에서는 학생 답안과 교사 첨삭의 의미를 함께 이해해야 했는데요. 크라우드웍스는 기존 교육 프로젝트에서 확보한 인력 중 필기·실기 시험을 통과한 도메인 전문가 투입해 작업과 검수를 진행했습니다. 교재는 과목별 특성을 고려해 문항과 해설의 정확성을 확인하고, 논술은 교사 첨삭의 기준과 의미가 데이터에 올바르게 반영됐는지를 검수했습니다.
5. 교재 194권과 논술 1만 건을 AI 학습데이터로 구축했습니다
구분 | PDF 병합본 | JSONL | 콘텐츠 PNG |
교재 | 문제·해설집을 단원별로 병합 | 문항 정보 정리 | 이미지·표 등 |
논술 | 논제·학생 답안·교사 첨삭 연결 | 문항 정보 정리 | 이미지·표 등 |
이번 프로젝트의 핵심은 각각의 정보를 단순히 추출하는 데 그치지 않고, 문제·정답·해설·콘텐츠의 관계와 학생 답안·교사 첨삭의 의미를 유지한 상태로 데이터를 구조화했다는 점입니다. 구축된 데이터는 여러 AI 모델의 학습데이터로 활용할 수 있는 형태로 완성됐습니다.
프로젝트는 1차에 이어 2차까지 이어졌는데요. 1차에서는 교재 194권과 논술 데이터 12,785개를, 2차에서는 교재 196권과 논술 데이터 5,000개를 구축했습니다.
6. 담당 PM 후기
“프로젝트에서 가장 중요하게 생각했던 건, 실제 활용 목적에 맞는 데이터 구조를 함께 설계하는 일이었습니다.”
교재 데이터는 문제·정답·해설과 콘텐츠 간의 관계를 구조화해 여러 모델에 원활하게 적용할 수 있도록 설계했습니다. 초·중·고 다양한 교과목의 특성을 반영한 태그값도 고객과 지속적으로 논의했으며, 서로 분리되어 있던 문제집과 해설집은 모델 학습에 활용하기 쉽도록 병합본으로 함께 구축했습니다.
논술 데이터는 학생 답안과 교사 첨삭을 문장 단위로 구분하고 연결하는 데서 더 나아가, 내용요소의 판단 기준을 카테고리화해 의미 학습이 가능하도록 설계했습니다.
단순히 데이터를 가공하는 데 그치지 않고 원천데이터의 특성을 파악해 여러 AI 모델에 활용할 수 있는 구조와 결과물을 고객과 함께 만들어냈습니다. 이 점이 2차 사업까지 이어질 수 있었던 주요 요인이라고 생각합니다.
7. 우리 회사의 복잡한 데이터도 AI 학습데이터가 될 수 있을까요?
교육 분야가 아니더라도, 기업이 보유한 원천데이터를 AI에 활용하려면 먼저 학습 가능한 형태로 구조화해야 합니다.
사내 문서가 여러 파일에 흩어져 있거나, 데이터마다 형식이 다르거나, 서로 연결되어야 할 정보의 관계를 새롭게 정의해야 할 수도 있습니다. 특히 산업과 업무에 대한 이해가 필요한 데이터라면 단순 가공만으로는 충분하지 않을 수 있습니다.
다음과 같은 고민이 있다면 크라우드웍스와 이야기해 보세요.
다음과 같은 고민이 있다면 크라우드웍스와 이야기해 보세요!
사내에 문서와 데이터는 많지만 AI 학습에 어떻게 활용해야 할지 모르겠다
데이터마다 형식과 구조가 달라 하나의 데이터셋으로 만들기 어렵다
여러 파일에 흩어진 정보를 서로 연결해야 한다
데이터 구조를 어떻게 설계해야 할지 고민된다
산업·업무에 대한 전문 지식이 필요한 데이터 구축이 필요하다
크라우드웍스는 원천데이터의 특성과 AI 활용 목적을 바탕으로 데이터 구조 설계부터 구축, 검수까지 지원합니다.
데이터 구축에 대한 더 자세한 내용은 데이터 구축 가이드에서 확인해보세요.
Share article