프로젝트 성공사례#30 대화형 AI 엔진 고도화를 위한 텍스트 수집∙가공기
대화형 AI 엔진 고도화를 위한 텍스트 수집∙가공기
오픈도메인 대화형 문장 수집 및 대화 문장 태깅 작업
고객사 요구사항
- 메신저 형식으로 크라우드웍스 플랫폼 내 작업자화면 커스터마이징
- AI 답변의 자연스러움을 판단하기 위해 여러가지 항목으로 평가
- 고객사 기획의도에 맞는 라벨링을 위하여 자격시험, 함정문제 적용
- 5회에 걸친 분산 작업 진행 및 작업 착수 전 별도 교육 및 Q&A세션 진행
고객사 소개
크라우드웍스에 프로젝트를 의뢰한 고객사는 신규 기능으로 딥러닝 대화형 AI 엔진 개발 및 고도화가 필요했습니다. 고객사는 다양한 모바일 및 인터넷 서비스를 제공하는 국내 최대규모의 IT 기업으로 B2B, B2C 서비스를 모두 제공하며 AI분야에서도 다양한 개발을 진행중이죠. 크라우드웍스와는 지난 수년간 함께 라벨링 작업을 진행해 온 히스토리를 보유하고 있습니다.
크라우드웍스를 선택한 이유!
- 자연어 태깅 프로젝트에 경험이 풍부한 PM의 맞춤 프로젝트 운영
- 다양한 품질 관리 장치 (자격시험, 함정문제)
- 고객 맞춤 작업 화면 커스터마이징
- 데이터 수집부터 가공까지 원스탑으로 제공가능한 크라우드웍스의 맞춤 서비스
- 체계적인 검수 시스템을 통한 높은 퀄리티의 데이터 확보
- 고객사와 밀착 소통으로 전주기 맞춤 관리
크라우드웍스 솔루션
작업화면 커스터마이징
본 프로젝트는 주관적일 수 밖에 없는 자연어 데이터를 고객사 품질 기준에 맞추어 가공하며 다양한 품질 관리, 크라우드워커 관리 역량이 투입된 오케스트라같은 프로젝트였습니다.
크라우드웍스와 함께 오랜시간 합을 맞춰온 고객사의 첫번째 요구사항은, 작업자들이 쉽게 데이터를 가공할 수 있도록 작업화면을 메신저 형식으로 커스터마이징해달라는 요청이었는데요. 플랫폼팀의 아낌없는 지원으로 작업자들이 고객사의 기획의도에 맞는 답변을 할 수 있도록 작업화면 커스터마이징을 진행했습니다. (크라우드웍스에서라면 불가능 한 게 없는거! 다 아시죠?) 아울러 판단 기준이 까다롭고 세밀한 관계로 작업화면 바로 옆에 요약 가이드도 첨부하여 작업자가 바로바로 적합한 챗봇 답변의 값을 체크할 수 있게 설계했구요.
작업자 선정
작업자 선정은 크라우드웍스 라벨러 풀에서 텍스트 태깅 작업의 경험이 풍부하고 정확도가 높은 작업자로만 매칭하여 선정하였습니다. 1차 풀 선정 이후에도 자격시험을 통해 고객사의 작업 기준을 정확하게 이해하는 작업자들로 최종 풀을 선정했죠.
정확한 작업기준 유지를 위해서 프로젝트를 5번으로 나눠 진행했는데요. 분산된 프로젝트 진입시마다 자격시험을 보아 통과한 작업자들로만 풀을 구성했고, 특히 작업의 일관성을 유지하기 위하여 중간중간 함정문제도 추가하여 작업 이해도에 대한 일관성을 유지 하지 못하는 작업자는 배제해가며 데이터 품질을 지켜냈습니다.
아울러 자격시험 이후 교육 및 Q&A세션을 진행하여 모호한 부분에 대해서 고객사와 작업자간의 눈높이를 맞추는 과정을 지속적으로 진행했습니다. 프로젝트 진행 과정에서도 PM과 작업자와의 유기적 소통을 통해서 실시간으로 모호한 작업기준에 대한 구체화를 진행해갔습니다.
PM역시 텍스트 태깅 경험이 풍부한 PM으로 배정하여 초기 설계부터 고객과 밀접한 소통을 하였는데요, 고객사에서 요구하는 데이터 품질과 기획의도에 맞게 다양한 프로젝트 운영 방안을 설계 및 제안드리며 협의를 진행했습니다. 특히 크라우드워커 특성상 난이도가 높아지면 작업 진척률이 떨어지는 현상이 있는데, 이러한 이슈를 해결하기 위해 데이터 분산을 제안드렸고, 작업 진척률과 정확도를 개선하며 더욱 만족스러운 품질로 프로젝트를 마무리 할 수 있었습니다.
그 덕분에 고객사에서 후속 프로젝트를 의뢰 주셨다는 사실은, 안 비밀이에요!
담당 PM 후기
NLP프로젝트 특성상 주관성이 개입될 수 밖에 없지만, 고객사의 기획의도에 맞는 데이터를 가공하기 위해 크라우드웍스의 다양한 품질관리 장치를 적용했습니다. 함께 작업한 고객사는 이전에도 크라우드웍스에 프로젝트 진행 경험이 있는 오랜 고객사인데요. 금번에도 크라우드웍스를 믿고 의뢰주셔서 더욱 정확한 데이터 라벨링을 제공드리기 위해 촘촘한 프로젝트 설계를 진행했습니다.
