프로젝트 성공사례#22 AI 챗봇 고도화를 위한 텍스트 수집∙가공기
AI 챗봇 고도화를 위한 텍스트 수집∙가공기
약 7만건의 AI챗봇 대화 내용 수집 및 태깅 작업기
고객사 요구사항
- 20-40대 동일한 성비 작업자 20명 요청
- 작업자별 동일한 작업량
- 가이드라인을 준수한 대화 수집 및 태깅
고객사에게 어떤 어려움이 있었나요?
이제 AI 챗봇은 더이상 먼 미래의 소유물이 아니죠. 다양한 분야에 AI 챗봇이 도입되며 일상 생활에서도 흔하게 접할 수 있는 기술이 되었는데요. 오늘 프로젝트 사례로 소개해드리는 고객사는 국내 선도 게임사로서 신사업 추진을 위해 AI 연구조직을 운영하며 보다 인간다운 AI 개발을 위해 노력 중인 기업입니다. 영어로 된 해외 챗봇 사례는 많으나 한국어 챗봇은 그 사례가 많지 않아 고객사는 자체 데이터셋을 구축하기로 했는데요. 기획의도는 있으나 실행을 위한 데이터 수집과 가공안 구체화가 필요했던 상황에 크라우드웍스를 찾아오셨습니다.
크라우드웍스를 선택한 이유!
- 국내 최다 데이터 라벨러 풀 보유하여 라벨러 편중 없이 다양한 라벨러 풀 확보 가능
- 챗봇 관련 다양한 프로젝트 경험으로 더 고품질의 데이터를 가공하기 위한 가이드 구체화 등 고객사 컨설팅 가능 (실제로 크라우드웍스 영업담당의 구체적 제안 덕에 크라우드웍스를 택했다고 말씀주시고, 실제로 운영 하면서도 PM 의 꼼꼼한 운영에 거듭 만족감을 표해주셨습니다)
- 전담 PM 배정으로 프로젝트 오픈부터 종료까지 전주기 밀착 관리
크라우드웍스 솔루션
본 프로젝트는 총 3개의 Task 로 이루어져있습니다. 우선 고객사가 자체개발한 챗봇을 포함해 기존에 오픈소스로 제공되는 여러 챗봇들을 활용하여 챗봇과 사람간의 대화를 평가하고자 하였습니다.
챗봇 별 대화 수집 이후 챗봇 답변의 자연스러움(충분히 사람처럼 말하는지, 대화의 답변이 충분히 구체적이고 일관적인지)을 고객사의 기준에 맞추어 평가했는데요, 이 평가 역시 대화 턴별로 평가를 한 이후에 챗봇별 전체 평가를 진행하였습니다.
텍스트(대화 내용) 수집
자연어로 이루어진 대화를 평가한다는 것은 사람마다 상당히 주관적인 기준을 적용할 수 있기 때문에 우선 고객사와 PM간 눈높이를 맞추는 협의 과정을 프로젝트 착수 전부터 종료 시점까지 수시로 진행하였습니다. 텍스트 프로젝트 특성상 가이드가 굉장히 길어지고 늘 수시로 예외사항이 생기므로 이러한 가이드라인을 이해하고 일관되게 업데이트하는 것이 PM의 중요 역할이었죠.
텍스트 데이터 경험이 없는 관리자라면 고객사에게 먼저 주도적으로 효율적인 운영방안과 보강된 가이드라인을 제시하기 쉽지 않았을 텐데, 텍스트 프로젝트에 특화되어 있는 꼼꼼한 담당PM은 고객도 인지하지 못하던 태깅 지침들을 MECE(Mutually Exclusive Collectively Exhaustive)하게 다듬어 나가며 고객감동을 실현했습니다.
텍스트(대화 내용) 가공
텍스트 데이터 태깅의 경우 그 주관성으로 다중할당을 진행하는데 본 프로젝트는 전체 참여자들이 한번씩 모든 평가를 하는 식으로 촘촘하게 평가를 진행하였습니다. 아울러 작업자간 평가 일관성을 유지하여 데이터 품질을 확보하기 위해 모든 작업자의 작업 로그데이터를 분석하여 이상점인(outlier) 데이터는 재작업하는 등 면밀하게 협업하며 고품질 데이터를 위한 노력을 아끼지 않았습니다.
담당 PM 코멘트
“고객사는 총 2차례에 걸쳐 프로젝트를 의뢰주셨고, 2차 진행 시에는 1차 프로젝트 진행 시 얻은 lesson-learned를 사전 공유드려 원활한 프로젝트 진행을 위한 사전 협의를 충분히 진행하였습니다.
텍스트 프로젝트 특성상 고객의 기획과 작업자의 결과물의 간극이 한없이 커질 수 있다는 점을 잘 이해하고 있었기에 제가 그동안 텍스트 프로젝트를 운영하며 쌓은 노하우를 사전에 공유드려 최대한 눈높이를 맞추어 협의하며 운영하였습니다.
킥오프 미팅 뿐 아니라 상시로 가이드라인 업데이트 필요시 미팅을 진행했는데 고객사께서는 이러한 크라우드웍스의 밀착 소통 및 프로페셔널한 운영에 감동을 받으신 것 같았습니다. 감사하다는 피드백을 많이 주셨었는데 그 무엇보다 보람찼던 기억이 있습니다.”
