프로젝트 성공사례#12 클린 리뷰 시스템을 위한 텍스트 가공기

클린 리뷰 시스템을 위한 텍스트 가공기

배달 플랫폼 리뷰 텍스트 분류 및 다중태깅 작업기

고객사 요구사항

• 주관적 해석이 필연적인 리뷰 텍스트를 고객사 기준에 맞추어 분류 필요
• 품질 유지 위한 다중태깅, 자격시험, 함정문제 도입

고객사에게 어떤 어려움이 있었나요?

코로나 시국 배달 플랫폼을 통한 거래가 눈에 띄게 증가하면서, 별점 등 후기는 잠재 고객에 상당한 영향을 미치는 수단이 되었습니다. 리뷰는 상품 구매를 위한 유용한 정보로 활용되고 있으나 일부 소비자들이 이를 악용해 악의적인 평가를 하는 등 사회문제로 대두되고 있어 배달앱 업체들은 점주 보호를 위해 이를 제한하고 모니터링 시스템을 고도화하는 등의 방안을 도입 중에 있습니다.

크라우드웍스를 선택한 이유!

• 초기부터 데이터 가공을 함께 진행한 파트너로 데이터 품질 신뢰도 보유
• 주관적 평가가 수반되는 텍스트 데이트 태깅을 조금 더 정확히 하기 위한 품질관리 장치 보유(자격시험/함정문제) 등
• 전담 PM 배정으로 프로젝트 오픈부터 종료까지 전주기 밀착 관리

크라우드웍스 솔루션

작업자 선발 과정

감정이 포함된 텍스트를 해석하는 것은 주관성이 개입될 수 밖에 없습니다. 따라서, 고객사가 원하는 모델의 개발 목적에 딱 맞는 데이터 가공을 하기 위해서는 사전에 고객사와 면밀한 논의를 통해 작업기준을 명확히 하는 것이 관건이죠.

아울러 고객사에서 희망하는 데이터를 가공하기 위하여 다중태깅을(3중 다중할당을 통해 다수의 작업자가 동일한 태깅을 진행) 도입하고 크라우드웍스 고유의 품질보증 장치인 자격시험과 함정문제를 적용하여 가이드를 완벽히 숙지한 작업자풀로만 구성하여 가공 작업을 진행하였습니다. 자격시험과 함정문제를 구성하고 답변을 만드는 일에는 PI(Project Improvement)팀의 든든한 도움이 있었습니다. 담당PM은 품질관리와 납기관리를 위해 진척률과 정확도에 따라 투입되는 라벨러 수를 조절했는데요. 다양한 프로젝트 경험을 바탕으로한 크라우드웍스  담당PM들의 이러한 탁월한 판단은 고객사가 원하는 데이터 품질과 납기일 준수를 위한 결정적인 요소로 작용하고 있습니다. 

리뷰 텍스트 가공

리뷰는 종류에 따라 확실히 차단되어야하는 욕설리뷰와 논란의 소지가 있을 수 있는 리뷰 등 고객사에서 제공한 가이드 라인에 맞추어 분류하였습니다. 가이드를 꼼꼼히 읽지 않으면 자칫 오태깅이 일어나기 쉬운 작업이었기 때문에 중간중간 확실한 정답이 있는 함정문제들로 품질을 유지하였습니다. 

또한, 더 높은 품질관리를 위해 프로젝트는 여러 차수에 나눠져 오픈되었는데요. 이전 차수에서 오태깅이 많았던 문제를 자격시험으로 선별하여 더욱 엄선된 라벨러를 투입하였습니다. PI팀에서 꼼꼼히 가이드를 작성해주시고 프로젝트 진행과정 중 진척도를 체크하며 작업자 문의사항에도 신속히 응대해주신 덕분에 원할하게 작업에 이루어 질 수 있었습니다.

+ 크라우드웍스와 담당PM의 작업 진행이 만족스러우셨던 해당 고객사는 계약 수량 외 추가 의뢰를 주셨고, 초과 성과를 달성하였습니다.

담당 PM 코멘트

“일상에서 자주 사용하는 서비스의 품질 개선을 위한 AI 모델 개발에 기여할 수 있어서 재미있게 수행한 프로젝트였습니다. 아무래도 리뷰의 내용을 읽고 분류하는 것이기 때문에 해석에 대한 주관성이 가장 큰 고민 포인트였는데요. 3중 다중할당을 통해 다수의 작업자가 동일한 내용에 대한 태깅을 진행하며 이러한 고민이 해소될 수 있도록 작업방식을 구성했습니다. 프로젝트 진행에 앞서 고객사가 겪고있는 어려움 또는 걱정하는 부분에 대해 파악하고, 대응하는 해결책을 찾아내는 것이 담당PM의 가장 중요한 역할이라고 생각하는데요. 저를 포함한 크라우드웍스의 대부분의 PM분들은 다양한 산업에 대한 경험을 보유하고 계신 분들이기 때문에 고객사의 가려운 부분을 시원하게 긁어줄 수 있는 서비스 제공이 가능하고, 또 이것이 많은 기업들이 크라우드웍스를 찾는 이유가 아닐까 싶습니다.”