프로젝트 성공사례#05 AI 번역 모델 개발을 위한 텍스트 가공기

AI 번역 모델 개발을 위한 텍스트 가공기

업무협업플랫폼을 위한 번역 데이터 구축 작업기 

고객사 요구사항

• 네이티브 영어 실력 및 일상회화 번역 역량
• 사무환경에 적합한 프로페셔널 톤앤매너 구현
• 모델 구축을 위한 번역 외 추가 고려사항 인지 및 적용(존댓말, 종결어미, 이모티콘 최소화, 숫자번역, 이름 구분 기준 등)

고객사에게 어떤 어려움이 있었나요?

소량의 번역은 인하우스로 진행할 수 있었지만 구현 중인 모델을 제품화하기 위해서는 대량의 작업이 필요했고, 그 과정에서 품질을 보장할 수 있는 번역이 필요한 상황이었습니다. 또한 AI모델향 번역이었으므로 언어적 번역 외에 준수해야 할 작업기준이 명확하여 기존의 일반적인 번역회사에서 수행하기엔 어려운 업무였죠. 이에 36만명의 크라우드워커 중 검증된 번역 인력풀과 관련 데이터 가공 경험이 풍부한 크라우드웍스의 프로젝트 설계/운영 노하우와 핏이 맞게되어 계약을 진행했습니다.

크라우드웍스를 선택한 이유!

• AI모델 개발을 위해 최적화된 번역 작업 가능
• 고객사 기준에 적합한 검증된 번역 인력풀 선발 가능

크라우드웍스 솔루션

작업자 선발 과정

가장 먼저 해야할 일은 고객사 요구사항에 맞춰 작업자 선발 기준을 선정하고 가장 적합한 톤앤매너를 구현할 수 있는 작업자들을 선발하는 것이었습니다. 영어권 거주 2년 이상, 영어 전공자 또는 토익 900점 이상으로 1차 작업자 모집을 진행했는데요. 이후 든든한 TA(Talent Acquisition)팀의 지원으로 샘플 번역 문항들을 만들어 2배수 예비 작업자의 번역 품질을 확인하는 과정을 추가했습니다. 이들의 샘플 번역문을 살핀 뒤 크라우드웍스는 마침내 고객사가 희망하는 오피스향 톤앤매너에 적합한 작업자를 선발할 수 있었죠. 이러한 과정은 모두 고객사에게도 꼼꼼하게 전달되었고, 협의 하에 작업자들을 최종 선정했습니다.

텍스트 번역

고객사로부터 제공받은 소스데이터는 원래 줄글 형태의 문장이 모인 메신저 대화문 형식의  데이터셋이었습니다. 대화문 형식으로 이루어진 데이터셋을 작업 플랫폼에 업로드 할 경우 작업자는 대화문의 전체 내용을 한번에 보게되는데요. 이렇게 될 경우 작업자가 각 문장을 이해하고 번역하는 데에 있어 편견이 작용 할 수 있다고 판단했습니다. 따라서, 플랫폼팀과 협업하여 대화의 전체내용이 한번에 공개되지 않도록 해당 프로젝트만을 위한 작업화면 UI를 개발했죠. 각 문장의 작업(번역)을 저장해야 다음 문장을 확인할 수 있는 ‘Text Sequence 기능’을 개발해 플랫폼에 반영했습니다.

작업자가 고객사의 요구사항에 맞추어 작업하는 데에 어려움이 없도록 크라우드스는 작업자의 측면에서도 아낌없는 지원을 퍼부었는데요. 작업 자체가 정확한 문법으로 완성된 문장이 아닌, 실제 일상 생활에서 메신저로 주고받은 Raw Data를 번역하는 작업이다보니 작업자가 번역 중 햇갈리거나 애매하다고 판단할 수 있는 요소가 종종 생겨났습니다. 이러한 부분들을 보완하고자 실시간 질의응답을 통해 피드백을 주고받고, 작업규칙 개선을 병행하며 퀄리티 높은 데이터를 만들어낼 수 있었답니다!

담당 PM 코멘트

“메신저로 주고 받은 일상 대화를 번역하는 이번 프로젝트의 데이터셋에는 각 언어를 사용하는 문화권의 축약어, 비속어, 이모티콘 등 다양한 언어적 문화가 반영되어있어, 각 표현들이 의미하고자 하는 내용을 타 문화에서 충분히 이해할 수 있게 ‘초월번역’ 하는것이 중요했습니다.

선발 된 작업자들은 언어 문화에 대해 각자 다른 통찰력이 있었으며, 이들의 통찰력을 한곳에 모으고 쉽게 공유 할 수 있는 ‘공간’을 구성하는 것이  본 프로젝트의 중요한 Key라고 저는 판단했죠. 그래서 담당 PM이었던 저는 공유 가능한 테이블 형태의 ‘공간’을 구성하였고, 작업자들은 해당 공간에서 각자의 통찰력과 새로 발견한 정보들을 적극적으로 공유하며 작은 생태계가 이루어졌습니다. (제가 만든 이 공간에서 이처럼 작업자들간의 유익한 소통이 이루어지는 모습은 이루말할 수 없이 감동적이었어요.)

다양한 정보가 자연스럽게 축적되어 이 ‘공간’은 작은 사전이 되었고, 이를 적극 활용한 과정들이  프로젝트의 결과에 긍정적인 영향을 주었다고 생각됩니다.

프로젝트가 끝나고 혼자 생각했어요. ‘아 이보다 더 프로젝트에 진심일 수는 없었겠구나.’ 단순히 고객사의 요청이 아닌 ‘나의 프로젝트’라는 생각으로 임했기에 만족스러운 퀄리티의 데이터를 제공할 수 있었다고 생각합니다.”