프로젝트 성공 사례 #18 AI 음성 인식 엔진 고도화를 위한 일본어 통화 발화 수집∙가공기

AI 음성 인식 엔진 고도화를 위한 일본어 통화 발화 수집∙가공기

일본어 통화 발화 수집 및 전사기

고객사 요구사항

• 다양한 환경에서 휴대폰을 사용해 통화한 두 명의 화자의 자유 발화 대화 음성 데이터 수집 (*필수조건: 일본어 native speaker)
• 확보된 음성데이터에 대해 규정된 일본어 전사 규칙에 따라 전사
• A/B 각각의 화자가 이야기한 부분에 대해 정확한 Time Tagging 및 Speaker Segregation (화자 분리)

고객사에게 어떤 어려움이 있었나요?

AI 기술을 통해 통화 음성을 텍스트로 (실시간 스트리밍) 변환해주는 서비스를 제공하는 고객사는 사용자가 통화에서 필요한 내용만 찾아볼 수 있는 기능 뿐만 아니라 과거의 통화 내역도 검색할 수 있는 특징을 가지고 있습니다. 통화에 참여한 발화자들을 정교하게 구분하여 분리하고, 한국어 음성 인식 기술 중에서는 최고 수준의 성능으로 사업 영역 확장 중이죠. 하지만 이렇게 높은 수준의 기술을 가진 고객사에게도 한가지 어려움이 있었는데요. 국내 통화 발화 수집은 오랜기간동안의 인하우스 인력을 통해 충분히 확보하였으나, 특정 언어의 native speaker 를 모집하여 음성 데이터를 수집하는데 어려움이 있었습니다. 단순히 녹음 기기를 활용하여 음성을 수집하는 것이 아닌 “통화”음성을 수집해야 했으며, 다양한 발화자의 음성이 필요했기 때문입니다.

크라우드웍스를 선택한 이유!

• 외국어를 현지인처럼 구사하는 인력 풀 보유
• 음성 파일을 업로드 하고, 검수 시스템을 통해 데이터의 퀄리티를 확보할 수 있는 작업 툴 보유
• 수집된 음성 파일을 병행 가공 가능
• 전문인력 확보, 교육, 정산 등의 복잡한 인력 관리를 체계적으로 진행한 경험 다수 보유

크라우드웍스 솔루션

음성 수집

코로나가 갓 터진 시점에서, 통화 녹음이 가능한 핸드폰을 보유한 일본어 네이티브 작업자를 확보하는 것은 쉽지않은 일이었습니다. 하지만, 크라우드웍스에는 국내 최대 데이터 라벨링 작업자 풀을 관리하고 분석하는 TA(Talent Acquisition)팀이 있다는 사실 모두 알고 계시죠? TA팀에서 다양한 채널을 통해 일본인 작업자와 네이티브에 가까운 한국인 작업자를 확보해주신 덕분에 고객사에서 지정한 요구사항에 맞춰 원활하게 음성수집을 진행할 수 있었습니다.

음성 전사

높은 난이도와 적은 작업자로 인해 당시 국내에서 약 700시간의 통화 데이터를 수집하고 일본어를 전사 기준에 맞게 작업하는데에는 한계가 있었습니다. 따라서, 담당PM은 크라우드웍스 일본 지사에 SOS를 요청했고, 현지 일본인 작업자를 추가로 확보하여 프로젝트의 빠른 진행은 물론 높은 정확도를 이루어냈습니다.

또한, 데이터 프로젝트의 정확도는 담당PM이 해당 프로젝트에 대해 얼마만큼의 이해도가 있는지에 따라 달라질 수 있는데요. 작업자에게 작업 방식을 안내하고, 데이터 품질 모니터링 등의 중요한 역할을 맡게 될 해당 프로젝트의 PM자리에는 일본어가 가능한 담당PM을 배정하여 고품질 데이터 구축을 위한 최적화된 프로젝트 설계를 진행했습니다. 실제 작업시 애매할 수 있는 기준에 대해 사전 체크하고, 고객사와 세밀한 가이드를 조정 하는 등 담당PM의 노력으로 인해 작업자와 검수자들에게 정확한 가이드를 제공할 수 있었습니다.

영업 PM 코멘트

“고객사의 서비스를 실제 이용해보고 실시간 STT의 정확도를 보고 놀라워했던 기억이 납니다. 당시 해외 진출을 목표하여 초기단계인 외국어 음성 학습 데이터셋을 구축하는 작업을 크라우드웍스에서 하게되어 신나는 마음으로 프로젝트 구체화를 했었습니다.

구체화 단계부터 난이도를 가늠할 수 없을 정도로 어려운 프로젝트라는게 느껴져서 우려와 함께 프로젝트가 시작되었고, 예상대로 코로나로 많은 제약으로  작업자 확보부터 난항이었습니다. TA팀과 일본 지사의 도움이 없었다면 프로젝트 시작조차 힘들었을 것입니다.

예상치 못한 음성 (주변소음, 바람 소리, 등)이 녹음 파일에 들어가는 가는 것을 컨트롤 하는 것도 쉽지 않았지만, 수집된 음성을 일본어 전사 기준에 맞게 가이드 하는 부분을 담당 PM이 잘 매니징해주셔서 높은 퀄리티의 결과 데이터가 나올 수 있었던 것 같습니다. 사실 한국어 전사도 쉬운 작업이 아니거든요. 난이도 높은 프로젝트를 기간내 잘 마무리하면서 “이정도 쯤이야!” 하는 자신감이 붙게 된 계기가 되었던 것 같습니다.”