크라우드웍스, 라이선스 확보한 고품질 데이터셋 유통·판매 본격 개시

• 전문가가 직접 구축한 전문성·신뢰도 높은 고품질 데이터셋
• 비즈니스, 출판, 마케팅, 헬스케어 등 산업별 특화 데이터로 AI 개발 효율성 제고

AI 테크 기업 크라우드웍스가 법적 리스크가 없는 고품질 데이터셋 유통·판매 사업을 본격 개시한다고 18일 밝혔다. 

AI 시장에서 데이터 라이선스와 투명성이 강조되고 있다. EU(유럽연합)는 AI 기업들에게 학습 데이터 정보 공개를 의무화했고, 미국에서는 저작권 침해 소송이 증가하는 추세다. 이처럼 라이선스를 확보한 AI 학습용 데이터셋의 중요성이 커지는 가운데, 크라우드웍스가 검증된 데이터셋 유통에 나섰다.

크라우드웍스가 판매하는 데이터셋은 라이선스를 확보한 산업 특화 데이터셋이다. 데이터셋 라인업에는 ▲WorksOne 데이터셋 ▲광고 분석 ▲건강검진 결과 ▲전문 지식 Q&A ▲기업 정보 ▲도서 ▲뉴스 기사 등이 포함됐다. 저작권 침해, 개인정보보호 등 법적 리스크가 없어 기업이 활용하기에 용이하고, AI가 아닌 검증된 전문가가 구축해 전문성과 신뢰성이 높은 것이 특징이다. 

먼저 WorksOne 데이터셋은 숫자, 문장, 글 등 기업에서 자주 사용하는 답변 형식이나 동사, 문체 등 AI가 기업이 선호하는 표현으로 답할 수 있도록 설계된 데이터셋이다. 대기업에서 15년 이상 기획업무에 종사한 베테랑 기획자들이 직접 데이터셋을 만들었다. 이 데이터셋을 학습한 크라우드웍스의 소형언어모델 WorksOne(웍스원)은 타 모델과 비교 테스트에서 기업이 원하는 다양한 요구사항과 답변 유형을 만족하는 높은 수준의 결과물을 얻을 수 있음을 확인했다. 

광고분석 데이터셋은 국내 광고 1만여 건의 광고 데이터를 분석해 만들었다. 광고 정보, 타깃, 목표, 카피 표현방식, T&M 등 직접 구축한 메타 데이터가 담겼으며, 창의적인 AI 서비스 개발에 활용 가능하다.

이 밖에도 240개 국가 3억 개 이상의 최신 기업 정보를 포함하는 기업정보 데이터셋과 장르와 카테고리별 도서(e-book) 데이터셋, 1만 5천여 건의 건강검진 결과 데이터셋, 5억 건 이상의 뉴스 기사 데이터셋, 16개 분야별 전문가가 생성한 전문지식 Q&A 데이터셋 등을 구매할 수 있다. 크라우드웍스 홈페이지 등을 통해 구매 문의가 가능하다.

크라우드웍스는 AI 기술 기반의 정확하고 까다로운 검수 작업을 거쳐 고품질 데이터를 제공하고 있다. 현재까지 누적 2억 6천만 개 이상의 AI 데이터를 구축한 풍부한 경험을 토대로, 탁월한 데이터 품질 관리 역량을 인정받아 국가 AI 데이터 표준화에도 기여했다. 앞으로 데이터 유통 시장이 활발해질 수 있도록 모빌리티, 테크, 법률, 교육, 미디어 등 다양한 특화 데이터 라인업을 확대해나갈 계획이다. 

김우승 크라우드웍스 대표이사는 “AI 프로젝트가 성공하려면 데이터의 양적 확대보다 품질에 집중해야 한다”며 “양질의 데이터가 부족한 상황에서 신뢰할 수 있는 데이터셋 공급을 통해 기업의 AI 프로젝트 성공을 돕고 건강한 AI 생태계를 만들어갈 것”이라고 말했다. 

한편, 글로벌 시장 조사 기업 Market Data Forecast에 따르면 2024년 글로벌 AI 학습 데이터셋 시장은 약 3조 7천억원(26억 3천만 달러) 규모로 추정되며, 연평균 성장률 21.5%를 기록하면서 2028년까지 약 8조원(약 57억 3천만 달러)에 이를 것으로 예상된다.