2024년 4월 24일 프로젝트 사례

기업을 가장 잘 이해하는 LLM, 크라우드웍스 WorksOne을 소개합니다

크라우드웍스는 그동안 국내 여러 기업이 요구하는 다양한 LLM을 구축하면서, 영어 데이터 중심으로 학습된 LLM이 한국어는 물론, 한국의 비즈니스 용어를 원활히 이해하지 못해 발생하는 문제들을 자주 발견해 왔습니다.

크라우드웍스는 이를 해결하기 위해 다양한 고민을 이어왔습니다. 그리고 저희가 가진 가장 큰 장점이자 자산인 데이터 구축 노하우와 기술을 바탕으로 직접 고품질 데이터셋을 구축하여 기업에서 가장 필요한 역량을 갖춘, 비즈니스 환경에 특화된 SLM인 WorksOne(웍스원)을 개발했습니다.

WorksOne은 80억 매개변수를 가진 오픈소스 모델과 1만개의 고품질 데이터셋으로 구축한, 한국의 비즈니스 환경에 최적화된 모델입니다. 지금부터 WorksOne에 대해 간단히 소개해 보겠습니다.

WorksOne의 강점

✔︎ 비즈니스 언어를 가장 잘 이해하는 LLM

기업의 산업군이나 환경에 따라 LLM을 통해 요구하는 결과물의 형태는 매우 다릅니다. WorksOne은 숫자, 문장, 글 등 우리 기업이 선호하는 답변 형식이나 잘 사용하는 동사 등 기업에서 선호하는 표현으로 답할 수 있도록 설계된 데이터셋을 학습한 LLM입니다. 비즈니스 맞춤형 데이터셋을 직접 구축해 모델을 최적화 했고요. 데이터셋은 금융, 유통, 공공기관 등 기업별 데이터 특징을 분석해 비즈니스 특화 용어, 문체, 보고 유형 등을 분석해 만들었습니다.

✔︎ 기업 내부 시스템과 연동이 쉬운 LLM

WorksOne은 지정한 키(Key) 값과 구조를 갖춘 Json 형식의 답변을 안정적으로 출력할 수 있습니다. 사내 레거시 시스템과 쉽게 통합하고 확장하는 것이 용이해 시스템간 데이터 교환 및 상호운용성을 향상시킬 수 있습니다.

✔︎ 기업 내외부의 데이터를 모두 잘 활용할 수 있는 LLM

RAG에 최적화된 데이터셋을 구성해 기업 내외부 풍부한 정보를 모두 담은 효과적인 답변 생성이 가능합니다.

✔︎ 한국어에 최적화된 LLM

영어 모델의 단순 번역체로 한국 기업 환경 및 한국 문화와 관련된 내용을 해석하지 못하거나 어색한 표현을 사용하지 않도록 한국어 사용에 최적화 했습니다.

결과를 비교하면 알 수 있습니다.

기업에서 사용할 LLM의 경우 모델의 답변에 띄어쓰기나 오타 하나만 발생해도 사용자가 전후처리에 상당한 리소스를 소모하게 되기 때문에 정확한 답변을 안정적으로 출력하는 것이 매우 중요합니다. WorksOne은 자체 테스트 및 타 모델 비교 테스트를 통해 기업이 필요로 하는 다양한 요구 사항과 답변 유형을 만족하는 높은 수준의 결과물을 얻을 수 있음을 확인했습니다.

▲답변 비교 예시

위의 예시의 경우 GPT를 포함한 타 모델들은 Json 답변에 노이즈가 포함되거나 항목이 누락되는 결과를 확인했지만 WorksOne은 요청한 키 값에 따라 안정적으로 답변을 생성했습니다.

WorksOne이 남다른 이유, 고품질 데이터에 있습니다

✔︎ Crowdworks Enterprise Fine-tuning Data Framework

크라우드웍스는 세계가 인정한 인공지능 데이터 기술은 물론 국내 최다 데이터 구축 경험과 노하우를 가지고 있습니다. WorksOne은 모델이 기업의 니즈에 맞게 동작할 수 있도록 크라우드웍스의 Enterprise Fine-tuning Data Framework에 따라 학습용 데이터와 모델 성능을 최적화했습니다.

✔︎ 비즈니스 전문 데이터 작업자가 구축한 고품질 한국어 파인튜닝 데이터셋을 학습합니다

WorksOne은 크라우드웍스의 60만 데이터 작업자들 가운데 아래와 같은 고급/전문 역량을 가진 작업자를 선별하여 직접 만든 고품질의 데이터셋을 학습합니다. 따라서 업무 환경에서 다른 모델 대비 더 정확하고 효과적인 답변을 제시합니다.

15년 경력의 베테랑 기획자	자체 검증(자격 시험)을 통과한 작업자
경력 15년 이상의 대기업 기획 업무 담당자 (전산기획, 전략기획 등 보고서 다작성 경험자)	비즈니스 기준의 언어 활용/표현력, 답변 유형 준수, 다양한 산업에서의 문서 작성 경험을 기반으로 하는 문서 구조화 능력 평가