인공지능 트렌드#01 인공지능 데이터, 크라우드소싱의 시대가 열리다

인공지능 데이터 수요의 성장과 시장의 발전

그간 눈부신 발전을 보여온 인공지능은 COVID-19 팬데믹으로 인해 한층 빠르게 확산하고 있습니다. 인공지능은 다양한 산업과의 융합을 통해 위기의 공백을 메우고 경제와 사회시스템을 정상으로 되돌려 놓았죠. 인공지능의 활성화는 자연스레 딥러닝 기술의 발전으로 이어졌고, 이에 따라 인공지능 데이터의 수요도 빠르게 증가하고 있습니다. 폭발적인 수요 증가로 인해 고속성장하고 있는 인공지능 데이터 시장은 인공지능 데이터의 소싱 방식, 작업 방식, 데이터 유형, 적용 산업 측면에서 다양한 변화를 경험하고 있는데요. 인공지능 데이터 수요의 성장부터 시장의 발전까지, 혁신의 발자취를 크라우드웍스와 함께 따라가보시죠!

#1 소싱 방식의 변화: 인하우스에서 크라우드소싱으로

인공지능 데이터에 대한 수요 급증으로 인해 데이터 구축 인력을 운용하는 방식은 인하우스에서 전문 외주업체, 크라우드소싱 순으로 발전했습니다. 초기에는 데이터 엔지니어 등 내부 인력을 통해 데이터를 구축했으나, 데이터 구축에 대한 전문성을 쌓지 못한다는 점과 비용 비효율이 문제로 제기되었죠. 이후 전문 외주업체가 등장하였지만, 한정된 인원으로 작업을 해야하기 때문에, 급증하는 수요에 유연하게 대응하지 못했는데요. 이러한 문제를 해결하기 위해 탄생한 방식이 바로 크라우드소싱 입니다.

여기서 잠깐! 크라우드소싱 방식을 국내 최초로 인공지능 데이터 구축에 적용한 곳이 바로 크라우드웍스라는 사실, 알고 계셨나요?

외주업체와 크라우드소싱 활용 방식은 데이터 구축 작업을 위탁하여 진행한다는 아웃소싱 개념에서는 동일하지만, 채용 형태의 특성에서 분명한 차이를 보이며, 품질, 비용, 속도에 있어 전문 외주업체보다 월등한 비교우위를 가지고 있죠.

이러한 차별적 경쟁력을 가진 크라우드소싱 방식은 순식간에 국내 인공지능 시장의 주류를 차지하게 됩니다.

#2 작업 방식의 변화: 자동 라벨링 vs. 수동 라벨링

데이터의 수요가 높아지고 인공지능 기술이 고도화되며 데이터 작업 방식에도 변화가 생기기 시작합니다. 바로 반자동, 자동 라벨링의 등장인데요. 

자동화 방식의 명확한 장점에도 불구하고, 2020년 글로벌 데이터 라벨링 시장에서 수동 라벨링이 약 83%를 차지하며, 자동 라벨링은 약 2%에 머무르고 있습니다.

여기서 깨알 자랑 한가지를 보태자면, 크라우드웍스는 약 2%에 해당하는 자동 라벨링 수요에 대한 ML 솔루션 또한 보유하고 있다는 사실! Grand View Research는 2028년에도 자동 라벨링의 비중이 2% 미만일 것으로 예상하고 있다고하니 98%의 수요를 함께 해결해주실 크라우드웍스의 35만명 크라우드워커분들께 감사할 따름입니다. 

자동 라벨링이 보편화 될 수 없는 이유로는 다음과 같은 두가지의 이유가 있습니다.

첫째, 완전 자동화의 불가능
인공지능 데이터 학습을 완전 자동화한다는 것은 인공지능 솔루션에 더이상의 독립적인 학습 데이터가 필요하지 않음을 의미합니다. 이러한 기술이 완성되기까지는 앞으로도 많은 시간이 걸릴 것으로 보이네요! 

둘째, 자동화 라벨링 방식의 한정적인 활용성
자동화 프로세스는 텍스트 및 이미지 태깅 등을 쉽고 빠르게 라벨링 할 수 있다는 장점이 있지만, 적용 가능 영역이 한정되어 있어 인간의 직관을 요구하거나 법학/의학 등의 전문지식이 필요한 분야에는 사용이 불가능합니다. 또한, 갈수록 고도의 정밀함을 요구하지만 데이터 라벨링 작업의 형태는 더욱 다양하고 복잡해지며 현재로써는 자동 라벨링 모델의 정확도를 보장할 수 없다는 것!

오늘은 인공지능 데이터 소싱방식과 작업방식의 변화에 대해 알아보았는데요, 어떠셨나요? 인공지능 데이터에 대한 궁금증이 조금은 풀리셨나요? 앞으로 크라우드웍스 블로그에서는 이렇게 인공지능의 발전에 대한 이해도를 높이고 시장 상황에 대한 트렌드를 발빠르게 접할 수 있도록 도움을 드리는 콘텐츠를 많이 발행할 예정이오니, 많은 관심 부탁드립니다 🙂

인공지능 데이터에 관련된 궁금한 것이 있으시다면 언제든 크라우드웍스를 찾아주세요!