에이전틱 AI가 기업의 업무 혁신을 이끌 핵심 기술로 주목받고 있습니다. 하지만 우수한 AI 모델을 도입하는 것만으로 업무 생산성이 자동으로 높아지는 것은 아닙니다. 그렇다면 기업이 AI로 실질적인 업무 성과를 만들기 위해서는 무엇을 준비해야 할까요? 이준호 크라우드웍스 부사장과의 미니 인터뷰를 통해 AI 도입 과정에서 놓치기 쉬운 과제와 효과적인 데이터 운영 체계의 조건을 살펴봤습니다.
Q1. 최근 AI 모델 성능이 빠르게 발전하면서 기업들의 선택지가 많아지고 있습니다. 뛰어난 AI 모델을 도입하면 기업의 AX가 성공할 수 있을까요?
기업들이 AX를 추진할 때 가장 먼저 떠올리는 것은 대개 어떤 AI 모델을 도입할 것인가 하는 문제입니다. 하지만 실제 업무에 AI를 적용하려면 모델의 성능뿐 아니라 기업이 보유한 데이터를 AI가 얼마나 정확하고 효율적으로 활용할 수 있는지도 함께 살펴봐야 합니다.
기업 내부에는 업무 매뉴얼, 기술 문서, 보고서, 규정 등 다양한 형태의 데이터가 축적돼 있습니다. 이러한 정보가 여러 시스템에 흩어져 있거나 문서 구조가 제대로 정리되어 있지 않다면 AI가 필요한 정보를 정확하게 찾아 활용하기 어려울 수 있습니다.
중요한 것은 좋은 모델을 선택하는 데 그치지 않고, 기업의 업무와 지식을 AI가 활용할 수 있는 데이터로 정비하는 것입니다. 모델 선택과 함께 데이터의 품질과 활용 환경을 점검해야 AI를 실제 업무 성과로 연결할 수 있습니다.
Q2. 그렇다면 기업들이 데이터를 AI에 활용하는 과정에서 가장 크게 겪는 어려움은 무엇인가요?
기업들이 AI에 데이터를 활용하는 과정에서 겪는 대표적인 어려움 중 하나는 다양한 문서 형식과 구조를 처리하는 일입니다. 특히 표와 이미지가 포함된 문서, 복잡한 레이아웃의 기술 자료, 부서별로 양식이 다른 업무 문서 등은 문서의 특성과 구조에 따라 적합한 처리 방식이 달라질 수 있습니다.
문서를 텍스트로 변환하는 것만으로 충분하지 않다는 점도 중요합니다. 문서의 구조와 맥락이 제대로 유지되지 않거나 필요한 정보가 누락되면, 이후 AI가 검색하고 답변을 생성하는 과정에도 영향을 줄 수 있기 때문입니다.
데이터가 계속해서 변경된다는 점도 고려해야 합니다. 기업의 문서와 업무 정보는 한 번 구축하고 끝나는 자산이 아닙니다. 새로운 문서가 추가되고 기존 내용이 수정되는 만큼, 데이터의 품질과 최신성을 지속적으로 관리할 수 있어야 합니다.
결국 기업은 문서의 특성에 맞게 데이터를 정확하게 처리하는 것은 물론, 변경 사항을 지속적으로 반영하고 처리 결과를 검증할 수 있어야 합니다. 데이터 구축 이후에도 품질과 최신성을 유지할 수 있는 관리 체계가 필요한 이유입니다.
Q3. 기업이 이러한 데이터 문제를 해결하고 AI 활용도를 높이려면 어떤 운영 체계를 갖춰야 할까요?
우선 기업 내부에 흩어져 있는 다양한 데이터 소스를 연결하고, 문서의 특성에 맞게 데이터를 처리할 수 있는 파이프라인을 마련해야 합니다. 문서마다 형식과 구조가 다른 만큼 일률적인 처리 방식보다는 데이터의 특성에 맞는 전처리와 품질 검증이 이뤄져야 합니다.
이후에는 데이터의 생애주기를 관리하는 체계가 필요합니다. 새로운 문서가 추가되거나 기존 정보가 변경되면 이를 적시에 반영하고, 데이터가 실제 업무에 활용되는 과정에서도 품질과 최신성을 유지할 수 있어야 합니다. 데이터 구축 이후의 운영까지 고려해야 하는 이유입니다.
결국 성공적인 데이터 운영 체계는 단순히 데이터를 AI에 연결하는 기술을 넘어, 데이터 수집부터 처리, 활용, 관리까지 전 과정을 안정적으로 운영할 수 있는 구조를 만드는 것입니다.
Q4. 크라우드웍스는 기업의 데이터 과제를 해결하기 위해 어떤 접근을 하고 있나요?
저희는 데이터 흐름 관리에 주목하고 있습니다. 최근에는 기업 내부의 비정형 데이터를 AI가 활용할 수 있는 형태로 처리하고, 데이터 활용 과정을 통합적으로 관리할 수 있도록 ‘Alpy Data Portal(알피 데이터 포털)’을 개발했는데요.
‘알피 데이터 포털’은 원천 데이터 연동과 수집부터 문서 파싱 및 구조화, 청킹, 임베딩(벡터화), 검색 시스템 연계까지 데이터 처리 과정을 하나의 파이프라인으로 연결합니다. 문서의 복잡도에 따라 커스텀 파싱을 적용할 수 있어 다양한 형식과 구조의 기업 문서를 처리할 수 있으며, 개인정보 마스킹 등 보안 솔루션과의 연동도 지원합니다.
데이터가 지속적으로 변경되는 기업 환경을 고려한 운영 기능도 갖췄습니다. 문서의 추가·수정 사항을 반영하는 증분 색인을 지원해 변경된 데이터를 효율적으로 관리할 수 있으며, 원본 문서의 권한 정보를 연동하고 검색 시 권한을 검증해 사용자에게 허용된 정보가 제공되도록 지원합니다.
또한 청크와 원본 문서 간 추적 기능을 통해 검색 결과의 근거를 확인할 수 있으며, 실시간 모니터링과 재처리를 통해 데이터 처리 과정에서 발생하는 문제를 점검하고 대응할 수 있도록 만들었고요.
이처럼 데이터 포털은 문서를 AI가 활용할 수 있도록 처리하는 단계뿐 아니라, 데이터의 최신성·접근 권한·처리 이력을 지속적으로 관리하는 운영 환경까지 지원합니다. 크라우드웍스는 이를 통해 기업이 데이터 구축 이후의 운영 부담을 줄이고, 보유한 데이터를 AI에 효과적으로 연결할 수 있도록 돕고 있습니다.
Q5. 앞으로 기업의 AI 활용 역량은 어떤 차이에서 갈리게 될까요?
앞으로 AI 모델 자체의 성능은 상향 평준화되는 방향으로 발전할 것으로 생각합니다. 다양한 기업이 유사한 수준의 AI 모델을 활용할 수 있게 되면, 결국 차이를 만드는 것은 각 기업이 보유한 데이터와 이를 실제 업무에 적용하는 역량이 될 것입니다.
특히 에이전틱 AI가 확산되면 AI가 단순히 정보를 검색하고 답변하는 수준을 넘어 여러 업무 시스템과 데이터를 연결해 복합적인 업무를 수행하게 됩니다. 이 과정에서 기업 내부의 업무 지식과 데이터가 얼마나 체계적으로 정리되어 있는지, 필요한 정보에 정확하게 접근할 수 있는지가 더욱 중요해질 것입니다.
결국 미래의 AX 경쟁력은 AI 모델을 도입하는 속도뿐 아니라, 자사의 데이터와 업무 프로세스를 얼마나 효과적으로 AI와 결합하느냐에 따라 달라질 것입니다. 기업들은 지금부터 AI가 실제 업무를 수행할 수 있는 데이터 기반을 준비해야 합니다.