금융권 AI 구축 사례: A사가 챗봇 하나가 아닌 ‘전사 AI 환경’을 만든 이유

금융권 AI 도입, 모델 선정보다 중요한 것은?

AI를 도입할 때 많은 기업이 "어떤 모델을 쓸까?", "어떤 서비스를 만들까?"부터 고민합니다. 하지만 실제 업무에서 더 중요한 질문은 따로 있습니다.

"AI가 우리 회사의 데이터와 업무 환경 안에서 어떻게 작동할까?"

임직원은 일상 업무에 AI를 쓸 수 있어야 합니다. 부서와 목적에 따라 필요한 정보를 찾아주거나 특정 업무를 맡아 처리하는 AI 에이전트도 쓸 수 있어야 합니다. AI가 참고하는 내부 데이터는 계속 업데이트되어야 하고, 답변의 품질과 안전성도 언제든 확인할 수 있어야 합니다. 금융권의 보안 수준을 맞추면서도 새로운 AI 모델과 기술에 언제든 대응할 수 있어야 하죠. 

크라우드웍스는 이러한 요구를 바탕으로 고객사 A의 전사 AI 활용 환경 구축 프로젝트를 진행했습니다. 약 8개월에 걸쳐 구축을 진행한 이번 프로젝트는 단일 AI 서비스를 만드는 데 그치지 않고, 데이터·AI Agent·평가·보안·인프라를 하나의 환경에서 연결하는 것을 목표로 했습니다. 임직원이 계속 AI를 쓰면서 새로운 서비스로 넓혀 갈 수 있는 기반을 만드는 것이었습니다.

이를 위해 프로젝트 당시 쌓여있던 약 150만 건 이상의 사내 문서가 전처리됐고, 프로젝트 완료 후에도 매일 2,000건 이상의 신규 문서가 지속적으로 처리되도록 데이터 파이프라인을 구축했습니다. 결과적으로 매일 100명 이상의 임직원이 해당 환경을 활용하고 있으며 에이전트 메시지 기준 900건 이상의 요청이 처리되고 있습니다. 직원들은 스스로 업무에 맞는 새로운 AI 에이전트를 생성해 사용하고, 필요와 권한에 맞게 사내 데이터를 활용할 수 있게 된 것이죠. 이 프로젝트는 이후 A사 서비스가 금융위원회 혁신금융서비스로 지정되는 데 큰 역할을 했습니다. 

150만 건의 사내 문서, AI가 활용할 수 있는 데이터로

기업의 AI 활용에서 중요한 출발점은 내부 데이터입니다.

A사에는 업무 매뉴얼과 부서별 문서, 결재 문서, 공지사항, 연구자료 및 보고서 등 다양한 형태의 비정형 데이터가 축적되어 있었습니다. 하지만 문서를 보유하고 있다는 것과 AI가 해당 문서를 정확하게 활용할 수 있다는 것은 다른 문제입니다.

이번 프로젝트에서는 사내 문서를 AI가 활용할 수 있는 형태로 전처리하고, 검색·생성 과정에서 활용할 수 있도록 KMS 및 RAG 기반의 데이터 파이프라인을 구축했습니다.

약 150만 건의 다양한 확장자와 복잡한 구조의 내부 문서를 전처리했으며, 앞으로 하루 2,000건 이상의 신규 문서가 추가될 수 있는 환경을 고려해 지속적인 데이터 처리가 가능하도록 솔루션을 맞춤형 설계했습니다. 이 맞춤형 솔루션을 통해 RAG에 최적화된 청킹 및 임베딩을 진행하고, 데이터 품질을 자동 평가해 검수가 필요한 우선 순위를 정한 뒤 필요 시 개별 처리도 진행할 수 있습니다. 특히 대규모 문서의 전처리와 임베딩 과정에서는 분산 처리 구조를 적용해 처리 효율을 높이고, 데이터의 변경과 추가에도 즉각 대응할 수 있도록 했습니다.

그 결과 사내에 축적된 문서를 단순히 저장하는 데 그치지 않고, 기업의 업무 지식이 AI의 답변과 에이전트의 업무 수행에 활용될 수 있는 완전한 지식 체계로 전환할 수 있었습니다.

이제는 ‘AI를 쓰는 것’에서 ‘우리 업무에 맞는 AI를 만드는 것’으로

이번 프로젝트의 가장 큰 특징은 임직원이 단순히 제공된 AI 서비스를 사용하는 데 그치지 않는다는 점입니다.

프로젝트 후 A사는 기본적으로 대화형 챗봇뿐 아니라 업무 목적에 따라 크라우드웍스가 구축한 다양한 AI 서비스를 활용할 수 있게 됐습니다. 업무 매뉴얼을 기반으로 답변하는 서비스부터 고객의 소리 분석, 전화상담 시나리오, AI Brief, 판매 대본 생성 등 실제 업무와 연결된 다양한 전문 서비스가 마련되었죠.

이뿐 아니라 고객사 임직원은 자신의 업무에 필요한 AI 에이전트를 직접 생성하고 활용할 수 있게 됐습니다.

데이터 접근 권한에 따라 사내 지식이나 외부 데이터를 연결해 특정 업무 목적에 맞게 구성할 수 있으며 새로운 에이전트를 추가할 수 있습니다. 별도의 개발 프로젝트를 매번 진행하지 않아도 현업의 요구에 따라 AI 활용 범위를 확장할 수 있는 구조입니다.

이렇듯 새롭게 구성된 A사 AI 환경은 AI를 특정 부서에서만 사용하는 도구가 아닌 기업 구성원이 각자의 업무에 맞게 활용하고 확장할 수 있는 업무 환경으로 전환하는 데 의미가 있습니다.

금융권 AI의 조건, ‘잘 작동하는 것’만으로는 충분하지 않다

금융 분야에서 AI 환경을 구축할 때는 기능과 성능뿐 아니라 다른 산업군보다 한층 더 까다로운 정보 보호와 보안 요건을 함께 고려해야 합니다.

이번 프로젝트에서 우리는 A사의 금융 업무 환경에서 요구되는 정보보호 및 보안 요건을 고려해 전체 아키텍처를 설계하고, 구축 과정에서 아키텍처·서비스·통합·인수·성능 등 단계별 테스트를 진행했습니다. 

에이전트의 품질을 확인하기 위한 평가 환경도 별도로 구성했습니다. 답변 품질뿐 아니라 사용자가 업로드한 파일의 파싱, RAG 성능, 시스템의 가용성과 부하 및 확장성 등을 종합적으로 점검했습니다.

보안 영역에서는 취약점 점검을 진행하고 확인된 위험 요소를 보완했으며, 실제 운영 환경에서 안정적으로 사용할 수 있도록 수십가지의 검증 과정을 거쳤습니다.

그 결과 고객사 내부 보안 규정 및 컴플라이언스는 물론 금융권 전체 보안 요건을 만족하는 믿을 수 있는 AI 환경을 구축하게 되었습니다.

크라우드웍스 노하우 총집합! 여러 AI 솔루션을 하나의 환경으로

이번 프로젝트에는 크라우드웍스의 노하우가 모두 집약된 솔루션 Alpy Knowledge Compiler, Alpy Agent Studio, Alpy Evaluation가 모두 사용됐습니다.

Alpy Knowledge Compiler는 사내 다양한 비정형 문서 데이터를 AI가 활용할 수 있도록 전처리하는 역할을 담당했습니다. 앞서 설명한 내용 외에도 프로젝트에 앞서 문서 복잡도를 정량 평가하는 ‘Document Complexity’ 기능 및 파싱 정확도를 확인하는 ‘KC Confidence’ 기능으로 데이터 품질을 자동 평가하여 처리 효율성을 높였습니다. 

Alpy Agent Studio는 고객사 임직원의 업무 목적에 맞는 에이전트를 구성하고 운영할 수 있도록 하는 플랫폼입니다. 사내 데이터나 필요한 도구를 연결해 다수의 업무별 에이전트를 만들고, 이를 실제 서비스 환경에서 활용할 수 있도록 다양한 도구와 기능을 담고 있습니다. 통합 대시보드 또한 제공하여 에이전트별 성능, 응답 품질, 운영 비용, 장애 현황을 실시간으로 확인할 수 있습니다. 관리자가 운영 상태를 한눈에 파악하고 문제가 생기면 빠르게 대응할 수 있도록 했습니다.

Alpy Evaluation은 AI 모델, 에이전트, RAG의 성능과 안전성을 지속적으로 확인하기 위한 평가 환경을 제공합니다. 이를 위해 일반 벤치마크 평가뿐 아니라 실제 사용 환경을 고려한 도메인 특화 데이터셋을 직접 등록하여 상시 평가가 가능하도록 설계되었습니다. 더불어 전문가가 참여한 휴먼 레드티밍을 통해서도 AI 서비스의 품질을 관리할 수 있도록 했습니다.

크라우드웍스의 Alpy 솔루션은 애초에 고객사의 AI 도입 단계에 따른 전 과정에 상응하도록 설계되었습니다. A사는 Alpy를 활용해 Data → Agent → Evaluation으로 이어지는 구조를 하나의 환경에서 구성함으로써, 데이터를 AI가 활용할 수 있는 상태로 만들고, 이를 기반으로 에이전트를 구축한 뒤 다시 그 결과를 평가하고 개선할 수 있는 완전한 체계를 마련했습니다.

한 번 구축하고 끝나는 AI가 아니라, 계속 확장되는 환경으로

기업의 AI 환경은 구축 시점에 완성되는 것이 아니라 업무와 기술의 변화에 따라 계속 확장되어야 합니다.

새로운 AI 모델이 등장하거나 새로운 데이터가 추가될 수 있고, 기존 에이전트를 다른 업무에 적용하거나 새로운 서비스를 만들어야 할 수도 있습니다. 따라서 처음부터 특정 모델이나 하나의 서비스에 종속되지 않는 구조를 설계하는 것이 중요합니다.

A사의 AI 환경 역시 기존 데이터와 생성형 AI 시스템을 연결하면서도 향후 데이터와 모델의 변화, 새로운 AI 서비스의 추가에 대응할 수 있도록 구성했습니다.

이를 위해 데이터 영역과 에이전트 영역을 분리하면서 필요한 자원은 공유할 수 있도록 설계하고, 데이터 전처리부터 AI 서비스, 평가와 운영까지 각각의 영역이 유기적으로 연결되도록 했습니다.

이번 프로젝트는 단순한 AI 서비스 구축을 넘어, 급격히 변화하는 AI 기술과 업무 요구에 대응할 수 있는 전사 AI 기반을 마련했다는 점에서 더욱 의미가 있습니다.

기업의 AI 환경 구축, 무엇부터 고려해야 할까?

이번 프로젝트에서 확인할 수 있듯 기업의 AI 도입은 잘 되는 AI 모델이나 챗봇을 선택하는 것만으로 완성되지 않습니다.

실제 업무 환경에서 AI를 안정적으로 활용하려면 데이터, RAG, AI Agent, Evaluation, 보안과 거버넌스, 인프라와 운영이 서로 연결되어야 합니다.

만약 여러분의 기업에서도 AI 환경 구축을 검토한다면 다음과 같은 요소를 먼저 살펴볼 필요가 있습니다.

위 요소들은 기업 환경에서 모두 필수적이지만, 개별적으로 구축하고 관리하게 되면 오히려 AI를 도입하기 전보다 더 복잡하고 불편한 환경이 만들어질 수 있습니다. 따라서 처음부터 위 요소들을 유기적으로 연결하고 하나의 통합된 환경에서 관리 운영할 수 있도록 설계하는 접근이 필요합니다. AI를 일시적으로 유행하는 도구가 아닌 장기적이고 전략적인 생존 무기로 활용하기를 원한다면 보다 넓은 시각을 가지고 체계적인 방식에 따라 AI 환경을 구축해 나가시길 바랍니다.