보험 AI가 틀린 답변을 하면 어떤 일이 생길까?
예를 들어, 보험 설계사가 고객 상담 전 AI 에이전트에게 보장 조건을 확인했다고 가정해볼게요. 이때 AI가 실제 기준과 다른 답변을 한다면, 설계사는 고객에게 잘못된 정보를 안내할 수 있습니다.
보험은 고객 자산과 직결되는 영역인 만큼, 작은 오류에도 민원 발생이나 신뢰도 하락으로 이어질 수 있습니다. 때문에 보험 분야에서 AI 에이전트를 활용하기 위해서는 AI의 대답에 대한 정확성과 신뢰성 평가가 필요합니다.
왜 AI 에이전트 평가가 필요했을까?
메리츠화재는 보험 설계사의 업무를 지원하는 AI 에이전트 도입을 준비하며, 서비스의 성능과 안정성을 검증하고자 했습니다.
이 AI 에이전트는 설계사가 관련 질문을 하면 보험 약관, 보장 내용, 상품 정보 등을 바탕으로 대답하는 실무 보조 도구인데요. 복잡한 도메인 지식을 다루는 만큼, 실무에 활용하기 전 다음과 같은 엄격한 기준을 통과해야 했습니다.
☑️ 정확성: 보험 약관 및 도메인 기준에 맞게 정확히 대답하는가?
☑️ 실무 적합성: 실제 상담 상황과 업무 맥락을 반영한 대답인가?
☑️ 안정성: 다양한 질의 유형에서도 일관된 품질을 유지하는가?
☑️ 신뢰성: 확인되지 않은 내용을 사실처럼 말하지는 않는가?
이 같은 검증 체계를 기업에서 자체적으로 구축하는 건 쉽지 않습니다. 실제 전문가의 업무 맥락을 반영한 ‘평가 데이터셋’, 복잡한 약관을 판별할 수 있는 ‘도메인 전문가’, 그리고 AI의 답변을 정량·정성적으로 점검할 수 있는 ‘일관된 평가 시스템’이 함께 필요하기 때문입니다.
크라우드웍스를 선택한 이유
크라우드웍스가 대규모 AI 성능 평가를 자동화할 수 있는 자체 솔루션 Alpy Evaluation, 보험 도메인 전문가 풀, 그리고 도메인 특화 평가 데이터 구축 경험을 갖추고 있었기 때문입니다. 크라우드웍스는 이를 통해 평가 기준 설계부터 최종 검증, 검수 관리까지 End-to-End 프로세스를 제공했습니다.
AI 답변을 어떻게 평가했을까?
크라우드웍스는 메리츠화재의 AI 에이전트가 실제 업무 환경에서 안정적으로 활용될 수 있는지 확인하기 위해, 3단계 평가 과정을 설계했습니다.
① AI의 답변을 채점할 기준 데이터셋 구축
먼저 AI의 답변을 채점하는 기준 데이터셋을 구축했습니다. AI 에이전트를 제대로 평가하려면 어떤 답변을 좋은 답변으로 볼 것인지, 어떤 답변을 개선이 필요한 답변으로 볼 것인지 판단할 기준이 필요한데요.
이번 프로젝트에서는 보험 업계에서 10년 이상 경력을 쌓은 전문가들이 참여해 평가 데이터셋과 검증 기준을 구축했습니다. 전문적인 도메인 지식이 요구되는 상담 시나리오와 사내 업무 자료를 기반으로, 실제 보험 설계사가 고객 상담 과정에서 겪을 수 있는 다양한 질문과 기준 답변을 작성했죠.
② Alpy Evaluation으로 AI 답변 자동 점수화
다음으로 크라우드웍스의 AI 성능 평가 솔루션인 Alpy Evaluation을 활용해, AI 에이전트의 답변 품질을 점검했는데요. 앞서 전문가들이 구축한 채점 기준을 Alpy Evaluation에 적용하고, AI 에이전트의 답변을 사전에 정의한 기준에 따라 점수화했습니다. 즉, 사전에 정의한 기준으로 응답 정확성, 신뢰성, 안정성을 일관되게 평가한 것입니다. 이를 통해 여러 답변을 동일한 기준으로 비교하고, 개선이 필요한 부분을 파악할 수 있었죠.
③ 보험 전문가의 현장 사용성 검증
마지막으로, 보험 전문가가 현장에서 직접 AI 에이전트를 사용하며 사용성을 검수했습니다. AI 에이전트의 답변 품질은 자동화만으로 판단하기 어렵습니다. 답변이 정답에 가까워 보여도 실제 상담 흐름에 맞지 않거나, 설계사가 고객에게 그대로 안내하기에는 표현이 불충분할 수 있기 때문입니다.
이를 방지하기 위해, 보험 업계의 전문가들이 AI 에이전트를 실제로 사용해보며 답변 품질을 검토한 거죠. 상담 맥락에 맞는 답변인지, 실무자가 신뢰하고 참고할 수 있는 수준인지, 사용 과정에서 불편한 점은 없는지까지 함께 점검했습니다.
평가 결과는 잘된 점과 개선점으로 나누어 정리했으며, 이를 바탕으로 AI 에이전트의 품질을 보완하는 데 활용했습니다.
철저한 검증이 만든 결과
이번 프로젝트의 핵심은 복잡한 보험 데이터를 체계적으로 정제·구조화하고, 평가 과정에서 확인한 보험 도메인 지식과 답변을 축적해 AI 에이전트의 품질을 지속적으로 관리할 수 있는 기반을 마련한 건데요. 이를 통해 메리츠화재는 향후 약관 변경이나 신상품 출시 이후에도 답변 품질을 지속적으로 관리할 수 있는 지식 자산화 체계를 갖추게 되었습니다.
🗨️ 담당 PM의 후기
보험 분야의 AI 에이전트는 정확성과 신뢰성 확보가 무척 중요합니다. 크라우드웍스는 기존에 구축한 지식 자산화 체계를 기반으로 보험 도메인 지식과 데이터 자산을 지속적으로 관리하며, 신뢰할 수 있는 지식 자산을 축적해 나가고 있습니다. 이를 바탕으로 실제 업무에 활용 가능한 AI 서비스의 고도화를 지속적으로 지원해 나갈 계획입니다.
우리 회사도 점검이 필요할까?
AI 에이전트를 실무에서 안정적으로 사용하기 위해서는 반드시 성능 검증이 필요합니다. 크라우드웍스는 평가 기준 설계부터 도메인 특화 데이터셋 구축, Alpy Evaluation 기반 성능 평가, 전문가 검수, 지속적인 품질 관리까지 End-to-End로 지원합니다.
아래 항목 중 하나라도 해당된다면, AI 에이전트 성능 평가를 검토해볼 때입니다.
AI 에이전트를 개발했지만 실무 배포 전 성능 검증이 필요하다
금융·보험 등 우리 도메인에 맞는 평가 기준과 데이터셋이 없다
정량 평가와 전문가 정성 평가를 함께 수행할 체계가 필요하다
AI 답변의 정확성, 안정성, 실무 적합성을 종합적으로 검증하고 싶다
배포 이후에도 지속적으로 품질을 관리할 파트너가 필요하다
위 항목 중 해당되는 사항이 있으신가요?
아래 문의 폼을 통해 상담을 남겨주시면, 귀사에 맞춘 최적의 AI 에이전트 검증 솔루션을 제안해 드립니다.
Share article