AI 챗봇 오답, 누구 책임일까? AI 성능·안전성 평가 사례

“이 회사의 의사 두 명은 성형·미용외과 전문의인가요?”

2025년 4월, 독일 미용의료업체 Aesthetify의 AI 챗봇에 이런 질문이 들어왔습니다. 챗봇은 두 사람 모두 전문의라고 답했습니다. 심지어 예약까지 권유했는데요. 두 사람은 실제 의사였지만 해당 전문의 자격은 없었습니다.

Aesthetify 측에 따르면, 챗봇은 회사 웹사이트와 FAQ 등의 정보를 바탕으로 개발됐는데요. 문제는 원본 자료에도 두 사람이 전문의라는 정보가 없었다는 겁니다. 즉, 챗봇이 원본에 없는 정보를 만들어 잘못 안내한 거죠.

이 경우, 챗봇의 잘못된 답변에 대해 기업이 책임을 져야 할까요?

1. AI 챗봇의 잘못된 답변, 기업에 어떤 영향을 미쳤을까?

① Aesthetify: AI의 잘못된 답변에도 기업 책임 인정

결론부터 말하자면, 법원은 Aesthetify의 책임을 인정했습니다.

Aesthetify 측은 반발했습니다. 챗봇이 자율적으로 답변을 생성했기 때문에, 기업 입장에서는 답변을 통제하기 어렵다는 주장이었죠. 하지만 2026년 5월, 독일의 Hamm 고등법원은 이를 받아들이지 않았습니다.

법원이 주목한 지점은 크게 세 가지입니다.

법원은 실제로 보유하지 않은 전문의 자격을 광고하거나 안내하는 행위를 금지하고, 소비자단체가 요구한 경고 비용 260유로를 지급하도록 했습니다.

Aesthetify는 챗봇을 일시 중단했습니다. 이후 전문의 관련 질문에 중립적으로 답하도록 프롬프트를 수정하고, 특정 표현을 차단하는 필터도 적용했습니다. 챗봇의 모든 답변을 통제하기는 어렵더라도, 잘못된 답변을 줄이기 위한 조치는 가능했던 겁니다.

② DPD: 부적절한 답변으로 기업 이미지에 타격

2024년, 영국 배송업체 DPD에서도 문제가 발생했습니다. 한 고객이 챗봇에 택배 위치를 문의했는데요. 제대로 된 답변을 얻지 못하자, 챗봇이 어디까지 응답하는지 시험해 보기 시작했습니다. 처음에는 농담을 해달라고 요청했고, 이후 욕설을 사용하거나 회사를 비판하는 시를 써달라고 했습니다. 챗봇은 이를 거절하지 않고 그대로 응답했죠.

고객이 해당 대화를 자신의 SNS에 공개하자 빠르게 확산됐습니다. DPD는 시스템 업데이트 이후 오류가 발생했다고 설명하며, 문제가 된 AI 기능을 비활성화했습니다.

2. 데이터가 정확한데, AI는 왜 잘못 답할까?

앞서 살펴본 Aesthetify 사례에서 주목할 점이 있습니다. 회사가 제공한 원본 자료에는 잘못된 정보가 없었지만, AI 챗봇은 존재하지 않는 정보를 만들어 답변했다는 거죠.

기업용 AI 챗봇에는 일반적으로 사내 문서나 DB에서 관련 정보를 검색한 뒤, 이를 바탕으로 답변을 생성하는 RAG 기술이 활용됩니다. 하지만 AI가 무조건 정확한 답을 하는 건 아닙니다. 필요한 정보를 찾지 못하거나, 검색한 내용을 잘못 해석할 수도 있고, 원본 자료에 없는 내용을 그럴듯하게 만들어 답변할 수도 있죠.

따라서 기업은 AI가 어떤 데이터를 참고하는지뿐만 아니라, 최종적으로 사용자에게 어떤 답변을 제공하는지까지 검증해야 합니다.

이때 필요한 게 ‘AI 성능 평가’와 ‘AI 안전성 평가’입니다.

앞서 살펴본 Aesthetify 사례는 잘못된 정보를 생성한 '정확성 문제', DPD 사례는 부적절한 요청을 걸러내지 못한 '안전성 문제'에 해당합니다.

3. 국내 기업은 AI 답변을 이렇게 평가했습니다

AI의 답변 오류는 고객 상담 챗봇 뿐만 아니라, 사내 AI에서도 발생할 수 있습니다. 특히 금융·보험 분야는 잘못된 답변이 고객의 자산이나 투자 판단에 영향을 줄 수 있어, 정확성과 안전성을 더욱 꼼꼼히 평가해야 하는데요.

크라우드웍스는 자체 AI 평가 솔루션 ‘Alpy Evaluation’을 통해 AI 답변의 성능과 안전성을 평가합니다. 기업의 업무 특성을 반영한 평가 데이터셋 구축부터 자동 평가, 도메인 전문가 검증 등을 지원하고 있죠.

① 메리츠화재: 보험 전문 지식을 반영한 AI 답변 평가

메리츠화재는 보험 설계사의 업무를 지원하는 AI 에이전트의 성능을 평가했습니다. 이 에이전트는 보험 약관, 상품별 보장 내용, 예외 조건 등을 토대로 설계사의 질문에 답하는데요. 보험 분야에서는 같은 질문이라도 상품과 약관에 따라 정답이 달라질 수 있습니다. 따라서 실제 상담 상황과 보험 상품의 특성을 반영한 평가가 중요합니다.

크라우드웍스는 다음 세 단계로 평가를 진행했습니다.

메리츠화재 - AI 에이전트 성능 평가 사례 자세히 보기→

② 유안타증권: 레드티밍으로 AI 답변의 안전성 평가

유안타증권은 투자자에게 재무정보, 기업 분석, 시장 전망 등을 제공하는 AI 에이전트를 구축했습니다. 이 서비스는 종목에 대한 정보를 제공하되, 고객의 매수를 유도하는 답변은 하지 않아야 했습니다. 이를 위해 Alpy Evaluation을 활용한 ‘레드티밍(Red Teaming)’을 진행했습니다.

사용자 관점에서 질문하며 평가한 결과, 예상치 못한 두 가지 문제가 발견됐습니다.

이 문제를 해결하기 위해 답변 가이드라인을 강화하고, 특정 표현을 차단하는 필터와 안전장치를 보완했습니다.

유안타증권 - AI 안전성 평가 사례 자세히 보기→

③ 금융권 A사: AI 답변 품질부터 금융권 보안 요건까지 검증

금융권 A사는 임직원이 직접 AI 에이전트를 만들어 활용하는 전사 AI 환경을 구축했습니다. 업무 매뉴얼 기반 질의응답, 고객의 소리 분석 등 다양한 업무에 AI를 활용하는데요. 이를 위해 약 150만 건의 사내 문서를 전처리하고, 하루 2,000건 이상의 신규 문서를 처리할 수 있는 환경을 마련했습니다.

방대한 문서를 활용하고 새로운 정보가 추가되는 만큼, AI가 필요한 정보를 제대로 찾아 답변하는지 확인해야 했습니다. 금융 분야에서는 정보 보호와 보안 요건도 중요했죠.

이에 별도의 AI 평가 환경을 구성해 에이전트의 답변 품질과 RAG 성능, 업로드한 파일의 처리 상태 등을 점검했습니다. 보안 취약점도 확인하고 발견된 위험 요소를 보완하는 등 수십 가지 검증도 진행했습니다.

그 결과, 고객사 내부 보안 규정과 금융권 보안 요건을 충족하는 전사 AI 환경을 갖추게 됐습니다.

금융권 A사 - 전사 AI 환경 구축 사례 자세히 보기→

4. AI 답변 평가는 한 번으로 끝나지 않습니다

AI의 답변은 서비스 운영 중에도 달라질 수 있습니다. 새로운 문서가 추가되거나 모델·프롬프트가 업데이트되면 같은 질문에도 다른 답변을 할 수 있기 때문입니다. 따라서 기업은 도입 시점에 한 번 평가하는 데 그치지 않고, 운영 과정에서도 답변의 정확성과 안전성을 꾸준히 점검해야 합니다.

AI는 한 번 구축하고 끝나는 서비스가 아닙니다. 실제 운영 환경에서 발견된 문제를 빠르게 개선하고, 다시 검증하는 과정을 반복해야 AI 도입 효과를 높이는 동시에 고객과의 신뢰도 지킬 수 있습니다.

5. 자주 묻는 질문(FAQ)

우리 회사의 AI는 실제 업무에 필요한 정확성과 안전성을 갖추고 있을까요?
크라우드웍스의 Alpy Evaluation으로 기업의 업무 환경에 맞는 AI 성능·안전성 평가 방법을 확인해 보세요.