크라우드웍스, AI 에이전트 안전·신뢰성 검증 체계 지원 사업 수주
AI 에이전트 자율 실행의 한계와 검증 필요성
최근 AI 에이전트는 단순 질문 답변을 넘어 결제, 예약, 배차 등 복잡한 과업을 스스로 계획하고 실행하는 수준으로 진화했다. 이에 따라 에이전트의 오작동이나 잘못된 자율 판단으로 인한 피해 우려가 커지고 있다. 그러나 기존 AI 평가 체계는 '최종 답변의 정확도' 검증에 치중돼 있어, 에이전트가 외부 도구(API)를 호출하고 단계를 밟아나가는 '자율 실행 판단 과정'의 타당성을 평가하는 데 명확한 공백이 존재했다.
과기정통부·NIA 주관 에이전트 검증 사업 수주
크라우드웍스는 과학기술정보통신부와 한국지능정보사회진흥원(NIA)이 발주한 'AI 에이전트 안전·신뢰성 검증 체계 지원' 사업을 수주했다. 이번 사업은 기존 평가 체계의 한계를 극복하고 국제 표준과 국내 서비스 환경을 모두 반영한 에이전트 특화 검증 기준을 마련하기 위해 추진됐다. 구축된 체계는 실제 산업 현장 적용을 거쳐 민간 AI 신뢰성 인증과도 연계될 예정이다.
다단계 추론 및 한국형 검증 데이터셋 7,000건 구축
크라우드웍스는 이번 사업에서 에이전트의 판단 과정과 논리적 타당성을 정밀 검증하기 위한 데이터 기반 구축을 총괄한다. 주요 과제는 다음과 같다.
💡
다단계 추론 시나리오 설계: 다양한 MCP(Model Context Protocol) 도구 및 외부 API를 순차 또는 병렬로 호출해 과업을 해결하는 난이도별 평가 시나리오 설계
한국형 검증 데이터셋 구축: 한국 특화 맥락과 변동성 높은 동적 데이터를 포함해, 에이전트가 변동 상황에서도 올바르게 판단하는지 평가하는 데이터셋 7,000건 이상 제작
산학연 컨소시엄을 통한 한국형 표준 정립
본 사업은 크라우드웍스를 비롯해 슈어소프트테크(주관사), 한국과학기술원(KAIST), 한국인공지능산업협회가 산학연 컨소시엄을 구성해 추진하며, 올해 말까지 개발 및 구축을 완료할 계획이다. 크라우드웍스는 고난도·고품질 데이터 구축 노하우와 평가 역량을 바탕으로 에이전트 실행 과정의 안전성을 확보하고, 글로벌 기준에 부합하는 한국형 AI 에이전트 검증 표준을 정립해 국내 AI 생태계 신뢰성 향상에 기여할 방침이다.