1. 로봇에게 주어진 목표, 18시간에 냅킨 1,500장
미국의 로봇 기업 다이나 로보틱스(DYNA Robotics)가 전한 딘타이펑 매장 로봇의 목표입니다. 단순히 접기만 해서는 안됩니다. 정해진 시간 안에 손님 테이블에 올릴 수 있을 만큼 깔끔한 냅킨을 만들어야 했죠.
첫 모델이 18시간동안 접은 냅킨 중 쓸 수 있는 것은 약 480장. 후속 모델은 약 1,590장을 만들어 목표를 넘어섰습니다. 무엇을 고쳐야 하는지는 로봇이 실제 매장에서 일하며 남긴 결과를 보고 정했습니다.
현장에서 얻은 결과를 평가하고, 필요한 데이터를 골라 모델과 시스템을 개선한 뒤, 다시 현장에 투입해 효과를 확인하는 반복 구조를 데이터 플라이휠(Data Flywheel)이라고 합니다. 생성형 AI와 자율주행 분야에도 사용되는데요. 이 글에서는 실제 사례를 통해 데이터 플라이휠이 피지컬 AI 분야에 어떻게 활용되는지를 살펴보겠습니다.
2. 냅킨에서 택배까지, 피지컬 AI 데이터 플라이휠 사례
① 딘타이펑, 매장의 데이터를 다음 학습으로
다이나 로보틱스는 로봇에게 냅킨 접는 법을 학습시켰습니다. 하지만 매장에 투입해 보니 냅킨을 접는 것만으로는 일이 끝나지 않았습니다. 직원이 냅킨을 들고 이동할 수 있도록 보관함에 정리까지 해야 했죠. 로봇은 접은 냅킨을 제대로 정리하지 못했고, 회사는 이 문제를 개선 과제로 삼았습니다.
접는 속도와 품질도 목표에 못 미쳤습니다. 첫 모델인 Dyna-1은 시간당 약 35장을 접었고, 그중 75%만 품질 기준을 통과했습니다. 18시간으로 따지면 쓸 수 있는 냅킨은 약 480장. 목표의 3분의 1 수준이었죠.
문제를 찾기 위해 회사가 모은 건 현장 작업 영상과 로봇 상태·제어 기록입니다. 카메라 화면과 로봇의 상태, 제어 명령을 같은 시간축에 맞추고, 자동 라벨링으로 단계별 성공과 실패 유형을 구분했습니다. 새로운 작업이나 판단이 모호한 사례, 라벨링 품질은 사람이 검토했죠. 그러자 어느 단계에서 시간이 오래 걸렸는지, 어떤 실패가 반복됐는지가 드러났습니다. 회사는 이 중 다음 학습에 필요한 사례만 골라 사용하고, 개선한 모델을 현장에 다시 투입해 같은 기준으로 평가했습니다.
다이나는 현장데이터 학습과 함께 모델과 운영 시스템도 개선했습니다. 그 결과 후속 모델 Dyna-2는 시간당 약 95장의 냅킨을 접었고, 93%가 품질 기준을 통과했습니다. 18시간으로 따지면 쓸 수 있는 냅킨은 약 1,590장. 목표인 1,500장을 넘어섰습니다. 냅킨을 보관함에 담는 단계가 추가됐는데도 속도는 빨라졌죠.
② 앰비 로보틱스, 현장의 경험을 다음 로봇으로
물류센터에는 크기가 다른 상자뿐 아니라 비닐 포장 택배도 들어옵니다. 미국 앰비 로보틱스(Ambi Robotics)의 앰비소트(AmbiSort)는 이런 물품을 집어 목적지별로 분류합니다. 로봇은 카메라로 물품을 보고 어디를 집을지 판단하지만, 현장에 들어오는 모든 물품을 처음부터 잘 다루지는 못합니다.
앰비소트의 초기 집기 능력은 시뮬레이션으로 학습했습니다. 실제 물류센터에 투입된 뒤에는 작업을 하며 얻은 이미지와 기록이 다음 학습의 재료가 됐습니다. 비닐 포장 택배처럼 집기 까다로운 물품을 학습 데이터에 더한 결과, 집기 성공률이 7% 상승했죠.
현장 기록은 작업 속도를 높이는 데도 쓰였습니다. 엔지니어들은 평균보다 오래 걸린 작업을 다시 돌려보고, 로봇이 움직이는 경로와 시간을 줄이도록 동작 계획을 바꿨습니다. 집은 물품을 다음 이송 장치에 더 안정적으로 건네도록 고쳐, 건네다 실패하는 동작도 줄였습니다.
앰비소트를 도입한 한 고객사의 성수기 작업 기록을 보면 변화가 드러납니다. 시간당 택배 분류량이 2022년 355개에서 2023년 410개로 늘었는데요. 회사에 따르면, 2024년에는 품질 검사 모델과 제어 소프트웨어 등을 추가로 개선해 시간당 500개, 분류 정확도 99.6%에 도달했습니다. 장비를 교체하지 않고 현장 데이터 학습과 소프트웨어·동작 개선을 함께 적용한 결과입니다.
현장 데이터는 다음 제품 개발에도 쓰였습니다. 앰비 로보틱스는 로봇이 모은 이미지 2,000만 장으로 물품을 인식하고 집는 AI 모델을 학습시켰고요. 이 모델은 물품을 쌓는 새로운 로봇, 앰비스택(AmbiStack)의 개발에도 활용됐습니다.
3. 피지컬 AI에 데이터 플라이휠이 필요한 이유
피지컬 AI는 조명, 설비 배치, 주변 작업자의 움직임 등 작은 변화에도 결과가 달라집니다. 실험실에서는 현장의 모든 조건과 변수를 학습시킬 수 없습니다. 따라서 피지컬 AI의 학습은 현장에 투입된 뒤에도 지속돼야 합니다. 이때 필요한 게 데이터 플라이휠입니다.
데이터 플라이휠의 장점은 다음과 같습니다.
- 현장에서 새롭게 발견한 문제를 학습에 반영할 수 있습니다. 냅킨을 보관함에 정리하거나 비닐 포장 택배를 집는 것처럼, 실험실에서 충분히 확인하지 못한 작업과 실패가 현장 기록으로 남습니다. 이 가운데 필요한 사례를 선별해 다음 학습에 활용할 수 있습니다.
- 개선해야 할 구간을 구체적으로 찾을 수 있습니다. 단계별 성공과 실패를 보면 어디서 반복적으로 막히는지 드러납니다. 막연히 모델 전체를 다시 학습하는 대신 필요한 사례에 학습을 집중할 수 있습니다.
- 한 번의 경험을 다른 로봇에도 활용할 수 있습니다. 반복해서 나타난 실패 유형과 이를 해결하는 데 사용한 데이터는 같은 작업을 수행하는 다른 로봇의 학습에도 쓰입니다. 현장에 투입된 로봇이 늘어날수록 학습에 활용할 수 있는 기록도 늘어납니다.
4. 국내에서도 시작된 데이터 플라이휠
과학기술정보통신부는 전북·경남의 현장을 중심으로 피지컬 AI 연구개발과 실증 사업을 추진하고 있습니다. 특히 경남 사업에는 모델 학습 → 현장 배포 → 작업 결과를 반영한 재학습으로 이어지는 순환구조 구축이 포함돼있습니다. 현장에서 얻은 결과를 다음 학습에 반영한다는 점에서, 앞서 살펴본 데이터 플라이휠과 같은 방향입니다.
다만 현장 기록을 모으기만 한다고 학습 데이터가 되지는 않습니다. 어떤 센서와 장비로 수집할지 설계하고, 서로 다른 기록의 시간을 맞추고, 데이터의 품질을 검증해 표준 포맷으로 출력하는 파이프라인이 필요합니다. 크라우드웍스 이준호 부사장도 이러한 파이프라인이 갖춰져야 플라이휠이 작동한다고 설명했습니다.
5. 로봇의 학습은 현장에서도 계속됩니다
피지컬 AI의 성능은 첫 배포만으로 결정되지 않습니다. 현장에서 실패하거나 시간이 오래 걸린 작업을 기록하고, 필요한 데이터를 다음 학습에 반영한 뒤, 개선한 모델을 다시 현장에서 검증하는 과정이 반복돼야 합니다.
실험실에서 배운 능력을 현장에서 검증하고, 현장에서 얻은 데이터를 다시 학습으로 돌려보내는 것. 피지컬 AI가 실제 현장에서 성능을 높여가려면 이 데이터 플라이휠이 계속 돌아야 합니다.
Share article