피지컬 AI의 진짜 병목은 데이터다｜제조 현장에서 찾은 데이터 경쟁력
Sep 15, 2026
이준호｜크라우드웍스 부사장·COO
로봇에게는 가르쳐 줄 교과서가 없다
GPT를 만들 때는 인터넷이라는 거대한 텍스트 창고가 있었다. 수십 년간 인류가 쌓아온 문서를 긁어다 학습시키면 됐다. 그런데 로봇에게 가르칠 데이터는 어디에 있는가. ‘이 각도로 손목을 꺾어 컵을 잡으면 이렇게 미끄러진다’는 데이터는 인터넷 어디에도 없다. 아무도 기록한 적이 없기 때문이다. 생성형 AI가 도서관을 물려받고 시작한 게임이라면, 피지컬 AI는 교과서부터 직접 써야 하는 게임이다.
올해 한 포럼에서 나온 표현이 이 상황을 정확히 요약한다. ‘30초 모션데이터에 20억 토큰이 필요한 시대.’ 텍스트와는 비교가 안 되는 밀도의 데이터가 너무 부족하다. 피지컬 AI의 병목은 모델도, 로봇 하드웨어도 아니다. 데이터다.
피지컬 AI 데이터는 ‘기록’이 아니라 ‘에피소드’다.
그럼 현장 데이터를 많이 모으면 되는 것 아닌가. 여기에 함정이 있다. 나는 지난 몇 년간 제조, 조선, 물류, 의료 현장의 데이터를 들여다보면서 한 가지 사실을 확인했다. 데이터가 없어서 못 쓰는 기업보다, 있는 데이터가 학습 가능한 형태가 아니어서 못 쓰는 기업이 훨씬 많다.
피지컬 AI의 최소 학습 단위, 에피소드
피지컬 AI가 배우는 구조는 명확하다. 현재 상태(State)에서 어떤 행동(Action)을 했더니 다음 상태(State’)가 됐다 — 이 세 가지가 같은 시간축 위에 묶인 하나의 ‘에피소드’가 학습의 최소 단위다. 모델이 배우는 것은 결국 p(sₜ₊₁ | sₜ, aₜ), 즉 ‘이 상태에서 이 행동을 하면 세상이 어떻게 변하는가’라는 예측이다.
그래서 영상 파일 따로, 센서 기록 따로 깨끗하게 저장해두는 것만으로는 충분하지 않다. 그건 정제 데이터일 뿐이다. 도서관에 책이 가지런히 꽂혀 있는 상태와, 시험 범위에 맞춰 문제·해설집으로 편집된 상태의 차이라고 보면 된다. AI에게 필요한 것은 후자다. 보통 이것을 AI Ready Data라고 부른다.
멀티모달의 핵심은 시간 동기화
문제는 이 ‘묶는’ 일이 생각보다 훨씬 어렵다는 것이다. 로봇 데이터는 영상 여러 채널에 관절 각도, 힘-토크, IMU 같은 센서 기록이 겹쳐 있는데, 이 채널들의 시간이 많이 어긋날수록 데이터 전체가 못 쓰는 물건이 된다. 장갑 센서가 기록한 행동과 카메라가 찍은 영상이 같은 순간을 가리켜야 하나의 학습 샘플이 되기 때문이다. 화려한 작업이 아니다. 꺼내오고, 맞추고, 확인하는 일이다. 그런데 AI 프로젝트 시간의 60~80%가 여기에 들어간다.
피지컬 AI 데이터, 현장에서 배운 세 가지 역설
첫째, 공장이 좋을수록 데이터가 없다
AI에게 가장 가르치고 싶은 것은 불량, 고장, 사고다. 그런데 잘 관리되는 공장의 불량률은 PPM, 백만분율 단위다. 가르칠 게 가장 많은 공장이 가르칠 데이터가 가장 없다. 사고 데이터는 만들려고 일부러 사고를 낼 수도 없다. 그래서 산업 AI에서 클래스 불균형은 예외 상황이 아니라 기본값이다.
둘째, 병목은 기술이 아니라 사람의 머릿속에 있다
수집과 라벨링은 사람과 도구를 늘리면 규모가 커진다. 그런데 ‘이 용접 비드가 합격인가’를 판정하는 일은 그 공정을 아는 사람만 할 수 있고, 그런 사람은 희소하다. 현장에서 ‘보면 안다’로 통하는 장인의 기준을 라벨링 가이드라는 문서로 옮겨야 수백 명이 같은 기준으로 일할 수 있는데, 이 명문화가 피지컬 AI 데이터 사업의 숨은 승부처다.
셋째, 합성데이터는 대체재가 아니라 증폭기다
희귀상황을 보완하는 데 합성데이터는 이미 표준 도구가 되고 있다. 엔비디아의 Cosmos 같은 월드모델 기반 합성데이터 생성이 로봇 학습 인프라로 자리 잡는 중이다. 다만 원칙이 있다. 합성데이터는 소량의 질 좋은 실측 데이터에 뿌리를 두고 그것을 증폭할 때만 효과가 있다. 실측 없이 합성만으로 채우면 현실과 어긋난 것을 배운다. 씨앗이 되는 실측 데이터의 품질이 합성데이터 품질의 상한선이다. 그리고 그 실측 데이터를 만드는 것이 바로 위의 그 노동집약적이고 도메인 지식이 필요한 일이다.
3) 클래스 불균형(Class Imbalance): 정상 데이터에 비해 불량·고장·사고처럼 AI가 학습해야 할 특정 유형의 데이터가 지나치게 적은 상태
한국의 기회: 우리는 피지컬 AI의 ‘현장’을 가진 나라다
한국의 경쟁력은 현장의 밀도다
여기서 한국 이야기를 해야겠다. 나는 한국이 피지컬 AI 데이터 경쟁에서 구조적으로 유리한 위치에 있다고 본다. 근거는 간단하다. 피지컬 AI 데이터는 현장에서만 나오는데, 한국은 세계에서 가장 밀도 높은 현장을 가진 나라 중 하나다. 조선소, 반도체 공장, 자동차 라인, 제철소, 항만 — 데이터의 원천이 되는 산업 현장이 이만큼 집적된 나라는 드물다.
정부도 피지컬 AI 데이터 확보에 나서고 있다
정부도 이 지점을 보고 있다. 피지컬 AI를 4차 산업혁명의 최종 단계로 규정하고, 데이터 주권 확보를 국가 경쟁력의 문제로 다루기 시작했다. 실제로 수백억 원 규모의 피지컬 AI 선도기술 개발 국책사업이 출범해 월드 파운데이션 모델과 그 학습 데이터 인프라를 국산화하는 작업이 진행 중이다. 미국이 데이터 유출을 경계하며 ‘AI 경계령’을 내리고, 중국이 자국 제조 데이터를 자국 AI에 몰아주는 지금, 현장 데이터를 어느 나라 모델이 학습하느냐는 더 이상 기술 문제가 아니라 주권 문제다.
크라우드웍스는 현장에서 데이터를 만든다
크라우드웍스도 이 흐름의 한복판에 있다. 우리는 그 국책사업에서 초고정밀 멀티모달 데이터 파이프라인 구축을 맡았고, 피지컬 AI 데이터랩이라는 전담 조직을 신설해 로봇 유형별 VLA 데이터를 연구하고 있다.
또한 크라우드웍스는 다양한 현장에서 데이터를 수집하고 있다. 양팔 수술로봇의 봉합 시연을 원격조작으로 수집해 실패 사례까지 포함한 수만 건의 에피소드 데이터셋을 만들었고, 조선소에서는 수십 년 된 크레인에 센서를 리트로핏해 기존 설비를 그대로 둔 채 학습 데이터를 뽑아내는 프로젝트를 진행하고 있다. 제조 현장에서는 작업자에게 데이터 글러브와 1인칭 카메라를 착용시켜 손동작·시야·접촉을 함께 기록하고, 이것을 로봇이 재현할 수 있는 작업 에피소드로 구조화한다.
데이터 사업의 본질은 파이프라인이다
이 경험들이 가리키는 방향은 하나다. 피지컬 AI 시대의 데이터 사업은 ‘라벨링 대행’이 아니다. 수집 장비 설계부터 시간 동기화, 품질검증, 표준 포맷 출력까지 이어지는 파이프라인 전체가 상품이고, 그 파이프라인이 돌기 시작하면 ‘현장 실증 → 데이터 생성 → 모델 재학습 → 투입 확대’라는 플라이휠이 돈다. 데이터가 한 번 쓰고 버리는 비용이 아니라, 쓸수록 쌓이는 자산이 되는 구조. 이것이 우리가 집중해야 할 부분이다.
4) VLA (Vision-Language-Action): 이미지·언어 정보를 이해하고 이를 실제 로봇 행동으로 연결하는 모델 5) 리트로핏(Retrofit): 기존 설비를 교체하지 않고 센서나 디지털 장치를 추가해 기능을 개선하는 방식
피지컬 AI의 승부는 결국 데이터에서 난다
생성형 AI 시대의 승자는 모델을 가진 회사였다. 그러나 피지컬 AI 시대의 승부는 다르게 난다. 모델은 공개되고, 하드웨어는 상향평준화된다. 마지막까지 복제할 수 없는 것은 현장에서만 나오는 데이터, 그리고 그 데이터를 학습 가능한 자산으로 바꾸는 역량이다.
로봇이 스포트라이트를 받는 동안, 나는 그 뒤에서 데이터를 준비하는 쪽에 서 있다. 화려하지 않은 일이다. 꺼내오고, 맞추고, 확인하는 일이다. 그런데 원래 승부는 화려하지 않은 곳에서 난다.
이준호｜크라우드웍스 부사장·COO
피지컬 AI 및 데이터 사업 전반의 실행 전략과 운영을 총괄하며, 통신·금융·제조 등 다양한 분야의 AX 사업화와 전사 실행 전략 수립을 통해 시장 성장을 이끌고 있습니다.
Share article