[중앙뉴스라인, 전은희기자] 전남대학교 융합바이오시스템기계공학과 손형일 교수, 김창조(박사과정), 김강민(석사과정)과 GIST InnoCORE ‘극한환경 자율 모빌리티 Physical AI 연구단’ 박용현 박사가 참여한 공동연구팀이 복잡한 온실 상황의 관계를 인식하고, 시각·언어 추론으로 생성한 작업계획을 양팔 로봇 행동으로 변환하는 휴머노이드형 농업로봇을 공동 개발했다. 연구팀은 ▲장면 그래프 생성(Scene Graph Generation, SGG) 기반 시각 장면 이해 ▲SGG에 기반한 시각·언어 모델(VLM) 추론 ▲계획 검증 ▲시각·언어·행동(VLA) 모델 기반 양팔 제어를 하나의 인식-추론-행동 파이프라인으로 결합했으며, AI의 판단을 실제 로봇 행동으로 구현한 농업 분야 Physical AI 연구다.
이번 연구는 손형일 교수와 박용현 박사가 앞서 개발한 SGG 기반 시각 장면 이해(Visual Scene Understanding, VSU) 및 규칙 기반 작업계획 연구를 확장한 것이다. 선행 연구는 과실·잎·줄기의 객체-속성-관계를 장면 그래프로 표현하고, 수확·적엽·적과 작업과 양팔 협업 여부를 결정하는 프레임워크이다. 박용현 박사는 해당 연구를 2026년 6월 오스트리아 비엔나에서 열린 로보틱스 분야 세계 최고 권위 국제학술대회 ‘IEEE International Conference on Robotics and Automation(ICRA 2026)’에서 구두 발표하여 큰 주목을 받았다. 이번 후속 연구는 SGG와 VLM 추론을 실제 로봇 행동으로 확장한 것이다.
연구팀이 개발한 기술의 주요 요소 중 하나는 농작업 상황에 특화된 SGG 기반 시각 장면 이해(Visual Scene Understanding, VSU)이다. SGG는 RGB-D 영상에서 과실·잎·줄기를 객체 노드로 검출하고, 익음/미숙과와 유연/강성의 속성, 가려짐(occluded)·연결됨(attached-to)·가까움(near)·앞에 있음(in-front-of)의 관계를 방향성 주어-관계-객체(subject-predicate-object) 트리플렛으로 구조화한다. 예를 들어 ‘과실-가려짐-잎’ 관계는 목표 접근 전에 가림물을 처리해야 한다는 작업 선행조건이 된다. 이를 통해 로봇은 객체의 위치뿐 아니라 객체 간 상호작용과 농작업 맥락을 함께 해석한다.
또한 연구팀은 SGG가 인식한 객체-속성-관계를 근거 사실 집합(grounded FACT)으로 변환해, VLM이 장면에서 확인된 정보만으로 작업계획을 생성하도록 했다. VLM은 수확·적엽·적과 중 수행할 작업, 목표 객체, 양팔 협업 여부와 행동 순서를 결정한다. 생성된 계획은 형식 검증, FACT 일관성 검증, 실행 가능성 검토를 순차적으로 거친다. 영상에 없는 대상이나 관계를 만들어내는 AI 환각(hallucination), 또는 로봇이 수행할 수 없는 계획이 발견되면 계획을 수정하거나 실행 전에 차단한다.
마지막으로 검증된 계획을 VLA 기반으로 접근(approach)과 밀기(push) 동작으로 변환하는 인식-추론-행동 파이프라인을 구현했다. 목표 과실이 유연한 잎에 가려진 경우 보조 팔이 잎을 밀어 접근 경로를 확보하고, 주 작업 팔이 목표에 접근한다. 반면 줄기처럼 손상 위험이 있는 구조물은 회피하며, 로봇 관절 자세를 계산하는 역기구학과 충돌 검사에서 도달 불가능하거나 위험한 동작은 중단한다.
이와 같은 다양한 기술의 융합으로 연구팀은 온실 영상 입력부터 장면 그래프 생성, 작업계획, 계획 검증, 휴머노이드의 양팔 행동까지 전 과정을 폐루프(closed-loop)로 연결하고 해당 로봇을 고흥 스마트팜 혁신밸리의 상용 토마토 온실에서 현장 실증했다. 기존 객체 검출 중심 농업로봇이 ‘무엇이 어디에 있는가’를 인식하는 데 주로 집중했다면, 이번 기술은 관계와 속성에 기반해 ‘무엇을, 어떤 순서로, 어느 팔이 수행할 것인가’를 추론하고 검증된 계획을 물리적 행동으로 연결하는 추적·검증 가능한 Physical AI 구조를 제시했다. 추가적으로, 현재 시스템은 목표 접근과 가림물 제거 동작에 초점을 두고 있으나, 연구팀은 현재 파지·절단 등 작업과 촉각·힘 피드백을 결합한 멀티모달·언어·행동(MLA) 모델로 확장 연구하고 있다.
연구 성과는 융복합 농업분야 최고 권위 국제학술지 ‘Computers and Electronics in Agriculture’(JCR 상위 2.6%, IF 10.3)에 게재됐다. 이번 연구는 한국연구재단 기초연구실사업/중견연구지원사업, 과학기술정보통신부 이노코어사업, 한국산업기술진흥원 산업혁신인재성장지원사업, 교육부 글로컬대학30사업, 한국연구재단 BK21 4단계 IT-Bio융합시스템농업교육연구단 등의 지원으로 수행됐다.
[중앙뉴스라인, 전은희기자] 전남대학교 융합바이오시스템기계공학과 손형일 교수, 김창조(박사과정), 김강민(석사과정)과 GIST InnoCORE ‘극한환경 자율 모빌리티 Physical AI 연구단’ 박용현 박사가 참여한 공동연구팀이 복잡한 온실 상황의 관계를 인식하고, 시각·언어 추론으로 생성한 작업계획을 양팔 로봇 행동으로 변환하는 휴머노이드형 농업로봇을 공동 개발했다. 연구팀은 ▲장면 그래프 생성(Scene Graph Generation, SGG) 기반 시각 장면 이해 ▲SGG에 기반한 시각·언어 모델(VLM) 추론 ▲계획 검증 ▲시각·언어·행동(VLA) 모델 기반 양팔 제어를 하나의 인식-추론-행동 파이프라인으로 결합했으며, AI의 판단을 실제 로봇 행동으로 구현한 농업 분야 Physical AI 연구다.이번 연구는 손형일 교수와 박용현 박사가 앞서 개발한 SGG 기반 시각 장면 이해(Visual Scene Understanding, VSU) 및 규칙 기반 작업계획 연구를 확장한 것이다. 선행 연구는 과실·잎·줄기의 객체-속성-관계를 장면 그래프로 표현하고, 수확·적엽·적과 작업과 양팔 협업 여부를 결정하는 프레임워크이다. 박용현 박사는 해당 연구를 2026년 6월 오스트리아 비엔나에서 열린 로보틱스 분야 세계 최고 권위 국제학술대회 ‘IEEE International Conference on Robotics and Automation(ICRA 2026)’에서 구두 발표하여 큰 주목을 받았다. 이번 후속 연구는 SGG와 VLM 추론을 실제 로봇 행동으로 확장한 것이다.연구팀이 개발한 기술의 주요 요소 중 하나는 농작업 상황에 특화된 SGG 기반 시각 장면 이해(Visual Scene Understanding, VSU)이다. SGG는 RGB-D 영상에서 과실·잎·줄기를 객체 노드로 검출하고, 익음/미숙과와 유연/강성의 속성, 가려짐(occluded)·연결됨(attached-to)·가까움(near)·앞에 있음(in-front-of)의 관계를 방향성 주어-관계-객체(subject-predicate-object) 트리플렛으로 구조화한다. 예를 들어 ‘과실-가려짐-잎’ 관계는 목표 접근 전에 가림물을 처리해야 한다는 작업 선행조건이 된다. 이를 통해 로봇은 객체의 위치뿐 아니라 객체 간 상호작용과 농작업 맥락을 함께 해석한다.또한 연구팀은 SGG가 인식한 객체-속성-관계를 근거 사실 집합(grounded FACT)으로 변환해, VLM이 장면에서 확인된 정보만으로 작업계획을 생성하도록 했다. VLM은 수확·적엽·적과 중 수행할 작업, 목표 객체, 양팔 협업 여부와 행동 순서를 결정한다. 생성된 계획은 형식 검증, FACT 일관성 검증, 실행 가능성 검토를 순차적으로 거친다. 영상에 없는 대상이나 관계를 만들어내는 AI 환각(hallucination), 또는 로봇이 수행할 수 없는 계획이 발견되면 계획을 수정하거나 실행 전에 차단한다.마지막으로 검증된 계획을 VLA 기반으로 접근(approach)과 밀기(push) 동작으로 변환하는 인식-추론-행동 파이프라인을 구현했다. 목표 과실이 유연한 잎에 가려진 경우 보조 팔이 잎을 밀어 접근 경로를 확보하고, 주 작업 팔이 목표에 접근한다. 반면 줄기처럼 손상 위험이 있는 구조물은 회피하며, 로봇 관절 자세를 계산하는 역기구학과 충돌 검사에서 도달 불가능하거나 위험한 동작은 중단한다.이와 같은 다양한 기술의 융합으로 연구팀은 온실 영상 입력부터 장면 그래프 생성, 작업계획, 계획 검증, 휴머노이드의 양팔 행동까지 전 과정을 폐루프(closed-loop)로 연결하고 해당 로봇을 고흥 스마트팜 혁신밸리의 상용 토마토 온실에서 현장 실증했다. 기존 객체 검출 중심 농업로봇이 ‘무엇이 어디에 있는가’를 인식하는 데 주로 집중했다면, 이번 기술은 관계와 속성에 기반해 ‘무엇을, 어떤 순서로, 어느 팔이 수행할 것인가’를 추론하고 검증된 계획을 물리적 행동으로 연결하는 추적·검증 가능한 Physical AI 구조를 제시했다. 추가적으로, 현재 시스템은 목표 접근과 가림물 제거 동작에 초점을 두고 있으나, 연구팀은 현재 파지·절단 등 작업과 촉각·힘 피드백을 결합한 멀티모달·언어·행동(MLA) 모델로 확장 연구하고 있다.연구 성과는 융복합 농업분야 최고 권위 국제학술지 ‘Computers and Electronics in Agriculture’(JCR 상위 2.6%, IF 10.3)에 게재됐다. 이번 연구는 한국연구재단 기초연구실사업/중견연구지원사업, 과학기술정보통신부 이노코어사업, 한국산업기술진흥원 산업혁신인재성장지원사업, 교육부 글로컬대학30사업, 한국연구재단 BK21 4단계 IT-Bio융합시스템농업교육연구단 등의 지원으로 수행됐다.