임페리얼 칼리지 런던의 다자간 HRI 구현 프로젝트

로봇이 여러 명의 사람과 동시에 소통하는 다자간 HRI(Human-Robot Interaction, 인간-로봇 상호작용)를 구현하기 위해 로봇의 인지 범위와 반응 대상 선정 방식을 재설계했다. 대부분의 소셜 로봇은 단일 사용자와의 대화에 최적화되어 있어 다수 사용자가 모인 환경에서는 상호작용 효율이 떨어진다. 따라서 여러 명의 화자를 동시에 인식하고 적절한 대상에게 반응하는 능력을 확보하는 것이 실제 사회적 공간 배치의 필수 조건이다.

2026년 7월 20일부터 24일까지 임페리얼 칼리지 런던(Imperial College, London)에서 개최된 프로그램은 다수의 사람과 동시에 상호작용하는 시스템 구축에 집중했다. 참여자들은 로봇이 그룹 내 개인을 구분하고 관계를 유지하며 대화를 이어가는 방법론을 연구했으며, 로봇이 누구에게 말을 걸고 누구의 말을 들어야 하는지에 대한 판단 기준을 수립했다.

이번 과정은 UK RAS STEPS의 펀딩으로 운영되었으며 총 5명의 RTP(Research Training Partnership, 연구 교육 파트너십) 인원이 참여했다. UK RAS STEPS는 워크숍을 통해 연구자의 전문성 개발 체계를 제공했으며, 마리 대니얼스(Marie Daniels)의 가이드를 통해 연구자들이 다자간 HRI 주제에 진입하는 토대를 마련했다.

임페리얼 칼리지 런던의 강사진과 연구자들은 일주일간 로봇이 그룹 전체의 사회적 맥락을 파악하고 적절하게 반응하는 환경을 구축했다. 다수의 사용자가 존재하는 실제 환경에서 로봇이 정체성을 유지하며 소통하는 방식은 이후 제어 파이프라인 설계의 기초가 된다. 이러한 다자간 상호작용을 실제로 구현하기 위해서는 자연어 명령이 물리적 움직임으로 이어지는 정밀한 제어 체계가 필요하다.

언어에서 동작까지: 5단계 제어 파이프라인

LLM(대규모 언어 모델)은 사용자가 입력한 자연어 의도를 구조적 명령(Structured Commands, 기계가 즉시 처리할 수 있는 정형화된 데이터 형식)으로 번역한다. 이 과정에서 인간의 모호한 일상어는 로봇이 해석 가능한 특정 파라미터와 명령어 세트로 치환된다. 번역된 구조적 명령은 로봇의 고수준 함수(High-level functions, 특정 동작을 수행하도록 미리 설계된 소프트웨어 단위)에 매핑되어 구체적인 기능 단위로 연결된다.

매핑된 고수준 함수는 로봇의 말단 장치가 도달해야 할 목표 좌표를 설정하며, 이를 역기구학(Inverse Kinematics, 목표 위치를 위해 각 관절이 움직여야 할 각도를 계산하는 기법)을 통해 관절 궤적으로 변환한다. 역기구학은 목표 좌표라는 결과값에서 시작해 각 관절이 가져야 할 각도라는 입력값을 역산하여, 시간에 따른 관절의 이동 순서와 각도를 나타내는 경로를 생성한다.

생성된 관절 궤적 데이터는 로봇 제어 스택(Control Stack, 상위 소프트웨어의 명령을 하드웨어 신호로 변환하여 전달하는 계층)을 통해 각 구동부로 전달된다. 제어 스택은 궤적 값들이 물리적 환경에서 부드럽게 구현되도록 신호 송출 타이밍과 순서를 제어하며, 수치 데이터를 하드웨어가 이해할 수 있는 전기적 펄스로 변환한다.

최종적으로 전달된 전기 신호는 액추에이터(Actuator, 전기적 신호를 물리적인 회전이나 직선 운동으로 바꾸는 구동기)를 통해 실제 동작으로 이어진다. 액추에이터는 정밀한 전류 신호를 받아 모터를 회전시키거나 실린더를 움직여 로봇의 물리적 형태를 변화시킨다. LLM에서 시작된 자연어 의도가 5단계 파이프라인을 거쳐 물리 공간의 움직임으로 구현되는 최종 지점이다.

다자간 상호작용을 위한 3가지 핵심 제어 요소

다자간 상호작용 제어는 실시간 활성 화자 검출(Active speaker detection, 여러 사람 중 현재 말을 하고 있는 사람을 찾아내는 기능)을 우선 수행한다. 로봇은 주변 음성 신호를 분석해 소리 발생 지점을 파악하고, 이를 비전 센서의 객체 검출 데이터와 실시간으로 동기화하여 발화자의 입 모양이나 미세한 움직임을 매칭한다. 이를 통해 화자가 빠르게 바뀌는 환경에서 응답 지연을 줄이고 정확한 대화 상대를 특정한다.

특정된 화자와의 대화를 이어가기 위해 로봇은 ID 추적(Identity tracking, 개별 사용자의 고유 식별 정보를 유지하며 위치를 추적하는 기술)을 수행한다. 사용자가 고개를 돌리거나 일시적으로 가려져도 동일 인물임을 기억하는 재식별 과정을 포함하며, 외형 특징과 공간적 위치 데이터를 기반으로 고유 ID를 부여하고 실시간으로 갱신한다. 이 기능이 있어야만 이전 대화 맥락에 맞는 맞춤형 응답을 특정 개인에게 정확히 전달할 수 있다.

로봇은 그룹 전체에 주의를 기울이고 있다는 신호를 주기 위해 자연스러운 시선(Gaze) 및 머리 회전 동작을 생성한다. 대화 흐름에 따라 시선을 분산하거나 질문자와 청취자 사이를 부드럽게 오가도록 궤적을 설계한다. 특히 머리 회전의 시작과 끝 지점 각도, 이동 속도의 가속도를 조절해 기계적 끊김이 없는 움직임을 구현함으로써 다수 사용자와의 심리적 연결감을 형성한다.

로봇 지능 구현을 위한 다학제적 기술 범위

로봇 기구학(Kinematics, 관절의 위치와 각도 등 기하학적 움직임을 다루는 학문)과 로봇 역학(Dynamics, 질량과 힘의 관계를 통해 움직임을 분석하는 학문)은 소프트웨어 명령을 물리적 움직임으로 변환하는 제약 조건이다. 기구학으로 말단 장치의 좌표를 계산하고, 역학으로 경로 유지에 필요한 토크와 힘을 산출하여 소프트웨어의 논리적 명령을 하드웨어의 물리적 움직임으로 변환한다.

센싱(Sensing, 외부 환경 정보를 데이터로 수집하는 과정)과 제어(Control, 수집된 데이터를 바탕으로 구동기를 조절하는 이론)의 통합은 로봇의 환경 적응력을 결정한다. 공중 로봇은 기압과 풍속을 측정해 비행 자세를 유지하고, 수술 로봇 비전은 인체 조직의 미세 변형을 포착해 제어 신호로 보낸다. 생체 모방 센싱은 미세한 압력이나 질감을 감지하며, 이러한 데이터가 제어 루프에 빠르게 반영될수록 예측 불가능한 환경에서도 안정적인 동작이 가능하다.

4족 보행(Quadruped locomotion)과 촉각 센싱(Tactile sensing)은 실세계 배치의 주요 엔지니어링 과제다. 4족 보행 로봇은 불규칙한 지형에서 무게 중심을 실시간으로 이동시키는 역학 계산을 수행하며, 촉각 센싱은 물체의 재질이나 미끄러짐을 감지해 쥐는 힘을 조절한다. 이러한 물리적 제약은 LLM의 고수준 의도를 실제 동작으로 구현할 때 성능 병목을 일으키는 지점이 된다.

로봇 연구는 기계 공학, 전자 공학, 컴퓨터 과학의 통합 과정이다. 하드웨어의 물리적 한계를 소프트웨어 알고리즘으로 보완하거나, 센서 성능 향상으로 제어 알고리즘의 복잡도를 낮추는 상호 보완적 설계가 핵심이다. 물리적 AI의 구현은 개별 기술의 고도화보다 서로 다른 공학적 영역을 하나의 제어 파이프라인으로 묶어내는 통합 역량에 달려 있다.

한국 AI 실무자를 위한 피지컬 AI 전환 포인트

LLM의 출력을 단순 텍스트가 아닌 JSON이나 특정 스키마 형태의 구조적 명령으로 설계하는 인터페이스 단계가 물리 제어의 시작이다. 로봇은 텍스트 응답을 직접 실행할 수 없으므로, 자연어 의도를 특정 함수 호출이나 파라미터 값으로 변환하는 중간 계층을 설계해야 한다. 이 단계에서 명령의 모호함이 제거되지 않으면 물리적 환경에서 예측 불가능한 오동작이 발생할 위험이 크다.

다수 사용자 환경에서는 화자 인식과 시선 처리가 사용자 경험(UX)의 핵심이다. 실시간 활성 화자 검출과 ID 추적이 정밀하게 맞물려야 하며, 화자 변경에 따른 시선(Gaze)과 머리 회전 동작이 자연스럽게 따라가야 한다. 단순한 언어적 응답 속도보다 누구를 바라보며 말하는지에 대한 물리적 일치감이 상호작용의 신뢰도를 결정한다.

피지컬 AI 구현의 핵심은 LLM의 추론 능력을 확장하는 것이 아니라, 추론 결과가 물리적 궤적으로 변환되는 역기구학 단계의 연산 지연과 하드웨어의 물리적 제약을 정밀하게 제어하는 인터페이스 설계 능력에 있다.

로봇이 사람과 자연스럽게 어울리기 위해서는 언어적 이해를 넘어 물리적 세계의 제약을 극복하는 정밀한 제어 파이프라인의 통합이 필수적이다.