일상적 손 동작의 디지털화와 22개 자유도 추적

사람이 스마트폰 화면을 스크롤하거나 작은 물건을 집어 올리는 동작은 34개의 근육, 27개의 관절, 100개 이상의 힘줄과 인대가 협력하여 수행하는 정교한 작업이다. 인간의 손은 신체에서 가장 민첩한 부위이지만, 이러한 세밀한 제스처를 로봇이나 가상 현실(VR)에서 재현하는 것은 공학적 난제로 분류되어 왔다. MIT 연구진은 손목에 착용하는 초음파 밴드를 설계하여 사용자의 손 움직임을 실시간으로 추적하고 이를 디지털 데이터로 변환하는 시스템을 구현했다.

이 장치는 초음파 이미지와 AI 알고리즘을 결합하여 손가락과 엄지가 움직이는 방향과 각도를 뜻하는 22개 자유도(Degree of Freedom)를 실시간으로 추적한다. 자유도는 관절이 꺾이거나 회전할 수 있는 물리적 척도를 의미하며, 수치가 높을수록 더 정교한 움직임 구현이 가능하다. 연구진은 수집된 초음파 이미지를 AI 모델에 입력하여 다섯 손가락과 손바닥의 구체적인 위치 정보로 즉시 변환하는 파이프라인을 구축했다. 이를 통해 사용자가 밴드를 착용한 상태에서 제스처를 취하면 무선으로 연결된 로봇 손이 동일한 동작을 수행하는 제어 환경을 완성했다.

스마트워치 크기의 초음파 스티커와 하드웨어 구성

MIT 연구진은 병원에서 사용하는 초음파 변환기를 소형화한 초음파 스티커를 개발하여 스마트워치 크기의 웨어러블 밴드 형태로 제작했다. 이 스티커는 피부에 안전하게 밀착되는 하이드로젤(수분을 함유한 고분자 젤) 소재를 결합하여 손목 내부의 근육, 힘줄, 인대 상태를 연속적으로 촬영한다. 밴드에는 휴대폰 크기의 온보드 전자 장치가 탑재되어 촬영된 초음파 이미지를 처리하고 무선 신호로 전송하는 제어 센터 역할을 수행한다.

작동 원리는 손목의 근육과 힘줄을 마리오네트 인형을 조종하는 줄처럼 활용하는 방식이다. 손가락이 움직일 때마다 손목 내부의 '줄' 상태가 변하며, 초음파 스티커는 이 물리적 변화를 흑백 이미지 패턴으로 포착한다. 연구진은 지원자의 손목에 이 장치를 부착하여 손가락 제스처 변화에 따라 내부 조직의 이미지가 명확하고 연속적으로 생성됨을 확인했다. 결과적으로 피부 표면 아래의 물리적 변형을 실시간 이미지 데이터로 치환하는 하드웨어 인터페이스를 구현했다.

AI 알고리즘을 이용한 22개 자유도 매핑 구조

연구진은 흑백 초음파 이미지의 특정 영역 변화와 실제 손의 위치를 일치시키기 위해 AI 기반의 레이블링 공정을 도입했다. 먼저 지원자를 여러 대의 카메라로 둘러싼 환경에서 다양한 손 동작을 수행하게 하여 실제 손 위치 데이터를 기록했다. 동시에 손목의 초음파 이미지를 촬영하여 이미지의 어느 구역이 변할 때 엄지손가락의 신전(펴는 동작)이나 검지손가락의 움직임이 발생하는지 분석했다. 이를 통해 초음파 이미지의 특정 영역과 22개 자유도 사이의 일대일 매칭 관계를 설정했다.

인간이 처리하기 불가능한 방대한 이미지 패턴 분석을 위해 연구진은 이미지 패턴 인식 AI 알고리즘을 적용했다. AI는 정밀하게 레이블링된 초음파 이미지 데이터를 학습하여, 새로운 이미지 세트가 입력되었을 때 현재 손이 취하고 있는 제스처와 관절 각도를 정확하게 예측한다. 이 알고리즘은 하드웨어에서 수집된 물리적 신호를 지연 없이 즉각적인 제어 명령으로 전환하는 역할을 수행한다. 이를 통해 초음파 이미지라는 물리적 입력값이 AI를 거쳐 디지털 좌표라는 제어 값으로 변환되는 데이터 처리 체계를 완성했다.

기존 트래킹 방식의 한계 극복과 초음파의 우위

기존의 카메라 기반 시각적 추적 방식은 여러 대의 카메라를 정밀하게 배치해야 하는 설치 제약이 있으며, 손가락이 서로 겹치거나 물체에 가려지는 시각적 장애물 발생 시 데이터가 끊기는 문제가 있었다. 반면 MIT의 초음파 방식은 피부 내부의 근육과 힘줄 상태를 직접 촬영하므로 외부 환경의 시각적 방해 요소와 상관없이 끊김 없는 추적이 가능하다. 이는 복잡한 카메라 시스템 없이도 일상적인 환경에서 정밀한 데이터를 수집할 수 있는 대안이 된다.

센서 장갑 방식은 마디마다 부착된 센서의 무게와 두께로 인해 사용자의 자연스러운 움직임이 제한되고 촉각 정보가 저하되는 단점이 있었다. 초음파 밴드는 손목에만 장치를 부착하므로 손가락과 손바닥이 완전히 노출되어 일상적인 촉각을 유지하며 제약 없이 움직일 수 있다. 또한 근육의 전기 신호를 측정하는 EMG(근전도) 방식은 주변 전기 노이즈에 취약하고, 엄지와 검지가 붙거나 떨어지는 이분법적 구분은 가능해도 그 사이의 미세한 경로 변화를 읽어내는 정밀도가 낮았다. 초음파 방식은 물리적 변형을 이미지 패턴으로 직접 확인하므로 훨씬 연속적이고 정밀한 움직임 구분이 가능하다.

ASL 구현 및 로봇 제어 데모를 통한 물리 AI 검증

연구진은 손과 손목 크기가 다른 8명의 지원자를 대상으로 시스템의 범용성을 검증했다. 지원자들은 미국 수어(ASL)의 알파벳 26자 전체를 구현했으며, 시스템은 각 글자의 고유한 손 모양을 정확하게 인식했다. 또한 테니스공, 플라스틱 병, 가위, 연필 등 형태가 다른 물체를 쥐는 파지 동작의 전 과정을 실시간으로 추적하여 신체 구조가 다른 다수에게 적용 가능한 인식 체계를 입증했다.

실제 제어 데모에서는 무선으로 연결된 로봇 손이 사용자의 동작을 실시간으로 모사하여 피아노로 간단한 곡을 연주하고, 작은 농구공을 데스크톱 골대에 넣는 작업을 수행했다. 가상 환경에서는 사용자가 손가락을 맞대는 핀치(pinch) 동작을 통해 화면 속 객체를 확대하거나 축소하는 정밀 조작을 구현했다. 연구팀은 이러한 데이터를 바탕으로 다양한 사용자의 손 동작 데이터셋을 구축하여, 수술 절차 수행과 같이 밀리미터 단위의 정밀함이 요구되는 휴머노이드 로봇의 숙련도(dexterity) 학습 파이프라인을 구축했다. 결과적으로 카메라나 센서 장갑 없이 일상 환경에서 정밀한 데이터를 확보해 물리 AI를 제어하는 하드웨어의 실효성을 확인했다.