NVA의 구조와 피드백 메커니즘

사람이 컵을 집는 행동 하나만으로는 물을 마시려는 것인지, 타인에게 건네려는 것인지 명확히 구분할 수 없다. 동일한 목표를 달성하기 위한 행동 방식 또한 사람마다 다르기 때문에, AI가 외부에서 관찰되는 행동 데이터만으로 사용자의 의도를 정확히 파악하는 데는 한계가 있다. KAIST와 마이크로소프트연구소 아시아 공동연구진이 제안한 신경 가치 정렬(Neural Value Alignment, NVA)은 이러한 모호성을 해결하기 위해 사람이 예상과 다른 상황을 접했을 때 발생하는 뇌의 '예측 오차'를 추가 피드백 채널로 활용한다.

NVA의 핵심은 피드백을 단순한 긍정 또는 부정의 이진 신호로 처리하지 않고, 두 가지 서로 다른 예측 오차로 세분화해 AI의 수정 방향을 결정하는 구조에 있다. 첫 번째는 보상 예측 오차(Reward Prediction Error, RPE)다. 이는 사용자가 기대한 결과와 실제 결과 사이의 차이를 반영하며, AI가 현재 추정하고 있는 사용자의 '목표' 자체가 잘못되었을 때 이를 다시 추정하도록 유도하는 신호로 쓰인다.

두 번째는 상태 예측 오차(State Prediction Error, SPE)다. 이는 목표로 향하는 과정에서 예상한 상황 변화와 실제 변화의 차이를 반영한다. 목표는 맞지만 그곳에 도달하는 '행동 방식'이 기대와 다를 때, AI가 수행하는 구체적인 동작 경로를 조정하는 데 활용된다. 이를 통해 AI는 목표 자체를 수정해야 하는 상황과 행동 방식만 바꾸면 되는 상황을 구분해 대응한다.

뇌파 신호 구분 및 시뮬레이션 검증

두 종류의 예측 오차를 분리해 관찰할 수 있도록 설계된 과제에서 연구진은 뇌파(EEG)를 기록했다. 실험 결과 RPE 신호와 SPE 신호, 그리고 두 신호가 동시에 발생하는 경우를 딥러닝 모델을 통해 구별할 수 있음을 확인했다. 이렇게 분류된 뇌파 신호는 AI의 목표 추정 알고리즘과 행동 수정 파이프라인에 연결되어 실시간 피드백으로 작동한다.

시뮬레이션 환경에서 수행된 성능 비교에서는 피드백 신호의 조합에 따라 목표 변화 적응 속도에 차이가 나타났다. RPE와 SPE 두 신호를 함께 활용한 방식이 한 종류의 신호만 사용하거나, 단순히 관찰된 행동에만 의존하는 방식보다 사용자의 목표 변화에 더 빠르게 적응하는 결과가 도출됐다.

다만 뇌파 신호를 완벽하게 해독하지 못한 조건에서도 일정 수준의 개선 효과는 나타났으나, 이는 통제된 실험 환경 내에서의 결과다. 연구진은 해당 결과가 실제 로봇이 실시간으로 사람의 뇌파를 읽으며 작업을 수행한 실증 데이터가 아님을 명시했다. 즉, 뇌파 신호의 분류 정확도가 낮아질 때 AI의 교정 성능이 어느 정도까지 유지되는지에 대한 임계치 검증이 향후 과제로 남는다.

피지컬 AI 및 로봇 제어 적용 가능성

NVA는 사람의 생각 전체를 읽어내는 텔레파시 기술이 아니라, AI의 출력값이 사용자의 기대에 어긋났을 때 발생하는 뇌의 반응을 '오류 신호'로 활용하는 접근법이다. 이러한 방식은 말이나 몸짓 같은 명시적인 피드백을 주기 어려운 환경에서 유효하다. 특히 사용자의 목표와 선호도를 지속적으로 정렬해야 하는 피지컬 AI, 자율주행 시스템, 의료 및 재활 로봇, 맞춤형 교육 도구 등으로 확장될 가능성이 크다.

재활 로봇의 경우, 환자가 의도한 움직임과 로봇의 보조 동작이 일치하지 않을 때 발생하는 SPE 신호를 포착해 즉각적으로 동작 궤적을 수정할 수 있다. 또한 사용자가 원래 의도했던 목적지가 바뀌었을 때 RPE 신호를 통해 로봇의 최종 목표 지점을 빠르게 재설정하는 식의 협업이 가능하다.

실무 관점에서 이 기술을 도입하려는 개발자는 뇌파 신호의 노이즈 제거와 실시간 분류 지연시간(Latency)을 우선적으로 고려해야 한다. 실험실 수준의 EEG 데이터와 달리 실제 환경에서는 근전도(EMG) 등 다양한 잡음이 섞이므로, 딥러닝 분류기의 강건성(Robustness) 확보와 신호 해독 실패 시의 폴백(Fallback) 메커니즘 설계가 도입의 핵심 판단 기준이 된다.