KAIST 메타버스대학원, 차세대 공간 AI ·XR 핵심기술 공개

[투데이에너지 장재진 기자] KAIST 메타버스대학원은 6월 10일부터 12일까지 서울 코엑스에서 열리는 가상융합산업대전(KMF 2026)에 참가해 현실 공간을 이해하고 사람과 사물의 위치·움직임·상황을 분석하는 차세대 공간 AI와 XR(확장현실) 분야 핵심 연구 성과를 공개한다고 2일 밝혔다.

이번 전시에서는 아바타의 얼굴 표정을 원격 환경에서도 자연스럽게 복원하는 실시간 아바타 표정 재현 시스템(OFERA), 가상 수중 환경의 물 저항과 촉감을 전달하는 수중 몰입형 촉각 인터랙션 기술(AquaHaptics), 그리고 문화유산 내부 결함까지 3D와 AR로 확인할 수 있는 멀티센서 기반 문화유산 디지털 트윈 및 AR 시각화 기술 등 주요 성과가 공개된다 .

메타버스대학원은 원천기술부터 실증, 산업화로 이어지는 통합형 연구 구조를 강점으로 내세우며, XR 경험과 상호작용 데이터를 축적·공유하는 ‘초시공간 가상융합 플랫폼(BTS: Bridge Time and Space)’ 구축을 추진 중이라고 밝혔다 .

KAIST 측은 이번 성과가 과기정통부와 IITP가 추진하는 가상융합대학원 사업의 대표적 결과물이라며, 지난해 IEEE VR 2026에서 다수의 구두논문 발표로 글로벌 연구 경쟁력을 입증했다고 설명했다.

또한 KAIST는 지역을 테스트베드로 활용해 시공간이 다른 지역 간 비동기적 경험을 공유하는 ‘뉴잼대전’ 프로젝트를 추진해 지역 문화와 XR 기술을 결합한 실증을 계획하고 있으며, 이를 통해 지역 자산의 글로벌 경험 자산화 가능성을 타진하고 있다고 전했다.

우운택 메타버스대학원장은 “공간 AI와 XR은 가상융합산업의 핵심 인프라가 될 것”이라며 “XR 경험과 지식의 자산화를 통해 실질적 혁신을 만들어 가겠다”고 말했다.

HMD에 의해 가려진 표정 표현을 위한 실시간 3D 가우시안 아바타 컨트롤 기술 ‘OFERA’ (양석환 석사과정)▲ 실시간 아바타 표정 재현 시스템(OFERA): 기존 XR 기기(HMD) 착용 시 얼굴 절반이 가려져 표정 인식이 불가능했던 한계를 3D 가우시안 제어 기술로 극복했다. 이를 통해 메타버스 내에서 자연스러운 ‘비언어적 감정 소통’을 구현하며, 원격 회의나 가상 고객 응대 등 B2B 메타버스 플랫폼에서 사용자의 몰입감과 신뢰도를 극대화할 필수 기술로 꼽힌다. /출처 KAIST

몰입감 높은 가상 햅틱 경험을 위한 멀티모달 유체-햅틱 렌더링 기술 ‘AquaHaptics’ (양소영 박사과정)▲ 수중 몰입형 촉각 인터랙션(AquaHaptics): 가상의 수중 환경에서 물을 저을 때 발생하는 유체의 저항력과 촉감을 사용자의 손끝에 생생하게 전달한다. 시각 중심의 기존 콘텐츠 한계를 넘어 수중 테마파크, 심해 탐사 훈련 등 새로운 실감형 엔터테인먼트 시장을 창출할 핵심 기술이다. /출처 KAIST

맨손 XR 인터랙션 시 스마트워치를 활용한 간접 촉각 피드백 제공 시스템 (이주영 박사과정) /출처 KAIST

사용자 정의 핀치 힘(Pinch Force)을 활용한 XR에서의 손 레이캐스팅(Raycasting) 기법 ‘ForceCtrl’ (오서영 박사과정) /출처 KAIST

■ 용어 설명

ㆍ공간 AI (Spatial AI)=현실 공간의 구조와 객체, 사람의 위치·이동·상황을 인식·이해해 상호작용을 가능하게 하는 인공지능 기술로, XR 기기와 결합해 시공간 기반의 서비스와 협업을 지원한다.

ㆍXR (확장현실)=가상현실(VR), 증강현실(AR) 등 현실과 가상의 경계를 확장하는 기술군을 총칭하는 용어로, 인간 경험의 디지털화와 상호작용을 핵심으로 한다.

ㆍOFERA (실시간 아바타 표정 재현 시스템)=XR 기기 착용으로 가려지는 얼굴 표정까지 자연스럽게 복원해 원격 회의·가상 협업의 몰입감을 높이는 기술이다.

ㆍAquaHaptics (수중 몰입형 촉각 인터랙션)=가상 수중 환경에서 물의 저항·촉감을 손끝으로 재현해 실제에 가까운 촉각 경험을 제공하는 햅틱 기술이다.

ㆍ멀티센서 기반 디지털 트윈=가시광선(RGB), 적외선(IR) 열화상 등 여러 센서 데이터를 융합해 대상의 외형과 내부 상태를 3D 디지털 복제물로 재현하는 기술로, 문화유산 보존과 산업 현장 진단에 활용된다.

ㆍBTS (Bridge Time and Space)=사용자의 경험과 암묵지(implicit knowledge)를 클라우드 기반 지식 그래프로 축적해 XR 자산화하고, 시공간을 넘는 비동기적 협업을 가능하게 하는 플랫폼 개념이다.

ㆍ뉴잼대전 프로젝트=KAIST와 출연연, 산업계가 지역(대전)을 거대한 테스트베드로 삼아 시공간 제약 없이 지역의 문화·산업 자원을 XR 경험으로 연결·공유하는 실증 프로젝트이다.