스마트 글라스를 초저전력으로 움직일 수 있게 되는 「AI 소나 기술」

 
 
코넬 대학의 연구원은 소나와 같은 센싱을 통해 사람의 시선과 얼굴의 표정을 추적하는 두 가지 기술을 발표했습니다.

이들은 상용 스마트 글라스나 VR, AR 헤드셋에 장착 가능하고, 기존의 카메라 베이스의 시스템에 비해 현저하게 낮은 전력으로 동작합니다.

「GazeTrak」 과  「EyeEcho」 라는 새로운 2개의 기술은, 안경의 프레임에 부착된 스피커와 마이크를 사용해, 얼굴이나 눈의 움직임에 의해 생기는 음파의 반사를 포착합니다.


GazeTrak : 음향 신호를 이용하여 시선 추적

스피커 1개와 마이크 4개를 안경 좌우의 프레임 안쪽에 배치하고, 안구와 눈의 주위로부터 음파를 반사시켜 획득합니다. 결과적으로 얻은 음성 신호는 AI가 시선의 방향을 지속적으로 추측하도록 커스터마이즈 된 심층 학습 파이프라인에 공급됩니다.

이 시스템은 카메라에 의존하는 최첨단 시선 추적 기술만큼은 아직 잘 작동하지 않지만, 이 새로운 장치는 음성 신호도 효과적이라는 개념을 입증하고, 최적화를 진행함으로써 동일한 정확도를 달성하여 필요한 스피커와 마이크의 수를 줄일 수 있다는 것.


GazeTrak에서 : 시선을 화면의 다른 영역으로 이동 시 각 마이크의 에코 프로파일

EyeEcho : 얼굴 표정을 실시간으로 감지하고 아바타를 통해 재현

 


EyeEcho의 시스템은 스피커 1개와 마이크 1개를 안경의 힌지 옆에 배치합니다. 표정의 변화에 따라 얼굴의 피부 움직임을 포착하기 위해 아래쪽으로 배치합니다. 반사된 신호는 AI가 해석한다고 합니다.

이 기술을 사용함으로써 시끄러운 카페와 거리에서도 사용자는 아바타를 통해 핸즈프리 화상 통화가 가능합니다. 일부 스마트 글라스에는 얼굴을 인식하거나 일부 특정 표정을 구별하는 기능이 있지만, 현재는 EyeEcho와 같이 지속적으로 표정을 추적하는 것은 없다는 것.


EyeEcho로 부터 : 디자인된 표정과 대응하는 차등 에코 프로파일

이들 디바이스는 스마트 글라스 배터리로 몇 시간, VR 헤드셋에서는 하루 이상 지속되는 성능을 가진다고 한다. 디바이스를 개발한 Smart Computer Interfaces for Future Interactions (SciFi) Lab을 이끄는 코넬 대학 정보과학 조교수인 Cheng Zhang 씨는 "소형, 저가격, 초저전력이므로 매일 스마트 글라스에 장착해도 배터리가 별로 줄지 않는다"고 코멘트.

두 연구를 주도하는 박사과정 학생 Ke Li 씨는 비디오 대신 음성 신호를 이용함으로써 프라이버시 보호에도 기여한다고 강조합니다. 또한 "VR 환경에서는 다른 사용자와의 상호작용을 향상하기 위해 상세한 얼굴 표정과 시선의 움직임을 재현하고 싶다"라고 코멘트.

이러한 기술은 VR 체험의 향상뿐만 아니라 시력이 낮은 사람들을 위한 스크린 리더의 지원이나, 알츠하이머병이나 파킨슨병 등의 신경퇴행성 질환의 진행 감시에도 응용 가능하다고 합니다.


역시 아이디어 싸움!!
음파의 반향으로 얼굴을 읽어서 아바타를 그려내다니...
정말 똑똑하시네요~
중국의 AI 약진, 대단합니다.