얼굴로 마우스 커서를 조작하는 「Project Gameface」 가 오픈 소스화

 
 

Google이 I/O 2023에서 발표한, 눈썹이나 입의 움직임 등으로 마우스 커서를 컨트롤할 수 있는 오픈 소스 프로젝트 'Project Gameface'가 Android에서도 사용할 수 있게 될 것으로 발표되었습니다.

Project Gameface launches on Android - Google Developers Blog
https://developers.googleblog.com/en/project-gameface-launches-on-android/

Project Gameface launches on Android

Project Gameface는 진행성 근력 저하 질병 환자인 게임스트리머 랜스 카 씨의 이야기에서 영감을 받아 개발된 툴입니다.

Gaming with muscular dystrophy | Project GameFace featuring Lance Carr | Google - YouTube

 
 
이미 playAbility등의 기업이 Project Gameface를 이용한 제품을 개발하고 있습니다. 새롭게 Google은 모든 Android 앱 개발자가 Project Gameface를 사용할 수 있도록 이를 오픈소스화한다고 발표했습니다. 이를 통해 Android 기기의 카메라를 통해 얼굴 표정과 머리 움직임을 원활하게 추적하고 직관적이고 개인화된 작업으로 변환할 수 있습니다. 또한, 앱 개발자는 표정이나 제스처에서의 커서 조작 체험을 사용자가 커스터마이즈 할 수 있도록, 표정 · 제스처 · 사이즈 · 커서 속도등을 미세조정할 수 있는 애플리케이션을 구축할 수 있게 된다고 합니다.

Introducing Project Gameface for Android - YouTube

 

Google은 Android용 Project Gameface를 구축하는 데 다음 세 가지 기본 원칙을 기반으로 개발을 진행했다고 말합니다.

1: 장애가 있는 사람들에게 안드로이드 장치를 조작하기 위한 새로운 추가 수단을 제공합니다.
2: 확장 가능한 사용을 가능하게 하는 널리 사용되는 비용 효율적인 설루션을 구축합니다.
3: Project Gameface의 첫 출시에서 배운 내용과 지침을 활용하여 제품을 사용자 친화적으로 정의할 수 있게 합니다.

Android 버전의 Project Gameface는 일반 버전의 Project Gameface와 마찬가지로 장치를 조작할 수 있도록 가상 커서를 도입했습니다. Android의 내게 필요한 옵션 서비스를 사용하여 커서를 만들고 MediaPipe의 얼굴 랜드마크 감지 API를 활용하며 사용자의 머리 움직임에 맞게 커서가 움직이도록 프로그래밍되었습니다.

이 API에서는 "왼쪽 눈썹 올리기", "입을 열다" 등 52 종류의 얼굴 제스처를 나타내는 얼굴 블렌드 셰이프 값을 가지고 있으며, 이들을 이용하여 폭넓은 기능을 효과적으로 매핑 및 제어하고 사용자 정의 및 조작 가능성을 확장합니다.

오픈 소스 Project Gameface는 GitHub에 공개되어 있습니다.

GitHub - google/project-gameface
https://github.com/google/project-gameface

GitHub - google/project-gameface