가상현실(VR) 및 증강 현실(AR)에 관한 기술은 해마다 발전하고 있으며, 몸의 움직임을 추적하거나 장착하는 장치의 소형화 · 경량화도 진행되고 있습니다. 최근에는 손으로 컨트롤러를 잡고 작업을 하는 것이 아니라, '손가락의 움직임'까지 추적하는 기술도 발전하고 있으며, 코넬 대학 연구팀은 'FingerTrak'이라는 손목 밴드형 장치를 개발했다고 발표했습니다.
FingerTrak : Continuous 3D Hand Pose Tracking by Deep Learning Hand Silhouettes Captured by Miniature Thermal Cameras on Wrist : Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies : Vol 4, No 2
https://dl.acm.org/doi /abs/10.1145/3397306
Researchers develop 3D hand-sensing wristband | Cornell Chronicle
Researchers develop 3D hand-sensing wristband | Cornell Chronicle
Cornell researchers have designed the first wrist-mounted device that successfully and continuously tracks finger movements without the use of external cameras.
news.cornell.edu
Researchers show FingerTrak, a hand tracking wristband for AR / VR input | VentureBeat
Researchers show FingerTrak, a hand tracking wristband for AR/VR input
Cornell's SciFi Lab has revealed a wristband that uses thermal cameras and a deep neural network to determine the wearer's hand and finger poses in 3D.
venturebeat.com
VR 게임을 플레이할 때, 추적 기능이 붙은 스틱형 컨트롤러를 사용하는 경우도 많습니다만, 일반적인 컨트롤러로는 다양한 일상 동작에 대한 손가락의 움직임을 추적할 수 없습니다. 예를 들어 볼펜 등으로 글씨를 쓰거나, 화장을 하거나, 스마트 폰을 조작하는 등의 움직임은 컨트롤러를 잡은 상태에서 추적할 수 없습니다.
그래서 최근에는 손가락의 움직임까지 추적하는 장치의 개발이 잇따라 추진되고 있으며, 소니가 '손가락의 움직임을 정밀하게 추적 가능한 차세대 VR 게임 컨트롤러'를 발표하였고, '스마트 폰을 통해서 수화를 음성으로 변환해주는 장갑'이 연구진에 의해 개발되고 있습니다.
새로운 코넬 대학의 연구팀은 장갑이나 반지를 사용하지 않고도 손가락의 움직임을 추적하는 손목 밴드형 장치 'FingerTrak'을 개발했습니다. 연구팀이 개발한 FingerTrak의 모양과 구조는 다음 동영상을 보시면 알 수 있습니다.
FingerTrak Continuous 3D Hand Pose Tracking by Deep Learning Hand Silhouettes - YouTube
손가락의 움직임을 정확하게 추적하는 것은 VR과 AR의 발전에 중요한 주제입니다.
이미 손가락의 움직임을 추적하는 장갑형 장치도 개발되어 있지만 부피와 휴대성, 행동성 등에서 VR과 AR에 대한 몰입을 방해할 수 있습니다.
그래서 연구팀이 개발한 것이, 손가락의 움직임을 추적하는 손목 밴드형 장치입니다. 직경 24.26cm의 쿼터 동전과 비교하면 크기는 이 정도... 손목 쪽으로 4개의 카메라가 달린 것을 알 수 있습니다.
선단부는 물체의 온도를 감지하는 저해상도 적외선 카메라가 탑재되어 있습니다. 카메라의 길이는 5.7mm로
직경은 불과 9.3mm
FingerTrak은 적외선 카메라로 손이나 손가락의 윤곽을 3D로 추적하고, 딥 뉴럴 네트워크를 사용하여 그 윤곽으로부터 손가락과 손목 관절의 위치를 추측하는 것입니다.
4개의 카메라로부터 얻은 손의 윤곽은 매우 흐릿한 것이었지만, 연구팀의 Cheng Zhang 씨는, "이것은 우리의 큰 발견이었습니다. 손목의 윤곽을 찍는 것으로, 손가락의 움직임을 정밀하게 3D로 재구축이 가능했던 것입니다."라고 말하고 있습니다.
착용자가 손가락을 움직이면...
왼쪽에 표시된 적외선 카메라의 영상 중에서 주황색이나 노란색으로 표시된 범위가 변화합니다. 이러한 변화를 바탕으로 손가락의 움직임을 매우 높은 정밀도로 측정할 수 있는 것입니다. 연구팀에 따르면, FingerTrak이 검출한 손가락 각도의 오류 비율은 6.46도 ~ 8.06도였던 것 같고, 배경이 균일할수록 오류율이 낮아졌다고 연구팀은 주장합니다.
FingerTrak을 사용하면, 펜으로 노트에 뭔가를 적는 움직임이나...
머그컵을 쥐는 움직임
스마트 폰을 손에 들고 조작하는 움직임 등을 식별할 수 있습니다. 연구팀은 FingerTrak이 수화의 번역 기술에 도움이 되는 것 외에 고령자의 손의 움직임을 추적함으로써 알츠하이머 병이나 파킨슨 병 같이 손가락의 운동장애가 나타나는 질환의 검출에 응용할 수 있을 것으로 생각하고 있습니다.
프로토 타입 FingerTrak은 Raspberry Pi와 유선으로 연결되어 있지만, 앞으로는 더 작은 스마트워치 같은 컴퓨터와 연결하여 제어가 가능해질 것으로 보고 있습니다.
'트렌드 이슈 · 토픽' 카테고리의 다른 글
| 대박 그림책 원작의 애니메이션「굴뚝 도시의 뿌뻬루」특보 영상 공개 (0) | 2020.08.14 |
|---|---|
| 유튜브 조회수 1000번 이상이면 상위 10%를 의미한다 (0) | 2020.08.13 |
| 유튜버는 광고가 아닌 '월정액 과금 서비스 및 상품 판매'로 수익창출 방향을 전환하고 있다 (0) | 2020.08.11 |
| 어떤 웹 프레임워크가 가장 빠를까? 'Web Framework Benchmarks' 리뷰 (0) | 2020.08.06 |
| 신종 코로나 바이러스는 감염 후 2개월이 지나도 호흡 곤란, 흉통, 관절통 등의 증상이 계속된다 (0) | 2020.07.13 |
| 웹 페이지를 읽는 사람의 시선은 어떻게 움직일까? 웹 디자인 및 콘텐츠 작성에 도움이 되는 조사 결과를 공개 중 (0) | 2020.06.30 |
| 1만 3000명 이상의 노인을 추적하여 밝힌 '사망 위험을 높이는 요인 Top 10' (0) | 2020.06.24 |
| 구글 검색에서 보기 힘든 매니악한 웹 사이트 즐기기, 'geekring' (0) | 2020.06.23 |
