펜의 움직임을 카메라로 포착해 돌바닥에서도 사용 가능한 스타일러스 펜 「D-POINT」

 
 
태블릿이나 스마트폰 등에 부속되는 디지털 포인팅 디바이스 「스타일러스 펜」은, 통상 펜촉과 모니터가 접촉하여 디바이스에 입력 정보를 전하는 것입니다. 새롭게 등장한 「D-POINT」는, 펜 뒤쪽 끝에 붙은 마커를 카메라가 읽어 문자를 입력할 수 있습니다.

GitHub - Jcparkyn/dpoint: Open-source digital stylus using camera tracking and inertial measurements
https://github.com/Jcparkyn/dpoint

GitHub - Jcparkyn/dpoint: Open-source digital stylus using camera tracking and inertial measurements

다음은 D-POINT가 동작하는 모습입니다.

D-POINT의 내부 구조는 이런 느낌으로, 펜 끝에 XIAO의 SoC "nRF52840"이 있고, 내부에 USB Type-C로 충전 가능한 리튬 이온 배터리가, 펜 끝에는 힘 센서가 들어있는 형태입니다(펜촉은 플라스틱).

펜 위쪽 끝에는 마커를 검출하기 위한 또 다른 프로젝트, "ArUco"의 마커가 8개 붙어 있습니다. 이 마커를 카메라로 읽음으로써 펜의 위치나 자세, 방향을 읽을 수 있다는 것.

동작 처리로서는, 우선 카메라로 ArUco 마커를 검출해, 위치를 보정해, Perspective-n-Point를 이용해 펜의 자세를 추정, 구성 후 펜촉의 위치와 방향을 계산하여 화면에 그립니다.

D-POINT는 필압 검지도 가능하며, 밀리미터 이하의 정밀도로 6DoF(six degrees of freedom) 입력을 실현합니다. 

즉, 펜과 웹캠만 있으면 아무 곳에서나 펜을 대고 그릴 수 있다는 것입니다.

이 프로젝트의 코드와 디자인 파일은 오픈 소스로 공개되어 있습니다.
https://github.com/Jcparkyn/dpoint

GitHub - Jcparkyn/dpoint: Open-source digital stylus using camera tracking and inertial measurements