에이벡스(Avex)가 댄스의 점수화를 실현한 AI를 발표

에이벡스(Avex) 회사는 2020년 1월 21일, 비디오 분석기술과 데이터 사이언스를 활용하여 댄스 기술의 점수화를 실현한 AI를 발표했습니다.

 

인간의 골격을 감지하여 댄스 기술을 점수화

에이벡스는 2018년 부터 댄스 기술 점수화를 실현하는 프로젝트를 시작하고 댄스의 정량평가에 도전해 왔습니다. 이 프로젝트는 댄스분석을 담당하는 아빔 컨설팅 주식회사와, 자체 개발 인공지능 엔진인 'VisionPose(비전포즈)'로 인간의 골격을 감지하여 춤을 파악하는 자세분석기술을 제공하는 주식회사 넥스트 시스템이 참가하고 있습니다.

 

인간의 골격을 검출하는 방법을 활용하고 있다

 

댄스 분야의 육성 및 평가시스템은 개인의 감각과 감성에 좌우되는 경우가 많으며, 데이터 사이언스 등 과학적 접근의 활용이 논의되어 왔습니다. 또한 2012년도부터 일본 중학교의 체육에 댄스가 필수화 되었지만, 댄스 교육의 현장에서 지도자의 댄스 기술을 이해하고 습득하였는지 평가하는 부분에 있어서 그 방법이 불분명한 문제로 지도자의 부담이 컸습니다.

 

스마트폰으로 동영상을 촬영하는 것 만으로도 OK

 

이번 에이벡스가 발표한 점수화를 통한 댄스기술 검사어플 'Dance COMMUNE(댄스 집단)'입니다. 지금까지 에이벡스가 쌓아온 댄스 육성 노하우를 바탕으로 비디오 분석기술과 자체 데이터 분석 및 알고리즘 개발 등 과학적인 접근 방식을 도입함으로써, 댄스의 정량평가(=점수화)를 실현하고 있습니다.

 

 

에이벡스가 발표한 댄스 점수화 응용 프로그램 화면

 

이 어플은 2019년 10월부터 '에이벡스 아티스트 아카데미'의 댄스 클래스에 도입하여 새로운 학습 프로그램으로 운영하고 있습니다. 경험이 풍부한 댄스 강사에 의한 주 1회 댄스 수업 이외에도 어플을 활용한 셀프 연습과 스킬 체크를 통하여 학생들의 실력 향상을 돕고 있다고 합니다. 앞으로 학교의 댄스 교육지도를 비롯하여 더 많은 댄스 육성 현장에서 도입을 확대하고 댄스 육성 노하우의 해외 진출도 내다보고 있다고 합니다.

 

딥러닝으로 사람의 포즈를 분석

사람의 움직임을 분석할 때, OpenPose가 매우 유명한 기술 중 하나입니다. OpenPose는 카네기 멜론 대학(CMU)의 Zhe Cao팀이 'Realtime Multi-Person pose estimation' 논문에서 발표한 딥러닝을 이용한 인물포즈 시각화 기술입니다.

 

OpenPose 분석 화면

 

2018년부터 사진을 입력하는 것 만으로 인간의 관절점을 검출하는 것이 가능하고, 또한 GPU와 같은 고성능 프로세서를 사용하면 동영상에 여러명이 있어도 실시간으로 검출할 수 있다는 것으로 주목받았습니다.

 

실제로 공개된 프로그램을 실행해 보시면, 몸 뿐만 아니라 얼굴과 손까지 분석이 가능하고, 격렬한 움직임의 동영상도 검출할 수 있는 상당한 기술입니다.

 

골프 동작 분석결과 상당히 정확

 

관절점 정보의 취득은 모션 캡처라는 기술을 사용하면 가능합니다. 그러나 인간의 몸에 센서를 설치하지 않으면 정보를 얻을 수 없다는 문제가 있습니다. OpenPose가 당시 획기적이라는 말을 들은 것은 특수한 센서 없이도 해석이 가능하다는 것입니다.

 

댄스 이외의 채점경기 등도 언젠가는 전부 AI가 평가하는 시대가 올 것 같습니다. 에이벡스가 발표한 댄스 점수화 어플처럼, 연습때부터 점수화할 수 있는 구조가 확산되면 경기에 참여하는 인구의 확대에도 이어질 수 있습니다. 또한, 경기의 평가항목이 가시화되면 그 종목에 익숙하지 않은 사람들도 친숙한 경기가 될 수 있을지도 모르겠습니다.