Meta가 영상 처리 모델 「DINOv2」를 발표, 장래에는 프롬프트로 VR 환경도 만들 가능성

Meta가 2023년 4월 17일에 영상 모델을 훈련하는 새로운 기술인 'DINOv2'를 발표했습니다. 자기 교사 학습에 의해 영상을 고도로 이해하는 이 신기술에 의해, 장래에는 간단한 지시나 프롬프트로부터 VR 세계를 구축할 수 있는 제네레티브 AI가 등장할 것으로 기대되고 있습니다.

[2304.07193] DINOv2: Learning Robust Visual Features without Supervision
https://doi.org/10.48550/arXiv.2304.07193

DINOv2: State-of-the-art computer vision models with self-supervised learning

DINOv2: State-of-the-art computer vision models with self-supervised learning

Meta가 「DINOv2」의 데모를 공개했습니다.
「DINOv2」는 Meta가 이전 발표한 「DINO」라는 화상 모델이 발전된 것으로, 동적인 영상으로부터 기존보다 고정밀도의 세그멘테이션을 생성할 수 있습니다.

데모영상 링크
https://t.co/h5exzLJsFt

Meta에 따르면, 이전의 시각적 작업에 대한 표준 접근 방식이었던 "이미지 - 텍스트 사전 학습"의 기술은 수동으로 작성된 캡션에 의존하기 때문에 텍스트에서 명시적으로 언급되어 있지 않은 정보가 무시되어 버린다는 것.

예를 들어 의자가 놓인 방에 "1 다리의 오크재의 의자"라는 라벨이 붙어 있었다고 하면, 그 방이 어떤 방인지의 정보가 누락되어 버립니다. 또, 현미경으로 포착한 세포의 영상에 올바르게 라벨을 붙일 수 있는 전문가가 적어, 인간에 의해 캡션을 붙여야 한다는 부분이 병목으로 이어지는 경우도 생각할 수 있습니다.

그러나, DINOv2는 자기 교사 학습을 채용하고 있어, 인간에 의한 캡션이 필요 없기 때문에, 배경이나 인간의 설명이 곤란한 데이터도 빠짐없이 모델에 짜 넣을 수가 있습니다. 또한 영상 속에 무엇이 있는지, 상황에 따라 무엇을 어디에 배치해야 하는지를 이해하는 AI 구축에도 도움이 됩니다.

Meta는 자연재생사업을 하는 비영리단체 WRI Restoration과 공동으로, 대륙 정도 면적의 삼림을 수목 1개 단위로 매핑하는 데 성공했습니다.

Meta가 공개하고 있는 DINOv2의 데모 사이트 에서는, 실제로 사진의 심도 추정을 실시하게 하는 것이 가능합니다. 테스트로 풍경 사진을 올려 보았더니, 나무나 운해, 멀리 보이는 산을 제대로 파악할 수 있었습니다.

둥근 구멍에서 조그만 얼굴을 내미는 여우들의 윤곽도 정확하게 파악하고 있습니다.

DINOv2를 사용하면 화상 채팅의 디지털 배경 개선, 영상 콘텐츠 태그 지정, 새로운 타입의 AR 콘텐츠와 비주얼 툴 등이 실현될 것으로 기대되고 있습니다. 나아가 AI가 생성하는 VR세계의 개발도 가능해지고, 결국 대화형 가상 환경을 통째로 구축하는 것도 불가능하지 않다고 해외 미디어의 Social Media Today는 코멘트하고 있습니다.

Meta는 DINOv2를 오픈 소스화하고 있으며, PyTorch 코드로 GitHub에 공개되어 있습니다.

GitHub - facebookresearch/dinov2: PyTorch code and models for the DINOv2 self-supervised learning method.
https://github.com/facebookresearch/dinov2

GitHub - facebookresearch/dinov2: PyTorch code and models for the DINOv2 self-supervised learning method.