Meta가 이미지뿐만 아니라 동영상의 객체도 실시간으로 정확하게 식별 가능한 AI 모델 "Segment Anything Model 2 (SAM 2)"를 출시

 

 

Meta가 이미지나 동영상의 어느 픽셀이 어느 객체와 관련된 것인지를 정확하게 식별할 수 있는 통합 AI 모델인 「Segment Anything Model 2(SAM 2)」를 발표했습니다. SAM 2를 사용하면 모든 객체를 세분화하고 동영상의 모든 프레임에 걸쳐 실시간으로 일관된 추적이 가능하므로 동영상 편집 및 복합 현실 분야에서 혁신적인 도구가 될 수 있습니다.

Our New AI Model Can Segment Anything – Even Video | Meta
https://about.fb.com/news/2024/07/our-new-ai-model-can-segment-video/

Introducing SAM 2: The next generation of Meta Segment Anything Model for videos and images
https://ai.meta.com/blog/segment-anything-2/

어떤 픽셀이 어떤 객체에 속하는지 올바르게 식별하는 "세그먼테이션" 호출되는 작업은 과학적 이미지 분석 및 사진 편집과 같은 작업에 유용합니다. Meta는 독자적인 세그멘테이션 AI 모델로서 Segment Anything Model(SAM) 을 개발하고 있어 Instagram의 AI 기능인 「Backdrop」나 「Cutouts」에 활용되고 있습니다.

SAM은 Instagram 이외에도 과학이나 의학, 그 외 많은 업계에서 다양한 어플리케이션의 촉매가 되고 있다고 합니다. 예를 들어 해양과학 분야에서는 소나 이미지 를 세그멘테이션하여 산호초를 분석 하는데 이용되고 있으며, 재해구조 분야에서는 위성화상 분석 에 사용되고 있으며, 의료분야에서는 세포화상을 세그먼테이션하여 피부암 찾는 데 도움이됩니다.

그런 SAM의 차세대 모델이 되는 「SAM 2」를 Meta가 발표했습니다. SAM 2는 SAM이 제공하는 세분화 능력을 동영상으로 확장하여 이미지 또는 동영상의 모든 객체를 세분화하고 동영상의 모든 프레임에 걸쳐 실시간으로 일관되게 추적할 수 있습니다. 세그멘테이션 능력을 동영상으로 확장했다는 것뿐만 아니라 조작 시간도 3분의 1까지 단축 가능합니다.

 

동영상에서의 세그멘테이션은 화상보다 훨씬 어렵기 때문에, 기존의 AI 모델에서는 실현하기에 불충분했다고 합니다. 동영상에서는 객체가 빠르게 이동하거나 모양이 변경되거나 다른 객체와 장면의 일부에 숨어 있을 수 있습니다. SAM 2 구축은 이러한 과제 중 많은 부분을 해결하는 데 성공했습니다.

SAM 2가 동영상의 객체를 얼마나 정확하게 식별할 수 있는지는 Meta의 Mark Zackerberg CEO가 게시한 다음 동영상을 보면 한 번에 알 수 있습니다.

Meta는 SAM 2의 데모용 웹 앱도 공개하고 있으며, 그 세그멘테이션 능력의 높이를 실감할 수 있습니다.

SAM 2 Demo | By Meta FAIR
https://sam2.metademolab.com/

데모를 경험하려면 "Try it now"를 클릭하십시오.

그러면 메모가 표시됩니다. SAM 2의 데모는 어디까지나 연구용이므로, 상업적 목적으로는 이용할 수 없습니다. 또한 일리노이 주와 텍사스 주 거주자는 이 데모를 사용할 수 없습니다. 게다가 데모가 의도한 대로 동작하지 않을 가능성이나 데모를 통해 전송된 데이터와 그 출력은 아래의 링크처의 규약에 따라 수집·저장·처리·공유되어 AI 모델의 트레이닝과 개선에 사용되는 것으로 기재되어 있습니다. 화면 하단의 "Accept"를 클릭합니다.

데모 화면은 다음과 같습니다. 화면에서 개체를 클릭합니다.

그러면 다음과 같이 객체가 식별됩니다.

새 객체를 식별하려면 Add another object를 클릭합니다.

오브젝트는 동시에 3개까지 식별 가능. 개체를 선택한 후 Track objects를 클릭합니다.

그러면 빨간색 프레임 부분의 동영상이 재생됩니다. 공과 신발은 모두 백색을 기조로 하고 있어, 2개가 겹치는 순간도 많이 있습니다만, SAM 2는 정확하게 각각의 오브젝트를 식별하는데 성공하고 있습니다.

다음을 클릭합니다.

Selected Objects 부분을 클릭하면 선택한 객체의 하이라이트 방법이 바뀌고 Background 부분을 클릭하면 선택한 객체 이외의 배경 처리 방법이 변경됩니다. 다음을 클릭합니다.

세그멘테이션한 동영상은 다운로드하는 것도 가능. 또한 'Upload your own'에서 동영상을 업로드하고 세분화할 수 있습니다.

SAM 2의 데모의 모습을 촬영한 것이 이하의 동영상.

Meta의 세그멘테이션 AI 모델``Segment Anything Model 2 (SAM 2) ''의 데모를 살펴 보았다 - YouTube

또한 SAM 2는 Apache 2.0 라이센스하에 오픈 소스화되었으며 GitHub에서 공개되었습니다.

GitHub - facebookresearch/segment-anything-2: The repository provides code for running inference with the Meta Segment Anything Model 2 (SAM 2), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.
https: //github.com/facebookresearch/segment-anything-2

이 외에도 Meta는 CC BY 4.0 라이센스하에 SAM 2 교육에 사용한 데이터 세트의 "SA-V"를 공개합니다.

SA-V | Meta AI Research
https://ai.meta.com/datasets/segment-anything-video/