Meta가 이미지나 동영상에 찍혀 있는 개별 객체를, 학습하지 않은 것까지 식별할 수 있는 AI 모델 「Segment Anything Model(SAM)」을 발표했습니다.
Segment Anything | Meta AI Research
Segment Anything | Meta AI Research
Abstract We introduce the Segment Anything (SA) project: a new task, model, and dataset for image segmentation. Using our efficient model in a data collection loop, we built the largest segmentation dataset to date (by far), with over 1 billion masks on 11
ai.facebook.com
이미지나 영상을 분할해 세그먼트별로 판별하는 「이미지 세그멘테이션」은 화상의 해석이나 처리를 용이하게 하기 때문에, Meta는 화상 세그멘테이션이 웹 페이지의 콘텐츠 이해나 증강 현실(AR) 앱, 이미지 편집에 도움이 된다고 보고 있습니다. 또한 동영상에 비친 동물이나 물체의 위치를 자동으로 특정함으로써 과학 연구에도 응용할 수 있다고 합니다.
SAM이 얼마나 정밀도가 높은 이미지 세분화를 실현할 수 있는지는 Meta가 보여주는 다음 예제를 보면 잘 알 수 있습니다. 예를 들어, 부엌 풍경의 사진.
SAM으로 이미지 세그멘테이션을 실시하면 이런 느낌. 칼 1개 1개나 바구니 안의 레몬 1개 1개를 확실히 식별하고 있으며, 칼날 부분과 손잡이 까지도 식별하고 있습니다.
야채가 가득한 상자의 사진
야채를 각각 개별적으로 인식 가능.
드래그로 범위를 선택하면 해당 범위에 포함된 채소만 선택되었습니다.
미리 준비된 사진으로 실제 이미지 세그멘테이션을 실시하는 데모는 아래에 공개되어 있으며, 스스로 업로드한 이미지로도 세그멘테이션을 실시할 수 있습니다.
Segment Anything | Meta AI
https://segment-anything.com/demo
Segment Anything
Meta AI Computer Vision Research
segment-anything.com
SAM 데모에 접속하여 "I have read and agree to the Segment Anything Terms and Conditions(나는 Segment Anything 약관을 읽었고 이에 동의함)"을 클릭하여 확인합니다.
체크를 하고 화면 상단에 있는 "Upload an image"를 클릭하고 업로드할 이미지를 선택합니다.
햄버거 이미지를 올려 보았습니다. 패티를 클릭하면 패티 부분만 제대로 선택되었습니다.
상추를 선택하면 이런 느낌.
빵을 클릭하면 빵만 파란색으로 바뀝니다.
또한 왼쪽 칼럼에 있는 'multi-mask'를 클릭하자, 빵 부분만 튀어나와 입체적으로 표시되었습니다.
SAM은 이미지 세그멘테이션 모델로 되어 있으며, 텍스트 프롬프트나 사용자의 클릭에 반응하여 이미지 내의 특정 객체를 분리할 수 있습니다. 이미지 세그멘테이션 기술 자체는 새로운 것은 아니지만, 트레이닝 데이터 세트에 존재하지 않는 객체도 식별 가능하다는 것이 SAM의 특징입니다.
Meta에 의하면, 통상 정밀도가 높은 화상 세그멘테이션 모델을 작성하려면 「AI 트레이닝 인프라와, 주석이 첨부된 대량의 데이터를 이용하여 기술 전문가에 의한 고도의 전문 작업이 필요」하지만, SAM은 이 전문적인 교육과 전문 지식의 필요성을 줄임으로써, '이미지 세그멘테이션의 민주화'를 실시하여 컴퓨터 비전 연구가 더욱 촉진될 것으로 기대하고 있습니다.
SAM 교육에 사용된 SA-1B 데이터 세트는 대형 사진 회사로부터 라이선스를 받아 Meta의 데이터 엔진으로 수집한 약 11 억의 고품질 세그멘테이션 마스크로 구성되어 있으며, Apache 2.0의 오픈 라이선스 아래에서 연구 목적으로 이용이 가능합니다.
또한 SAM의 가중치 데이터를 제외한 소스 코드는 GitHub에 공개되었습니다.
https://github.com/facebookresearch/segment-anything
GitHub - facebookresearch/segment-anything: The repository provides code for running inference with the SegmentAnything Model (S
The repository provides code for running inference with the SegmentAnything Model (SAM), links for downloading the trained model checkpoints, and example notebooks that show how to use the model. -...
github.com
관련글
Meta의 세분화 모델 Segment Anything Model(SAM) 논문 간단 리뷰
Meta의 세분화 모델 Segment Anything Model(SAM) 논문 간단 리뷰
SAM의 논문인 Segment Anything 의 간단한 리뷰를 진행합니다. 직접 설명하지는 않지만, 소스 코드는( facebookresearch/segment-anything )입니다. 개요 논문의 첫 이미지는 바로 SAM의 개념을 나타냅니다. 아래
doooob.tistory.com
'AI · 인공지능 > AI 뉴스' 카테고리의 다른 글
| 다수의 ChatGPT 응답을 비교하는 「OpenPlayground」리뷰 (0) | 2023.04.10 |
|---|---|
| ChatGPT가 어떻게 문장을 인식하는지 한눈에 알 수 있는 'Tokenizer' (0) | 2023.04.07 |
| 11세 소녀가 AI를 이용하여 백내장 등의 눈병을 70% 정밀도로 검출하는 앱 개발 (0) | 2023.04.07 |
| 스탠퍼드 대학이 「AI Index Report 2023」을 공개, AI의 실태를 보고 (1) | 2023.04.07 |
| 넷상의 영상은 더 이상 신용할 수 없는 세상이 도래 (0) | 2023.04.06 |
| Midjourney와의 비교를 통해 본「Adobe Firefly」의 저작권 콘텐츠 회피 (0) | 2023.04.05 |
| 「LLaMA」를 Mac에서도 실행 가능한 「llama.cpp」가 불과 6GB 미만의 RAM에서 동작 (0) | 2023.04.05 |
| 「제어 불능인 AI 개발 경쟁」의 일시 정지를 요구하는 공개 서한에 가짜 서명자가 다수 (0) | 2023.04.03 |
