신경망의 훈련이나 실행에는 GPU가 사용되는 경우가 많으며, 클라우드 서비스의 GPU 수요는 AI의 보급에 따라 높아지고 있습니다. 그런 클라우드 GPU의 구성과 가격을 AI 관련 뉴스 & 커뮤니티 사이트인 The Full Stack이 공개했습니다.
Cloud GPUs - The Full Stack
https://fullstackdeeplearning.com/cloud-gpus/
Cloud GPUs Comparison Table
Detailed comparison table of cloud GPU providers for deep learning.
fullstackdeeplearning.com
공개된 정보는 클라우드 서버와 서버리스의 두 가지 유형으로 나뉩니다. 픽업된 서비스는 Amazon Web Service(AWS)나 Microsoft Azure, Cudo Compute, Google Cloud Platform(GCP), AWS Lambda 등으로, Hugging Face 등의 일부 서비스는 기재되지 않았습니다.
아래는 클라우드 서버의 테이블입니다. 요금은 모두 시간당 달러로 표기됩니다.
예를 들어 AWS의 p4d.24xlarge라면 아키텍처는 NVIDIA의 Ampere, GPU 종류는 A100(40GB), 개수는 8개, RAM은 320GiB, vCPU는 96, RAM은 1152GiB, 온디맨드 요금은 시간당 32.77 달러(약 4만 3,500 원), GPU별 요금이 시간당 4.10달러(약 5,400 원), 스팟 인스턴스 요금이 시간당 9.83달러(약 1만 3,000 원)입니다.
카테고리 제목을 클릭하면 정렬도 가능합니다.
아래쪽 삼각형을 클릭하면 필터도 가능합니다.
그다음은 서버리스 테이블.
여기서는 "서버 관리 불필요, 유연한 스케일링, 고가용성, 유휴 용량 없음"이라는 조건이 서버리스로 정의되어 있습니다.
다음에 표시되는 것은, GPU를 선택할 때 도움이 되는 플로우 차트입니다.
「조직인가?」,「대규모 언어 모델(LLM)의 트레이닝을 원하는가?」등의 질문에 대답해 나가면, 적절한 GPU를 알 수 있다는 것입니다.
이 그림에 따르면 13B 이상의 LLM 훈련을 원하는 경우 Azure 또는 AWS의 이용을 추천하고 있네요.
GPU 모델별 데이터 시트에 대한 링크도 게재되어 있습니다.
그다음에 설명되는 것은 일반적인 심층 학습 작업에서 GPU의 기본 벤치 마크 수치.
마지막으로 Lambda Labs가 공개한 PyTorch의 벤치마크 결과가 게재되었습니다.
'AI · 인공지능 > AI 뉴스' 카테고리의 다른 글
| Apple이 AI 분야의 인재 모집을 강화, 고급 비주얼 생성 모델링에 임한다 (8) | 2023.05.31 |
|---|---|
| Meta, 차세대 AI 인프라를 위한 칩과 슈퍼컴 개발 프로젝트 발표 (9) | 2023.05.31 |
| 마인크래프트를 GPT-4로 반복 학습하면서 자동 플레이하는 AI 에이전트 「Voyager」가 등장 (3) | 2023.05.30 |
| 실은 유튜브 쇼츠에 구글 DeepMind의 신형 AI 모델 「Flamingo」가 사용되고 있었다 (7) | 2023.05.30 |
| 완전 오프라인으로 동작해 프라이버시를 지켜 주는 채팅 AI 「PrivateGPT」 (4) | 2023.05.29 |
| 1600개 이상의 API를 적절히 호출하여 AI의 '환각'을 대폭 줄이는 언어 모델 'Gorilla' 공개 (2) | 2023.05.28 |
| Meta가 100만 토큰 초과의 콘텐츠 생성을 가능하게 하는 차세대 AI 아키텍처 'Megabyte' 발표 (4) | 2023.05.26 |
| Microsoft가 차세대 AI 앱 개발을 지원하는 개발자용 대시보드 「Dev Home」 발표 (1) | 2023.05.25 |
