「 대형 AI 모델에 특화되어, 성능을 향상」 하는 것을 목표로 하드웨어를 설계하는 스타트업 「 MatX 」 를, 예전 Google의 엔지니어였던 라이너 포프 씨와 마이크 건터 씨 등이 창업했습니다.
MatX | MatX: high throughput chips for LLMs
https://matx.com/
AI Chip Startups Like MatX Storm Silicon Valley - Bloomberg
https://www.bloomberg.com/news/articles/2024-03-26/ai-chip-startups-like-matx-storm-silicon-valley
CEO인 포프 씨는 구글에서 10년 이상을 기계 학습용 칩부터 분산 시스템 인프라, 대규모 언어 모델에 이르기까지 폭넓게 소프트웨어와 하드웨어 구축에 기여한 인물입니다. 그리고 CTO인 건터 씨는 하드웨어 아키텍처를 28년 담당하였으며, Google에서는 기계 학습 칩의 수석 아키텍트였던 인물입니다.
MatX는 「고성능 스루 칩 메이커」 를 모토로 내걸고 있으며, 이것은 다른 칩 메이커라면 AI 모델이 소규모나 대규모에서도 동일하게 취급하는 반면, MatX에서는 모든 반도체를 세계 최대급 AI 모델 퍼포먼스의 극대화에만 전념하고 있기 때문입니다.
MatX의 목표는 "세계 최고의 AI 모델을 현실에서 가능한 한 효율적으로 동작시켜 AI의 품질과 가용성을 전 세계에서 수년간 리드하는 것"이라고 합니다.
특히 칩 설계에 중점을 둔 것은 대규모 모델을 위한 대용량 사전 훈련과 생산 추론을 위한 비용 효율성입니다. 지원의 우선순위로서는, 우선 추론, 2번째가 트레이닝으로, 코스트 당 퍼포먼스를 최적화해, 계속해서 레이턴시를 최적화하고 있다고 합니다.
최고 성능을 달성할 것으로 예상되는 대상 워크로드는 밀집 모델과 MoE(혼합 전문가) 모델을 모두 포함하는 70억(이상적으로 200억 이상) 매개변수를 가진 대형 Transformer 기반 모델로, 추론의 경우는 동시 유저수가 적어도 수천 명, 트레이닝의 경우는 7B(70억 파라미터) 클래스의 LLM로 최저 10 ZFLOPS(10의 22승)이라는 것.
수십만 개의 칩을 탑재한 클러스터를 지원하는 뛰어난 스케일 아웃 성능이 제공되며, 전문가 사용자가 요구하는 하드웨어의 저 레벨 제어도 가능합니다.
MatX의 칩에 의해 세계 최고의 AI 모델이 3~5년은 빨리 등장하게 될 것이라는 점 외에, 연구원들은 7B클래스의 모델을 매일 트레이닝해, 70B클래스의 모델을 월에 복수회 트레이닝할 수 있다고 MatX는 말합니다. 또한, 시드 스테이지의 스타트업에서도, GPT-4 클래스의 모델을 처음부터 트레이닝해, ChatGPT 레벨의 트래픽으로 제공할 여유가 있다고 합니다.
'AI · 인공지능 > AI 뉴스' 카테고리의 다른 글
「Llama 2 70B」와 「Stable Diffusion XL」이 추가된 AI 벤치마크 테스트 「MLPerf Inference v4.0」 발표 (56) | 2024.03.29 |
---|---|
Databricks가 오픈한 대규모 언어 모델 「 DBRX 」 를 릴리스, GPT-3.5나 CodeLLaMA-70B를 웃도는 성능 (58) | 2024.03.29 |
30배나 빠른 AI 이미지 생성 기법을 매사추세츠 공과대학이 개발 (51) | 2024.03.28 |
「조기 사망률」,「다른 도시나 나라로 이사할 것인가」 등 인생을 예측하는 AI 개발 (51) | 2024.03.28 |
OpenAI가 동영상 생성 AI 「 Sora 」의 동영상 샘플을 대량 공개 (52) | 2024.03.28 |
텍스트 지시만으로 작업을 실행하고, 다른 AI에게도 가르칠 수 있는 AI가 개발된다 (58) | 2024.03.26 |
세계 최고 AI 연구원의 약 50%가 중국 출신인 것으로 판명 (56) | 2024.03.26 |
구글이 홍수를 일주일 전에 예측해 세계 80개국 4억 6천만 명을 수해로부터 구할 수 있는 AI 발표 (62) | 2024.03.25 |