Google과 Meta의 연구원에 의해 설립된 AI 스타트업 Mistral AI가 오픈 소스의 대규모 언어 모델 "Mixtral 8x22B"를 출시했습니다. 이 모델은 오픈 소스 라이선스인 Apache 2.0에서 제공되며 상용 사용도 가능합니다.
Cheaper, Better, Faster, Stronger | Mistral AI | Frontier AI in your hands
https://mistral.ai/news/mixtral-8x22b/
Mixtral 8x22B의 모델은 4월 10일에 공식 X계정에서 공표 · 배포되고 있었습니다만, 자세한 정보는 공개되지 않고 있었습니다만, 이번에 Mixtral 8x22B 모델에 대한 공식 릴리즈가 발표되었습니다.
Mixtral 8x22B는 희소한 전문가 혼합 모델(SMoE)로 추론당 1410억(141B) 중 390억(39B) 파라미터만 사용하여 파라미터 크기에 비해 훨씬 뛰어난 비용 효율을 보여주고 있습니다.
가중치가 공개된 주요 오픈 모델과의 비용 성능을 비교하면 아래와 같습니다. 이번에 출시된 Mixtral 8x22B는 액티브 파라미터의 수(비용)를 억제하면서 높은 성능을 유지할 수 있습니다.
주요 오픈 모델과의 벤치마크 비교입니다. 대부분의 지표에서 이전 모델을 능가했습니다.
Mixtral 8x22B는 영어 이외에도 「프랑스어」, 「이탈리아어」, 「독일어」, 「스페인어」에 대응하고 있습니다. 영어 이외의 언어에서도 Mistral AI가 출시한 과거 모델이나 LLAMA 2 70B 등을 넘는 성능을 발휘하고 있습니다.
또한 강력한 수학과 코딩 능력을 갖추고 있습니다.
Mixtral 8x22B는 네이티브 함수 호출이 가능하며, 컨텍스트 윈도우는 6만 4000(64K) 토큰입니다. 모델은 오픈 소스 라이선스인 Apache 2.0에서 공개되므로 무료로 상업적 이용도 가능합니다.
점점 코딩 능력이 강해지네요.
내 밥그릇...
'AI · 인공지능 > AI 뉴스' 카테고리의 다른 글
Amazon 기프트 카드 등을 주고 PC 리소스를 빌려 AI 포르노를 생성하려는 시도 (87) | 2024.04.23 |
---|---|
AI가 만들어낸 커피 블렌드「AI-CONIC」 (87) | 2024.04.23 |
Meta가 무료로 상용 이용도 가능한 차세대 오픈 LLM 「Llama 3」 을 공개 (79) | 2024.04.21 |
문자도 정확히 출력할 수 있는 「Stable Diffusion 3」 을 API를 통해 사용이 가능 (68) | 2024.04.19 |
Baidu의 채팅 AI 「Ernie Bot(어니봇)」 이용자가 2억 명을 돌파 (65) | 2024.04.18 |
일상 회화를 녹음하고 요약할 수 있는 펜던트형 AI 가젯 「Pendant」가 등장 (67) | 2024.04.17 |
스탠퍼드 대학의 2024 AI 리포트 「AI Index Report 2024」 (67) | 2024.04.17 |
Google이 AI로 무한 길이의 텍스트 처리 능력을 제공하는 기술 발표 (67) | 2024.04.16 |