무료로 상업적 이용도 가능한 오픈 모델 「Mixtral 8x22B」 가 등장

 

 

Google과 Meta의 연구원에 의해 설립된 AI 스타트업 Mistral AI가 오픈 소스의 대규모 언어 모델 "Mixtral 8x22B"를 출시했습니다. 이 모델은 오픈 소스 라이선스인 Apache 2.0에서 제공되며 상용 사용도 가능합니다.

 

Cheaper, Better, Faster, Stronger | Mistral AI | Frontier AI in your hands
https://mistral.ai/news/mixtral-8x22b/

Cheaper, Better, Faster, Stronger

 

Mixtral 8x22B의 모델은 4월 10일에 공식 X계정에서 공표 · 배포되고 있었습니다만, 자세한 정보는 공개되지 않고 있었습니다만, 이번에 Mixtral 8x22B 모델에 대한 공식 릴리즈가 발표되었습니다.

 

Mixtral 8x22B는 희소한 전문가 혼합 모델(SMoE)로 추론당 1410억(141B) 중 390억(39B) 파라미터만 사용하여 파라미터 크기에 비해 훨씬 뛰어난 비용 효율을 보여주고 있습니다.

가중치가 공개된 주요 오픈 모델과의 비용 성능을 비교하면 아래와 같습니다. 이번에 출시된 Mixtral 8x22B는 액티브 파라미터의 수(비용)를 억제하면서 높은 성능을 유지할 수 있습니다.

 

주요 오픈 모델과의 벤치마크 비교입니다. 대부분의 지표에서 이전 모델을 능가했습니다.

 

Mixtral 8x22B는 영어 이외에도 「프랑스어」, 「이탈리아어」, 「독일어」, 「스페인어」에 대응하고 있습니다. 영어 이외의 언어에서도 Mistral AI가 출시한 과거 모델이나 LLAMA 2 70B 등을 넘는 성능을 발휘하고 있습니다.

 

또한 강력한 수학과 코딩 능력을 갖추고 있습니다.

 

Mixtral 8x22B는 네이티브 함수 호출이 가능하며, 컨텍스트 윈도우는 6만 4000(64K) 토큰입니다. 모델은 오픈 소스 라이선스인 Apache 2.0에서 공개되므로 무료로 상업적 이용도 가능합니다.

 

 

점점 코딩 능력이 강해지네요.

내 밥그릇...