코드 생성 · 수학 · 추론 능력이 대폭 향상된 「Mistral Large 2」 출시

 
 
프랑스의 AI 개발 기업인 Mistral AI가 신세대의 주력 모델 「Mistral Large 2」 를 2024년 7월 24일에 발표했습니다. Mistral Large 2는 코드 생성, 수학, 추론 능력이 크게 향상되었으며 128k 컨텍스트 윈도를 가지며 수십 가지 언어 및 프로그래밍 언어를 지원합니다.

Large Enough | Mistral AI | Frontier AI in your hands

Large Enough

Mistral Large 2의 모델 사이즈는 1230억 파라미터로, 단일 노드에서 높은 스루풋을 실현할 수 있도록 설계되고 있다고 합니다. 또한 영어 이외에도 프랑스어, 독일어, 스페인어, 이탈리아어, 포르투갈어, 아랍어, 힌디어, 러시아어, 중국어, 일본어, 한국어 등 다수의 언어를 지원합니다. 또한 Python, Java, C, C++, JavaScript, Bash를 포함한 80개 이상의 프로그래밍 언어도 지원합니다.

Mistral AI는 "Mistral Large 2는 일반적인 성능 평가 지표인 MMLU(Massive Multitask Language) 벤치마크로 84.0%의 정확도를 달성했다."라고 어필했습니다. 특히 코드 생성과 추론 능력의 면에서는 전 세대의 Mistral Large를 크게 상회해, GPT-4나 Claude3 Opus, Llama 3 405B라고 하는 모델과 동등한 성능을 나타냈다고 합니다.

수학적 추론 능력도 향상되어 MultiPL-E , GSM8K , MathInstruct 등의 수학 벤치마크로 높은 정밀도를 달성하고 있습니다. Mistral Large 2에서는 환각을 최소한으로 억제하는 노력이 이루어졌고, 수학적 벤치마크에서의 성능 향상도 반영되었다고 Mistral AI는 주장했습니다.

코드 생성의 정밀도를 언어별로 정리한 표가 아래로, OpenAI의 GPT-4o(옴니)에 필적하고 있는 것을 알 수 있습니다.

지침에 따른 능력과 대화 능력의 평가는 MTBench , Wild Bench , Arena Hard 등의 벤치마크에서 높은 점수를 기록하고 있습니다. 특필해야 할 것은, 모델의 응답이 간결하다는 것을 중시하고 있다는 점에서, 짧은 생성은 신속한 대화를 가능하게 해, 추론 비용도 낮게 억제될 수 있다고 Mistral AI는 말합니다.

언어 다양성에서도 뛰어난 성능을 보여주며, Multilingual MMUL 벤치마크에서 Mistral Large 2는 영어 이외의 언어에서도 높은 점수를 달성했습니다. 특히 영어 외에는 프랑스어, 독일어, 스페인어, 이탈리아어, 포르투갈어, 네덜란드어, 러시아어, 중국어, 일본어, 한국어, 아랍어, 힌디어에서 뛰어난 성능을 발휘한 것으로 보고되었습니다. 다음은 Multilingual MMUL 벤치마크 결과를 보여주며, 4050억 파라미터의 Lama 3.1 405B 와 거의 동등한 80% 이상의 정확도를 보여줍니다.

게다가 Mistral Large 2는 함수 호출이나 정보 검색의 스킬이 강화되고 있어 병렬 및 순차적인 함수 호출을 효율적으로 실행할 수 있다고 합니다. 이를 통해 복잡한 비즈니스 애플리케이션의 핵심 엔진 역할을 할 수 있습니다.

Mistral Large 2는 'La Plateforme' 위에서 'mistral-large-2407'로 사용할 수 있으며, Hugging Face에도 모델이 배포되어 API를 통해 액세스 할 수 있습니다. 또한 Google Cloud Platform의 Vertex AI, Azure AI Studio, Amazon Bedrock, IBM watsonx.ai와 같은 주요 클라우드 서비스 제공업체를 통해 사용할 수 있습니다. Mistral AI는 Mistral Large 2를 통해 고성능 AI 모델을 보다 광범위한 사용자에게 제공하는 것을 목표로 하고 있습니다.

또한 Mistral Large 2는 연구용 및 비상용 이용에 대해서는 Mistral Research License하에 출시되어 있으며, 상용 이용의 경우는 Mistral AI에 연락한 후 Mistral Commercial License의 취득이 필요합니다.