Meta와 Google DeepMind의 전 직원이 창업한 AI 개발 스타트업 Mistral AI가 코딩용 AI 모델「Codestral Mamba」를 발표했습니다. 오픈 소스 라이센스로 릴리즈하여, 상용 이용도 가능합니다.
Codestral Mamba | Mistral AI | Frontier AI in your hands
https://mistral.ai/news/codestral-mamba/
Codestral Mamba
As a tribute to Cleopatra, whose glorious destiny ended in tragic snake circumstances, we are proud to release Codestral Mamba, a Mamba2 language model specialised in code generation, available under an Apache 2.0 license.
mistral.ai
Mistral AI는 2024년 5월 최초의 코딩용 생성 AI 모델로서 'Codestral'을 출시했지만, Codestral은 상용이용이 금지되어 있었습니다.
이번에 출시된 Codestral Mamba는 기존 모델에서 널리 사용되고 있는 Transformer 아키텍처가 아니라 「Mamba 아키텍처」가 채용되고 있어, 시퀀스 길이에 대해서 처리 시간이 선형으로, 긴 시퀀스에 대해서도 고속으로 처리 할 수 있거나 시퀀스 길이에 제한이 없거나 하는 등의 특징이 있다는 것.
벤치마크 결과는 아래 그림과 같습니다. Codestral Mamba는 파라미터 수가 70억(7B)으로, 동등 사이즈의 모델 중에서는 최상위 클래스의 성능을 발휘하고 있습니다. 220억(22B) 파라미터의 Codestral 모델에 전체 성능에서 지고 있지만 일부 지표에서는 웃도는 등, Mamba 아키텍처의 잠재력을 보여주었습니다.
Mistral AI의 팀은 Codestral Mamba의 컨텍스트 내 검색 기능을 25만 6000 토큰까지 테스트하고 있어, 로컬로 동작하는 코드 어시스턴트로서 뛰어난 성능을 발휘할 수 있을 것을 기대하고 있다고 합니다.
Codestral Mamba 모델은 Hugging Face 에서 다운로드 할 수 있으며 Mistral의 공식 라이브러리인 Mistral Inference에서 사용할 수 있습니다.
코딩 ai 가 오픈소스에 상업이용도 가능하게 풀려버리면
우리 개발자들은 뭐 먹고 살라고 ㅠㅠ
그만 멈춰~!
'AI · 인공지능 > AI 뉴스' 카테고리의 다른 글
| OpenAI가 인간을 사용하지 않고 AI의 안전성을 높이는 방법 「Rule-Based Rewards(RBR)」를 개발 (0) | 2024.07.26 |
|---|---|
| AI 모델 훈련에 AI 생성 데이터를 사용하면 AI가 사물을 망각해 버리는 "모델 붕괴"가 일어난다는 지적 (0) | 2024.07.26 |
| AI를 개발하는 데 필요한 데이터가 급속히 고갈되고 단 1년만에 고품질 데이터의 1/4이 사용 불가 (0) | 2024.07.24 |
| 천문학자가 은하 측정 도구를 사용하여 AI가 만든 깊은 가짜를 구별하는 방법을 발명 (0) | 2024.07.24 |
| 인간형 로봇이 운전을 하는 미래 (2) | 2024.06.26 |
| AI를 탑재한 중국의 차세대 '섹스로봇'이 시장을 석권하는 미래가 바로 코 앞? (2) | 2024.06.21 |
| Google DeepMind가 동영상에 딱 맞는 음악을 생성하는「video-to-audio(V2A)」발표 (3) | 2024.06.19 |
| GPT-4o가 AI 벤치마크 ARC-AGI에서 50%의 점수에 도달, 지금까지 최고 기록인 34%를 대폭 업데이트 (2) | 2024.06.19 |
