Meta가 코드 생성 AI 모델의 새로운 버전 「Code Llama 70B」를 릴리스, 코드 정확성이 향상

 
 
Facebook과 Instagram을 운영하는 Meta가 텍스트 입력을 바탕으로 프로그램 코드를 생성하는 AI 'Code Llama'의 700억 파라미터 모델을 출시했다고 발표했습니다. 모델은 Llama 2와 같은 「Llama 2 Community License」로 공개되어 있어, 월간 액티브 유저수가 7억 명 이하인 경우 무상으로 상용 이용도 가능합니다.

Introducing Code Llama, a state-of-the-art large language model for coding
https://ai.meta.com/blog/code-llama-large-language-model-coding/

Code Llama는 Meta가 2023년 7월에 릴리즈 한 Llama 2를 코드 고유의 데이터 세트로 한층 더 트레이닝한 것입니다. Python, C++, Java, PHP, Typescript & Javascript, C#, Bash에 대응하고 있으며, 코드의 다음(연속)을 생성하는 기능 외에 자연어 입력을 바탕으로 코드를 생성하거나 코드에 대한 해설을 생성하는 것이 가능하고, 2023년 8월에 파라미터 수가 70억, 130억, 340억 인 모델이 릴리즈 되었습니다.

2024년 1월 29일, Meta는 700억 파라미터의 'Llama 2 70B' 모델을 기반으로 코드별 데이터 세트로 추가 교육을 실시한 'Code Llama 70B' 모델을 출시했습니다. 다른 사이즈 모델의 트레이닝 데이터가 5000억 토큰인 것에 비해, 700억 파라미터 모델에서는 1조 토큰으로 트레이닝을 실시했다고 합니다. 게다가 목적마다 파인 튜닝을 실시하는 것으로 기본이 되는 「Code Llama」 외, 자연 언어로부터의 프로그래밍이라고 하는 태스크에 특화한 「Code Llama - Instruct」나 Python의 취급에 특화한 「Code Llama - Python」의 변형이 준비되어 있습니다.

"HumanEval"과 "MBPP"를 사용하여 측정한 700억 파라미터의 모델과 다른 모델의 성능 비교 결과는 아래와 같습니다. Instruct 모델이 GPT-4를 넘는 성능을 기록한 것 외에, 3개의 변종 모두에 있어서 순차적으로 성능이 향상된 것을 알 수 있습니다.

Code Llama의 모델은 Meta에 신청하여 얻을 수 있으며 Hugging Face에서 호스팅 되고 있습니다.