Meta가 상용 이용도 가능한 코딩 지원 AI 「Code Llama」를 무료로 공개

 

Facebook과 Instagram을 운영하는 Meta가 텍스트 입력을 바탕으로 프로그램 코드를 생성하는 AI 「Code Llama」를 발표했습니다. 모델은 Llama 2와 같은 「Llama 2 Community License」로 공개되어 있어, 월간 액티브 유저수가 7억 명 이하인 경우에는 무상으로 상용 이용도 가능합니다.

Introducing Code Llama, a state-of-the-art large language model for coding

Introducing Code Llama, a state-of-the-art large language model for coding

Introducing Code Llama, an AI Tool for Coding | Meta

Introducing Code Llama, an AI Tool for Coding | Meta

Code Llama는 Meta가 2023년 7월에 릴리스한 Llama 2를 코드 고유의 데이터 세트로 한층 더 트레이닝한 것입니다. 코드의 연속(다음에 이어질 것으로 예상되는 코드)을 생성하는 기능 외에, 자연 언어로의 입력을 바탕으로 코드를 생성하거나 코드에 대한 해설을 생성하는 것이 가능합니다. Python, C++, Java, PHP, Typescript & Javascript, C#, Bash를 지원하며 코드를 보완하고 디버깅에 활용될 것으로 기대되고 있습니다.

이번에 출시되는 모델은 아래의 3개 모델.

・Code Llama
기본이 되는 코딩 모델입니다.

・Code Llama - Python
Python에 특화된 모델입니다.

・Code Llama - Instruct
자연 언어의 명령을 이해할 수 있도록 파인 튜닝된 모델로, 코드 생성 태스크는 이 모델의 사용을 권장합니다.

각 모델마다 70억, 130억, 340억 파라미터 버전이 준비되어 있습니다. Meta는 각 모델을 5,000억 토큰의 데이터로 트레이닝했다고 합니다.

70억 및 130억 매개변수 모델에서는 중간 보완 기능(FIM)을 위한 교육도 진행되고 있으며 기존 코드에 코드를 삽입하는 코드완성 작업이 가능합니다.

 

340억 파라미터 모델이 제일 좋은 결과를 돌려줍니다만, 동작이 느리기 때문에 리얼타임 보완처럼 빠른 속도가 필요한 태스크에는 70억이나 130억 파라미터의 모델이 적합하다는 것.

또한 70억 파라미터의 모델이라면 단일 GPU로도 동작한다는 장점이 있습니다.

Code Llama는 최대 100,000 토큰까지의 입력을 지원하므로 대규모 코드베이스 디버깅도 문제없습니다. 경우에 따라 전체 코드를 입력하는 옵션도 있습니다.

아래는 다른 모델들과 퍼포먼스를 비교한 결과입니다.
무상으로 상용 이용할 수 있는 모델들 중에서는 최고의 성능을 자랑하고 있습니다.

덧붙여 모델은 Meta에 신청하는 것 만으로 다운로드 가능합니다.
추론용 코드(Inference code for CodeLlama models)는 GitHub에 공개되어 있습니다.

https://ai.meta.com/resources/models-and-libraries/llama-downloads/

Llama access request form - Meta AI

https://github.com/facebookresearch/codellama

GitHub - facebookresearch/codellama: Inference code for CodeLlama models