무료로 상용 이용도 가능한 SQL, 코딩 생성 등에 최적화된 LLM 「Snowflake Arctic」

 
 
클라우드 기반 데이터 웨어하우스 서비스를 배포하는 기업인 Snowflake는 최상위 엔터프라이즈를 위한 대규모 언어 모델(LLM)로 Snowflake Arctic 을 출시했습니다. Apache 라이센스 버전 2.0으로 제공되는 개방형 모델로, 무료로 상업 용도로 사용할 수도 있습니다.

Snowflake Arctic - LLM for Enterprise AI
https://www.snowflake.com/blog/arctic-open-efficient-foundation-language-models-snowflake/

Snowflake Arctic - LLM for Enterprise AI

Snowflake의 조사결과, 기업 사용자는 AI를 사용하여 주로 데이터 지원이나 코드 지원, 검색 확장 생성(RAG)을 실시하는 챗봇을 만들고 싶어 하는 경우가 많다는 것.

그래서 Snowflake는 "코딩 능력", "SQL 생성 능력", "명령 추종 능력"의 평균을 취하여 "엔터프라이즈 인텔리전스"라는 단일 지표를 만들었습니다.

이번 Snowflake가 발표한 LLM인 Snowflake Arctic은 오픈 LLM 중에서도 톱클래스의 엔터프라이즈 인텔리전스 능력을 가진다는 것. 게다가, 트레이닝에 드는 비용은 200만 달러(약 27억 6000만 원) 미만으로, 다른 모델에 비해 매우 효율적으로 트레이닝할 수 있다는 것입니다.

아래 그림은 세로축이 엔터프라이즈 인텔리전스 스코어, 가로축이 트레이닝에 걸리는 컴퓨팅 리소스로서 여러 LLM을 비교한 그래프입니다. Snowflake Arctic이 적은 비용으로 높은 성능을 내고 있는 것을 알 수 있습니다.

아래 그림은 구체적인 컴퓨팅 리소스 사용량을 계산하는 표입니다. 트레이닝에 필요한 계산량은 액티브 파라미터의 수와 트레이닝 토큰의 곱에 비례합니다. 교육 효율이 높은 모델은 사용자가 적당한 맞춤 모델을 만들 수 있다는 장점이 있습니다.

좋은 훈련 효율성을 달성하기 위해 Snowflake Arctic은 독자적인 Dense-MoE 하이브리드 변환기 아키텍처를 사용합니다. MoE는 「Mixture of Experts」 의 약칭으로, Snowflake Arctic에서는 총 128명의 「전문가」 에게 합계 4800억(480B) 파라미터가 나뉘어 있어, 트레이닝과 추론에는 전문가 중에서 총 170억(17B) 매개변수만 사용됩니다.

또 트레이닝 시에 페이즈마다 학습 내용을 변경해, 최초의 1조(1T) 토큰분에 해당하는 1단계에서는 상식적인 추론 등 일반적인 스킬을 학습해, 후반의 2단계와 3단계에서 코딩이나 수학 등 복잡한 내용을 학습하도록 하고 있다는 것.

이러한 조정을 거듭함으로써 Snowflake Arctic은 트레이닝뿐만 아니라 추론도 효율적으로 실시할 수 있게 되었습니다. 엔터프라이즈 인텔리전스를 세로축으로, 추론의 효율을 나타내는 지표인 액티브 파라미터 수를 가로축으로 하여 다양한 LLM을 배치하면 아래 그림과 같이 되어, Snowflake Arctic은 적은 계산양으로 높은 퍼포먼스를 발휘합니다.

Snowflake Arctic은 'SQL 생성', '코딩', '명령 추종'이라는 엔터프라이즈 인텔리전스에서 Snowflake Arctic을 능가하는 액티브 파라미터를 가진 대형 오픈 모델에 대해서도 최고 수준의 성능을 발휘할 수 있으며, '수학', '상식 적인 추론', '지식' 등 학술 세계에서의 일반적인 지표에서도 같은 사이즈의 모델과 동등한 능력을 발휘할 수 있다는 것.

구체적인 벤치마크 수치는 아래와 같습니다.

실제 Snowflake Arctic의 동작을 시도할 수 있는 데모 페이지도 준비되어 있습니다. 한글로 대충 질문해 보니, 제법 그럴싸한 대답이 돌아왔습니다.

아래처럼 애매하기 짝이 없는 요건을 던져주고 만들어 보라고 했더니,
그래도 대충 코드를 만들어서 결과를 돌려주긴 하네요 ㅋㅋㅋ
당분간 요놈 가지고 재밌게 놀아봐야겠습니다.

Snowflake Arctic의 모델은 Hugging Face에 공개되어 있으며, 며칠 이내에 AWS, Lamini, Microsoft Azure, NVIDIA API 카탈로그, Perplexity, Replicate, Togetter AI 등에 등장할 예정입니다.


상용 이용도 무료라니...
이제는 개인 개발자들이
자기 앱에다가 ChatGPT 정도는 기본으로
장착할 날도 머지않은 것 같네요