NVIDIA가 오픈 모델 「Nemotron-4 340B」를 발표, LLM 트레이닝용 합성 데이터 생성에 혁명을 일으킬까

 

고급 AI 교육에는 고품질의 학습 데이터가 필수적이지만, 이러한 데이터는 빠르게 고갈되고 있다는 것이 문제입니다. NVIDIA 2024년 6월 14일에, 대규모 언어 모델(LLM)의 트레이닝에 사용할 합성 데이터의 생성을 염두에 두고 개발되어, 상용 애플리케이션에도 사용할 수 있는 오픈 소스의 AI 모델  「Nemotron-4 340B」 를 발표했습니다.

NVIDIA Releases Open Synthetic Data Generation Pipeline for Training Large Language Models | NVIDIA Blog

NVIDIA Releases Open Synthetic Data Generation Pipeline for Training Large Language Models

Nemotron-4 340B는 합성 데이터 생성 파이프라인으로 사용할 수 있는 Base 모델, Instruct 모델, Reward 모델의 3개로 구성되어 있으며, 오픈 소스 학습 프레임워크인 NVIDIA NeMo에서 동작시키고 고속추론용 툴 NVIDIA TensorRT-LLM 라이브러리와 함께 사용하기 위해 최적화되었습니다.

또한, Nemotron-4 340B는 오픈 모델이면서 9조의 토큰과 4000의 콘텍스트 윈도를 자랑해, 50개가 넘는 자연 언어와 40개 이상의 프로그래밍 언어에 대응하고 있기 때문에, 퍼포먼스로 Meta의 Flama3-70B 그리고 Anthropic의 Claude 3 Sonnet을 뛰어넘어 GPT-4에 필적할 것이라고 IT계 뉴스 사이트인 VentureBeat가 평가했습니다.

다음은 Nemotron-4 340B를 사용한 합성 데이터 생성 파이프라인입니다. 첫째, Nemotron-4 340B Instruct 모델은 다양하고 실전적인 합성 데이터를 생성합니다. 그리고 이를 평가 모델인 Nemotron-4 340B Reward가 '유용성', '정확성', '일관성', '복잡성', '중복성' 등 5가지 속성으로 평가하여 반복 개선 및 정확성 검증을 실시합니다.

Nemotron-4 340B Reward는 보상 모델 순위에서 1위를 차지합니다.

Nemotron-4 340B는 이미 Hugging Face에서 공개되어 있으며, NVIDIA의 공식 사이트(ai.nvidia.com)에서도 곧 액세스 할 수 있게 된다고 합니다.

https://huggingface.co/collections/nvidia/nemotron-4-340b-666b7ebaf1b3867caf2f1911

Nemotron 4 340B - a nvidia Collection

LMSYS Org의 Chatbot Arena에서 Nemotron-4 340B를 만져본 사용자 의견에서 압도적으로 호평을 받았으며, 특히 높은 성능과 전문 지식을 칭찬하는 의견이 많았습니다.