대규모 언어 모델을 기존보다 15배 고속 · 저비용으로 학습하는 「DeepSpeed-Chat」공개

 
OpenAI가 제공하는 ChatGPT와 같은 채팅 AI는 요약이나 코딩, 번역 등을 인간 전문가 이상의 정확도로 실행할 수 있다고 보고되었습니다. 그러나 채팅 AI 훈련에 필요한 인간 피드백을 기반으로 강화 학습(RLHF)을 수행하는 엔드 투 엔드 파이프라인이 존재하지 않아 최첨단 채팅 AI 훈련을 수행하는 것은 어려웠습니다. 그러나 Microsoft가 발표한 「DeepSpeed-Chat」에서는 누구나 ChatGPT와 같은 모델을 작성 가능합니다.

DeepSpeed/blogs/deepspeed-chat/japanese at master · microsoft/DeepSpeed · GitHub
https://github.com/microsoft/DeepSpeed/blob/master/blogs/deepspeed-chat/README.md

GitHub - microsoft/DeepSpeed: DeepSpeed is a deep learning optimization library that makes distributed training and inference ea

 

지금까지 ChatGPT와 같은 모델 훈련에 필요한 RLHF를 쉽고도 높은 효율로 실행할 수 있는 파이프 라인은 존재하지 않았습니다. 또한 ChatGPT와 같은 AI 모델을 교육하기 위해서는 고가의 GPU가 여러 개 필요하기 때문에 일반 개발자에게는 이런 종류의 AI 모델을 개발하는 것이 어려웠습니다. 또한 GPU를 준비해도 기존 소프트웨어에서는 하드웨어의 5% 미만의 성능만 끌어낼 수 있어, 쉽고 빠르게 저비용으로 수천억의 파라미터를 가지는 모델의 훈련은 불가능했습니다.

그래서 마이크로소프트는 개발자가 합리적인 비용으로 채팅 AI를 개발할 수 있도록 하는 것을 목표로 한 프레임워크 'DeepSpeed-Chat'을 발표했습니다.

DeepSpeed-Chat은 ChatGPT의 원천이 된 InstructGPT에서 실시한 「지도첨삭 파인 튜닝」과 「보상 모델의 파인 튜닝」, 「RLHF의 훈련」의 3 단계를 실행해, 독자적인 ChatGPT 같은 모델을 생성할 수 있는 스크립트를 제공합니다. 또한 학습 후 대화 형식을 테스트하기 위한 추론 API도 제공한다는 것.

또한 DeepSpeed-Chat에 탑재되어 있는 「DeepSpeed-RLHF 파이프라인」은, 「지도첨삭 파인 튜닝」, 「보상 모델의 파인 튜닝」, 「RLHF의 훈련」을 실시하는 것과 동시에, 연구자나 개발자가 복수의 데이터 리소스를 사용하여 독자적인 RLHF 모델을 훈련하는 데 도움이 되기 위해 '데이터 추상화' 또는 '블렌드 기능'을 수행할 수 있습니다. '데이터 추상화'에서는 다른 데이터세트의 형식을 통합하기 위해 추상화된 데이터세트를 만들고, '블렌드 기능'은 여러 데이터세트를 적절히 융합하며 '지도학습 정밀 조정' 등 3단계의 훈련으로 나눕니다.
 

또한 "DeepSpeed-RLHF 파이프라인"에 의한 학습을 폭넓은 하드웨어로 빠르고 저비용으로 실행하기 위해, 지금까지 DeepSpeed가 발표한 ZeRO 등의 추론과 학습을 위한 모든 시스템을 융합한 "DeepSpeed 하이브리드 엔진"이 구성되어 있습니다.
 

DeepSpeed 하이브리드 엔진을 탑재한 DeepSpeed-Chat을 사용해, Microsoft Azure 상에서 데이터 센터용의 GPU 「NVIDIA A100」을 64대 이용해 학습을 실시했을 경우, 「OPT-13B」모델은 약 7.5시간으로 훈련이 완료됩니다. 또한, 그때의 비용은 1920달러(약 250만 원)입니다. 또한 「BLOOM」모델에서는 약 20시간, 5120달러(약 680만 원)로 훈련이 완료된다는 것. 이 숫자는 기존 RLHF 시스템보다 훨씬 빠르고 저렴한 비용으로 학습이 가능하다는 것을 보여줍니다.

또한 DeepSpeed-Chat에서는 수십억에서 1조 정도의 파라미터를 가지는 대규모 모델의 훈련과 추론이 가능하고, 한정된 GPU 리소스 환경에서도 훈련과 추론을 할 수 있게 된다고 합니다.

Hacker News는 "DeepSpeed-Chat이 GPT-4의 재현을 단순화하는 것은 아니지만, 재현을 향한 몇 가지 큰 장애물은 확실히 넘을 수 있다"라고 말했습니다. 또한 Microsoft는 DeepSpeed-Chat을 개발하는 DeepSpeed에 무료로 100억 달러(약 130조 원)를 출자하여 ChatGPT와 같은 기능을 Microsoft 제품에 통합하는 연구를 지원하고 있다고 밝혔습니다.

DeepSpeed-Chat의 소스 코드 등은 GitHub에서 공개되었습니다.

GitHub - microsoft/DeepSpeed: DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective.
https://github.com/microsoft/DeepSpeed/

GitHub - microsoft/DeepSpeed: DeepSpeed is a deep learning optimization library that makes distributed training and inference ea