화웨이가 새로운 대규모 언어 모델 「Pangu(반고) 모델 3.0」발표

 

중국의 IT 대기업 화웨이(Huawei) 그룹의 화웨이 클라우드(Huawei Cloud)는 2023년 7월 7일, 독자적인 대규모 언어 모델(LLM), 「Pangu(반고) 모델」의 최신판인 「Pangu 모델 3.0」을 발표했습니다. 아울러 기업 고객이 AI 모델 훈련에 사용할 수 있는 'Ascend AI' 클라우드 서비스도 시작한다고 밝혔습니다.

※참고
화웨이라는 회사 이름은 ‘중화민족에 미래가 있다’라는 뜻의 ‘중화유위(中華有爲)’를 줄인 말입니다.

HDC.Cloud2023
https://developer.huaweicloud.com/en-us/HDC.Cloud2023.html

광동성 동관시에서 열린 개발자회의 HDC.Cloud 2023에서는 화웨이클라우드의 장평안 CEO가 직접 LLM과 클라우드 서비스, 각각의 개요를 설명했습니다.

「Pangu 모델 3.0」의 특징은 3층 구조

Pangu라는 명칭은 중국 신화의 창세신인 "반고(盘古)"에서 유래하였으며, AI의 새로운 시대를 열고 싶다는 소원이 담겨 있다고 합니다. 일반 유저가 아니라 행정, 교육, 의료, 금융 등 기관과 기업이 주요 이용대상이 될 전망입니다.

Pangu 모델 3.0은 산업용으로 도입하기 쉽도록 L0층, L1층, L2층의 3층 구조를 가진 것이 특징입니다.
'L0층'은 NLP(신경언어 프로그래밍), CV(컴퓨터 비전), 멀티모달, 예측, 과학 계산의 5종의 기반 모델로 구성해, 범용적인 기능을 갖습니다.
LLM의 성능 지표 중 하나인 파라미터 수는 고객 기업이 용도에 맞춰 100억, 380억, 710억, 1,000억 중에서 선택할 수 있게 되어 있습니다.
'L1층'은 금융, 제조, 약품 R&D, 석탄광업, 철도 등 특정 업계용으로 훈련한 모델을 제공합니다.
'L2층'은 지능적인 정부 핫라인에서 컨베이어 벨트의 이물 검출, 태풍의 궤도 예측까지 특정 시나리오와 업무를 위해 사전 훈련한 모델을 제공합니다.

 

모델 훈련을 위한 Ascend AI 클라우드 서비스

Ascend AI 클라우드 서비스는 1개의 클러스터에서 2,000페타 FLOPS의 계산 능력을 가지고, 1,000의 클러스터로 수십억 파라미터의 모델을 30일간 중단 없이 훈련할 수 있습니다. 화웨이클라우드는 이에 따라 고객기업이 대규모 모델을 보다 이용하기 쉬워질 것으로 전망하고 있습니다.