「LLaMA」를 Mac에서도 실행 가능, 대규모 언어 모델을 보통의 소비자용 하드웨어로 실행

일상생활에서 AI의 사용에 대한 관심이 높아지고있는 가운데, OpenAI의 GPT-3나 Microsoft의 Kosmos-1 등 LLM(대규모 언어 모델)이 주목을 받아, 2023년 2월에 Meta가 새로운 LLM인 LLAMA를 발표했습니다. 이 LLaMA는 GPT-3보다 작은 규모이면서도 GPT-3에 필적하는 성능을 단독 GPU의 환경에서 구현할 수 있다는 것으로, 엔지니어 조지 게르가노프 씨가 M1 등의 Apple 실리콘 탑재 Mac에서 LLaMA를 동작시키는 'flama.cpp'를 GitHub에서 공개하고 있습니다.

GitHub - ggerganov/llama.cpp: Port of Facebook's LLaMA model in C/C++
https://github.com/ggerganov/llama.cpp

GitHub - ggerganov/llama.cpp: Port of Facebook's LLaMA model in C/C++

l1x/dev | Using LLaMA with M1 Mac

Using LLaMA with M1 Mac

LLaMA는 Meta의 AI 연구 조직인 Meta AI Research가 발표한 LLM입니다. LLM의 규모를 나타내는 파라미터 수는 70억에서 650억으로 LLAMA의 13B(파라미터 수 130억) 모델의 벤치마크 테스트 결과는 파라미터 수 1,750억의 GPT-3에 필적했다는 보고입니다.

AI에 최적화된 가속기를 여럿 사용한 데이터센터 환경이 아니면 동작이 어려운 GPT-3와는 달리 LLAMA는 단독 GPU에서도 문제없이 동작했기 때문에, 소비자 수준의 하드웨어 환경에서도 ChatGPT와 같은 대화형 AI를 구동할 수 있을 가능성도 제시되었습니다.

Meta가 대규모 언어 모델 「LLaMA」를 발표, GPT-3에 필적하는 성능

Meta가 대규모 언어 모델「LLaMA」를 발표, GPT-3에 필적하는 성능

이 LLAMA는 코드의 일부만 GitHub에 호스팅 되었으며 Meta AI Research에 연락하면 가중치 데이터를 포함한 전체 코드를 받을 수 있는 형태로 공개되었습니다. 그러나 공개 1주일 후 온라인 게시판 사이트 4chan에 LLAMA의 모델 데이터가 유출되었습니다.

Meta의 대규모 언어 모델 「LLaMA-65B」의 데이터가 4chan로 유출

Meta의 대규모 언어 모델「LLaMA-65B」의 데이터가 4chan로 유출

게르가노프 씨는 LLAMA를 사용한 추론을 macOS, Linux, Windows에서 동작시키는 프로젝트 "llama.cpp"의 개발을 진행하고 있으며, M1 탑재 MacBook Pro에서 LLAMA를 동작시키는 데 성공했다는 것.

게르가노프 씨는 LLAMA의 13B 모델을 M1 탑재 Mac에서, 초당 10 토큰의 처리 속도로 동작 가능했다고 보고하고 있습니다.

실제로 LLAMA의 65B(파라미터수 650억) 모델을 M1 탑재 MacBook Pro(메모리 64GB)로 움직이고 있는 영상이 아래의 트윗에 공개되어 있습니다.

트위터에서 즐기는 miguel piedrafita

게다가 M1 탑재 MacBook Pro 1대로, LLaMA의 7B 모델과 OpenAI의 고성능 문장생성 AI「Whisper」를 동시에 실행하는 데모도 GitHub에서 공개하고 있습니다.

덧붙여 「llama.cpp」는 macOS와 Linux에 대응하고 있어, Windows는 아직 대응하지 않고 있습니다만, 이미 64bit Windows 환경(Intel Core i7-10700T・메모리 16GB)에서 동작한 예도 보고되고 있으며, 사용 메모리는 불과 5GB였다고 합니다.

Windows 64-bit, Microsoft Visual Studio - it works like a charm after those fixes! · Issue #22 · ggerganov/llama.cpp · GitHub
https://github.com/ggerganov/llama.cpp/issues/22

Windows 64-bit, Microsoft Visual Studio - it works like a charm after those fixes! · Issue #22 · ggerganov/llama.cpp

관련글

스탠퍼드대가 만든 ChatGPT, Aplaca 로컬 설치

오프라인으로 AI와 채팅하는「Alpaca.cpp」로컬 설치 리뷰

무료로 상용 이용도 가능한 완전 오픈소스 대규모 언어 모델 「RedPajama」가 트레이닝 데이터 세트를 공개

무료로 상용 이용도 가능한 완전 오픈소스 대규모 언어 모델 「RedPajama」가 트레이닝 데이터 세