2023년 3월, 스탠포드 대학이 ChatGPT와 동등한 성능을 가진 채팅 AI 모델 'Alpaca'를 공개했습니다. 이 Alpaca를 자신의 PC에 설치하여 로컬에서 채팅 AI를 돌리는 「Alpaca.cpp」 가 등장했으므로, 그 설치 과정을 정리해 봤습니다.
GitHub - antimatter15/alpaca.cpp: Locally run an Instruction-Tuned Chat-Style LLM
https://github.com/antimatter15/alpaca.cpp
GitHub - antimatter15/alpaca.cpp: Locally run an Instruction-Tuned Chat-Style LLM
Locally run an Instruction-Tuned Chat-Style LLM . Contribute to antimatter15/alpaca.cpp development by creating an account on GitHub.
github.com
우선, "Alpaca.cpp"를 설치하여 채팅 AI와 대화할 수 있는 환경을 Windows에 구축하려면 먼저 C++ 컴파일러나 'CMake', 'Git' 등의 각종 소프트웨어를 설치해야 합니다.
◆ 1: Visual Studio 2022 설치
Visual Studio 2022를 설치하려면 먼저 아래 링크를 클릭하여 다운로드 페이지로 이동합니다.
Download Visual Studio Tools - Install Free for Windows, Mac, Linux
https://visualstudio.microsoft.com/ko/downloads/
다운로드 페이지를 방문한 후 "Community"로 표시된 부분의 무료 다운로드를 클릭합니다.
다운로드가 완료되면 설치를 진행합니다.
잠시 기다리시면 다음과 같은 화면이 표시됩니다.
「ASP.NET 및 웹 개발」, 「Azure 개발」, 「.NET 데스크톱 개발」의 3개는 불필요하므로 체크를 제외합니다.
계속해서 「C++를 사용한 데스크톱 개발」에 체크하고 「설치」를 클릭.
설치가 완료될 때까지 기다립니다.
설치가 완료되면 PC를 재부팅하는 것이 좋습니다.
◆ 2 : CMake 설치
다음으로 Alpaca.cpp 빌드에 필요한 소프트웨어 "CMake"를 설치합니다. 먼저 아래 링크를 클릭하여 다운로드 페이지로 이동합니다.
Download | CMake
https://cmake.org/download/
다운로드 페이지를 방문하여 스크롤을 아래로 내린 후,
"cmake-3.26.0-windows-x86_64.msi"를 찾아서 다운로드합니다. (본인의 PC에 맞게 다운로드 하세요)
설치 프로그램이 시작되면 "Next"를 클릭.
동의를 체크하고 '다음'을 클릭.
Add CMake to the system PATH for the current user를 선택하고 Next.
아무 것도 변경하지 않고 Next.
install 클릭
설치는 몇 초 안에 완료됩니다.
설치가 완료되면 마침을 클릭하여 설치 프로그램을 종료합니다.
◆ 3 : Git 설치 및 리포지토리 복제
다음으로 Alpaca.cpp 빌드에 필요한 파일을 PC에 다운로드합니다. 이번에는 버전 관리 도구 "Git"을 설치합니다.
Git - Downloading Package
https://git-scm.com/download/win
Git 설치과정에는 상당히 많은 창이 뜨는데요, 무조건 Next로 끝까지 가시면 됩니다.
Git 설치가 완료되면 PC의 아무 폴더나 선택해서 마우스 우클릭에서 「터미널에서 열기」를 클릭합니다.
그러면 Windows Terminal이 시작되고 다음과 같은 화면이 표시됩니다.
「cd C:\」 를 입력하고 Enter를 누르면 C드라이브 루트로 이동합니다.
아래 명령을 입력한 다음 엔터키를 누릅니다.
(문자열을 복사하시고 터미널에서 우클릭 하시면 들어갑니다)
git clone https://github.com/antimatter15/alpaca.cpp
명령을 입력하시면 다음과 같이 필요한 파일이 다운로드됩니다.
파일 다운로드가 완료되면 열려 있던 폴더에 "alpaca.cpp"라는 파일이 추가되므로 내용을 확인합니다.
"alpaca.cpp" 폴더에 다음과 같은 파일이 저장되어 있으면 다운로드가 완료된 것입니다.
◆ 4 : Alpaca.cpp 빌드
다음으로 "alpaca.cpp"폴더의 빈 부분을 마우스 우클릭 후 "터미널에서 열기"를 클릭합니다.
그러면 Windows Terminal이 시작되고 다음과 같은 화면이 표시됩니다.
다음 명령을 실행합니다.
cmake .
이어서 다음 명령을 실행합니다.
cmake --build . --config Release
"데이터가 손실될 수 있습니다."라는 경고가 여러 번 표시되지만, 무시하세요.
◆ 5：Alpaca 모델 데이터를 다운로드
다음으로, Alpaca의 모델 데이터(파일 사이즈：3.92GB)를 다운로드합니다.
직접 다운로드 링크
・https://gateway.estuary.tech/gw/ipfs/QmQ1bf2BTnYxq73MFJWu1B7bQ2UD6qG7D7YDCxhTndVkPC
・https://ipfs.io/ipfs/QmQ1bf2BTnYxq73MFJWu1B7bQ2UD6qG7D7YDCxhTndVkPC
・https://cloudflare-ipfs.com/ipfs/QmQ1bf2BTnYxq73MFJWu1B7bQ2UD6qG7D7YDCxhTndVkPC
토렌트 파일
· https://btcache.me/torrent/5AACEAEC63B03E51A98F04FD5C42320B2A033010
· https://torrage.info/torrent.php?h=5aaceaec63b03e51a98f04f03
저는 위의 첫번째 직접 다운로드 링크에서 받았습니다.
아래는 다운로드가 완료된 파일입니다.
우선 ggml-alpaca-7b-q4.bin 로 이름을 변경합니다.
완성 된 bin 파일을 "alpaca.cpp"폴더로 이동합니다.
"alpaca.cpp" 폴더에 "ggml-alpaca-7b-q4.bin"파일이 있으면 모델 데이터 준비가 완료됩니다.
◆ 6：채팅 AI를 기동
채팅 AI를 기동하는 순서는 아래와 같습니다. 먼저 alpaca.cpp 폴더를 연 다음 빈 부분을 마우스 우클릭한 다음 터미널에서 열기를 클릭합니다.
그러면 Windows Terminal이 시작됩니다.
그런 다음, 아래 명령을 실행합니다.
.\Release\chat.exe
맨 아래에 ">"가 표시되면 채팅 AI 시작이 완료됩니다.
그 이후에는 문장을 입력하고 Enter 키를 누르면 AI가 대답합니다. 우선 "Hello"를 입력하고 Enter 키를 눌러 보았습니다. 그러자 AI가 "Hi there!"라고 응답해 주었습니다.
피자 만드는 법을 알려달라고 해보니, 알파카가 천천히 대답을 작성해 나갑니다.
다만, 알파카는 한국어에는 대응하지 못하는 것 같습니다.
한글로 질문하니, 펭귄에 대한 헛소리를 반복해서 계속 지껄였습니다. ㅋㅋㅋ
'AI · 인공지능 > AI 뉴스' 카테고리의 다른 글
| ChatGPT에「최신 정보 수집 기능」이나「Python 실행 환경」을 추가하는「ChatGPT plugins」등장 (0) | 2023.03.29 |
|---|---|
| 게임 개발자가 "AI때문에, 일을 좋아하게 된 계기를 하룻밤만에 모두 잃었습니다"라고 호소 (0) | 2023.03.28 |
| AI의 대두로 태어나는「신흥 종교」와 그 리스크란? (0) | 2023.03.27 |
| GPT-4나 Palm 등의 대규모 언어 모델은 규모가 커지면서 갑자기 예상외의 능력을 발휘할 수 있다 (0) | 2023.03.27 |
| Mozilla가「베일에 싸인 빅테크 AI」를 타파하기 위해 오픈한 AI 개발 기업「Mozilla.ai」를 설립 (0) | 2023.03.24 |
| 깃허브가 AI로 개발자의 효율적인 코드 작성을 돕는「GitHub Copilot X」발표 (0) | 2023.03.24 |
| 빌 게이츠가 "AI는 GUI 이후 가장 혁명적인 진보"라고 말한다 (0) | 2023.03.23 |
| Bard가「Bard는 이미 끝났습니다」라고 발언해 버린다 (0) | 2023.03.23 |
