완전 오프라인으로 동작해 프라이버시를 지켜 주는 채팅 AI 「PrivateGPT」

고성능 채팅 AI는 기본적으로 온라인에서만 사용하기에, 정보가 유출될 위험이 있습니다.

 

삼성 엔지니어가 ChatGPT에 사외 비공개 소스 코드를 붙여 넣는 보안 사안이 발생

삼성 엔지니어가 ChatGPT에 사외 비공개 소스 코드를 붙여 넣는 보안 사안이 발생

 

PrivateGPT 는 이름 그대로 개인 정보를 중시한 채팅 AI 입니다. 완전히 오프라인으로 이용할 수 있는 것은 물론이고, 안심하고 다양한 문서를 읽힌 후에 답변을 들을 수 있으니, 실제로 사용해 보았습니다.

PrivateGPT
https://www.privategpt.io/

PrivateGPT

imartinez/privateGPT: Interact privately with your documents using the power of GPT, 100% privately, no data leaks
https://github.com/imartinez/privateGPT

GitHub - imartinez/privateGPT: Interact privately with your documents using the power of GPT, 100% privately, no data leaks

PrivateGPT를 사용하기 전에 다양한 환경 설정을 수행합니다. 먼저 "Git 설치 프로그램"을 다운로드합니다.

 

저는 64비트로 받았습니다.

설치하실 때는, 설정 변경 없이 끝까지 Next(다음)만 계속 눌러서 진행하시면 됩니다.

 

계속해서 Python의 다운로드 페이지 에 액세스해, 「Download Python 3.○○.○」라고 쓰인 노란 버튼을 클릭.

Add python.exe to PATH를 선택하고 Install Now를 클릭합니다.

 

그 이외의 설정은 변경없이 끝까지 Next(다음)로 설치하시면 됩니다.

 

또한 Visual Studio 사이트로 이동하여 "다운로드"에서 "Community 2022"를 클릭합니다.

 

Visual Studio가 이미 설치되어 있는 분들은 아래와 같은 화면이 나올 것입니다.

Community 2022를 수정합니다.

 

 

아래의 "워크로드"화면이 표시되면 "유니버설 Windows 플랫폼 개발"을 체크합니다.

개별 구성 요소 탭을 선택하고 검색창에 cmake를 입력하면 나오는 Windows용 C++ CMake 도구를 선택합니다. 오른쪽 하단의 "설치(수정)"를 클릭하십시오.

 

 

설치가 진행됩니다.

설치 완료 후, 재부팅이 필요하다고 하면, PC를 재부팅해 줍니다.

마지막으로 MinGW를 설치합니다. SourceForge의 MinGW 페이지 로 이동하여 "Download"를 클릭하십시오.

 

설치 프로그램을 시작하고 Install을 클릭합니다.

 

설치 계속(컨티뉴)...

 

"MinGW Installation Manager"가 시작됩니다.

 

"Basic Setup"이 선택되어 있을 것이므로, 그대로 오른쪽의 화면에서 "mingw32-gcc-g++"의 체크 박스를 클릭하고, "Mark for Installation"을 클릭.

확인란에 화살표가 표시되어 있는지 확인하고 Installation 메뉴에서 Apply Changes를 클릭합니다.

 

확인 화면이 표시되므로 [Apply]를 클릭합니다.

 

"All changes were applied successfully"라고 표시되면 설치 완료입니다. 닫기를 클릭하여 화면을 닫습니다.

 

이것으로 모든 환경 구축이 완료되었습니다.

 

Git을 설치할 때 "Git Bash"가 동시에 설치되므로 시작 메뉴에서 시작합니다.

 

Git Bash에 다음 명령을 입력하여 privateGPT를 다운로드합니다.

(아래 명령어 복사하시고, cmd 창에서 우클릭하시면 붙여 넣기 됩니다.) 

git clone https://github.com/imartinez/privateGPT.git
cd privateGPT

 

또한 다음 명령으로 필요한 라이브러리를 다운로드합니다.

pip install -r requirements.txt

 

설치에 제법 오랜 시간이 걸리고...

 

이렇게 프롬프트 입력 상태로 바뀌면 설치가 완료된 것입니다.

 

그런 다음 언어 모델을 준비합니다. GPT4All-J와 호환성이 있는 모델이라면 뭐든지 OK 입니다만, 이번에는 가이드대로 「ggml-gpt4all-j-v1.3-groovy.bin」를 다운로드합니다(용량은 3.52GB).

아래 명령을 입력하여 탐색기에서 privateGPT 폴더를 엽니다.

explorer .

 

privateGPT 폴더에 새 폴더를 만들고,

 

 

이름을 models로 변경하고 다운로드한 모델을 models 폴더로 이동합니다.

또한 "example.env"의 이름을 ".env"로 변경.

 

「.env」파일의 내용은 이렇습니다. 다른 모델을 이용하거나 토큰의 상한을 변경하는 경우는 이 「.env」 파일을 변경할 필요가 있습니다. 이번에는 특별히 변경하지 않고 그대로 두겠습니다.

 

 

또한 채팅 AI에서 읽고 싶은 문서를 'source_documents'에 저장합니다. 최초로 저장되어 있는 'state_of_the_union.txt'는 바이든 대통령의 일반 교서 연설입니다.

 

아래의 명령으로 AI에 문서를 읽을 수 있습니다.

바이든의 연설문 외에도, txt 파일을 위 경로에 추가로 넣으시면 모두 읽어 들입니다.

(저는 일단, 귀찮아서 안 넣었어요 ^^)

python ingest.py

 

 

잠시 후 "Ingestion complete!"라고 표시되었습니다. 마침내 모든 준비가 완료된 것입니다.

(바이든의 연설문 파일 1개를 읽었습니다. Loading 1 new documents from source_documents)

채팅 AI를 시작하려면 다음 명령을 사용합니다.

python privateGPT.py

처음에만 필요한 파일을 다운로드합니다. 이 다운로드가 끝나면 인터넷 연결을 끊어도 상관없습니다.

 

Enter a query : 에다가 질문할 내용을 입력하시면 됩니다.

처음에는 「What is United States planning to do with UKraine?」라고 질문해 보았습니다. 10분 정도에 걸쳐 대답이 생성되어 Answer로 적당한 대답이 돌아오고 있습니다. 다만, 임베딩의 영향이 너무 강하기 때문인지, Answer의 뒤에 관계없는 일반 교서 연설의 내용이 정보원으로서 붙어 있었습니다.

 

 

대답을 생성하는 동안 하드웨어 자원의 소비량입니다.

 

제 노트북 i5-8250U CPU를 80% 이용하고, 메모리를 90% 정도 사용하는 듯합니다. 

 

GPU 사용률은 0%로 유지되었습니다.

 

정보원에 대하여, 내용에 따른 부분이 표시되었습니다.

 

한국어를 사용할 수 있는지, 시도해 보았습니다만, 불행히도 사용 불가능 했습니다. ㅠㅠ