설치없이 Llama 3나 Mistral 등 오픈 소스 LLM을 브라우저로 실행하는 챗봇 「Secret Llama」가 등장

 

Llama 3 및 Mistral-7B와 같은 오픈 소스 대규모 언어 모델(LLM)을 지원하고 WebGPU를 사용하여 브라우저에서 완벽하게 작동하는 채팅 봇 "Secret Llama"가 공개되었습니다.

Secret Llama
https://secretllama.com/

GitHub - abi/secret-llama: Fully private LLM chatbot that runs entirely with a browser with no server needed. Supports Mistral and LLama 3.
https://github.com/abi/secret-llama

GitHub - abi/secret-llama: Fully private LLM chatbot that runs entirely with a browser with no server needed. Supports Mistral a

Secret Llama의 데모 사이트에 액세스 하면 이런 느낌.

왼쪽 상단에서 모델을 선택할 수 있습니다.
선택 가능한 모델은 Mistral-7B, Llama 3, TinyLlama, Phi1.5의 4종류.

반응형

중앙의 입력창에 질문을 입력합니다.

처음 입력하면 먼저 모델을 로드합니다. 이번에는 가장 가볍고 빠른 TinyLlama를 선택해 보았습니다.

모든 로드가 종료되었으나. 제가 삼성 갤럭시탭 S8에서 액세스 하고 있기 때문에, GPU가 구려서 그런지 오류가 발생합니다.

 

아무리 모델이 경량이라고 해도, 태블릿 PC에서 LLM을 움직이는 것은 힘든 모양입니다.


제가 가진 다른 PC도 노트북뿐인데, 결과는 비슷했습니다. 단순히 hello만 쳐봐도 헛소리를 지껄입니다.

최소한 NVIDIA GeForce GPU 정도는 달려있어야 실행이 가능해 보입니다.

Secret Llama는 채팅 내용이 PC에서 유출되지 않고 완전히 개인 브라우저에서 실행되기 때문에 서버 설치도 필요 없습니다.

모델을 로드한 후에는 오프라인에서도 동작해, 사용하기 쉬운 인터페이스가 되고 있습니다. 추론 엔진에는 Web-LLM을 사용하고 있다는 것.

또한, Secret Llama는 WebGPU를 사용하는 사양상, 기본적으로 WebGPU가 활성화되어 있는 Google Chrome 또는 Microsoft Edge에서의 사용을 권장합니다.

Mozilla Firefox의 경우 수동으로 WebGPU를 활성화해야 하며 Safari의 경우 "실험적인 WebKit 기능"설정에서 WebGPU를 활성화해야 합니다.

또한 Secret Llama는 React 코드를 직접 수정하여 컴파일하고 사용하는 것도 가능합니다.


로컬에서만 돈다는 점이랑 입맛에 맞게 수정할 수 있다는 것은 참 매력적이네요~

https://github.com/abi/secret-llama

GitHub - abi/secret-llama: Fully private LLM chatbot that runs entirely with a browser with no server needed. Supports Mistral a