WebGPU로 브라우저에서 GPT 등 언어 모델을 체험할 수 있는 「WebGPT」

GPU 프로그래밍을 브라우저상에서 할 수 있는 API 「WebGPU」를 Google 크롬의 버전 113부터 정식 대응하게 되었습니다. 이 WebGPU를 사용해, GPT 등의 언어 모델을 브라우저상에서 체험할 수 있는 「WebGPT」가 공개되었습니다.

*WebGPU는 GPU(그래픽처리장치) 프로그래밍을 브라우저에서 가능하게 하는 API(응용프로그램 인터페이스) 입니다.

GitHub - 0hq/WebGPT: Run GPT model on the browser with WebGPU. An implementation of GPT inference in less than ~1500 lines of vanilla Javascript.
https://github.com/0hq/WebGPT

GitHub - 0hq/WebGPT: Run GPT model on the browser with WebGPU. An implementation of GPT inference in less than ~1500 lines of va

아래는 WebGPU 데모 페이지
WebGPU GPT Model Demo
https://www.kmeans.org/

WebGPU GPT Model Demo

WebGPT는 WebGPU를 사용하므로 Chrome 버전 113 이상 버전에서 액세스해야 합니다.

WebGPT의 데모에 액세스 하면 이런 느낌입니다. 사용할 수 있는 언어 모델은, 셰익스피어의 작품을 학습시킨 「Shakespeare Model」과 「GPT-2」의 2종류입니다.

먼저 Load Shakespeare Model을 클릭하여 Shakespeare Model을 로드합니다. 또한 모델의 로드 버튼 아래에 있는 「Number of tokens」는 한 번에 생성하는 토큰수로, 디폴트로 80 토큰으로 되어 있습니다(두 모델 모두 아직 한국어에 대응하고 있지 않습니다).

로드가 끝나면 "Generate Text" 버튼을 클릭합니다. 아래의 텍스트란에는, 디폴트로 문장이 들어가 있어, 언어 모델이 자동적으로 이어지는 문장을 생성합니다.

토큰 수가 한정되어 있기 때문에, 도중에 정지합니다만, 계속하고 싶으면 「Generate Text」를 클릭하면 OK.

Shakespeare 모델은 셰익스피어의 문장 표현을 학습했기 때문에 꽤 낡고 연극톤인 문장이 생성되고 있습니다.

'Top K'와 'Temperature'는 토큰 생성 확률에 대한 숫자이며 기본값은 각각 1입니다. 시험으로 Top K를 3으로 변경하여 텍스트를 생성한 결과, 복수의 등장인물에 의한 대화문이 생성되었습니다.

페이지를 새로고침하고 이번에는 GPT-2를 로드해 봅니다.

더글라스 애덤스의 소설 "은하수를 여행하는 히치하이커를 위한 안내서"에 나오는 질문인, "생명, 만물, 우주에 대한 대답은 무엇입니까?"라고 물어보자, 다소 추상적이고 영문법상 불안정한 대답이 돌아왔습니다.

굳이 번역해 보자면,

"그 대답은, 유일한 것으로 우주이며 우주의 존재라는 불변의 진리의 대답입니다. 모든 물리 법칙의 초석이야말로 이곳 우주의 진실의 진실인 것입니다."

또한 WebGPT를 개발한 0hq에 따르면 Shakespeare Model은 GPT-2보다 불안정하다는 것. 또한, WebGPT 자체도 개발 도중이며, 아직 과제는 많이 남아있다고 합니다. 개발의 진척에 대해서는 GitHub에 정리하고 있습니다.

https://github.com/0hq/WebGPT

GitHub - 0hq/WebGPT: Run GPT model on the browser with WebGPU. An implementation of GPT inference in less than ~1500 lines of va