반응형 LLaMA-Tokenizer1 "LLaMA"에 입력한 문장이 어떤 토큰으로 인식되는지 확인하는 "LLaMA-Tokenizer" AI는 기본적으로 문장 처리를 "토큰"이라고 불리는 단위로 인식합니다. 보통 문장이 토큰적으로 어떻게 분해되는지를 한눈에 판단할 수 있는 툴이 「토크나이저」로, Meta의 대규모 언어 모델인 「LLaMA」전용의 툴 「LLaMA - Tokenizer」가 공개되어 있습니다. GitHub - belladoreai/llama-tokenizer-js: JS tokenizer for LLaMA based LLMs https://github.com/belladoreai/llama-tokenizer-js GitHub - belladoreai/llama-tokenizer-js: JS tokenizer for LLaMA based LLMsJS tokenizer for LLaMA based LLMs. Contribute t.. 2023. 6. 15. 이전 1 다음 반응형
