처음부터 LLM을 만들고 싶을 때 도움이 될 것 같은 사이트

https://zenn.dev/karaage0703/articles/defa2c7d126331

 

소개

「제로부터 LLM 만들고 싶다―」라고 생각하고 있습니다만, 좀처럼 시간을 취할 수 없기 때문에, 막상이라고 할 때(?) 때문에, 참고가 될 것 같은 사이트를 정리해 둡니다.

개인 비망록입니다. 아직 전혀 만들지 않았기 때문에 어느 것이 좋다는 평가도 할 수 없습니다.

NLP2024 자습서

좋아 보인다.

 

 

NLP2024-튜토리얼 3-만들어 배우다 일본어 대규모 언어 모델

신경망: 0에서 영웅까지

Andrej Karpathy 님의 동영상. 영어이지만 대단한 것 같습니다.

 

 

통화

Llama 정보

 

 

지니악

 

 

 

기타

 

LLaVA(화상계)

환경 구축

모델 병합

 

요약

LLM에 한정하지 않고, 무언가를 0부터 작게 만들어 보는 것은, 돌아가는 길과 같이 이해를 깊게 하는 최단 경로라고 생각하고 있습니다. 바로 효과가 있는 것 같은 것은 아니지만, 이런 것은 정리해 임해 가고 싶네요.

일본어의 좋은 서적이 나오지 않을까라고 기대도 하고 있습니다.

참고 링크

 

 

23