OpenAI가 「GPT-3.5 Turbo」의 파인 튜닝 기능을 릴리즈, 독자적인 커스터마이즈가 가능

 

ChatGPT를 개발한 OpenAI가, 2023년 3월에 릴리즈한 GPT 모델 패밀리 「GPT-3.5 Turbo」의 파인 튜닝(미세조정) 기능을 발표했습니다. GPT-3.5 Turbo를 파인 튜닝함으로써, 「출력 언어를 고정」, 「응답 어투를 브랜드나 기업 이미지에 맞도록 한다」등, 사용자의 용도에 맞춘 커스터마이즈가 가능하게 되었습니다.

GPT-3.5 Turbo fine-tuning and API updates

GPT-3.5 Turbo fine-tuning and API updates

OpenAI brings fine-tuning to GPT-3.5 Turbo | TechCrunch

OpenAI brings fine-tuning to GPT-3.5 Turbo | TechCrunch

기계 학습의 미세 조정은 학습된 모델을 새 데이터 세트를 사용하여 재교육하여 미세한 작업에 적합한 매개변수로 미세 조정하는 것을 의미합니다. 대규모 언어 모델을 미세 조정함으로써 기업 및 개발자는 특정 작업에 적합한 모델을 만들고 사용자에게 차별화된 고유 경험을 제공할 수 있습니다.

OpenAI는 2023년 8월 22일 블로그에서 GPT-3.5 Turbo의 파인 튜닝이 가능해졌다고 발표했으며, GPT-4의 파인 튜닝 기능도 2023년 가을에 출시 예정이라고 보고했습니다.

OpenAI에 의하면, GPT-3.5 Turbo를 파인 튜닝한 버전은, 특정 태스크에서 베이직 GPT-4에 필적하던지, 그것을 능가하는 성능을 발휘할 가능성이 있다고 합니다. 또한 파인 튜닝을 위해 송수신되는 데이터가 OpenAI 및 기타 조직에서 사용되지는 않는다고 합니다.

이미 개인 베타 버전에서는 GPT-3.5 Turbo의 파인 튜닝 기능이 제공되고 있다고 합니다.

· 조작성 향상
파인 튜닝에 의해, 기업은 「간결하게 대답」, 「특정 언어로 응답」이라는 지시에 대해, 모델이 보다 적절하게 따르도록 할 수 있습니다. 예를 들어, 개발자는 파인 튜닝을 이용해, 「항상 독일어로 대답하라」라는 지시로, 모델이 항상 독일어로 대답하도록 하는 것이 가능합니다.

· 신뢰할 수 있는 출력 형식
모델이 항상 특정 형식에 따라 응답하도록 하려면 미세 조정이 도움이 됩니다. 이는 코드 완성, API 호출 작성, JSON 스니펫으로 변환 등과 같이, 특정 응답 형식이 필요한 애플리케이션에서 중요합니다.

・커스텀 톤
파인 튜닝은 모델이 출력하는 문장의 질감을 세련되게 만드는 뛰어난 방법이며, GPT-3.5 Turbo가 브랜드 이미지에 맞는 어조를 무너뜨리지 않도록 조정할 수 있습니다.

OpenAI에 따르면, 파인 튜닝은 퍼포먼스를 향상할 뿐만 아니라, 퍼포먼스를 유지하면서 입력 프롬프트를 단축하는 것도 가능하다고 합니다. 초기 테스터는 프롬프트의 크기를 최대 90% 줄이고 API 호출을 가속화하고 비용을 절감할 수 있었다고 OpenAI는 말합니다.

파인 튜닝에는 "데이터 준비", "파일 업로드", "파인 튜닝 작업 작성"과 같은 절차가 필요합니다. OpenAI는 조만간 진행 중인 파인 튜닝 작업이나 완성 모델의 스냅샷 등에 대한 액세스를 용이하게 하는 UI를 출시 예정이라고 합니다. 파인 튜닝을 실시해도 디폴트 모델의 안전 기능을 유지하기 위해, 파인 튜닝용 데이터는 모더레이션 API 및 GPT-4 탑재 모더레이션 시스템을 경유해, 안전하지 않은 트레이닝 데이터의 검출이 이뤄진다는 것.

파인 튜닝 비용은 트레이닝에 1,000 토큰당 0.008달러(약 10.61 원), 입력에 1,000 토큰당 0.012달러(약 15.92 원), 출력에 1,000 토큰당 0.016달러(약 21.23 원)입니다. 10만 토큰(약 7만 5,000 단어)의 트레이닝 파일을 사용한 GPT-3.5 Turbo의 파인 튜닝에는 약 2.4달러(약 3,200 원)의 비용이 든다고 추정되고 있습니다.