OpenAI가 GPT-4의 개량, 비용 절감 등 API의 대폭적인 업데이트를 발표

 ChatGPT와 같은 채팅 AI를 제공하는 OpenAI는 API의 가격과 기능을 크게 향상하는 업데이트를 발표했습니다.

Function calling and other API updates
https://openai.com/blog/function-calling-and-other-api-updates

Function calling and other API updates

개선된 내용은 아래와 같습니다.

・Chat Completions API 에 함수 호출 기능 추가
Chat Completions API는 채팅의 이력을 바탕으로 응답을 생성하는 API입니다.

이번 업데이트에서 gpt-3.5-turbo 및 gpt-4 모델에서 입력에 함수 정보를 포함할 수 있게 되었습니다. 예를 들어, 날씨 정보를 얻는 함수를 준비하고, 그 함수의 정보를 유저의 대화 데이터와 함께 Chat Completions API에 송신하면, 유저가 「○○의 날씨는?」라고 질문했을 경우 등, 필요에 따라서 "이 함수를 이 인수로 호출하십시오!"라는 데이터가 반환됩니다. 앱 측에서 함수의 실행 결과를 다시 Chat Completions API에 제출하는 것으로 적절한 응답이 생성되는 것입니다.
 

기존 모델은 2주 후인 6월 27일까지 갱신되지 않지만, 함수 호출 기능을 지금 사용하고 싶은 경우는 모델명의 뒤에 「0613」을 붙이면 OK. 예를 들어 "gpt-4"의 경우라면 "gpt-4-0613"이라는 이름으로 모델을 지정하면 함수 호출 기능이 있는 모델에 액세스 가능합니다.


・신모델 「gpt-3.5-turbo-16k」가 등장
기존의 「gpt-3.5-turbo」모델에서는 취급할 수 있는 토큰 수가 4096 토큰까지였습니다만, 새로운 「gpt-3.5-turbo-16k」모델은 1만 6384 토큰까지 취급할 수 있게 된다는 것. 가격은 입력 1000 토큰 당 0.003 달러, 출력 1000 토큰 당 0.004 달러입니다.

・모델 변경 타임라인
「gpt-3.5-turbo」나 「gpt-4」등, 모델의 이름만으로 액세스 했을 경우, 그 내용은 6월 27일에 새로운 버전으로 변경됩니다. 기존 버전의 이용을 계속하고 싶은 경우는 모델명으로「gpt-3.5-turbo-0301」,「gpt-4-0314」,「gpt-4-32k-0314」라고 지정하면 OK. 하지만 이러한 오래된 모델의 사용은 9월 13일에 종료된다고 고지되어 있습니다.

・가격 다운
텍스트를 수치로 변환해, 검색이나 유사성의 비교에 이용할 수 있도록 하는 모델 「text-embedding-ada-002」의 요금이 75% 다운되어, 1000 토큰당 0.0001달러로 사용할 수 있습니다.

「gpt-3.5-turbo」모델의 요금이 25% 다운되어, 입력 1000 토큰당 0.0015달러, 출력 1000 토큰당 0.002달러가 되었습니다. 그냥 "gpt-3.5-turbo-16k"모델의 반값입니다.

이 모델을 업데이트하는 것 외에도 블로그 게시물에 따르면, 향후 몇 주 동안 GPT-4의 웨이팅 리스트를 줄이고, 궁극적으로는 사용 대기자 목록을 완전히 삭제할 예정이라고 합니다.