BUSINESS INSIDER에 의하면, 유저가 ChatGPT를 사용하는 것만으로도 OpenAI는 하루에 최대 70만 달러(약 9억 3천만 원)의 비용이 들고 있다고 합니다.
ChatGPT는 쿼리에 대답하기 위해 고가의 서버로 대량의 계산을 수행합니다. 대규모 언어 모델(LLM)인 GPT-3을 사용한 경우의 비용으로 산출되었지만, 지금은 운용 비용이 더 높은 GPT-4가 사용되고 있기 때문에, 비용이 더 증가했을 것이라고 합니다.
OpenAI의 LLM을 이용한 기업은 몇 년 전부터 고액의 요금을 지불해 왔다고 합니다. 스타트업 회사 Latitude의 닉 월튼(Nick Walton)은 2021년에 이 LLM을 운영하기 위해 Amazon Web Services(AWS) 서버에 대한 지불 외에도 수백만 명의 사용자의 쿼리에 응답하기 위해, AI에만 매월 20만 달러(약 2억 6,500만 원)를 지불했다고 CNBC와 인터뷰했다는 것.
스탠퍼드대학 인간중심인공지능연구소가 발표한 보고서에 따르면 AI 모델 개발에 의한 탄소 배출량은 한 항공 여행자의 편도 여행의 25배를 넘는 것으로 나타났다고 합니다. 이렇듯, ChatGPT의 가동에는 막대한 비용이 듭니다.
ChatGPT의 LLM을 트레이닝하는 데만 많은 비용이 든다고 여겨지고 있지만, 「적절한 규모로 모델을 전개할 때는, 운용(추론) 비용이 트레이닝 비용을 훨씬 웃돈다」라고, 파텔과 SemiAnalysis의 애널리스트 아프잘 아마드(Afzal Ahmad)는 포브스에서 말했습니다.
실제로, ChatGPT의 운용(추론)에 드는 비용은, 주 단위로는 트레이닝 비용을 웃돌고 있습니다.
Microsoft가 "Athena"프로젝트에서 AI 칩을 개발
The Information은 생성 AI 모델의 운용 비용을 줄이기 위해 Microsoft가 'Athena'라는 프로젝트에서 AI 칩을 개발하고 있다고 보도했습니다. 이는 Microsoft가 OpenAI의 LLM을 Azure 클라우드 서버에서 독점적으로 사용하는 계약을 2019년에 체결한 후 시작되었다고 합니다.
이 칩 개발은, Microsoft의 간부가 자사의 칩 제조에 있어서, Google이나 Amazon에 비해 지연되고 있다고 눈치챈 것이 이유였다고 합니다. 또 Microsoft의 AI 모델은 Nvidia의 GPU에서 가동하고 있기 때문에, 보다 저렴한 대체품을 찾고 있어, 스스로 저비용의 칩 개발을 시작한 것으로 보인다고 합니다.
이 칩은 빠르면 내년에 Microsoft와 OpenAI의 사내용으로 출시될 가능성이 있다고 합니다. Insider는 Microsoft에 코멘트를 요청했지만, 응답은 받지 못했다고 합니다.
'AI · 인공지능 > AI 뉴스' 카테고리의 다른 글
| Google이 대규모 언어 모델 'PaLM 2'를 발표, 이미 25개의 Google 서비스에 도입 (1) | 2023.05.11 |
|---|---|
| OpenAI가 "언어 모델에게 언어 모델을 설명"시키는 데모 툴을 공개 (0) | 2023.05.10 |
| Meta가 6가지 데이터를 통합하는 오픈 소스 AI 모델 「ImageBind」를 공개 (0) | 2023.05.10 |
| 「ChatGPT 도입을 검토하는 시즈오카현 시마다시」 추진파와 신중파, 나뉘는 지자체별 정책 (4) | 2023.05.10 |
| 「빅테크에 권력이 집중되는 것에 맞서야 한다」라고 뉴욕대학의 연구기관이 발표 (4) | 2023.05.10 |
| 'PaLM 2'와 생성 AI를 이용한 Google Workspace의 새로운 기능을 'Google I/O 2023'에서 발표 예정 (3) | 2023.05.09 |
| 상용 이용도 가능한 오픈소스 언어 모델 'MPT-7B' 출시, GPT-4의 2배 길이 문장을 입력 (1) | 2023.05.09 |
| Microsoft가 Bing의 채팅 AI를 모든 사용자에게 개방 (0) | 2023.05.08 |
