GPT-4의 절반 이하의 계산으로 거의 동등한 IQ를 가지는 퍼스널 AI「Pi」와 기반 모델「Inflection-2.5」가 등장

 
 
AI기업・Inflection이 개발하고 있는 생성 AI「Pi」는 유저 한 사람에게 최적화된 「퍼스널 AI」입니다. 그런 Pi의 능력을 비약적으로 향상한 기반 모델인「Inflection-2.5」를 Inflection이 발표했습니다.

Inflection-2.5: meet the world's best personal AI
https://inflection.ai/inflection-2-5

Inflection-2.5: meet the world's best personal AI

 

Pi는 Android 나 iOS의 스마트폰, 브라우저등을 통해 대화할 수 있는 AI로 한국어에도 대응하고 있습니다.

Inflection에 의하면, Pi는 데일리 액티브 유저수 100만 명, 월간 액티브 유저수 400만 명이 이용하고 있다고 합니다. 또한, 평균 대화 시간은 33분으로, 10명에 1명은 1시간 이상 말을 걸거나, 사용한 유저의 60%는 다음 주에 또 Pi를 사용하고 있다고 하며, 이용자의 만족도 지표에서 경쟁 서비스보다 높은 점수를 내고 있습니다.

Pi의 인기를 지지하고 있는 것이, Pi에 탑재되고 있는 기반 모델인 Inflection-2.5입니다. Inflection-2.5는 트레이닝에 소비된 컴퓨팅량이 GPT-4의 40%, 이전 모델인 Inflection-1에 이르러서는 GPT-4의 4%밖에 안되는데도 멀티태스킹 성능을 측정하는 MMLU(Massive Multi-task Language Understanding)나 대학원 수준의 지식을 요구하는 Google의 벤치마크 GPQA(Baselines and analysis for the Google-proof Q&A)의 최고 수준 데이터 세트 Diamond에서 GPT- 4에 필적하는 점수를 보여주었습니다.

Inflection-2.5는 AI의 수적 처리 능력을 추측하는 데 사용되는 헝가리의 수학 시험(Hungarian Math)이나 북미에서 사용되는 공통 시험 'GRE'의 물리학 문제(Physics GRE)등 STEM 분야에서도 강점을 보여주고 있습니다.

Inflection-2.5는 이과와 수학의 분야뿐만 아니라, 코딩에서도 뛰어난 성적을 거두고 있어, 코딩 벤치마크인 MBPP+와 HumanEval+에서는 Inflection-1로부터 스코어가 대폭 개선되었습니다.

이러한 벤치마크 스코어를 Inflection-1(좌측), Inflection-2.5(가운데), GPT-4(우측)의 막대그래프로 비교하면 다음과 같습니다.

Inflection은 "즉, Inflection-2.5는 Pi의 독특하고 친숙한 성격과 뛰어난 안전 기준을 유지하면서 전체적으로 더욱 유용한 모델이 되었다."라고 코멘트하고 있습니다.