인간급 범용 인공지능을 개발한 연구자에게 총액 100만 달러의 상금을 수여하는 콘테스트 「ARC Prize」 개최

 
 
Zapier의 공동 창립자 마이크 누프와 Google의 소프트웨어 엔지니어인 프랑소와 쇼레가,

지성을 갖춘 오픈 소스 범용 인공지능(AGI)을 개발한 연구자에게 대략 최대 50만 달러(약 6억 8,600만 원) 이상의 상금을 주는 콘테스트  「ARC Prize」 를 실시합니다.

Announcing ARC Prize
https://arcprize.org/blog/launch

Announcing ARC Prize

Announcing ARC Prize - YouTube

 

 

ARC Prize - Competition Details
https://arcprize.org/competition

ARC Prize - Competition Details

OpenAI의 GPT-4를 비롯한 최근의 대규모 언어 모델은 교육 데이터의 패턴을 자세히 기억하고 그 패턴을 다른 컨텍스트에 적용하면 AI가 마치 추론을 하고 있는 것처럼 보입니다. 그러나 이것은 대규모 언어 모델에 의한 암기에 지나지 않고, 실제로는 추론이 아닙니다. 또한, 일반적인 대규모 언어 모델은 훈련되지 않은 새로운 상황에 대해 새로운 추론을 생성할 수 없습니다.

한편, 범용적인 인공지능은 인간처럼 미지의 상황에서도 새로운 스킬을 효율적으로 취득하고 적응할 수 있습니다. 누프 씨는 "AGI가 아니면 AI가 인간의 지능을 웃돌 수 없습니다. 우리는 인간과 함께 발견하고 발명하고 인류를 전진시킬 수 있는 AGI를 원합니다."라고 말하고 있습니다. 또한 누프 씨는 GPT-4 출시 이후 많은 고성능 대규모 언어 모델이 폐쇄적으로 개발되고 있다는 것에 문제를 제기하고 있습니다.

따라서, 누프 씨는 오픈 소스이면서 고성능인 AGI를 개발하는 연구자에게, 총액 100만 달러(약 13억 7,300만 원) 규모의 상금을 주는 콘테스트  「ARC Prize」 의 개최를 발표했습니다.

반응형

제출된 AGI의 성능을 측정하는 데 있어서 중요한 것이, 쇼레 씨가 발표한 논문  「On the Measure of Intelligence」 에서 소개된  「ARC-AGI」 라는 지표입니다. ARC-AGI는 AI가 제공하는 암기력 이외의 성능을 테스트합니다. 다음 예제는 "위의 두 범례를 기반으로 아래의 빈칸으로 올바르게 채우시오."라는 작업입니다.

지금까지의 ARC-AGI에서 가장 높은 스코어를 내던 AI에서도, 2024년 시점에서의 ARC-AGI의 스코어는 불과 34%라는 것.

한편, ARC-AGI의 과제는 인간 아이가 실시해도, 85%에서 100%의 점수를 낼 수 있습니다. 즉 누프 씨는 인간의 ARC-AGI 스코어에 가까운 결과를 남길 수 있는 AGI를 개발한 연구자에게 상금을 수여하자는 것입니다.

구체적으로는 2024년 6월 11일 접수 개시부터 11월 10일 마감까지 제출된 가운데 인간의 평균 ARC-AGI 점수인 85% 이상의 점수를 남기는 AGI를 개발한 최대 5명의 연구자에게는 대상으로 50만 달러(6억 8,600만 원)가 수여됩니다.

또한 ARC-AGI 점수가 높은 AGI 중 1위에 2만 5000달러(약 3,432만 원), 2위에 1만 달러(약 1,373만 원), 3위에 ~ 5위에 각각 5000달러(약 686만 원)의 상금이 수여됩니다.

또한 ARC-AGI에서 높은 퍼포먼스를 달성하는 방법에 대한 이해를 가장 깊게 다룬 논문에 대해서는 논문상으로 4만 5000달러(약 6,178만 원)의 상금이 주어집니다.

ARC Prize의 결과는 2024년 12월 3일에 발표됩니다. 또한 콘테스트에 응모하려면 재현 가능한 코드나 메서드를 퍼블릭 도메인으로 공개할 필요가 있습니다.