[2019] AI 연구 랭킹(전편)

마지막 검토 : 2020년 1월 14일

 

저자인 Gleb Chuvpilo는 AI와 로봇 스타트업에 투자하는 벤처 캐피털 ThundermarkCapital에서 매니징 파트너로 재직하고 있으며, MIT의 컴퓨터과학 및 인공지능 연구소에서 석사 학위를 취득하고 있습니다.

 

그는 이 Medium에 투고한 기사 'AI 연구 랭킹 2019 : 세계를 주도하는 AI 콘퍼런스 NeurIPS와 ICML의 고찰'에서 AI에 관한 세계적인 콘퍼런스인 NeurIPS와 ICML에서 채택된 논문에 따라, AI 연구동향의 순위를 매기고 있습니다.

 

그는 NeurIPS와 ICML에서 2,200개의 논문을 채택하여, 과학 논문의 동향을 살필 때 사용되는 지표인 Nature Index를 기본으로 하여 독자적인 지표를 통해 고찰하였습니다. 그 결과는 다음과 같이 정리할 수 있습니다.

 

AI 연구를 선도하고 있는 것은 미국이며, 미국의 대학과 기업이 발표한 논문이 많이 채택되고 있다. Google은 AI를 연구로 세계 각국의 유명 대학을 크게 능가하고 있다.

 

국가별로 보면 1위가 미국 다음으로 중국, 영국...

 

한국의 대학과 기업은 톱 20에 들지 못했습니다. OTL

 

그는 향후 AI 연구에서 미국과 중국의 패권 다툼에 대해서도 고찰하고 있습니다. AI 연구의 패권 다툼에서 중요한 요인은 알고리즘과 하드웨어 및 학습 데이터의 3가지입니다. 미국은 알고리즘과 하드웨어에서 중국보다 우위에 서 있기 때문에 학습 데이터만으로 리드하고 있는 중국에 승리할 것이라고 결론 지을 수 있습니다.

 

아래의 내용을 보시면 아시겠지만, AI 연구에서 한국의 위치를 보면, 세계의 여러 나라들에 크게 뒤지고 있습니다.

 

 

이하 본문에서는 논문의 방법론 해설과 이 지표에 의거한 기초적인 데이터 분석에 대해 논의합니다.

서론

연간 AI 연구 랭킹 2019에 오신 것을 환영합니다. 이번에는 가장 유명한 2개의 AI 연구 컨퍼런스인

 

Neural Information Processing Systems(줄여서 "NeurIPS"또는 "NIPS": 신경 정보 처리 시스템 학회)

International Conference on Machine Learning(줄여서 "ICML": 기계 학습에 관한 국제회의)

 

의 간행물을 분석했습니다. 구체적으로는(NeurIPS 2019 및 ICML 2019의) 회의 의사록을 통해 2,200개의 채택된 논문을 각각 검사하고 저자와 그 소속 기관의 목록을 편찬하고 각 조직의 Publication Index(간행물 지표)를 계산한 것입니다. (아래의 '방법론' 참조)

 

예를 들면, Google에 부착된 167.3은 Google이 2019년 2가지 주요 AI콘퍼런스에서 167.3개의 논문을 발표한 것으로 해석됩니다.

 

방법론

이번 고찰에서 채용한 Publication Index방법론은 Nature Index에서 영감을 얻고 있습니다.

다음의 인용문은 Nature지 온라인 판에 공개된 기사 "Nature Index가이드"에서 인용되고 있습니다.

국가, 지역 또는 조직의 기여를 수집하고 이를 중복 계산하지 않도록 하기 위해 Nature Index는 fractional count(FC)를 사용한다. 이것은 각 기사에 미치는 오너쉽의 비율을 고려한 지표이다. 기사마다 사용 가능한 FC의 합계는 1이며, 각 저자가 동등하게 기여한다고 가정하면 모든 저자 사이에서 공유된다. 예를 들어 10명의 저자가 있는 문서는 각 저자가 0.1 FC를 받는 것을 의미한다. 여러 조직에 속한 저자의 경우 저자의 FC는 각 조직 간에 균등하게 분할된다. 조직의 총 FC는 그 조직에 속한 개별 저자의 FC를 합계하여 계산된다. 국가/지역별 FC에 대해서도 조직의 산출 과정과 비슷하지만 조직의 일부는 해외 연구소를 가지고 있다는 복잡한 사정을 감안하여 조직의 해외 연구소에 부착된 FC는 연구를 주도한 국가/지역에 가산된다.

 

ICML 2019에서 연구성과 공개하는 NAVER

Publication Index와 Nature Index의 유일한 차이는 해외 연구소가 본사의 국가/지역에 포함되는 것이다. 이것은 논쟁의 여지가 있는데, 지적 재산권과 연구에서 나온 실제 이익의 할당을 본사에 반영한다. 이러한 접근 방식은 연구가 수행된 로컬 실험실에 기인하는 것보다 바람직하다고 여겨지고 있다.

 

발행 인덱스의 계산 예는 다음과 같다. 논문에 5명의 저자가 있는 경우 - 예를 들어 MIT에서 3명, 옥스퍼드 대학에서 1명, Google에서 1명인 경우, 각 저자는 1/5 지점, 즉 0.2 Publication Index를 획득한다.

 

따라서 이 논문에서만 MIT는 Publication Index를 3 * 0.2 = 0.6 포인트 늘리고, 옥스퍼드는 인덱스를 0.2 늘리고, Google은 0.2 가 추가된다. MIT는 미국에 본사를 두고 있기 때문에, 이 대학이 미국에 귀속함으로써 나라의 지수가 0.6 증가한다. 마찬가지로, 옥스퍼드 대학은 영국에 본사를 두고 있기 때문에, EEA(European Economic Area : 유럽 경제연합) + 스위스 카테고리(※역주 2)는 0.2 증가한다. 마지막으로, Google은 미국에 본사를 둔 다국적 기업이기 때문에 미국의 발행 인덱스에 0.2가 추가되어 총 0.8이 늘어난다. 저자가 여러 소속을 가지고 있는 경우 그 소속 기관마다 발행 인덱스를 분할한다.

 

예를 들어 위의 경우, 마지막 저자가 Google과 스탠퍼드 대학의 2개에 소속되어 있던 경우 Google과 스탠퍼드 대학 모두가 0.2 / 2 = 0.1 포인트씩 획득한다.

 

마지막으로 NeurIPS와 ICML의 간행물을 동일한 데이터 집합으로 결합한 이유는 이 두 콘퍼런스가 최고 AI 연구자 사이에서 동일한 수준으로 권위가 있다고 판단되며, 유사한 참여 제도, 그리고 유사한 논문 채택률 (NeurIPS에서 21.2%, ICML 22.6%)을 보여주기 때문이다.

 

 

AI 연구 랭킹 2019

2019년의 AI 연구를 선도하는 40(산업계 및 학계) 글로벌 조직

Publication Index

1. Google (미국) - 167.3
2. 스탠퍼드 대학 (미국) - 82.3
3. MIT (미국) - 69.8
4. 카네기 멜론 대학 (미국) - 67.7
5. UC 버클리 (미국) - 54.0
6. 마이크로 소프트 (미국) - 51.9
7. 옥스퍼드 (영국) - 37.7
8. Facebook (미국) - 33.1
9. 프린스턴 (미국) - 31.5
10. 코넬 대학 (미국) - 30.9
11. 조지아 공과 대학 (미국) - 30.1
12. UT 오스틴 (미국) - 29.9
13. 일리노이 대학 (미국) - 29.4
14. 컬럼비아 대학 (미국) - 29.2
15. 청화 대학 (중국) - 28.4
16. UCLA (미국) - 27.2
17. ETH (스위스) - 27.0
18. IBM (미국) - 25.8
19. 워싱턴 대학 (미국) - 24.0
20. INRIA (프랑스) - 23.2
21. EPFL (스위스) - 22.3
22. 북경 대학 (중국) - 21.6
23. 토론토 대학 (카나 ) - 21.4
24. 하버드 대학 (미국) - 19.2
25. 듀크 대학 (미국)) - 18.7
26. 뉴욕 대학 (미국) - 17.7
27. 캠브리지 (영국) - 15.1
28. KAIST (한국) - 14.8
29. 테크니온 (이스라엘) - 14.6
30. UC 샌디에이고 (미국 ) - 14.6
31. 위스콘신 대학 매디슨 (미국) - 14.4
32. 아마존 (미국) - 14.3
33. UMass Amherst (미국) - 13.8
34. 유니버시티 칼리지 런던 (영국) - 13.7
35. MILA (캐나다) - 13.5
36. 大学南캘리포니아 (미국) - 13.5
37. 펜실베이니아 대학 (미국) - 13.3
38. 서울 대학교 (한국) - 12.7
39. 존스 홉킨스 대학 (미국) - 12.6
40. 이화학 연구소 (일본) - 12.3

 

2019년의 AI 연구를 선도하는 20 지역

Publication Index

1. 미국 - 1260.2
2. EEA(유럽 경제연합) + 스위스 - 431.5
3. 중국 - 184.5
4. 캐나다 - 80.3
5. 일본 - 49.4
6. 한국 - 46.8
7. 이스라엘 - 43.3
8. 호주 - 27.0
9. 인도 - 17.1
10. 싱가포르 - 13.2
11. 러시아 - 10.6
12. 대만 - 5.3
13. 사우디 - 5.0
14. 아랍 에미리트 - 2.3
15. 이란 - 2.2
16. 남아프리카 공화국 - 1.0
17. 칠레 - 1.0
18. 말레이시아 - 0.7
19. 터키 - 0.6
20. 뉴질랜드 - 0.5

2019년의 AI 연구를 선도하는 20개국

Publication Index

1. 미국 - 1260.2
2. 중국 - 184.5
3. 영국 - 126.1
4. 프랑스 - 94.3
5. 캐나다 - 80.3
6. 독일 - 64.5
7. 스위스 - 59.3
8. 일본 - 49.4
9. 한국 - 46.8
10. 이스라엘 - 43.3
11. 호주 - 27.0
12. 인도 - 17.1
13. 네덜란드 - 15.3
14. 싱가포르 - 13.2
15. 덴마크 - 12.2
16. 이탈리아 - 11.5
17. 스웨덴 - 11.3
18. 러시아 - 10.6
19. 핀란드 - 9.6
20. 오스트리아 - 7.4

2019년 AI 연구를 선도하는 미국 대학 20

Publication Index

1. 스탠퍼드 대학 - 82.3
2. MIT - 69.8
3. 카네기 멜론 대학 - 67.7
4. UC 버클리 - 54.0
5. 프린스턴 - 31.5
6. 코넬 대학 - 30.9
7. 조지아 공대 - 30.1
8. UT 오스틴 - 29.9
9. 일리노이 대학 - 29.4
10. 컬럼비아 - 29.2
11. UCLA - 27.2
12. 워싱턴 대학 - 24
13. 하버드 - 19.2
14. 듀크 대학 - 18.7
15. 뉴욕 대학 - 17.7
16. UC 샌디에이고 - 14.6
17. 위스콘신 대학 매디슨 - 14.4
18. UMass Amherst - 13.8
19. 남가주 대학 - 13.5
20. 펜실베이니아 대학 - 13.3

2019년의 AI 연구를 선도하는 세계의 상위 대학 20

Publication Index

1. 스탠퍼드 (미국) - 82.3
2. MIT (미국) - 69.8
3. 카네기 멜론 대학 (미국) - 67.7
4. UC 버클리 (미국) - 54.0
5. 옥스퍼드 (미국) - 37.7
6. 프린스턴 ( 미국) - 31.5
7. 코넬 대학 (미국) - 30.9
8. 조지아 공과 대학 (미국) - 30.1
9. UT 오스틴 (미국) - 29.9
10. 일리노이 대학 (미국) - 29.4
11. 컬럼비아 대학 (미국) - 29.2
12. 청화 대학 (중국) - 28.4
13. UCLA (미국) - 27.2
14. ETH (스위스) - 27.0
15. 워싱턴 대학 (미국) - 24.0
16. INRIA (프랑스) - 23.2
17. EPFL (스위스) - 22.3
18. 북경 대학 (중국) - 21.6
19. 토론토 대학 (캐나다) - 21.4
20. 하버드 대학 (미국) - 19.2

2019년의 AI 연구를 선도하는 20

Publication Index

1. Google (미국) - 167.3
2. Microsoft (미국) - 51.9
3. Facebook (미국) - 33.1
4. IBM (미국) - 25.8
5. Amazon (미국) - 14.3
6. Tencent (중국) - 8.8
7. 알리바바 (중국) - 7.5
8. 보쉬 (독일) - 7.2
9. Uber (미국) - 7.1
10. Intel (미국) - 6.9
11. 도요타 (일본) - 6.0
12. Yandex (러시아) - 5.8
13. Baidu ( 중국) - 5.5
14. Nvidia (미국) - 5.2
15. Apple (미국) - 4.6
16. Salesforce (미국) - 4.2
17. PROWLER.io (영국) - 4.2
18. Criteo (프랑스) - 3.9
19. Huawei ( 중국) - 3.7
20. NEC (일본) - 3.5

 

원문
"AI Research Rankings 2019 : Insights from NeurIPS and ICML, Leading AI Conferences"

 

저자
Gleb Chuvpilo

AI Research Rankings 2019: Insights from NeurIPS and ICML, Leading AI Conferences

이어지는 글 : [2019] AI 연구 랭킹(후편)

[2019] AI 연구 랭킹(후편)