누가 NeurIPS 2020에서 AI 연구를 선도하는가?(전편)

저자인 Gleb Chuvpilo 씨는 AI와 로봇의 스타트업에 투자하는 벤처 캐피털 Thundermark Capital에서 관리 파트너를 맡고 있습니다. 그는 최근 Medium에 투고한 기사 "누가 NeurIPS 2020에서 AI 연구를 선도하는가? 리딩 AI 콘퍼런스의 고찰과 AI 연구 랭킹'에서는 NeurlPS 2020의 동향이 자체 지표를 바탕으로 분석되고 있습니다.

ICML과 함께 세계적인 AI 연구 학회인 NeurlPS 2020에서 채택된 1,990 개의 논문에 대해 그는 Nature Index에서 영감을 받은 독자적인 지표(Publication Index : 줄여서 PI - 이 지표의 설명은 기사 본문에서 설명)에 근거하며, 논문을 제출한 기관, 대학, 기업의 동향을 고찰했습니다. 이러한 고찰의 요점은 다음과 같이 정리할 수 있습니다.

 

• Google이 압도적인 선두를 고수.
• 기관 및 기업의 순위를 국적별 점유율로 정리하면, 1위가 미국, 2위가 중국.
• 대학 순위를 국적 점유율로 정리하면 1위가 미국, 2위가 영국.
• PI Top 100 기관에서 한국은 15위에 카이스트, 45위에 서울대, 62위에 삼성이 랭크 인.
• 세계 대학 PI Top 40에서 카이스트가 12위, 서울대가 38위를 차지.
• 한국의 대학인 KAIST가 약진.
• 랭킹 상위기관은 대체로 NeurlPS 2019보다 채택된 논문 수가 증가.
  
  

 

Chuvpilo 씨는 NeurlPS 2019에 관해서도 조사를 실시하였고, NeurlPS 2019와 NeurlPS 2020 순위를 비교하면서 말할 수 있는 것은 순위가 고착화되고 있다는 것입니다. 순위를 유지하는 것만으로도 지금까지 이상의 연구 노력이 요구되며, 랭킹을 상승시키기 위해 상당한 노력이 필요합니다.

 

Neural Information Processing Systems(NeurIPS)는 가장 권위 있는 AI 연구 콘퍼런스 중 하나입니다(다른 하나는 International Conference on Machine Learning(ICML)). 2020 년 NeurIPS의 채택률은 20%로, 9,467 개의 게시물 중 총 1,990 건의 논문이 채택된( 출처 ). 2019 년과 비교하면 게시물은 40% 증가하고 있으며, 2018 ~ 2019 년의 성장과 거의 같습니다. 콘퍼런스 회의록( NeurIPS 2020 )을 이용하여 저자와 소속 기관의 목록을 정리하여 각 기관의 게시 지수를 산출해 보았습니다(Publication Index에 대해서는 아래의 "방법론"섹션 참조). 이 지표를 간단히 설명하면 풀 사이즈 논문 수애 해당합니다. 구글의 발행 인덱스인 128은 구글이 NeurlPS 2020에서 128 개의 풀 사이즈 논문을 발표했다고 해석할 수 있습니다.

방법론

발행 인덱스 방법론은 Nature Index에서 영감을 얻었습니다.

어느 논문에 대한 국가, 지역, 기관의 기여도를 파악하고 그들이 여러 번 계산되지 않도록 하기 위해 Nature Index는 각 논문의 저자 점유율을 고려한 분수 계산(fractional count : FC)을 사용하고 있습니다. 논문마다 사용 가능한 FC의 합계는 1이며, 공동 저자가 동일하게 기여했다고 가정하고 모든 저자 사이에서 공유됩니다. 예를 들어, 10 명의 저자가 있는 논문은 각 저자가 0.1 FC를 받는 것을 의미합니다. 여러 기관에 소속되어 있는 저자의 경우, 저자의 FC는 각 기관에 균등하게 분배됩니다. 한 기관의 총 FC는 각 소속된 저자들의 FC를 합하여 계산됩니다. 이는 국가와 지역에 대해서도 마찬가지이지만 해외에 연구소가 있는 기관 등 복잡한 사정을 감안하여 어느 기관의 해외 연구소에 부착된 FC는 연구를 주도한 국가 / 지역에 가산됩니다.

 

(※ 역주 1) 위의 인용문은 Nature 지 온라인 판에 공개된 기사 "Nature Index 가이드"에서 인용되었습니다.

 

Publication Index와 Nature Index 사이의 유일한 차이점은 Publication Index는 해외 연구소를 (연구를 주도한 국가 / 지역이 아닌) 본사가 있는 국가 / 지역으로 간주한다는 것입니다. 이러한 접근은 논쟁의 여지가 있지만, 지적 재산권과 연구에서 나온 실제 이익의 할당을 본사에 반영시키는 것은, 연구가 진행된 현지 연구실에 돌리는 것보다 바람직하다고 믿고 있습니다.

 

누가 NeurIPS 2020에서 AI 연구를 선도하는가?

NeurIPS 2020에서 AI 연구를 선도하는 세계(산업계와 학계)의 기관 톱 100 ( PI )

1. 구글 (미국) - 128.0
2. 스탠퍼드 대학 (미국) - 67.0
3. MIT (미국) - 61.1
4. UC 버클리 (미국) - 52.4
5. 카네기 멜론 대학 (미국) - 47.3
6. 마이크로 소프트 (미국) - 42.9
7. 옥스퍼드 (영국) - 35.5
8. 칭화 대학 (중국) - 34.5
9. 페이스 북 (미국) - 31.4
10. 프린스턴 (미국) - 28.0
11. ETH (스위스) - 26.6
12. 뉴욕 대학 (미국) - 26.1
13. UT 오스틴 (미국) - 25.7
14. 컬럼비아 대학 (미국) - 25.5
15. KAIST (한국) - 23.8
16. 일리노이 대학 어바나-샴페인 (미국) - 23.6
17. 코넬 대학 (미국) - 23.0
18. EPFL (스위스) - 22.6
19. 하버드 대학 (미국) - 22.3
20. 캠브리지 (영국) - 21.6
21. IBM (미국) - 19.0
22. UCLA (미국) - 18.7
23. UC 샌디에이고 ( 미국) - 18.3
24. 북경 대학 (중국) - 18.1
25. 유니버시티 칼리지 런던 (영국) - 15.5
26. 조지아 공과 대학 (미국) - 15.1
27. 펜실베이니아 대학 (미국) - 14.3
28. 메릴랜드 대학 (미국) - 13.8
29. 미시간 대학교 (미국) - 13.6
30. 토론토 대학 (캐나다) - 13.2
31. 싱가포르 국립대학 (싱가포르) - 12.2
32. NVIDIA (미국) - 11.9
33. 퍼듀 대학교 (미국) - 11.8
34. 화웨이 (중국 ) - 11.7
35. 워싱턴 대학 (미국) - 11.5
36. INRIA (프랑스) - 11.1
37. 듀크 대학 (미국) - 10.7
38. 보스턴 대학 (미국) - 10.3
39. UMass Amherst (미국) - 9.9
40. 남 캘리포니아 대학 (미국) - 9.7
41. 텔 아비브 대학 (이스라엘) - 9.4
42. 임페리얼 칼리지 런던 (영국) - 9.1
43. 상해 교통 대학 (중국) - 9.1
44. 도쿄 (일본) - 8.8
45. 서울 대학 (한국) - 8.8
46. 캘리포니아 공과 대학 (미국) - 8.8
47. 중국 과학 기술 대학 (중국) - 8.4
48. 아마존 (미국) - 8.3
49. 텐센트 (중국) - 8.3
50. 노스 이스턴 대학 (미국) - 8.1
51. 위스콘신 - 매디슨 대학 (미국) - 8.0
52. 시드니 대학 (호주) - 8.0
53. 홍콩 중문 대학 (중국) - 8.0
54. 테크니온 공과 대학 (이스라엘) - 7.8
55. 뮌헨 공과 대학 (독일) - 7.8
56. 텍사스 A & M 대학 (미국) - 7.7
57. 존스 홉킨스 대학 (미국) - 7.6
58. 알리바바 (중국) - 7.6
59. 미라 (캐나다) - 7.5
60. 미네소타 대학 (미국) - 7.3
61. MPI 인텔리전트 시스템즈 (독일) - 7.2
62. 삼성 (한국) - 6.9
63. 맥길 대학 (캐나다) - 6.8
64. 브리티시 컬럼비아 대학 (캐나다) - 6.8
65. 홍콩 과학 기술 대학 (중국) - 6.8
66. 난징 대학 (중국) - 6.6
67 시카고 대학 (미국) - 6.5
68. UC 산타 바바라 (미국) - 6.4
69. 튀빙겐 대학 (독일) - 6.4
70. 럿거스 대학교 (미국) - 6.3
71. 에든버러 대학 (영국) - 6.3
72. ENS 파리 (프랑스) - 6.2
73. 시드니 공과 대학교 (호주) - 6.0
74. KAUST ( 사우디 아라비아) - 5.8
75. 이화학 연구소 (일본) - 5.7
76. 난양 이공대학 (중국) - 5.5
77. 도요타 공업대학 시카고 (미국) - 5.4
78. UC 데이비스 (미국) - 5.3
79. CNRS (프랑스 ) - 5.3
80. 오하이오 주립 대학 (미국) - 5.3
81. 라이스 대학 (미국) - 5.2
82. 저장 대학 (중국) - 5.1
83. 노스 웨스턴 대학 (미국) - 4.9
84. 인디애나 대학 (미국) - 4.9
85. 앨버타 대학 (캐나다) - 4.7
86. 암스테르담 대학 (네덜란드) - 4.7
87. 인텔 (미국) - 4.5
88. MPI 정보학 (독일) - 4.5
89. SUNY 스토니 브룩 (미국) - 4.5
90. 히브리 대학 ( 이스라엘) - 4.5
91. UC 어바인 (미국) - 4.4
92. 웨이즈 연구소 (이스라엘) - 4.4
93. 몬트리올 대학 (캐나다) - 4.4
94. 알토 대학 (핀란드) - 4.4
95. 에콜 폴리 테크닉 (프랑스) - 4.2
96. 어도비 (미국) - 4.1
97. 서쪽 요도 대학 (중국) - 4.1
98. 호주 국립대학 (호주) - 4.
99. 세일즈 포스 (미국) - 4.0
100. KTH 왕립 공과 대학 (스웨덴) - 3.8

 

(※ 역주 2) 위의 PI Top 100 기관 순위를 보면, 미국이 시장 점유율 1위로 49%, 2위가 중국으로 13%. 이 AI 양대 강국의 점유율을 합치면 62%나 됩니다.

 

NeurIPS 2020에서 AI 연구를 선도하는 미국 대학 톱 40 ( PI )

 

1. 스탠퍼드 대학 - 67.0
2. MIT - 61.1
3. UC 버클리 - 52.4
4. 카네기 멜론 대학 - 47.3
5. 프린스턴 - 28.0
6. 뉴욕 대학 - 26.1
7. UT 오스틴 - 25.7
8. 컬럼비아 - 25.5
9. 일리노이 대학 어바나 - 샴페인 - 23.6
10. 코넬 대학 - 23.0
11. 하버드 - 22.3
12. UCLA - 18.7
13. UC 샌디에이고 - 18.3
14. 조지아 공대 - 15.1
15. 펜실베이니아 대학 - 14.3
16. 메릴랜드 대학 - 13.8
17. 미시간 대학교 - 13.6
18. 퍼듀 대학교 - 11.8
19. 워싱턴 대학 - 11.5
20. 듀크 대학 - 10.7
21. 보스턴 대학교 - 10.3
22. UMass Amherst - 9.9
23. 남가주 대학 - 9.7
24. 캘리포니아 공과 대학 - 8.8
25. 노스 이스턴 대학 - 8.1
26. 위스콘신 - 매디슨 대학 - 8.0
27. 텍사스 A & M 대학교 - 7.7
28. 존스 홉킨스 대학 - 7.6
29. 미네소타 대학 - 7.3
30. 시카고 대학 - 6.5
31. UC 산타 바바라 - 6.4
32. 럿거스 대학교 - 6.3
33. 도요타 공업대학 시카고 - 5.4
34. UC 데이비스 - 5.3
35. 오하이오 주립 대학 - 5.3
36. 라이스 대학교 - 5.2
37. 노스 웨스턴 대학 - 4.9
38. 인디애나 대학 - 4.9
39. SUNY 스토니 브룩 - 4.5
40. UC 어바인 - 4.4

 

NeurIPS 2020에서 AI 연구를 선도하는 세계 대학 톱 40 ( PI )

 

1. 스탠퍼드 (미국) - 67.0
2. MIT (미국) - 61.1
3. UC 버클리 (미국) - 52.4
4. 카네기 멜론 대학 (미국) - 47.3
5. 옥스퍼드 (영국) - 35.5
6. 칭화 대학 (중국) - 34.5
7. 프린스턴 (미국) - 28.0
8. ETH (스위스) - 26.6
9. 뉴욕 대학 (미국) - 26.1
10. UT 오스틴 (미국) - 25.7
11. 컬럼비아 대학 (미국) - 25.5
12. KAIST (한국) - 23.8
13. 일리노이 대학 어바나 - 샴페인 (미국) - 23.6
14. 코넬 대학 (미국) - 23.0
15. EPFL (스위스) - 22.6
16. 하버드 대학 (미국) - 22.3
17. 캠브리지 ( 영국) - 21.6
18. UCLA (미국) - 18.7
19. UC 샌디에이고 (미국) - 18.3
20. 북경 대학 (중국) - 18.1
21. 유니버시티 칼리지 런던 (영국) - 15.5
22. 조지아 공과 대학 (미국) - 15.1
23. 펜실베이니아 대학 (미국) - 14.3
24. 메릴랜드 대학 (미국) - 13.8
25. 미시간 대학교 (미국) - 13.6
26. 토론토 대학 (캐나다) - 13.2
27. 싱가포르 국립대학 (싱가포르) - 12.2
28. 퍼듀 대학교 (미국) - 11.8
29. 워싱턴 대학 (미국) - 11.5
30. INRIA (프랑스) - 11.1
31. 듀크 대학 (미국) - 10.7
32. 보스턴 대학 (미국) - 10.3
33. UMass Amherst (미국) - 9.9
34. 남가주 대학 (미국) - 9.7
35. 텔아비브 대학 (이스라엘) - 9.4
36. 임페리얼 칼리지 런던 (영국) - 9.1
37. 상해 교통 대학 (중국) - 9.1
38. 동경대학 (일본) - 8.8
39. 서울대학 (한국) - 8.8
40. 캘리포니아 공과 대학 (미국) - 8.8

 

NeurIPS 2020에서 AI 연구를 선도하는 글로벌 기업 톱 20 ( PI )

 

1. 구글 (미국) - 128.0
2. 마이크로 소프트 (미국) - 42.9
3. 페이스 북 (미국) - 31.4
4. IBM (미국) - 19.0
5. NVIDIA (미국) - 11.9
6. 화웨이 (중국) - 11.7
7. 아마존 (미국) - 8.3
8. 텐센트 (중국) - 8.3
9. 알리바바 (중국) - 7.6
10. 삼성 (한국) - 6.9
11. 인텔 (미국) - 4.5
12. 어도비 (미국) - 4.1
13. 세일즈포스 (미국) - 4.0
14. 애플 (미국) - 3.7
15. 퀄컴 (미국) - 3.5
16. 보쉬 (독일) - 3.5
17. 바이두 (중국) - 3.4
18. SenseTime (중국) - 3.0
19. OpenAI ( 미국) - 2.9
20. 크리테오 (프랑스) - 2.7