방대한 과학 지식으로부터 질문에 대답하며 과학 기사나 강의 노트를 만드는 AI「Galactica」를 Meta의 연구자가 일반에 공개

Meta의 연구자가 다양한 질문에 답을 해주는 언어 모델 "Galactica"를 오픈 소스로 일반에 공개했습니다.

Galactica는 단순히 관련 토픽의 기사나 논문 링크를 대답하는 것이 아니라, 던져진 의문에 대한 대답을 생성하고, 그 대답의 생성에 사용된 논문의 인용도 제대로 제시한「오리지널 과학 기사 및 강의 노트」를 만들 수 있습니다.

Galactica Demo
https://galactica.org/

Galactica Demo

Galactica: A Large Language Model for Science
(PDF) https://galactica.org/static/paper.pdf

GitHub - paperswithcode/galai: Model API for GALACTICA

GitHub - paperswithcode/galai: Model API for GALACTICA

Galactica는 다양한 연구 논문과 참고 자료, 지식 기반 등 인류의 과학 지식을 결집시킨 데이터 세트로 훈련되고 있습니다. Galactica는 이 모든 지식을 80GB의 메모리를 가진 NVIDIA A100(NVIDIA DataCenter GPU)에서 처리할 수 있는 1,200억의 파라미터 모델로 압축하고, 입력된 내용에 대한 답변, 또는 지시된 기사를 처음부터 작성합니다. 게다가 이 Galactica의 획기적인 부분은, 대답을 생각하다가 풀 수 없는 계산에 직면하면, 그 자리에서 프로그램을 작성하여 기존의 컴퓨터로 실행한다는 점입니다.

Galactica에 질문하면 어떤 대답이 반환되는지에 대해서는 Galactica의 데모에서 시험해 볼 수 있으며, 다음 영상에 표시된 예를 보면 알 수 있습니다.

트위터에서 즐기는 Papers with Code

 

Galactica에 "wiki article on Multi-Head Attention( 멀티헤드 어텐션에 대한 Wiki 기사)"라고 입력하면

멀티 헤드 어텐션에 대해 설명한 기사가 만들어졌습니다. 본문 내에는 (Vaswani et al., 2017)과 같이 설명의 근거 논문이 인용되어 있습니다.

이번에는「lecture notes on DFT(DFT에 대한 강의 노트)」라고 입력하면

그러자 "In this lecture, (이 강의에서는,)"으로 시작하는 진짜 강의노트 같은 문장이 생성되었습니다. DFT에는 다양한 의미가 있지만 이번에는 밀도 범함수 이론으로 해석된 모양.

문장뿐만 아니라 필요한 수식도 문장에 표시됩니다.

"Jupyter Notebook에서 RDKit을 사용하는 방법"을 질문하면

설명뿐만 아니라 실제로 필요한 코드 예제도 포함되어 있습니다.

한 사용자는 "카리브해에 사는 금색 코의 돌고래에 대해 위키 기사를 써"라고 Galactica에 지시했는데, 실제로 그런 돌고래는 존재하지 않는데도 Galactica는 "칠레 돌고래(학명: Cephalorhynchus eutropia )는 카리브해에서 발견된 돌고래의 일종으로 Cephalorhynchus의 4종 중 1종으로, 칠레 돌고래, 커머슨 돌고래 등과 매우 가까운 종이다."처럼, 실제의 과학 지식을 조합하는 것으로 마치 존재하는 것처럼 보인 위키 기사를 생성했다고 합니다.