Google이 대규모 언어 모델 'PaLM 2'를 발표, 이미 25개의 Google 서비스에 도입

 

Google이 대규모 언어 모델(LLM) 'PaLM'의 차세대 버전이 되는 'PaLM 2(Pathways Language Model)'를 발표했습니다. PaLM 2는 이미 Google의 다양한 서비스에 도입되었으며 채팅 AI Bard에서도 Palm 2가 이미 사용되고 있다고 합니다.

Google I/O 2023
https://io.google/2023/intl/ko/

Google I/O 2023

Google launches PaLM 2, its next-gen large language model | TechCrunch

Google adding Cisco, Microsoft and Zoom (audio) conferencing to Android Auto

"Google I / O 2023"에서 Google은 Palm 2를 발표했습니다.
이것은 OpenAI의 GPT-4와 경쟁하는 LLM(Large Language Model)입니다.

◆ 추론

PaLM 2는 복잡한 작업을 더 간단한 하위 작업으로 분해할 수 있으며 이전 LLM보다 인간 언어의 뉘앙스를 더 잘 이해할 수 있습니다. 예를 들면, 문자 그대로의 의미가 아니라, 애매하고 비유적인 의미를 이해할 필요가 있는 수수께끼나 관용구의 이해에도 뛰어나다는 것.

◆ 다국어 번역

Palm 2는 병렬 다국어 텍스트와 기존의 Palm보다 훨씬 큰 다양한 언어의 코퍼스로 사전 학습을 받습니다. 이를 통해 Palm 2는 다국어 작업이 뛰어나며 Google의 수석 연구 이사인 슬라브 페트로프는 "PaLM에 비해 크게 개선되었다"라고 설명. 구체적으로 Palm 2는 다양한 언어의 관용구를 이해할 수 있으며 어려운 독일어의 고유 문구 등도 직역뿐 아니라 올바른 이해가 가능합니다.

◆ 코딩

Palm 2는 대량의 웹 페이지, 소스 코드, 그 외의 데이터 세트로 사전 트레이닝되고 있기 때문에, Python이나 JavaScript 등의 범용적인 언어에서 뛰어날 뿐만 아니라, Prolog, Fortran, Verilog 등의 특수 언어 코딩에도 대응하고 있습니다.

이러한 Palm 2는 이미 Google 검색을 포함한 25가지 Google 서비스에 이미 도입되었습니다.

PaLM 2의 기능을 설명하는 연구 논문에서 Google 엔지니어는 Palm 2의 언어 숙련도가 "그 언어를 가르칠 정도로 충분하다"라고 주장하고 있으며, 그 이유는 Palm 2 학습에 영어 이외의 텍스트가 많이 포함되어 있기 때문이라고 합니다.

PaLM 2가 도입된 서비스 중 하나가 채팅 AI Bard입니다. Bard의 경우, Palm 2의 도입에 의해 코딩 기능의 향상이나, 언어 서포트 강화 등이 실현되고 있습니다. 또, Bard는 Palm 2의 도입에 의해 20개 이상의 프로그래밍 언어에 대응합니다.

또한 Bard 출력과 사용자 측 프롬프트 모두 텍스트뿐만 아니라 이미지도 지원합니다.

Bard의 출력 내용을 Gmail이나 Google 문서로 가져올 수 있습니다.

또한 Bard에서는 곧 확장 기능이 출시될 예정이며 Google 이외의 서비스를 이용할 수 있습니다. 예를 들어, Adobe의 제네레이티브 AI인 Firefly 와의 통합이 이미 발표되었으며, Bard를 통해 Firefly를 사용할 수 있습니다.

또한 Bard는 180개가 넘는 국가와 지역에서 이용 가능하며, 곧 일본어와 한국어를 포함한 40개 언어에 대응할 예정입니다.

이 외에도 Google 문서도구, Google 프레젠테이션, Google 스프레드시트 등 Google Workspace 앱의 개선에도 Palm 2가 사용됩니다.

개발에 엄청난 시간과 리소스가 필요한 다른 LLM과 마찬가지로 Palm 2는 단일 제품이 아닌 제품군과 유사하며 다양한 버전이 소비자 설정 및 기업 측 설정에 따라 확장됩니다. 구체적으로는 Gecko, Otter, Bison, Unicorn의 4가지 크기의 버전이 배포될 예정이며, 기업 고객을 위해 특정 작업을 수행할 수 있도록 도메인별 데이터를 기반으로 미세 조정될 계획입니다.

PaLM 2 중에서 가장 경량인 「Gecko」는, 스마트폰 등의 단말상에서 오프라인에서도 동작 가능할 정도로 사이즈가 작아졌으며, 초당 20 토큰(약 16~17 워드 상당)을 처리할 수 있습니다. Google은 Gecko 테스트에 어떤 하드웨어를 사용했는지 밝히지 않았으며, "최신 스마트 폰으로"라고 설명했습니다.