GPT-4는 재무제표로 미래 수익을 예측한다는 점에서 인간 분석가보다 우수하다는 연구 결과

 

OpenAI가 개발하는 대규모 언어 모델(LLM)의 GPT-4는 이미 일부 분야에서 인간의 능력을 초과하는 것으로 나타났습니다. 그런 GPT-4가 전문 분석가와 필적하는 정확도의 재무제표 분석을 수행할 수 있음이 입증되었습니다.

Financial Statement Analysis with Large Language Models by Alex Kim, Maximilian Muhn, Valeri V. Nikolaev :: SSRN
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4835311

The future of financial analysis: How GPT-4 is disrupting the industry, according to new research | VentureBeat

The future of financial analysis: How GPT-4 is disrupting the industry, according to new research

Research shows OpenAI's GPT-4 'outperforms' humans in financial statement analysis, but skeptics aren't convinced - SiliconANGLE

Research shows OpenAI's GPT-4 outperforms humans in financial statement analysis, but skeptics aren't convinced - SiliconANGLE

시카고 대학 Booth 스쿨 오브 비즈니스 연구 그룹(University of Chicago Booth School of Business, 약칭 Chicago Booth: 시카고 대학의 경영대학원)이 "LLM의 재무제표 분석능력"을 검증하는 연구를 실시했습니다.

이 연구는 기업의 재무제표만 LLM에 입력하여 미래 수익을 예측합니다.

테스트에서 '익명화된 대차대조표'와 '콘텍스트가 전혀 없는 손익계산서'만 제공된 경우라도 GPT-4는 인간 분석가를 능가하는 예측 정밀도를 실현함에 성공했습니다. 연구그룹은 "LLM의 예측 정밀도가 제한적으로 훈련된 최첨단 기계 학습(ML) 모델의 성능과 동등한 것으로 밝혀졌습니다. LLM의 예측은 트레이닝 메모리에서 나오는 것이 아닙니다. LLM은 기업의 미래 성과에 대한 유용한 이야기적 통찰력을 창출하는 것으로 밝혀졌습니다."라고 코멘트 

아래 그래프는 왼쪽이 '기업 수익 예측의 정확성 점수'를 나타내고 오른쪽은 '기업 수익 예측의 F 값(이항 분류의 통계 분석에서 정확도를 측정하는 지표 중 하나)'을 보여줍니다. 시카고 대학의 연구에서는 수익 예측의 정확성과 F 값 모두에서 GPT-4가 인간 분석가를 능가하는 점수를 터치하고 있습니다.

이 연구에 있어서 중요한 포인트는 「사고의 연쇄 (CoT) 프롬프트」라고 불리는, 중간적인 추론 단계를 개입시켜 복잡한 추론 능력을 실현하는 프롬프트를 이용하는 것입니다.

CoT 프롬프트를 채택함으로써 GPT-4는 금융 분석가의 분석 프로세스를 에뮬레이트할 수 있어, 추세를 확인하고 비율을 계산하고 정보를 통합하여 예측을 형성할 수 있게 된다는 것. 위의 그래프에서도 CoT 프롬프트를 이용했을 때의 스코어인 「GPT (with CoT)」 쪽이, CoT 프롬프트를 이용하지 않은 「GPT (without CoT)」보다 높습니다. 또한, CoT 프롬프트를 이용하여 GPT-4에 수익을 예측시킬 경우의 예측 정밀도는 60% 정도이지만, 인간 애널리스트의 예측 정밀도는 53~57%이며, CoT 프롬프트를 이용하면 인간 분석가보다 정확한 수익 예측이 가능하다는 것이 밝혀졌습니다.

반응형

연구 그룹은 "종합하자면 우리의 연구 결과는 LLM이 의사 결정에 중심적인 역할을 할 수 있음을 시사한다."라고 결론 지었습니다. 연구그룹은 LLM의 장점에 대해, '엄청난 지식 기반'과 '패턴과 비즈니스 컨셉을 인식하는 능력에서 유래한 불완전한 정보'에서도 직관적인 추론을 수행할 수 있다는 점이라고 지적합니다.

아래 그림은 LLM이 기업 수익을 예측할 때의 흐름을 나타낸 것으로, 대차 대조표와 손익 계산서를 GPT-4 Turbo에 입력하고 CoT 프롬프트를 사용하여 수익을 예측합니다. 구체적으로는 트렌드 분석 · 비율 분석 · 이론적 해석을 실행하고 있습니다.

지금까지 언어 모델에 있어서 수치의 분석은 큰 과제 중 하나였기 때문에, 테크놀로지 미디어인 VentureBeat는「이 연구 결과는 주목할 만하다」라고 말합니다.

논문 저자 중 한 명인 Alex Kim은 "언어 모델의 가장 어려운 영역 중 하나가 숫자 영역입니다. 이 영역에서 언어 모델은 계산을 수행하고 인간처럼 해석하며 복잡한 판단을 내려야 합니다. LLM은 텍스트 작업에서 효과적이지만 수치를 이해하기 위해 필요한 깊은 수치 추론이나 인간의 마음이 가지고 있는 유연성이 부족합니다. 우리는 CoT 프롬프트를 이용한 GPT-4의 수익 예측이 기존의 LLM을 뛰어넘는 성과를 내고 있음을 강조합니다."라고 코멘트.

VentureBeat는 "범용 언어 모델이 하나의 분야에 특화된 ML 모델의 성능에 필적하고, 인간 전문가를 뛰어넘는 능력을 보여준다는 것은 금융 분야에서 LLM의 파괴적인 가능성을 보여준다."라고 언급하고, 인간의 전문지식과 판단력이 곧바로 AI로 대체될 수 있다고는 생각하기 어렵지만, GPT-4와 같은 강력한 툴이 분석가의 작업을 대폭 강화 · 효율화할 수 있는 것은 분명하고, 향후 수년간 재무제표 분석 분야에서 큰 변화가 일어날 수 있다고 지적했습니다.