ChatGPT에 지시할 때, '처음'과 '마지막'에 요점을 쓰면 더 나은 답변이 돌아온다

 

ChatGPT와 같은 AI의 핵심인 대규모 언어 모델(LLM)에 긴 콘텍스트가 있는 지침을 입력할 때, '처음'과 '마지막'에 중요한 정보를 쓰면 더 나은 답변을 얻을 수 있습니다. 이런 연구 성과를 미국 스탠퍼드 대학의 연구팀이 2023년 7월 6일에 논문으로 발표했습니다.

https://arxiv.org/abs/2307.03172

Lost in the Middle: How Language Models Use Long Contexts

주로 트랜스포머 기술을 채용한 LLM에, 법률이나 과학에 관한 문서, 대화의 이력, 검색 엔진이나 데이터베이스 등의 정보를 처리시킬 때, 정밀도를 어떻게 높이는가 하는 관점에서 실시한 연구로, AI에 대한 문장의 지시, 소위 「프롬프트」를 최적화하는 기술인 「프롬프트 엔지니어링」에 관한 것이라고도 말할 수 있습니다.

중요한 정보를 지시의 중간에 넣으면 정확도가 크게 저하

연구팀에 의한 조사 결과 LLM에 입력한 지시의 콘텍스트와 관련된 정보를 처음이나 마지막에 배치한 경우 가장 높은 정밀도의 답변을 얻을 수 있는 것으로 나타났습니다. 그러나 관련 정보를 지시의 중간 부분에 넣으면 정확도가 크게 떨어졌습니다.

애당초 장문에 서툴다

또한 논문에서는 LLM은 원래 장문에 서툴다는 특징도 다시 보여주고 있습니다.

입력한 콘텍스트가 길어질수록 처리 성능은 꾸준히 저하되고 있으며, 지시 속에서 콘텍스트와 관련된 정보를 꺼내 응답 생성에 이용하는 데 어려움을 겪고 있는 것으로 나타났습니다.

또한 긴 콘텍스트를 받아들일 수 있도록 확장한 LLM이, 그렇지 않은 모델에 비해 입력 내용의 처리에 반드시 뛰어난 것도 아님이 밝혀졌습니다. 예를 들면 ChatGPT가 채용하는 「GPT-3.5-Turbo」가 처리할 수 있는 길이의 콘텍스트를 확장판인 「GPT-3.5-Turbo (16K)」에 처리시켜도 성능에 차이가 보이지 않았다고 합니다.

GPT-3.5-Turbo(16K)를 외부 제품이나 서비스에서 이용하기 위해 드는 요금은 GPT-3.5-Turbo 보다 약간 높은 만큼, 쓸데없이 드는 돈을 아껴주는 정보입니다.