「ChatGPT」로부터 대답을 잘 끌어내기 위한 OpenAI의 공식 가이드

 

대화형 AI 「ChatGPT」는 인간의 말을 입력받아 자연스러운 문장을 돌려줍니다만, 인간이 요구하는 대답을 잘 이끌어내기 위해서는 약간의 요령이 필요합니다. 

ChatGPT 개발사인 OpenAI는 'GPT 모범 사례'라는 제목으로, ChatGPT에 사용되는 모델 'GPT'에서 더 나은 결과를 얻기 위한 6가지 전략을 함께 공개했습니다.

GPT best practices - OpenAI API
https://platform.openai.com/docs/guides/gpt-best-practices

OpenAI가 말하는 전략은 다음의 6가지입니다.

1. 명확한 지시 작성
2. 참고 텍스트를 제공
3. 복잡한 작업을 더 간단한 하위 작업으로 분할
4. GPT에 생각할 시간을 제공
5. 외부 도구의 사용
6. 성능 테스트를 실시

◆ 1：명확한 지시 작성
관련성 높은 답변을 얻으려면 사용자는 문장을 입력할 때 중요한 정보를 올바르게 제공해야 합니다. 예를 들어 '대통령은 누구인가?'라는 질문보다는 '2021년 멕시코 대통령은 누구인가? 선거는 얼마나 자주 진행됩니까?'와 같이 물어보는 편이, 질문자의 의도를 확실하게 GPT에 전달할 수 있습니다.

또한 삼중따옴표( 예시 : """abc""") 나 XML 태그 등의 구분 기호를 사용하면 GPT가 문자를 어떻게 처리해야 하는지 알기 쉬워집니다.

예를 들어
"논문을 요약하고 제목을 붙이시오. 제목 : 여기에 제목 입력, 요약 : 여기에 요약 입력"

위와 같이, 사용자의 의도가 무엇이고, GPT는 대답을 어떻게 출력해야 할지 가르쳐 주는 것이 중요합니다. 작업이 복잡할수록 명확하게 지시하는 것이 중요합니다.

또한, 구체적인 절차를 지정하는 것도 도움이 됩니다.

예를 들어
"1단계, 사용자가 삼중따옴표로 묶은 문장을 제공하므로, 이 문장에 『개요:』라는 접두사를 붙여 한 문장으로 정리하시오"
"2단계, 1단계의 개요를 스페인어로 번역해, 「번역：」이라고 하는 접두사를 붙이시오」라는 느낌의 지시입니다.
그 밖에도, 「약 50 단어로 요약」, 「3개의 글머리 기호로 요약」등, 구체적인 숫자를 제시하는 것도 유효합니다.

◆ 2：참고 텍스트를 제공
「다음 논문에 기재된 문장만을 사용해 질문에 대답하시오」처럼, 체계적인 정보를 GPT에 제공할 수 있으면, GPT는 제공된 정보를 사용하여 대답을 구성하려 한다는 것. 그러나 GPT에 한 번에 입력 가능한 문장의 수가 제한되어 있기 때문에 OpenAI가 제공하는 "임베딩"이라는 관련성 검색 시스템을 사용하는 것이 좋습니다.

◆ 3 : 복잡한 작업을 더 간단한 하위 작업으로 분할
사용자의 모호하고 복잡한 질문을 그대로 묻는 것이 아니라, 질문을 분할하여 GPT에 전달함으로써 에러율을 낮게 억제하는 것이 가능합니다. 예를 들어 "인터넷을 다시 사용할 수 있도록 하고 싶다"라는 질문을 받았을 경우, "케이블은 연결되어 있어? 재부팅은 시도했어?"등의 대답을 차례로 출력하도록 가르치는 것으로, 문제를 단계적으로 해결해 나갈 수 있습니다.

◆ 4 : GPT에 생각할 시간을 제공
GPT에 "어떤 과제에 대해 학생들에게서는 이런 답변이 있었습니다. 이게 맞습니까?"라고 질문하기보다는, "학생으로부터 이런 대답이 있었습니다. 너 자신의 대답을 생각해보고 나서, 학생의 대답이 올바른지 판단해 주세요"와 같이, GPT에게 생각할 시간을 주는 편이 실수가 적어진다는 것.

◆ 5：외부 도구의 사용
GPT만으로는 긴 문장이나 계산식을 처리할 수 없기 때문에, 2번에 언급했던 「임베딩」이나 외부 서비스 API를 사용하여 대답을 출력시키는 것도 효과적입니다.

◆ 6 : 성능 테스트를 실시
기존 질문으로 원하는 대답을 얻은 상태에서, 다른 새로운 질문을 추가했을 경우, 기존의 대답 품질이 저하되어 버릴 가능성이 있습니다. 이러한 변경이 시스템을 좋게 하는지 나쁘게 하는지(성능에 미치는 영향)를 구별하기 어려운 경우, OpenAI Evals 등의 평가 툴을 사용해, 효과적인 질문의 변경(파생)을 검토할 수 있습니다.