2. LLM 파라미터

• LLM응답에 사용되는 파라미터들은 LLM응답의 다양성과 일관성을 조절하는 리모콘의 역할을 수행한다.

1. LLM 파라미터들

• Model

  • 응답을 생성할 AI 버전을 선택.

  • 최신 버전 일수록 높은 추론능력을 가지고 있으나 가격이나 응답속도에 차이가 있음

• Response format

  • AI의 응답형식을 지정하는 옵션(JSON / TEXT)

• Function

  • AI가 응답데이터 함수를 사용할 수 있도록 설정하는 메뉴

  • Function Calling 기능과 연계시 사용한다.

• Model configuration

  • Temperature : 창의성 설정. 비율이 높을수록 창의적인 답변을 반환.

  • Max tokens : 최대 토큰수 설정

    • 토큰 : NLP처리시 사용되는 언어의 단위.

    • Tokenizer를 통해 내가 작성한 프롬프트의 토큰 수를 확인할 수 있다.

    • 
  • stop sequences

    • 특정 단어(EX) STOP, 종료)가 나오면 응답을 중지하도록 설정

    • 챗봇 개발시 대화를 종료하는 시퀀스를 만들 때 유용하다.

• Top P

  • AI가 응답시 확률적으로 상위 P%에 해당하는 단어들만 사용하도록 설정

  • 비율이 낮을 수록 확률이 높은 답변만 채택하며, 비율이 높을수록 창의적인 응답이 가능하다.

  • Temperature와 비슷하지만, 보통 Temperature를 너무 높게 설정한 경우 AI가 잘못된 응답을 해줄것을 방지하기 위해 추가로 사용한다.

  • 
• Frequency penalty

  • 동일한 단어나 문장이 반복되지 않도록 페널티 부여하는 옵션

  • 값이 높을수록 응답 생성시 중복된 단어를 사용하지 않는다.

• Presence penalty

  • AI가 새로운 아이디어를 더 적극적으로 제시하도록 유도하는 옵션

  • 값이 높을수록 다양한 주제로 확장 가능

  • 채팅 AI처럼 다양한 주제로 대화를 이어가야 하는 앱을 만들고자 할때는 설정값을 높여준다.

  • 특정 도메인에 특화된 AI를 생성하고자 할때는 주제에 벗어나지 않게 끔 설정값을 낮춰준다.