LangChain 실습 1 - Prompt

• 응답 디버깅을 위해 LangSmith 연동 먼저 할 것

1. Simple Chain(Prompt+LLM+OutputParser)

• 사용자 입력값을 바탕으로 프롬프트를 생성하고, 생성한 Prompt를 Chain을 통해 LLM에게 전달하고, LLM의 응답결과를 Chain을 통해 Output Parser로 전달하는 과정.

1) PromptTemplate 설정

• PromptTemplate ? 사용자의 입력값을 활용하여 문자열 프롬프트를 만드는 데 사용되는 LangChain 기본 API.

from langchain_core.prompts import PromptTemplate


question = "{location}의 맛집을 10개 이상 추천해주세요. \n ### 응답예시 ### \n 번호. 음식점- 설명"
prompt_template = PromptTemplate.from_template(question)

2) LLM 설정

• 프롬프트를 실행할 LLM 모델 설정

from langchain_openai import ChatOpenAI
llm = ChatOpenAI(api_key=api_key)

3) OutputParser 설정

• LLM응답을 간단한 문자열로 변환하는 응답파서

• 그밖에 JsonParser, PDFParser, ListParser등 변환하고자 하는 데이터에 맞는 다양한 Paraser클래스가 존재한다

• https://python.langchain.com/api_reference/core/output_parsers.html

from langchain_core.output_parsers import StrOutputParser

output_parser = StrOutputParser()

4) Chain 설정

LCEC사용하여 체인 생성

input = {"location":"강남 역삼"}
chain = prompt_template | llm | output_parser

5) Chain 실행

chain.invoke(input)

---

2. Prompt Chaing과 멀티체인

• 복잡한 하나의 문제를 작은 문제로 분할하여 해결하기 위한 방법이다

• 하나의 프롬프트에서 생성된 응답을 다음 프롬프트의 입력으로 사용하여 , 점진적으로 응답내용을 고도화 시키는 방법.

• 각 단계에서 AI가 생성한 출력을 활용하여 더 정교한 답을 도출할 수 있다.

Prompt Chaing 동작방식

1. 첫번째 prompt를 바탕으로 ai에게 요청

2. ai는 응답데이터1을 반환

3. 두번째 프롬프트는 응답데이터1과 두번째 prompt 내용을 합쳐서 ai에게 요청

4. ai는 응답데이터2를 반환

5. 세번째 프롬프트는 응답데이터1,2와 프롬프트 내용을 합쳐서 ai에게 요청

6. ai는 최종 응답 반환.

3. Chain Invoke Methods

• 사용자가 정의한 체인을 실행할 수 있는 메서드들

1) invoke / ainvoke(동기/비동기)

• 체인을 호출하고 결과를 반환하는 함수

chain.invoke(input)

2) stream / astream

• 체인을 호출하고 결과값을 토큰 형태로 스트리밍 하는 함수

for token in chain.stream(input):
    print(token, end="", flush=True)

3) batch / abatch

• 입력 목록에 대해 체인을 호출하고 목록형태로 값을 반환하는 함수

input1 = input
input2 = {"location" : "선릉 압구정"}
chain.batch([input1 , input2])

---

4. PromptTemplate

1) PromptTemplate

• 사용자의 입력값을 활용하여 문자열 프롬프트를 만드는 데 사용되는 LangChain 기본 API.

1. format : 탬플릿에 값을 채워서 문자열을 생성하는 함수

template = "{location}의 맛집을 10개 이상 추천해주세요. \n ### 응답예시 ### \n 번호. 음식점 - 설명"

# PromptTemplate
from langchain_core.prompts import PromptTemplate

prompt = PromptTemplate.from_template(template)
prompt = prompt.format(country="강남")
print(prompt)

2. input_variables : 템플릿 문자열의 변수와 비교하여 올바른 변수를 사용 중인지 유효성 검사를 하기 위해 사용하는 설정

prompt = PromptTemplate.from_template(
    template=template,
    input_variables=["location"] # 템플릿에서 location을 사용하지 않는다면 에러 반환
)
chain = prompt | llm 
chain.invoke({"location":"강남"})

template = "{location1}과 {location2}의 맛집을 10개 이상 추천해주세요. \n ### 응답예시 ### \n 번호. 음식점 - 설명"

prompt = PromptTemplate.from_template(
    template=template,
    #input_variables=["location1","location2"], # 템플릿에서 location을 사용하지 않는다면 에러 반환
    partial_variables={
        "location1": "강남"  # dictionary 형태로 partial_variables를 전달
    },
)
chain = prompt | llm 
chain.invoke({"location2":"김포"})

4. prompt 결합

• PromptTemplate은 문자열 기반 프롬프트를 생성하기 때문에 +연산자를 활용하여 여러 템플릿을 연결할 수 있다.

• 템플릿 + 템플릿 (O) , 템플릿 + 문자열 (O)

template1 = "{location}의 맛집을 10개 이상 추천해주세요. \n ### 응답예시 ### \n 번호. 음식점 - 설명"
prompt1 = PromptTemplate.from_template(template1)

template2 = "\n그 후 맛집이 어떤 유형의 음식을 파는지 알려주세요 EX)양식, 중식"
prompt2 = PromptTemplate.from_template(template2)

template3 = "\n그 후 맛집에서 파는 추천메뉴를 알려주세요."

combined_prompt= (
    prompt1+prompt2+template3
)

chain = combined_prompt | llm 
chain.invoke({"location": '역삼'})

2) ChatPromptTemplate

• 대화목록(Chat)을 입력하여 응답결과를 생성할 때 사용하는 템플릿

• 대화형 프롬프트, 챗봇 개발시 선택하는 프롬프트

• 메세지는 튜플형태로 구성되며 (Role, Message)의 구조로 이루어져 있다.

#ChatPrmoptTemplate
from langchain_core.prompts import ChatPromptTemplate

chat_template = ChatPromptTemplate.from_messages(
    [
        # role, message
        ("system", "당신은 헬스 트레이너입니다. 신규회원에 대해 친절히 상담해주세요."),
        ("human", "반가워요!"),
        ("ai", "안녕하세요! 운동하러 오셨어요?"),
        ("human", "{user_input}"),
    ]
)

#체인 생성
chain = chat_template | llm
chain.invoke({"user_input":"PT 1회 체험 가능한가요?"})

3) MessagePlaceholder

• 입력값으로 대화목록을 넣어야 하는 경우 사용하는 컴포넌트

# MessagePlaceHolder
from langchain_core.prompts import MessagesPlaceholder

chat_template = ChatPromptTemplate.from_messages(
    [
        # role, message
        ("system", "당신은 헬스 트레이너입니다. 신규회원에 대해 친절히 상담해주세요."),
        ("human", "안녕하세요"),
        ("ai", "안녕하세요! 운동하러 오셨어요?"),
        MessagesPlaceholder(variable_name="conversation"), # 대화내용
        ("human", "{user_input}"),
    ]
)

#체인 생성
chain = chat_template | llm
chain.invoke({"user_input":"PT 1회 체험 가능한가요?",
              "conversation" : [
                  ("human", "네!"),
                  ("ai", "왜요?"),
                  ("human", "살빼고 건강해지고 싶어서요!"),
                  ("ai", "PT한번 받아 보는게 어때요?"),
              ]
})

4)FewShotPromptTemplate

• FewShot Prompt로 템플릿 설계시 사용하는 컴포넌트

examples = [
    {
        "question": "세상에서 가장 가난한 왕은?",
        "answer": "최저임금!."
    },
    {
        "question": "오리가 얼면?",
        "answer": "언덕!"
    },
    {
        "question": "김밥이 죽으면 뭐가 될까?",
        "answer": "김밥천국!"
    },
    {
        "question": "고구려가 백제한테 이긴 이유는?",
        "answer": "고구려가 백제보다 ‘고’(高)퀄리티니까!"
    },
    {
        "question": "컴퓨터가 싫어하는 바람은?",
        "answer": "윈도우 업데이트!"
    },
    {
        "question": "소금이 죽으면 뭐가 될까?",
        "answer": "죽염!"
    },
    {
        "question": "일본인이 토끼 주둥이를 보고 하는 말은?",
        "answer": "코Y네!"
    },
]

from langchain_core.prompts import FewShotPromptTemplate

example_prompt = PromptTemplate.from_template("질문: {question}\n{answer}")

# FewShotPromptTemplate을 생성합니다.
prompt = FewShotPromptTemplate(
    examples=examples,              # 사용할 예제들
    example_prompt=example_prompt,  # 예제 포맷팅에 사용할 템플릿
    suffix="질문: {input}",         # 예제 뒤에 추가될 접미사
    input_variables=["input"],      # 입력 변수 지정
)

chain = prompt | llm
chain.invoke({"input": "일본인이 토끼 주둥이를 보고 하는 말은?"}) # 🐰코Y네

5) Example Selector

Microsoft C++ Build Tools - Visual StudioVisual Studio

• 2022

• 주어진 예제들에서 사용자의 입력과 가장 유사한 예제를 선택하도록 도와주는 컴포넌트

• 실습에서 사용할 SemanticSimilarityExampleSelector는 의미적 유사성(Semantic Similarity)을 기준으로 예제를 선택한다.

# ExampleSelector
from langchain_chroma import Chroma
from langchain_core.example_selectors import SemanticSimilarityExampleSelector
from langchain_openai import OpenAIEmbeddings

# SemanticSimilarityExampleSelector 
example_selector = SemanticSimilarityExampleSelector.from_examples(
    examples,            # 사용할 예제들
    OpenAIEmbeddings(),  # 임베딩 모델 -> 의미적 유사성을 측정하기 위해 사용하는 클래스
    Chroma,              # 벡터 저장소 -> 임베딩을 저장할 저장소
    k=1,                # 생성할 예제 수
)

# 새로운 질문에 대해 가장 유사한 예제를 선택합니다.
question = "섹시한 소금은?" # 요염
selected_examples = example_selector.select_examples({"question": question})

print(f"입력과 가장 유사한 예제: {question}") # 소금이 죽으면? 죽염
for example in selected_examples:
    print(f'question:\n{example["question"]}')
    print(f'answer:\n{example["answer"]}')
    
# FewShotPromptTemplate에 ExampleSelector추가
prompt = FewShotPromptTemplate(
    example_selector=example_selector,
    example_prompt=example_prompt,
    suffix="Question:\n{question}\nAnswer:",
    input_variables=["question"],
)

chain = prompt | llm
chain.invoke(
    {"question": "섹시한 소금은?"}
)

• 유사도 분석에 대해서 여기에 설명하기

6) Langchain Hub를 활용한 Prompt 형상관리

• https://docs.smith.langchain.com/old/hub/dev-setup

---