LangChain을 활용한 Tool Calling # 3

자연어 처리와 대화형 AI 모델을 통해 복잡한 문제를 해결하려면, 단순히 언어를 이해하는 것을 넘어서 다양한 툴을 활용할 필요가 있습니다. LangChain은 이러한 필요성을 충족시킬 수 있는 프레임워크로, 특히 Tool Calling 기능을 통해 외부 데이터와의 상호작용을 쉽게 만들어 줍니다. 이 글에서는 LangChain을 활용한 Tool Calling의 작동 원리와 실제 사용 방법을 구체적인 예제를 통해 소개하겠습니다.

 

---

 

LangChain이란?

LangChain은 자연어 처리 모델을 좀 더 강력하고 유연하게 사용할 수 있게 도와주는 Python 기반의 오픈소스 프레임워크입니다. 이 프레임워크는 AI 모델과 다양한 외부 도구를 연결하는 데 초점을 맞추고 있어, AI 모델이 API 호출, 데이터베이스 쿼리, 계산 작업 등을 직접 수행하도록 할 수 있습니다. Tool Calling은 이러한 외부 툴들과의 상호작용을 통해 문제를 해결하는 데 사용되는 LangChain의 핵심 기능 중 하나입니다. LangChain에 대한 추가적인 정보는 블로그의 이전 포스트를 참고해주세요.

LLM 애플리케이션 개발 훑어보기 - LangChain #1 Intro 및 QuickStart

 

Tool Calling의 개념

Tool Calling은 말 그대로 특정 작업을 수행할 수 있는 툴을 호출하는 것을 의미합니다. 예를 들어, AI가 날씨 정보를 제공해야 할 때, AI가 직접 날씨 API를 호출하여 사용자가 원하는 정보를 전달하는 방식입니다. LangChain을 통해 LLM(Large Language Model)이 직접 툴을 호출하고, 그 결과를 사용하여 사용자에게 답변을 제공할 수 있습니다. Tool Calling에 대한 추가적인 정보는 블로그의 이전 포스트를 참고해주세요.

LLM 어플리케이션에서의 Tool Calling: AI가 더 똑똑해지는 방법

 

---

 

How to: use chat models to call tools

How to use chat models to call tools | 🦜️🔗 LangChain

 

채팅 모델은 주어진 프롬프트에 "Tool calling"을 통해 응답할 수 있습니다. "Tool calling"이라는 이름이 모델이 직접 어떤 동작을 수행한다는 것을 의미하지만, 실제로는 그렇지 않습니다! 모델은 도구에 대한 인수만 생성하고, 실제로 도구를 실행(또는 실행하지 않음)하는 것은 사용자에게 달려 있습니다.

Tool calling은 모델에서 구조화된 출력을 생성하는 일반적인 기술이며, 도구를 호출할 의도가 없을 때에도 사용할 수 있습니다. 그 사용 사례의 예로는 구조화되지 않은 텍스트에서 추출하는 것이 있습니다.

 

예제

def add(a: int, b: int) -> int:
    """Add two integers.

    Args:
        a: First integer
        b: Second integer
    """
    return a + b


def multiply(a: int, b: int) -> int:
    """Multiply two integers.

    Args:
        a: First integer
        b: Second integer
    """
    return a * b
    
tools = [add, multiply]

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="gpt-4o-mini")

llm_with_tools = llm.bind_tools(tools)

query = "What is 3 * 12?"

llm_with_tools.invoke(query)

 

 

Tool calls

LLM 응답에 도구 호출이 포함되는 경우 도구 호출 개체 목록인 .tool_calls 속성으로 해당 메시지나 메시지 청크에 첨부됩니다. chat models는 여러 도구를 동시에 호출할 수 있습니다. ToolCall은 a tool name, dict of argument values, and (optionally) an identifier를 포함하는 typed dict입니다. 도구 호출이 없는 메시지는 이 속성에 대해 기본적으로 빈 목록이 됩니다.

query = "What is 3 * 12? Also, what is 11 + 49?"

llm_with_tools.invoke(query).tool_calls

 

 

Parsing

원하는 경우 출력 파서가 출력을 추가로 처리할 수 있습니다. 예를 들어, PydanticToolsParser를 사용하여 .tool_calls에 채워진 기존 값을 Pydantic 객체로 변환할 수 있습니다.

from langchain_core.output_parsers import PydanticToolsParser
from pydantic import BaseModel, Field


class add(BaseModel):
    """Add two integers."""

    a: int = Field(..., description="First integer")
    b: int = Field(..., description="Second integer")


class multiply(BaseModel):
    """Multiply two integers."""

    a: int = Field(..., description="First integer")
    b: int = Field(..., description="Second integer")


chain = llm_with_tools | PydanticToolsParser(tools=[add, multiply])
chain.invoke(query)

 

---

 

How to: pass tool outputs to chat models

How to pass tool outputs to chat models | 🦜️🔗 LangChain

일부 모델은 도구 호출이 가능합니다. 즉, 특정 사용자가 제공한 스키마에 맞는 인수를 생성합니다. 이 가이드에서는 이러한 도구 호출을 사용하여 실제로 함수를 호출하고 결과를 모델에 올바르게 다시 전달하는 방법을 보여줍니다.

 

예제

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="gpt-4o-mini")

 

from langchain_core.tools import tool


@tool
def add(a: int, b: int) -> int:
    """Adds a and b."""
    return a + b


@tool
def multiply(a: int, b: int) -> int:
    """Multiplies a and b."""
    return a * b


tools = [add, multiply]

llm_with_tools = llm.bind_tools(tools)

from langchain_core.messages import HumanMessage

query = "What is 3 * 12? Also, what is 11 + 49?"

messages = [HumanMessage(query)]

ai_msg = llm_with_tools.invoke(messages)

print(ai_msg.tool_calls)

messages.append(ai_msg)

 

다음으로, 모델에 채워진 인수를 사용하여 도구 함수를 호출해 보겠습니다!

편리하게도 ToolCall을 사용하여 LangChain 도구를 호출하면 모델에 피드백할 수 있는 ToolMessage가 자동으로 반환됩니다.

for tool_call in ai_msg.tool_calls:
    selected_tool = {"add": add, "multiply": multiply}[tool_call["name"].lower()]
    tool_msg = selected_tool.invoke(tool_call)
    messages.append(tool_msg)

messages

 

마지막으로, 도구 결과를 사용하여 모델을 호출합니다. 모델은 이 정보를 사용하여 원래 쿼리에 대한 최종 답변을 생성합니다.

llm_with_tools.invoke(messages)

 

---

How to: pass run time values to tools

How to pass run time values to tools | 🦜️🔗 LangChain

런타임에만 알려진 도구에 값을 바인딩해야 할 수도 있습니다. 예를 들어, 도구 로직은 요청을 한 사용자의 ID를 사용해야 할 수도 있습니다. 대부분의 경우, 이러한 값은 LLM에서 제어해서는 안 됩니다. 사실, LLM이 사용자 ID를 제어하도록 허용하면 보안 위험이 발생할 수 있습니다. 대신 LLM은 LLM이 제어하도록 의도된 도구의 parameters만 제어해야 하며, 다른 parameters(예: 사용자 ID)는 애플리케이션 논리에 의해 고정되어야 합니다. 이 방법 가이드에서는 모델이 특정 도구 arguments를 생성하여 런타임에 직접 주입하는 것을 방지하는 방법을 보여줍니다.

 

모델에서 arguments 숨기기

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="gpt-4o-mini")

InjectedToolArg 주석을 사용하면 모델에서 생성되지 않아야 하는 user_id와 같은 도구의 특정 매개변수를 런타임에 주입되도록 표시할 수 있습니다.

from typing import List

from langchain_core.tools import InjectedToolArg, tool
from typing_extensions import Annotated

user_to_pets = {}


@tool(parse_docstring=True)
def update_favorite_pets(
    pets: List[str], user_id: Annotated[str, InjectedToolArg]
) -> None:
    """Add the list of favorite pets.

    Args:
        pets: List of favorite pets to set.
        user_id: User's ID.
    """
    user_to_pets[user_id] = pets


@tool(parse_docstring=True)
def delete_favorite_pets(user_id: Annotated[str, InjectedToolArg]) -> None:
    """Delete the list of favorite pets.

    Args:
        user_id: User's ID.
    """
    if user_id in user_to_pets:
        del user_to_pets[user_id]


@tool(parse_docstring=True)
def list_favorite_pets(user_id: Annotated[str, InjectedToolArg]) -> None:
    """List favorite pets if any.

    Args:
        user_id: User's ID.
    """
    return user_to_pets.get(user_id, [])

이러한 도구의 입력 스키마를 살펴보면 user_id가 여전히 나열되어 있는 것을 볼 수 있습니다. 

하지만 도구 호출을 위해 모델에 전달되는 도구 호출 스키마를 살펴보면 user_id가 제거되었습니다.

따라서 도구를 호출할 때 user_id를 전달해야 합니다.

user_id = "123"
update_favorite_pets.invoke({"pets": ["lizard", "dog"], "user_id": user_id})
print(user_to_pets)
print(list_favorite_pets.invoke({"user_id": user_id}))

 

하지만 모델이 도구를 호출하면 user_id 인수가 생성되지 않습니다.

tools = [
    update_favorite_pets,
    delete_favorite_pets,
    list_favorite_pets,
]
llm_with_tools = llm.bind_tools(tools)
ai_msg = llm_with_tools.invoke("my favorite animals are cats and parrots")
ai_msg.tool_calls

 

 

런타임에 arguments 주입

모델에서 생성된 도구 호출을 사용하여 실제로 도구를 실행하려면 user_id를 직접 주입해야 합니다.

from copy import deepcopy

from langchain_core.runnables import chain


@chain
def inject_user_id(ai_msg):
    tool_calls = []
    for tool_call in ai_msg.tool_calls:
        tool_call_copy = deepcopy(tool_call)
        tool_call_copy["args"]["user_id"] = user_id
        tool_calls.append(tool_call_copy)
    return tool_calls


inject_user_id.invoke(ai_msg)

 

이제 우리는 모델, 주입 코드, 실제 도구를 연결하여 도구 실행 체인을 생성할 수 있습니다.

tool_map = {tool.name: tool for tool in tools}


@chain
def tool_router(tool_call):
    return tool_map[tool_call["name"]]


chain = llm_with_tools | inject_user_id | tool_router.map()
chain.invoke("my favorite animals are cats and parrots")

 

user_to_pets 사전을 살펴보면 고양이와 앵무새를 포함하도록 업데이트된 것을 볼 수 있습니다.