LLM(대형 언어 모델) 어플리케이션이 갈수록 더 많은 일들을 할 수 있게 되면서, "Tool calling" 기능은 그중에서도 가장 주목할 만한 혁신 중 하나로 자리 잡고 있습니다. 이 기능은 AI가 외부의 도구나 서비스에 접근하여 문제를 해결하거나 정보를 가져오는 능력을 의미합니다. 이번 글에서는 Tool calling이 무엇인지, 어떻게 LLM 어플리케이션의 활용성을 확장하는지에 대해 살펴보겠습니다.
Tool Calling이란?
Tool calling은 LLM이 외부 도구나 API와 상호작용할 수 있는 기능입니다. LLM은 매우 강력하지만, 단독으로는 모든 작업을 수행하는 데 한계가 있습니다.
LLM은 훈련된 데이터에 포함된 지식만을 활용할 수 있기 때문에 훈련 이후에 발생한 새로운 사건이나 정보를 알지 못합니다. 또한, LLM은 확률적으로 답변을 생성하기 때문에 고정된 규칙을 따르는 작업, 예를 들어 수학 계산 같은 경우에는 부정확할 수 있습니다.
또한, LLM을 다른 시스템과 프로그램적으로 연결하여 'Plug-and-Play' 방식으로 사용하기에는 어려움이 있습니다. LLM은 자연어를 사용하여 소통하기 때문에 해석의 여지가 많아 모호할 수 있지만, 다른 소프트웨어나 애플리케이션은 사전 정의된 고정된 형식의 코드와 인터페이스를 통해 소통합니다.
이러한 문제를 해결하기 위해 Tool calling은 LLM과 다른 시스템이 상호작용할 수 있는 공통 프로토콜을 제공합니다. 이 절차는 주로 다음과 같은 방식으로 이루어집니다:
- 애플리케이션은 LLM에게 사용할 수 있는 함수와 그 함수의 사용 지침을 제공합니다.
- LLM은 사용자 요청에 따라 해당 함수를 사용할지 결정하거나, 때로는 특정 함수를 사용하도록 지정될 수 있습니다.
- LLM이 함수를 사용하기로 결정하면, 함수 지침에 따라 함수가 어떻게 사용되어야 하는지 명시합니다.
- 선택된 함수는 어플리케이션에 의해 호출되고 그 결과가 LLM에 제공되어 추가 상호작용이 필요한 경우 사용됩니다.
LLM이 이 프로토콜을 이해하고 따르는 방법은 다양합니다. 중요한 것은 LLM이 이러한 도구 호출을 가능하게 하는 프롬프트 엔지니어링이나 사전에 내장된 템플릿을 활용한다는 점입니다. Tool calling은 LLM이 자체 데이터베이스에만 의존하지 않고, 외부 소스에서 최신 정보나 특정 기능을 가져올 수 있도록 해줍니다. 예를 들어 계산기 기능을 호출하거나, 웹사이트에서 최신 정보를 검색하거나, 데이터베이스에서 특정한 데이터를 추출하는 일이 가능해집니다.
간단히 말해, Tool calling은 LLM이 내부 지식만으로는 해결할 수 없는 문제를 풀기 위해 외부 자원을 '도구'처럼 활용하는 방법입니다. 이는 마치 인간이 특정 작업을 할 때 필요한 도구를 사용하는 것과 유사합니다.
Tool Calling의 작동 방식
Tool calling은 주로 다음과 같은 방식으로 작동합니다:
- 사용자 요청 분석: LLM은 사용자가 요청한 내용을 분석하여 해당 작업에 맞는 도구가 필요한지 판단합니다. 예를 들어, "오늘의 날씨는?"이라는 질문이 들어오면, LLM은 이것이 실시간 데이터를 필요로 하는 요청임을 인식합니다.
- 도구 호출: 요청이 확인되면, LLM은 미리 설정된 외부 도구(API 등)를 호출하여 필요한 데이터를 가져옵니다. 이 단계에서 LLM은 도구와의 인터페이스를 통해 필요한 매개변수를 전달하고 응답을 받습니다.
- 응답 생성: 외부 도구로부터 받은 데이터를 바탕으로 사용자에게 알맞은 형태로 응답을 생성하여 제공합니다. 이렇게 함으로써 사용자 경험이 훨씬 풍부해지고, LLM의 유용성이 극대화됩니다.
Tool Calling의 장점
실시간성: LLM이 최신 정보를 다룰 수 있도록 해줍니다. 정적 데이터로 한정되지 않고, 필요한 경우 실시간 데이터를 가져와 더 정확한 답변을 제공합니다.
기능 확장성: 훈련 데이터에서 벗어난 복잡한 작업이나 도메인 특화 작업을 외부 도구와 연계하여 수행할 수 있습니다.
자동화된 워크플로우 지원: 반복적인 작업이나 특정 프로세스를 자동화함으로써 사용자가 LLM과 상호작용할 때 생산성을 크게 향상시킬 수 있습니다.
RAG 와는 어떻게 다를까?
Tool calling과 RAG(Retrieval-Augmented Generation)는 모두 LLM의 기능을 확장하는 중요한 방법이지만 그 접근 방식이 다릅니다. Tool calling은 LLM이 외부 도구나 API를 호출하여 특정 작업을 수행하는 방식인 반면, RAG는 외부 데이터베이스에서 정보를 검색하고 이를 활용하여 답변을 생성하는 방식입니다.
RAG는 특히 많은 양의 정보를 검색하고 요약하는 데 강점을 가지며, 훈련 데이터에 포함되지 않은 정보를 실시간으로 검색하여 보다 풍부하고 정확한 답변을 제공합니다. 반면 Tool calling은 정보 검색을 넘어 실제 작업(예: 계산 수행, 이메일 전송 등)을 수행할 수 있도록 함으로써 더 다양한 기능을 지원합니다.
Tool calling은 LLM의 한계를 넘어 더 똑똑하고 유용한 AI를 만드는 데 중요한 역할을 하고 있습니다. 이 기능은 AI가 단순히 지식을 전달하는 것을 넘어서, 실제 작업을 수행하는 진정한 도우미로 발전하게 하는 핵심 요소입니다. 앞으로 더 다양한 도구와의 연동이 가능해지면서, LLM의 응용 범위는 더욱 확장될 것입니다.
예를 들어, 의료 진단 도구와의 연계로 환자 데이터 분석을 돕거나, 금융 서비스와 연계해 고객 맞춤형 금융 컨설팅을 제공하는 등, 다양한 산업 분야에서의 응용 가능성을 기대할 수 있습니다.
Example: OpenAI CookBook
OpenAI CookBook에서 소개하는 Tool calling의 실제 적용 사례는 쇼핑 어시스턴트, 고객 서비스 에이전트, 그리고 인터랙티브 예약 경험입니다.
쇼핑 어시스턴트
쇼핑 어시스턴트는 사용자가 e-커머스 사이트를 탐색하면서 제품 데이터를 구조화된 데이터베이스에서 가져와 추천을 제공하고, 사용자가 관심 있는 제품을 찾으면 이를 장바구니에 추가하는 역할을 합니다. 이를 위해, 제품 데이터베이스를 쿼리하고, 특정 제품에 대한 리뷰나 재료, 크기 등의 추가 정보를 가져오며, 장바구니에 항목을 추가하는 도구가 필요합니다. 이 과정에서 사용되는 함수들은 다음과 같습니다:
- get_product_recommendations: 필터를 기반으로 제품을 추천합니다.
- get_product_details: 특정 제품에 대한 추가 세부 정보를 가져옵니다.
- add_to_cart: 사용자를 대신하여 제품을 장바구니에 추가합니다.
[
{
"type": "function",
"function": {
"name": "get_product_recommendations",
"description": "Searches for products matching certain criteria in the database",
"parameters": {
"type": "object",
"properties": {
"categories": {
"description": "categories that could be a match",
"type": "array",
"items": {
"type": "string",
"enum": [
"coats & jackets",
"accessories",
"tops",
"jeans & trousers",
"skirts & dresses",
"shoes"
]
}
},
"colors": {
"description": "colors that could be a match, empty array if N/A",
"type": "array",
"items": {
"type": "string",
"enum": [
"black",
"white",
"brown",
"red",
"blue",
"green",
"orange",
"yellow",
"pink",
"gold",
"silver"
]
}
},
"keywords": {
"description": "keywords that should be present in the item title or description",
"type": "array",
"items": {
"type": "string"
}
},
"price_range": {
"type": "object",
"properties": {
"min": {
"type": "number"
},
"max": {
"type": "number"
}
},
"required": [
"min",
"max"
],
"additionalProperties": false
},
"limit": {
"type": "integer",
"description": "The maximum number of products to return, use 5 by default if nothing is specified by the user"
}
},
"required": [
"categories",
"colors",
"keywords",
"price_range",
"limit"
],
"additionalProperties": false
}
}
},
{
"type": "function",
"function": {
"name": "get_product_details",
"description": "Fetches more details about a product",
"parameters": {
"type": "object",
"properties": {
"product_id": {
"type": "string",
"description": "The ID of the product to fetch details for"
}
},
"required": [
"product_id"
],
"additionalProperties": false
}
}
},
{
"type": "function",
"function": {
"name": "add_to_cart",
"description": "Add items to cart when the user has confirmed their interest.",
"parameters": {
"type": "object",
"properties": {
"items": {
"type": "array",
"items": {
"type": "object",
"properties": {
"product_id": {
"type": "string",
"description": "ID of the product to add to the cart"
},
"quantity": {
"type": "integer",
"description": "Quantity of the product to add to the cart"
}
},
"required": [
"product_id",
"quantity"
],
"additionalProperties": false
}
},
"required": [
"items"
],
"additionalProperties": false
}
}
}
}
]
고객 서비스 에이전트
고객 서비스 에이전트는 e-커머스 사이트에서 사용자가 구매 후 도움을 받을 수 있도록 돕습니다. 주문 관련 질문에 답변하거나, 반품 및 환불에 대한 회사 정책을 안내하며, 반품 처리를 돕고 상태 업데이트를 제공합니다. 이를 위해 주문 데이터베이스에서 세부 정보를 가져오고, 사용자가 주문 번호를 모를 경우에는 최근 주문 내역을 조회할 수 있어야 하며, FAQ 검색을 통해 일반적인 질문에 응답하고 반품 처리를 위한 도구와 반품 상태를 확인하는 기능도 필요합니다. 이 과정에서 사용되는 함수들은 다음과 같습니다:
- get_order_details: 특정 주문에 대한 세부 정보를 가져옵니다.
- get_user_orders: 특정 사용자의 최근 주문 내역을 가져옵니다.
- search_faq: 사용자의 질문에 대한 답변을 찾기 위해 FAQ를 검색합니다.
- process_return: 반품을 처리하고 반품 라벨을 생성합니다.
- get_return_status: 반품의 상태를 확인합니다.
[
{
"type": "function",
"function": {
"name": "get_order_details",
"description": "Fetches details about a specific order",
"parameters": {
"type": "object",
"properties": {
"order_id": {
"type": "string",
"description": "The ID of the order to fetch details for"
}
},
"required": [
"order_id"
],
"additionalProperties": false
}
}
},
{
"type": "function",
"function": {
"name": "get_user_orders",
"description": "Fetches the last orders for a given user",
"parameters": {
"type": "object",
"properties": {
"user_id": {
"type": "string",
"description": "The ID of the user to fetch orders for"
},
"limit": {
"type": "integer",
"description": "The maximum number of orders to return, use 5 by default and increase the number if the relevant order is not found."
}
},
"required": [
"user_id", "limit"
],
"additionalProperties": false
}
}
},
{
"type": "function",
"function": {
"name": "search_faq",
"description": "Searches the FAQ for an answer to the user's question",
"parameters": {
"type": "object",
"properties": {
"query": {
"type": "string",
"description": "The question to search the FAQ for"
}
},
"required": [
"query"
],
"additionalProperties": false
}
}
},
{
"type": "function",
"function": {
"name": "process_return",
"description": "Processes a return and creates a return label",
"parameters": {
"type": "object",
"properties": {
"order_id": {
"type": "string",
"description": "The ID of the order to process a return for"
},
"items": {
"type": "array",
"description": "The items to return",
"items": {
"type": "object",
"properties": {
"product_id": {
"type": "string",
"description": "The ID of the product to return"
},
"quantity": {
"type": "integer",
"description": "The quantity of the product to return"
}
},
"required": [
"product_id",
"quantity"
],
"additionalProperties": false
}
}
},
"required": [
"order_id",
"items"
],
"additionalProperties": false
}
}
},
{
"type": "function",
"function": {
"name": "get_return_status",
"description": "Finds the status of a return",
"parameters": {
"type": "object",
"properties": {
"order_id": {
"type": "string",
"description": "The ID of the order to fetch the return status for"
}
},
"required": [
"order_id"
],
"additionalProperties": false
}
}
}
]
인터랙티브 예약 경험
인터랙티브 예약 경험에서는 사용자가 식사하거나 머무를 장소를 찾기 위해 웹사이트를 이용하며, 사용자가 선호 사항을 언급하면 웹사이트는 지도에 추천 장소를 표시합니다. 사용자가 관심 있는 장소를 찾으면 예약이 자동으로 진행됩니다. 이 과정에서 사용자의 선호 사항에 따라 추천 정보를 가져오고 이를 지도에 핀으로 표시하며, 해당 장소의 이용 가능 여부를 조회하고 예약을 진행하는 기능이 필요합니다. 이 과정에서 사용되는 함수들은 다음과 같습니다:
- get_recommendations: 사용자의 선호 사항에 기반하여 추천을 제공합니다.
- show_on_map: 지도에 추천 장소를 핀으로 표시합니다.
- fetch_availability: 특정 장소의 이용 가능 여부를 조회합니다.
- create_booking: 사용자를 대신해 예약을 진행합니다.
[
{
"type": "function",
"function": {
"name": "get_recommendations",
"description": "Fetches recommendations based on the user's preferences",
"parameters": {
"type": "object",
"properties": {
"type": {
"type": "string",
"description": "The type of place to search recommendations for",
"enum": ["restaurant", "hotel"]
},
"keywords": {
"type": "array",
"description": "Keywords that should be present in the recommendations",
"items": {
"type": "string"
}
},
"location": {
"type": "string",
"description": "The location to search recommendations for"
}
},
"required": [
"type",
"keywords",
"location"
],
"additionalProperties": false
}
}
},
{
"type": "function",
"function": {
"name": "show_on_map",
"description": "Places pins on the map for relevant locations",
"parameters": {
"type": "object",
"properties": {
"pins": {
"type": "array",
"description": "The pins to place on the map",
"items": {
"type": "object",
"properties": {
"name": {
"type": "string",
"description": "The name of the place"
},
"coordinates": {
"type": "object",
"properties": {
"latitude": { "type": "number" },
"longitude": { "type": "number" }
},
"required": [
"latitude",
"longitude"
],
"additionalProperties": false
}
},
"required": [
"name",
"coordinates"
],
"additionalProperties": false
}
}
},
"required": [
"pins"
],
"additionalProperties": false
}
}
},
{
"type": "function",
"function": {
"name": "fetch_availability",
"description": "Fetches the availability for a given place",
"parameters": {
"type": "object",
"properties": {
"place_id": {
"type": "string",
"description": "The ID of the place to fetch availability for"
}
}
}
}
},
{
"type": "function",
"function": {
"name": "create_booking",
"description": "Creates a booking on the user's behalf",
"parameters": {
"type": "object",
"properties": {
"place_id": {
"type": "string",
"description": "The ID of the place to create a booking for"
},
"booking_details": {
"anyOf": [
{
"type": "object",
"description": "Restaurant booking with specific date and time",
"properties": {
"date": {
"type": "string",
"description": "The date of the booking, in format YYYY-MM-DD"
},
"time": {
"type": "string",
"description": "The time of the booking, in format HH:MM"
}
},
"required": [
"date",
"time"
]
},
{
"type": "object",
"description": "Hotel booking with specific check-in and check-out dates",
"properties": {
"check_in": {
"type": "string",
"description": "The check-in date of the booking, in format YYYY-MM-DD"
},
"check_out": {
"type": "string",
"description": "The check-out date of the booking, in format YYYY-MM-DD"
}
},
"required": [
"check_in",
"check_out"
]
}
]
}
},
"required": [
"place_id",
"booking_details"
],
"additionalProperties": false
}
}
}
]
How-to: LangChain Tool Calling
LangChain을 사용한 Tool calling은 LLM을 실질적으로 활용하는 데 있어 강력한 프레임워크를 제공합니다. LangChain은 다양한 도구와의 연계를 쉽게 만들어 주며, 이를 통해 복잡한 작업을 자동화하거나 외부 데이터와의 통합을 가능하게 합니다. Tool calling 기능은 LangChain의 핵심적인 구성 요소 중 하나로, LLM이 단순한 대화형 모델을 넘어 다양한 작업을 수행할 수 있도록 돕습니다.
Key Concepts
- Tool Creation: @tool 데코레이터를 사용하여 도구를 생성합니다. 도구는 함수와 그 스키마의 연관성을 나타냅니다.
- Tool Binding: 생성된 도구는 Tool calling을 지원하는 모델에 연결되어야 합니다. 이를 통해 모델은 도구에 대한 인식과 해당 도구가 필요로 하는 입력 스키마를 알 수 있게 됩니다.
- Tool Calling: 모델은 필요에 따라 도구를 호출하고, 도구의 입력 스키마에 맞게 응답이 이루어지도록 보장합니다.
- Tool Execution: 도구는 모델이 제공한 인수를 사용하여 실행됩니다.
Recommended usage
다음은 Tool calling을 사용하는 권장 워크플로우를 설명하는 의사 코드입니다. 생성된 도구들은 .bind_tools() 메서드에 리스트 형태로 전달됩니다. 이렇게 바인딩된 모델은 평소와 같이 호출할 수 있으며, 도구 호출이 필요한 경우 모델의 응답에는 해당 도구 호출 인수가 포함됩니다. 이 도구 호출 인수는 직접적으로 도구에 전달되어 실행됩니다.
# Tool creation
tools = [my_tool]
# Tool binding
model_with_tools = model.bind_tools(tools)
# Tool calling
response = model_with_tools.invoke(user_input)
1) Tool creation
Tool을 생성하는 데 권장되는 방법은 @tool 데코레이터를 사용하는 것입니다.
from langchain_core.tools import tool
@tool
def multiply(a: int, b: int) -> int:
"""Multiply a and b."""
return a * b
2) Tool binding
다양한 모델 제공자들이 도구 호출 기능을 지원합니다. LangChain의 핵심 개념은 도구와 모델을 연결하기 위한 표준화된 인터페이스를 제공한다는 점입니다. .bind_tools() 메서드를 사용하여 특정 모델이 호출할 수 있는 도구를 지정할 수 있습니다.
model_with_tools = model.bind_tools(tools_list)예를 들어, multiply라는 함수를 도구로 만들어 도구 호출을 지원하는 모델에 바인딩하는 과정을 생각해 볼 수 있습니다.
def multiply(a: int, b: int) -> int:
"""Multiply a and b.
Args:
a: first int
b: second int
"""
return a * b
llm_with_tools = tool_calling_model.bind_tools([multiply])
3) Tool calling
Tool calling의 핵심 원칙 중 하나는 입력의 관련성에 따라 모델이 도구를 사용할지 여부를 결정한다는 점입니다. 모델은 항상 도구를 호출할 필요가 없습니다. 예를 들어, 관련 없는 입력이 주어진 경우, 모델은 도구를 호출하지 않을 것입니다:
result = llm_with_tools.invoke("Hello world!")이 경우 결과는 자연어로 된 모델의 응답을 포함하는 AIMessage가 될 것입니다(예: "Hello!"). 그러나 도구와 관련된 입력을 전달하면, 모델은 이를 호출해야 합니다:
result = llm_with_tools.invoke("What is 2 multiplied by 3?")이전과 마찬가지로 출력 결과는 AIMessage가 될 것입니다. 하지만 도구가 호출된 경우, 결과에는 tool_calls 속성이 포함됩니다. 이 속성은 도구 실행에 필요한 모든 정보를 포함하며, 도구 이름과 입력 인수도 여기에 포함됩니다.
result.tool_calls
{'name': 'multiply', 'args': {'a': 2, 'b': 3}, 'id': 'xxx', 'type': 'tool_call'}
4) Tool execution
Tool은 Runnable 인터페이스를 구현하기 때문에 직접 호출될 수 있습니다(예: tool.invoke(args)). LangGraph는 미리 구축된 구성 요소들(예: ToolNode)을 제공하여 사용자를 대신해 도구를 자주 호출합니다.
Template: Qwen2.5의 Function Calling Templates
기본적으로 function calling 또는 tool calling의 경우, llm의 시스템 메세지에 스키마를 포함합니다. 아래는 Qwen2.5의 function calling template 예시입니다.
<|im_start|>system
You are Qwen, created by Alibaba Cloud. You are a helpful assistant.
Current Date: 2024-09-30
# Tools
You may call one or more functions to assist with the user query.
You are provided with function signatures within <tools></tools> XML tags:
<tools>
{"type": "function", "function": {"name": "get_current_temperature", "description": "Get current temperature at a location.", "parameters": {"type": "object", "properties": {"location": {"type": "string", "description": "The location to get the temperature for, in the format \"City, State, Country\"."}, "unit": {"type": "string", "enum": ["celsius", "fahrenheit"], "description": "The unit to return the temperature in. Defaults to \"celsius\"."}}, "required": ["location"]}}}
{"type": "function", "function": {"name": "get_temperature_date", "description": "Get temperature at a location and date.", "parameters": {"type": "object", "properties": {"location": {"type": "string", "description": "The location to get the temperature for, in the format \"City, State, Country\"."}, "date": {"type": "string", "description": "The date to get the temperature for, in the format \"Year-Month-Day\"."}, "unit": {"type": "string", "enum": ["celsius", "fahrenheit"], "description": "The unit to return the temperature in. Defaults to \"celsius\"."}}, "required": ["location", "date"]}}}
</tools>
For each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:
<tool_call>
{"name": <function-name>, "arguments": <args-json-object>}
</tool_call><|im_end|>
<|im_start|>user
What's the temperature in San Francisco now? How about tomorrow?<|im_end|>
<|im_start|>assistant
<tool_call>
{"name": "get_current_temperature", "arguments": {"location": "San Francisco, CA, USA"}}
</tool_call>
<tool_call>
{"name": "get_temperature_date", "arguments": {"location": "San Francisco, CA, USA", "date": "2024-10-01"}}
</tool_call><|im_end|>
<|im_start|>user
<tool_response>
{"temperature": 26.1, "location": "San Francisco, CA, USA", "unit": "celsius"}
</tool_response>
<tool_response>
{"temperature": 25.9, "location": "San Francisco, CA, USA", "date": "2024-10-01", "unit": "celsius"}
</tool_response><|im_end|>
<|im_start|>assistant
The current temperature in San Francisco is approximately 26.1°C. Tomorrow, on October 1, 2024, the temperature is expected to be around 25.9°C.<|im_end|>
위의 프롬프트를 분리해보면 아래와 같이 이루어져 있습니다.
Best Practices
Tool calling을 효과적으로 활용하기 위해 다음과 같은 모범 사례를 따르는 것이 좋습니다:
구조화된 출력(Structured Outputs) 활성화: strict: "true"로 설정하여 구조화된 출력을 활성화하세요. 구조화된 출력이 켜져 있으면, 모델이 함수 호출을 위해 생성하는 인수가 제공된 JSON Schema와 일치하게 됩니다. 구조화된 출력을 사용하지 않을 경우, 인수의 구조가 항상 올바르다고 보장할 수 없으므로, Pydantic과 같은 검증 라이브러리를 사용하여 인수를 검증하는 것이 좋습니다.
함수 이름과 설명의 직관적인 명명: 모델이 올바른 함수를 호출하지 못한다면, 함수 이름과 설명을 업데이트하여 모델이 언제 각 함수를 선택해야 하는지 더 명확히 이해하도록 해야 합니다. 함수 및 인수 이름을 줄이기 위해 약어나 두문자어를 사용하는 것은 피하세요. 또한, 함수 호출 시점에 대한 자세한 설명을 포함할 수 있습니다. 복잡한 함수의 경우, 모델이 사용자로부터 어떤 인수를 수집해야 하는지 이해할 수 있도록 각 인수에 대한 설명도 포함해야 합니다.
함수 매개변수의 직관적인 명명과 상세한 설명: 함수 매개변수에 대해 명확하고 설명적인 이름을 사용하세요. 필요하다면 설명에서 매개변수의 예상 형식(예: 날짜의 경우 YYYY-mm-dd 또는 dd/mm/yy)을 지정하는 것이 좋습니다.
시스템 메시지에 추가 정보 제공: 시스템 메시지에 명확한 지침을 제공하면 모델의 함수 호출 정확도를 크게 향상시킬 수 있습니다. 예를 들어, 다음과 같은 지침을 통해 모델을 안내할 수 있습니다: "사용자가 주문 상태에 대해 문의할 때, 예를 들어 '내 주문이 어디에 있나요?' 또는 '내 주문이 발송되었나요?'와 같은 질문이 들어오면 check_order_status를 사용하세요." 복잡한 시나리오의 경우, 명확한 컨텍스트를 제공하는 것이 중요합니다. 예를 들어: "schedule_meeting으로 회의를 예약하기 전에 check_availability를 사용하여 사용자의 캘린더에서 이용 가능 여부를 확인하여 중복 예약을 방지하세요."
함수 인수에 가능한 경우 열거형(enum) 사용: 열거형을 사용해 인수의 가능한 값을 제한할 수 있다면, 이는 환각(hallucination)을 줄이는 데 도움이 됩니다. 예를 들어, AI 어시스턴트가 티셔츠 주문을 도울 때, 고정된 사이즈 세트를 사용할 수 있습니다. "s", "m", "l" 등으로 사이즈를 지정해 모델이 이 값을 선택하도록 할 수 있습니다. 특정 구조를 기대하는 경우, 가능한 값을 제한하는 것이 유리합니다.
{
"name": "pick_tshirt_size",
"description": "Call this if the user specifies which size t-shirt they want",
"parameters": {
"type": "object",
"properties": {
"size": {
"type": "string",
"enum": ["s", "m", "l"],
"description": "The size of the t-shirt that the user would like to order"
}
},
"required": ["size"],
"additionalProperties": false
}
}함수의 수를 줄여 정확도 향상: 단일 API 호출에서 사용되는 도구의 수를 20개 이하로 유지하는 것이 좋습니다. 도구가 10-20개 이상 정의된 경우, 모델이 올바른 도구를 선택하는 능력이 감소할 수 있습니다. 많은 수의 커스텀 함수를 선택해야 하는 경우, 도구를 그룹화하거나 멀티 에이전트 시스템을 만드는 방안을 고려해 볼 수 있습니다.
프롬프트 엔지니어링 평가 시스템 설정: 함수 호출을 비단순하게 사용하는 경우, 평가 시스템을 설정하여 올바른 함수가 얼마나 자주 호출되었는지, 다양한 사용자 메시지에 대해 올바른 인수가 얼마나 자주 생성되었는지를 측정하는 것이 좋습니다. 이를 통해 함수 정의와 시스템 메시지에 대한 조정이 통합을 개선하는지 평가할 수 있습니다.
Fine-tuning 사용 고려: 많은 수의 함수가 있거나 복잡하고 미묘한 차이가 있는 함수의 경우, fine-tuning이 함수 호출의 성능을 향상시키는 데 도움이 될 수 있습니다.
'AI > 어플리케이션 개발' 카테고리의 다른 글
| LangChain을 활용한 Tool Calling # 2 (3) | 2024.11.29 |
|---|---|
| LangChain을 활용한 Tool Calling # 1 (2) | 2024.11.29 |
| LLM 애플리케이션 개발 훑어보기 - LangChain #3 Model I/O (1) | 2024.01.23 |
| LLM 애플리케이션 개발 훑어보기 - LangChain #2 LangChain Expression Language (LCEL) (0) | 2024.01.22 |
| LLM 애플리케이션 개발 훑어보기 - LangChain #1 Intro 및 QuickStart (0) | 2024.01.20 |