UPD. 16 апреля 2024 Сбер открыл доступ к функционалу ещё для двух своих моделей, и теперь он доступен для GigaChat-preview, GigaChat-Plus-preview или GigaChat-Pro-preview. Запросы с функциями работают не очень стабильно, поэтому, если видите, что ответ долго не приходит, не стесняйтесь обновлять запрос.
Недавно в документации к API GigaChat появился раздел, посвящённый работе с функциями, аналогично тому, как это реализовано в ChatGPT. Идея заключается в том, что модели передаётся информация о доступных ей функциях, и в зависимости от запроса пользователя модель может обратиться к этим фунциям и добавить их результат к промту для генерации ответа.
Таким образом, можно не загружать в промт весь объём данных, а вызывать только необходимый фрагмент, необходимый ассистенту для работы, и экономить количество токенов на генерацию.
Если вы попросите Chat GPT продать вам function calling, то получите примерно следующее:
Функция вызова в Chat GPT открывает новые возможности для разработчиков и предпринимателей, позволяя создавать более интеллектуальные и интерактивные приложения. С этой функцией вы можете:
Автоматизировать задачи: Используйте Chat GPT для автоматизации рутинных задач, таких как отправка электронных писем или обновление баз данных.
Интегрировать с внешними API: Подключайте вашего бота к внешним сервисам, чтобы получать актуальную информацию, например, о погоде или курсах валют.
Улучшать пользовательский опыт: Создавайте более глубокое взаимодействие с пользователями, предоставляя им полезные данные и услуги прямо в чате.Используйте функцию вызова в Chat GPT, чтобы вывести ваши проекты на новый уровень и предложить клиентам уникальный и ценный опыт. Свяжитесь с нами сегодня, чтобы узнать больше
GigaChat же так хорошо function calling не продаёт, функционал этот ещё не доступен в gigachain и доступен через API только для модели "GigaChat-Pro-preview", поэтому я хочу поделиться своим первым опытом его использования.
На странице с документацией вас ожидает множество json схем, которые которые нужно добавить к запросам для вызова функций, а здесь мы рассмотрим, как внедрить вызов функций в свой код.
В моём примере, помимо информации о погоде, ассистент будет получать из гугл-таблицы цены на запрошенные продукты, и передавать их пользователю.
За основу я взял код из этого видео, рекомендую ознакомиться с ним для начала изучения работы с API GigaChat.
Начнём с авторизации.
from google.colab import userdata
# auth token API GigaChat
giga_key = userdata.get('GIGA_CHAT_KEY')
# id гугл-таблицы из которой будем получать данные
price_id = userdata.get('PRICE_ID')С помощью auth token получим временный токен для обращения к API, токен действителен 30 минут:
import requests
import uuid
def get_token(auth_token, scope='GIGACHAT_API_CORP'):
"""
Выполняет POST-запрос к эндпоинту, который выдает токен.
Параметры:
- auth_token (str): токен авторизации, необходимый для запроса.
- область (str): область действия запроса API. По умолчанию — «GIGACHAT_API_PERS».
Возвращает:
- ответ API, где токен и срок его "годности".
"""
# Создадим идентификатор UUID (36 знаков)
rq_uid = str(uuid.uuid4())
# API URL
url = "https://ngw.devices.sberbank.ru:9443/api/v2/oauth"
# Заголовки
headers = {
'Content-Type': 'application/x-www-form-urlencoded',
'Accept': 'application/json',
'RqUID': rq_uid,
'Authorization': f'Basic {auth_token}'
}
# Тело запроса
payload = {
'scope': scope
}
try:
# Делаем POST запрос с отключенной SSL верификацией
# (можно скачать сертификаты Минцифры, тогда отключать проверку не надо)
response = requests.post(url, headers=headers, data=payload, verify=False)
return response
except requests.RequestException as e:
print(f"Ошибка: {str(e)}")
return -1Если пользуетесь GigaChat как физическое лицо, то укажите аргумент scope=«GIGACHAT_API_PERS»
response = get_token(giga_key)
if response != 1:
print(response.text)
giga_token = response.json()['access_token']{"access_token":"token","expires_at":1712650905952}Запрос вернёт токен и срок его истечения в формате временной метки в миллисекундах, для наглядности преобразуем его в формат даты и времени:
from datetime import datetime
# Временная метка в миллисекундах
timestamp_ms = response.json()["expires_at"]
# Преобразование в секунды
timestamp_s = timestamp_ms / 1000
# Преобразование в объект datetime
date_time = datetime.utcfromtimestamp(timestamp_s)
print(date_time.strftime('%Y-%m-%d %H:%M:%S'))2024-04-09 08:21:45Как я уже писал раннее, вызов функций доступен только для модели "GigaChat-Pro-preview", необходимо проверить что эта модель доступна на вашем тарифе:
import requests
url = "https://gigachat.devices.sberbank.ru/api/v1/models"
payload={}
headers = {
'Accept': 'application/json',
'Authorization': f'Bearer {giga_token}'
}
response = requests.request("GET", url, headers=headers, data=payload, verify=False)
print(response.text){"object":"list","data":[{"id":"GigaChat","object":"model","owned_by":"salutedevices"},{"id":"GigaChat-Plus","object":"model","owned_by":"salutedevices"},{"id":"GigaChat-Pro","object":"model","owned_by":"salutedevices"},{"id":"GigaChat-Pro-preview","object":"model","owned_by":"salutedevices"}]}Если "GigaChat-Pro-preview" отображается в вашем списке, то можно переходить к следующему этапу.
Определим пользовательские функции:
def weather_forecast(location):
"""
Получение погоду в Москве
"""
return "в Москве +13"Самая простая функция, которая будет выдавать фиксированную строку при любом обращении, но у неё на входе есть аргумент location, сейчас объясню для чего необходимо.
Функции передаются в модель в виде json схемы:
{
"name": "weather_forecast",
"description": "Возвращает температуру на заданный период",
"parameters": {
"type": "object",
"properties": {
"location": {
"type": "string",
"description": "Местоположение, например, название города"
},
"format": {
"type": "string",
"enum": [
"celsius",
"fahrenheit"
],
"description": "Единицы изменерия температуры"
},
"num_days": {
"type": "integer",
"description": "Период, для которого нужно вернуть прогноз"
}
},
"required": [
"location",
"num_days"
]
}
}В этой схеме есть поле "properties", в котором указываются параметры, которые модель должна сгенерировать для этой функции, и "required", в котором указывается список обязательных аргументов. В случае, когда функция не требует аргументов на входе, в значениях этих полей по идее нужно указать пустой массив и пустой список, но иногда в таких случаях GigaChat начинает самостоятельно генерировать аргументы, которая функция не будет готова принимать, например для для функции с погодой у меня появился аргумент 'city':
{'choices': [{'message': {'content': '', 'role': 'assistant', 'function_call': {'name': 'weather_forecast', 'arguments': {'city': 'Москва'}}}, 'index': 0, 'finish_reason': 'function_call'}], 'created': 1712654212, 'model': 'GigaChat-Pro-preview:2.2.25.3', 'object': 'chat.completion', 'usage': {'prompt_tokens': 389, 'completion_tokens': 15, 'total_tokens': 404, 'system_tokens': 25}}Чтобы таких ситуаций не возникало, я использую фиктивные аргументы, которые можно передавать не боясь, что она сломает функцию, поэтому здесь я передаю аргумент location несмотря что на выходе у меня фиксированная строка.
Определим ещё пару функций:
def get_prices(products):
if isinstance(products, str):
products = [products]
return json.dumps(price_list[price_list['вид продукции'].isin(products)][['вид продукции', 'цена за 1 кг, рубли РФ']].to_dict(orient='records'), ensure_ascii=False)Для этой функции будет генерироваться список подходящих продуктов, для которых будут получены цены из прайс-листа.
def get_full_pricelist(products):
"""
Получение информации по всей продукции
"""
return json.dumps(price_list[['вид продукции', 'цена за 1 кг, рубли РФ']].to_dict(orient='records'), ensure_ascii=False)Функция при запросе выдаёт все доступные цены из прайслиста, здесь так же используется фиктивный параметр 'products'. Создадим json схему функций для модели:
giga_functions = [
{
"name": "weather_forecast",
"description": "Возвращает температуру в Москве",
"parameters": {
"type": "object",
"properties": {
"location": {
"type": "string",
"description": "Местоположение, например, название города"
}
},
"required": ["location"]
},
"return_parameters": {
"type": "object",
"properties": {
"location": {
"type": "string",
"description": "Местоположение, например, название города"
},
"temperature": {
"type": "integer",
"description": "Температура для заданного местоположения"
},
"forecast": {
"type": "array",
"items": {
"type": "string"
},
"description": "Описание погодных условий"
},
"error": {
"type": "string",
"description": "Возвращается при возникновении ошибки. Содержит описание ошибки"
}
}
}
},
{
"name": "get_full_pricelist",
"description": "Возвращает цены на всю имеющуюуся продукцию",
"parameters": {
"type": "object",
"properties": {
"products": {
"type": "string",
"description": f"список наиболее подходящих продуктов из списка {price_list['вид продукции'].to_list()}"
}
},
"required": ["products"]
},
"return_parameters": {
"type": "object",
"properties": {
"product": {
"type": "string",
"description": "Наименование продукции"
},
"price": {
"type": "integer",
"description": "Цена продукции в рублях РФ"
},
"error": {
"type": "string",
"description": "Возвращается при возникновении ошибки. Содержит описание ошибки"
}
}
}
},
{
"name": "get_prices",
"description": "Возвращает цену на запрашиваемый продукт",
"parameters": {
"type": "object",
"properties": {
"products": {
"type": "string",
"description": f"список наиболее подходящих продуктов из списка {price_list['вид продукции'].to_list()}"
}
},
"required": [
"products"
]
},
"few_shot_examples": [
{
"request": "сколько стоит лопатка?",
"params": {
"products": ["Свиная лопатка"]
}
}
],
"return_parameters": {
"type": "object",
"properties": {
"products": {
"type": "string",
"description": "Наименование продукции"
},
"price": {
"type": "integer",
"description": "Цена для данного вида продукции"
},
"error": {
"type": "string",
"description": "Возвращается при возникновении ошибки. Содержит описание ошибки"
}
}
}
}
]Здесь описанием аргумента функции ''get_prices является f-строка со списком из продуктов, которые есть в прайслисте, чтобы модель генерировала корректные аргументы для обращения к функции, это почти всегда работает, но исключения конечно бывают.
Ну и наконец создадим функцию, которая примет вопрос пользователя, при необходимости вызовет какую-либо функцию, и сгенерирует ответ.
import requests
import json
def get_chat_completion(auth_token, user_message, conversation_history=None):
"""
Отправляет POST-запрос к API чата для получения ответа от модели GigaChat в рамках диалога.
Параметры:
- auth_token (str): Токен для авторизации в API.
- user_message (str): Сообщение от пользователя, для которого нужно получить ответ.
- conversation_history (list): История диалога в виде списка сообщений (опционально).
Возвращает:
- response (requests.Response): Ответ от API.
- conversation_history (list): Обновленная история диалога.
"""
# URL API, к которому мы обращаемся
url = "https://gigachat.devices.sberbank.ru/api/v1/chat/completions"
# Если история диалога не предоставлена, добавляем в неё системный промт
if conversation_history is None or conversation_history == []:
conversation_history = [
{
"role": "system",
"content": "ты менеджер по продажам, твоя задача сообщать цены из прайс-листа и погоду"
}
]
# Добавляем сообщение пользователя в историю диалога
conversation_history.append({
"role": "user",
"content": user_message
})
# json схемы доступных функций
giga_functions = [
{
"name": "weather_forecast",
"description": "Возвращает температуру в Москве",
"parameters": {
"type": "object",
"properties": {
"location": {
"type": "string",
"description": "Местоположение, например, название города"
}
},
"required": ["location"]
},
"return_parameters": {
"type": "object",
"properties": {
"location": {
"type": "string",
"description": "Местоположение, например, название города"
},
"temperature": {
"type": "integer",
"description": "Температура для заданного местоположения"
},
"forecast": {
"type": "array",
"items": {
"type": "string"
},
"description": "Описание погодных условий"
},
"error": {
"type": "string",
"description": "Возвращается при возникновении ошибки. Содержит описание ошибки"
}
}
}
},
{
"name": "get_full_pricelist",
"description": "Возвращает цены на всю имеющуюуся продукцию",
"parameters": {
"type": "object",
"properties": {
"products": {
"type": "string",
"description": f"список наиболее подходящих продуктов из списка {price_list['вид продукции'].to_list()}"
}
},
"required": ["products"]
},
"return_parameters": {
"type": "object",
"properties": {
"product": {
"type": "string",
"description": "Наименование продукции"
},
"price": {
"type": "integer",
"description": "Цена продукции в рублях РФ"
},
"error": {
"type": "string",
"description": "Возвращается при возникновении ошибки. Содержит описание ошибки"
}
}
}
},
{
"name": "get_prices",
"description": "Возвращает цену на запрашиваемый продукт",
"parameters": {
"type": "object",
"properties": {
"products": {
"type": "string",
"description": f"список наиболее подходящих продуктов из списка {price_list['вид продукции'].to_list()}"
}
},
"required": [
"products"
]
},
"few_shot_examples": [
{
"request": "сколько стоит лопатка?",
"params": {
"products": ["Свиная лопатка"]
}
}
],
"return_parameters": {
"type": "object",
"properties": {
"products": {
"type": "string",
"description": "Наименование продукции"
},
"price": {
"type": "integer",
"description": "Цена для данного вида продукции"
},
"error": {
"type": "string",
"description": "Возвращается при возникновении ошибки. Содержит описание ошибки"
}
}
}
}
]
# Подготовка данных запроса в формате JSON
payload = json.dumps({
"model": "GigaChat-Pro-preview",
"messages": conversation_history,
"function_call": "auto",
"functions": giga_functions,
"temperature": 0.5,
"top_p": 0.1,
"n": 1,
"stream": False,
"max_tokens": 32000,
"repetition_penalty": 1,
"update_interval": 0
})
# Заголовки запроса
headers = {
'Content-Type': 'application/json',
'Accept': 'application/json',
'Authorization': f'Bearer {auth_token}'
}
# словарь с функциями для обработки запроса
available_functions = {
"weather_forecast": weather_forecast,
"get_full_pricelist": get_full_pricelist,
"get_prices": get_prices
}
# Выполнение POST-запроса и возвращение ответа
try:
response = requests.post(url, headers=headers, data=payload, verify=False)
response_data = response.json()
# проверяем ответ модели на наличие обращений к функциям
try:
# json с информацией о необходимой функции
func_calls = response_data['choices'][0]['message']['function_call']
# имя вызываемой функции
func_name = func_calls['name']
# аргументы вызываемой функции
func_args = func_calls['arguments']
# достаём нужную функцию из словаря
function_to_call = available_functions[func_name]
# добавляем в историю сообщений ответ модели с вызовом функции, БЕЗ ЭТОГО МОДЕЛЬ НЕ ОТВЕТИТ
conversation_history.append(response_data['choices'][0]['message'])
# добавляем в историю сообщений результаты функции
conversation_history.append(
{
"role": "function",
"content": function_to_call(**func_args),
"name": func_name
}
)
# обновляем данные
payload = json.dumps({
"model": "GigaChat-Pro-preview",
"messages": conversation_history,
"function_call": "auto",
"functions": giga_functions,
"temperature": 0.5,
"top_p": 0.1,
"n": 1,
"stream": False,
"max_tokens": 32000,
"repetition_penalty": 0.5,
"update_interval": 0
})
# повторяем зарос
response = requests.post(url, headers=headers, data=payload, verify=False)
response_data = response.json()
# for func in func_calls:
except:
pass
# Добавляем ответ модели в историю диалога
conversation_history.append({
"role": "assistant",
"content": response_data['choices'][0]['message']['content']
})
return response, conversation_history
except requests.RequestException as e:
# Обработка исключения в случае ошибки запроса
print(f"Произошла ошибка: {str(e)}")
return None, conversation_historyПримеры получаемых ответов:
conversation_history = []
response, conversation_history = get_chat_completion(giga_token, "какая погода в Москве?", conversation_history)[{'role': 'system',
'content': 'ты менеджер по продажам, твоя задача сообщать цены из прайс-листа и погоду'},
{'role': 'user', 'content': 'какая погода в Москве?'},
{'content': '',
'role': 'assistant',
'function_call': {'name': 'weather_forecast',
'arguments': {'location': 'Москва'}}},
{'role': 'function', 'content': 'в Москве +13', 'name': 'weather_forecast'},
{'role': 'assistant', 'content': 'В Москве сейчас +13°С.'}]узнали о погоде
conversation_history = []
response, conversation_history = get_chat_completion(giga_token, "дай цены по всей продукции", conversation_history)[{'role': 'system',
'content': 'ты менеджер по продажам, твоя задача сообщать цены из прайс-листа и погоду'},
{'role': 'user', 'content': 'дай цены по всей продукции'},
{'content': '',
'role': 'assistant',
'function_call': {'name': 'get_full_pricelist',
'arguments': {'products': 'всю'}}},
{'role': 'function',
'content': '[{"вид продукции": "Тушка индейки самец", "цена за 1 кг, рубли РФ": "295"}, ... , {"вид продукции": "Свиная шея", "цена за 1 кг, рубли РФ": "400"}]',
'name': 'get_full_pricelist'},
{'role': 'assistant',
'content': 'Цены на всю продукцию следующие: Тушка индейки самец - 295 рублей за 1 кг, ... , Свиная шея - 400 рублей за 1 кг.'}]получили цены из прайслиста
conversation_history = []
response, conversation_history = get_chat_completion(giga_token, "сколько стоит рагу и какая погода в москве?", conversation_history)[{'role': 'system',
'content': 'ты менеджер по продажам, твоя задача сообщать цены из прайс-листа и погоду'},
{'role': 'user', 'content': 'сколько стоит рагу и какая погода в москве?'},
{'content': '',
'role': 'assistant',
'function_call': {'name': 'get_prices',
'arguments': {'products': 'Рагу индейки (монолит), Рагу индейки (лоток)'}}},
{'role': 'function', 'content': '[]', 'name': 'get_prices'},
{'role': 'assistant',
'content': 'Извините, но я не могу предоставить вам информацию о цене рагу. Могу ли я помочь вам с чем-то ещё?'}]Здесь модель сгенерировала аргумент строкой, а не списком, поэтому продукты не нашлись в датафрейме, этот случай можно обработать. Другое дело, что здесь модель вызывает только одну функцию, а не две, как требует контекст. Впрочем не надо забывать, что функционал находится на этапе 'preview' и это скорее всего улучшат.
Вот такой мой первый опыт использования вызова функций в API GigaChat, делитесь своими идеями/мнениями/советами на данную тему, весь код выложу на гитхаб и ещё раз поделюсь видео, с которого я начал своё знакомство c API GigaChat.
Автор статьи: Сергей Романов
