Comments 11
Ответ зависит еще от seed'a и модель могла бы правильно ответит, но не в этот раз.
>> При наличии достаточно мощной GPU
насколько мощной?
Замечу, что модель (как и любые другие инструктивные модели) критична к формату промпта.
В этом случае он должен быть примерно таким:
<s>system
Ты — Сайга, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им.</s>
<s>user
Текст: {context}
Вопрос: {question}</s>
<s>bot
Вот ответ на ваш вопрос длиной не более 10 слов:
А, ну и на CPU это тоже вполне работает. См. демо: https://huggingface.co/spaces/IlyaGusev/saiga_mistral_7b_gguf
Это аналог f-строки, только с возможностью передавать строку, как зависимую переменную, с последующей передачей ей аргумента.
Не очень понятно зачем для этого использовать langchain.PromptTemplate когда в стандартные питоновские строки умеют то же самое:
my_string = "{some_arg} some text {another_arg}"
print(my_string.format(some_arg="I'm an arg", another_arg="Hi"))
А насколько большой промпт так можно указывать?
Sign up to leave a comment.
Русский LLM-помощник (saiga) с кэшем, используя RAG (Retrieval-Augmented Generation)