Вот так выглядело с F16 версией. Примерно 4-6 секунд на один токен уходило.

По поводу сравнения с mixtral, я запускал, ещё раз, 16бит и Q8_0, и обе работают на голову выше по качеству, чем mixtral/mistral, просто несравненно лучше.
16 гигабайт не хватит, возможно какие то сильно квантованные может и влезут, но надо понимать, что такого рода чудес не бывает, как бы сила модели в количестве и точности связей.

То же самое делает ML studio, можно даже указать, какой процент видеопамяти мы готовы дать.

На полной версии gguf без квантования (вернее 16 bit, вроде как не квантованная) у меня запустилось на 12 гигабайт видео + 96 обычной ОЗУ, лагало но работало, всё сожралось в пол.
На квантованной влезло в 46 гигабайт:

Я бы добавил в список command r (а остальные из списка убрал). Ну, и кроме квантизации есть такие штуки, как LM Studio и GGUF, позволяющие держать модель в оперативке, а не видеопамяти. А 96 гигов оперативки несравненно дешевле, чем 96 гигов видеопамяти.

UPD: на картинке рейтинга в посте command r присутствует, и находится выше всех открытых, и даже выше, чем два ChatGPT 4

[del]

Там 3,2 гигапикселя на самом деле. И эти объёмы считаются самой сложной частью проекта, это все надо где-то хранить, а люди обработать не успеют, поэтому будут смотреть роботы

Картинки в fb2 несложно разобрать руками, либо попросить бота написать функцию. Такие простые вещи как раз гпт пишет на раз два.

+1, часто начал нейронку просить делать, исправлять, дополнять.

В нескольких источниках, включая Википедию, написано, что Windows не поддерживается, что логично. Но пишут, что портировали какую то Windows CE.

Так что про Убунту и Windows без проблем это преувеличение

Больше месяца назад перешёл с GPT4 на Opus, доволен, чаще всего это замена гугла и кодогенерация.

Спасибо за наводку на oha, попробую использовать вместо ab

Главное, что не гитхаб (чтобы composer install/npm install/go get не ломались)

В некоторых задачах токены через api уходят только в путь.

В grafana: https://play.grafana.org/d/ePolu9Lnk/doom-half-resolution?orgId=1

На диспетчере задач:

Долго сидел на автоматике1111, примерно с августа 2022, сейчас удалил и плотно сижу на Comfyui. На первый взгляд может показаться сложным, но это не так, работать проще чем в автоматике. Есть ещё foocus, но это пару раз побаловаться, меньше контроля но прощает ошибки.

Киллер фича comfy - повторяемость настоек и промпта, просто в веб интерфейс перекинуть старую картинку и готово. Дублирование вкладок, отмена, очередь, это все бесценно. Советую всем, и ламерам тоже.

1. https://www.gazeta.ru/social/news/2023/09/15/21293720.shtml просто пример явной помощи (если не говорить громче)

2. Нет, не глупого человека. Четверка прекрасно разбирается в нюансах медицины, в том числе там, где надо подумать. Его используют реальные врачи для подготовки в экзаменам.

3. Про подвид поисковика, даже если это так, даже в этом случае, тот же Гугл также помогает бороться с болезнями. Врачи тоже гуглят, оказывается.

Те же "развлечения", вроде гпт, которые денежно подпитываются подписками людей с "напиши стишок про whatever" или "сделай мне реферат" здорово подстегнуло текстовые нейросети, которые уже сейчас фактически помогают неиронически бороться с болезнями и смертью.

Видео генерация сейчас тоже в самом начале, но я живо представляю себе студента, лет через двадцать, который описывает системе в промпте диагноз сложного случая и просит сгенерировать видео того, как ведётся хирургия и операция, чтобы научиться. И при этом это видео в плане ошибок совершенных лучше или не хуже, чем снятое кожаными. Практически все, что автоматизируется, в плане количества ошибок рано или поздно по качеству обгоняет человека. Просто надо подождать.