собрали с другом недорогой сервер на 8 устаревших тесла p40 с 24GB LLaMA 65B летает, загрузка модели в GPU 15сек, скорость выдачи токенов тоже быстрая, по крайней мере выдает быстрее, чем я успеваю прочитать :) Цена сервачка получилась около 160тыс руб
Вообще, глядя на приведенные в статье примеры не увидел никакой облегчающей простоты даже по сравнению с redux. Вся эта помесь с jquery и поиском элементов по selector-ам в DOM, наводит на мысль, что автор плохо понимает концепцию react.
собрали с другом недорогой сервер на 8 устаревших тесла p40 с 24GB
LLaMA 65B летает, загрузка модели в GPU 15сек, скорость выдачи токенов тоже быстрая, по крайней мере выдает быстрее, чем я успеваю прочитать :)
Цена сервачка получилась около 160тыс руб