Pull to refresh
1
0
Send message

В сериале Lexx ещё было - руки Мантрида

Встроенный парсер Scala в этой версии испортился, для некоторых модулей начал находить много ошибок, хотя ошибок там нет (проект на Scala 2.12). Пришлось в настройках языка Scala переключить опцию Error highlighting из Built-In в значение Compiler.

Модель opt-13b запустилась на GF RTX 3060 12GB

с параметрами

python server.py --model opt-13b --flexgen --compress-weight --percent 100 0 100 0 100 0

работает быстро, за несколько минут сочинила такой текст:

https://pastebin.com/HtCJFjbX

Если использовать FlexGen, то запускается встроенный http сервер. Выглядит так

Недавно была статья про инструмент FlexGen, который позволяет запускать LLM при ограниченной видеопамяти.

https://habr.com/ru/news/t/718684/

Модель opt-13b запустилась на GF RTX 3060 12GB

с параметрами

python server.py --model opt-13b --flexgen --compress-weight --percent 100 0 100 0 100 0

за несколько минут сочинила такой текст:

https://pastebin.com/HtCJFjbX

На той же видеокарте модель opt-30b запустилась с параметрами

python server.py --model opt-30b --flexgen --compress-weight --percent 70 30 100 0 100 0

но работает в несколько раз медленнее.

Этот ноутбук хорошо совместим с Linux

Если добавить планку памяти на 16gb, то вполне рабочий ноут получится.

https://www.dns-shop.ru/product/b36c41327cbfed20/156-noutbuk-dell-inspiron-3511-0703-cernyj/

И я попал (, по своему опыту и пишу.

Российские компании сейчас уже выданные офферы отзывают. Найм замораживают.

Несколько лет назад Росреестр в большом сибирском регионе не работал почти неделю, после того как охлаждающая жидкость из чиллера, который обслуживал все задание, потекла вниз на стойки через потолочные плитки. Серверное оборудование, как оказалось, поставили прямо под инженерным оборудованием.

В Ленинградской области в г. Мурино они летом ездили, можно было сделать заказ с доставкой роботом.

На ядре linux 5.8, Rocm тоже работает, можно установить как написано в документации
sep5.readthedocs.io/en/latest/Installation_Guide/Installation-Guide.html#using-debian-based-rocm-with-upstream-kernel-drivers
Помимо серверов, Linux удобно пользоваться для разработки под Hadoop + Hive + Spark и анализа данных c Pandas и стандартным набором библиотек ML. Windows пользоваться очень неудобно, приходится решать проблемы вместо того, что бы работать. И стандартный дистрибутив здесь — Ubuntu.
Бактерия может стать устойчивой к новому антибиотику, но при этом потерять устойчивость к старому. Не получится быть защищенной сразу везде.
Конкретно тестовое задание с драйвером не сложное, я даже знаю в какой компании его предложили.
Сам его решил за 2 вечера.

Information

Rating
Does not participate
Registered
Activity