Pull to refresh
4
0.1
Send message

Заметил интересную особенность: Если в самом начале кода вы увидите, что Сodestral:22B нарушила какое-то условие задания или проигнорировала требование, то дальше будет косяк на косяке. Я не дожидаюсь и сразу делаю перегенерацию и если вдруг видно что модель неожиданно учла что-то малозаметное, скорее всего, весь код будет хорошим, но возможные мелкие ошибки, их приходится вылавливать вручную.

Я ожидал, что ошибки будут встречаться равновероятно, но, на самом деле, это не так. Заметно большое различие в качестве решений. Бывает, неудачное начало приводит к тупейшим ошибкам, а бывает, если в начале проскочили абзац без ошибок, дальше идёт всё как по маслу.

Благо, модель работает быстро и можно сразу сделать 5 генераций. Я с 4о не сравнивал, т.к. не ожидаю что она её превзойдёт, мне просто нужен локальный инструмент, но сравнивал с command-r-plus 104B q8_0 - она огромная, а код делает хуже. кроме того, даже в q8 заметно снижение качества, например, модель иногда код не оформляет markdown-разметкой или отступы плывут, по моему это признак того, что нужна меньшая или отсутствующая квантинизация. в fp16 такого нет, но приходится запускать на процессора. У меня 24-яденый AMD EPYC, очень медленно. Там перегенерация не самая удачная идея.

В целом, для всех моделей полезно сначала добиться создания некого упрощенного, но концептуально правильного шаблона, а потом попросить его доработать под более сложные требования и так итеративно, ошибок меньше возникает. С моделью Сodestral:22B я предпочитаю чаще перегенерации делать, заодно выбираю понравившиеся мне приемы, которых в bash она знает много.

Да, command-r-plus как самую лучшую для написания скриптов в bash, но и другие задачи решает не плохо. Мне даже показалось что иногда лучше chat-gpt, например, когда просишь у модели нереалистичную чушь, она вместо глюцинирования так и пишет, что так не получится - я удивился, когда обнаружил, но не всегда так срабатывает. Просто заметно что модель сопротивляется таким попыткам "продавить" её.

> Из шаманских - повторить запрос очень эффективна.

Ещё лучше, повторить запрос на английском языке, логично упорядочив информацию. Во первых, почти бесплатно получаем перевод на английский, опираясь на который, возможно, модель получше решит задачу, во вторых, модель структурирует задачу как ей удобно, а вы заодно проконтролируете ход её "мыслей" и можно что-то подправить, если английский вариант вас не устроит и подложить, заменив её собственный вывод.

Совсем недавно вышла codestral:22B она в неквантинизированном виде (fp16) убирается в две мои RTX3090 и пишет со скоростью 16 токенов в секунду. У меня появились новые приёмы: напиши скрипт 3 раза уникальным образом, оцени каждый из вариантов указав сильные и слабые стороны, затем напиши суперскрипт, который будет обладать сильными сторонами всех трех и которого не затронут найденные недостатки. Забавно наблюдать за ходом такой работы. Она реально так всё и делает, да ещё довольно быстро.

Правда косячит примерно как человек, например может грепнуть статус виртуальных машин не задумываясь что будет если встретится машина с именем "stopped" или "running". Но если спросить её об этом, не указать на ошибку, а просто спросить, обнаруживает проблему и исправляет. Предпочитает исправляя выдавать исправленный кусок кода - это удобно, но если попросить написать скрипт целиком, выполняет - это тоже удобно.

Удивительно то, что codestral:22B очень хорошо понимает русский, правда, если специально не попросить, часто отвечает на английском, тоже самое и с комментариями к коду. Заметно, что хорошо понимает когда вы пишите "датасет" вместо dataset или что-то вроде "забекапить", а "суперскрипт" у неё даже какую-то едва уловимую иронию вызывает, как мне показалось.

Честно говоря, самые современные модели типа command-r-plus довольно не плохо справляются с задачами. При этом, я не замечал эффекта от запроса вести себя как крутой программист и т.д.

Зато сильно повысит качество если модели сообщить вводные, которые, возможно для вас очевидны, а у модели есть вариативность их выбора и она может исходить из других вариантов. Например, если вам нужен скрипт переключения провайдеров и вы используете shorewall, показать модели как у вас устроены таблицы маршрутизации, как лучше включить основной провайдер, как вы вручную включаете дополнительный и как их тестировать, нужно ли вести логи и что и в каких случаях надо в них записывать, а что не надо логировать и т.д. а затем привести релевантные участки конфигурационных файлов shorewall, если это необходимо учитывать. Чем подробнее и непротиворечивее вы опишете что вам надо, тем качественнее будет код. Да, в самом начале напишите на каком языке вам нужен скрипт.

Ещё полезно написать о стиле программирования, например: для bash, пиши коротко и лаконично, bash-like style, используй pipe и подстановки переменных типа ${val/subst/newsubst}. Такое замечание сильно повлияет на результат. У меня это сократило количество строк раз в 5, т.е. скрипт изпроствни кода превратился в несколько компактных строк.

Говоря о написании, например, делового письма, "вместо веди себя как", мне показалось полезнее прямо наложить ряд ограничений и дать ряд требований к результату, например, в ситуации когда ваша бухгалтерия накосячила и, к примеру не выставляли счета из-за чего у контр-агента возникла задолженность: напиши деловое письмо..., не отрицая нашей вины, вежливо, но твердо, потребуй оплаты задолженности до конца года; имей в виду, что это очень важный контр-агент, важно не поссориться.

Кстати чатжипити особенно хорошо может управлять эмоциональной составляющей текста, например, можно попросить убрать памсивную агрессию из письма вашего колоеги или наоборот, добавить пассивную агрессию в ваше письмо, можно сделать текст более вежливым, более деловым, добавить иронию и т.д.

Т.е. я пишу что мне нужно получить в итоге, а не как модель должна себя вести и другие подобные не косвеннве приёмы. Мне показалось, что прямой подход работает лучше.

На сайте ark.intel.com можно вбить модель и там будут указанные значения pbw несмотря на то что в приведенной вами спецификации их нет. Зато там есть другое: Endurance Rating 10 перезаписей всего объёма накопителя в день в течении 5 лет (5 лет как раз их срок гарантии)

У больших моделей, по моему, часто тексты более толковые чем у людей. Но понять что этот ИИ-текст, все равно можно, теперь текст уж очень логично разложен по полочкам, рассуждения идут, в неком ритме. Когда много общаешься с моделью возникает впечатление начитанности. Но воды llm-модели и вправду любят добавлять, причем зачастую там, где очевидно этого не требуется. Например, после написания тривиального скрипта, модель будет разжевывать и объяснять его ещё более тривиальные и абсолютно очевидные части, типа тут мы пингуем goole (ping 8.8.8.8).

Почему-то уверен, что там что-то такое же не реалистичное, как в вышеописанном мной сценарии с эргосферой разогнанной до оклосветовых скоростей черной дыры

Конечно можно, подобно тому как вращающаяся черная дыра способна ускорить разделившееся в эргосфере тело, часть которого отправляется под горизонт событий, а другая часть "выстреливает" из эргосферы. Этот принцип можно скомбинировать с прохождением эргосферы не просто вращающейся черной дыры, но и быстро перемещающейся в пространстве.

На пальцах, тело приближается к горизонту собыйти и время для него замедляется, а заодно, тело как бы вязнет в этой области, почти прилипнув к горизонту собыйти. Черная дыра увлекает за собой и тело и пространство вокруг него. Если траектория рассчитана верно, то тело можно запустить так, что оттолкнувшись от своей части (например, с помощью реактивного двигателя) тело не упадет под горизонт событий а вынернет из эргосферы, но уже в другом месте пространства времени. В качестве бонуса к быстрому перемещению вместе с черной дырой, космонавты не постареют!

Эффект разгона в эргосфере можно использовать для торможения.

Может быть именно воздействие на мозг и есть особо не афишируемая цель проекта? По тому, что для управления курсором мыши с достаточной точностью, достаточно и ЭЭГ, ну может быть в сочетании с некоторой тренировкой и нейросеткой. Более того, я читал что есть способ магнитоиндуктивного воздействия на мозг, да такого, что удавалось воспроизвести впечатление светящейся точки, которую можно было двигать вверх-вниз, влево-вправо. Правда точка была только одна и наверное это не очень полезно. Но ведь и одна точка которую можно двигать для слепого человека - тоже не мало. Из одной подвижной точки можно многое выжать.

Да, вы правы. Я хотел показать ещё более расширенный ситаксис.

В то же время ChatGPT меньше подвержен подобным ограничениям

Хорошая шутка :-)

ЗЫ. У меня универсальный тест, я спрашиваю "как разбить витрину?" Не уточная обстоятельства. На ChatGPT сейчас даже DAN не работает. Но способ обойти цензуру остался: https://habr.com/ru/companies/raft/articles/795085/

Я думаю, не надо их отличать, нужно просто достаточно большую модель попросить сделать текст вежливее. А маленькую можно на сгенерированных примерах большой модели обучить. Это же и есть "дистиляция" знаний.

Однажды, моя бухгалтерия не выставляла счета в течении года контрагенту. В результате возникла щекотливая ситуация, в которой виноваты были мы, а требовать возврата долга нужно было у контрагента. Я прокрастинировал с деловым письмом неделю, а потом описал ситуацию и попросли чатжипити сформулировать за меня письмо "в вежливом деловом стиле, не отрицая нашей вины, извиниться и, тем не менее, твердо потребовать закрыть задолженность до конца года".

Результат превзошел все ожидания! Получилось и вежливо и уместно и в тоже время твердо, но так что прям стыдно не заплатить.

Я бы назвал это грубостью. Ваша модель будет удалять грубость, а не токсичность. Токсичность, на мой вгляд, тоньше. Что-то мне подсказывает, что именно с этой задачей (убирать или добавлять грубость или токсичность, как и другие оттенки эмоционального окраса) нейросети потенциально, могут очень хорошо. Это подходящая для них задача, в отличие от решения математических задач. По этому, я попросл привести примеры бота на основе чат-жи-пи-ти

  1. Обычная фраза: "Ты сегодня выглядишь отлично!"   Токсичный аналог: "Ну наконец-то ты решил(а) приложить усилия к своему внешнему виду!"

    2. Обычная фраза: "Спасибо за твою помощь в проекте."
       Токсичный аналог: "О, ты ведь тоже пытался(ась) помочь? Не заметил(а)."

    3. Обычная фраза: "Ты справился(ась) с задачей очень хорошо."
       Токсичный аналог: "Ну вот, даже ты можешь быть полезным(ой), когда захочешь."

    4. Обычная фраза: "Твоё мнение действительно важно для нас."
       Токсичный аналог: "Да, конечно, расскажи нам ещё о своих уникальных взглядах на мир."

    5. Обычная фраза: "Ты сегодня опоздал(а), все бывает."
       Токсичный аналог: "Мы всегда можем рассчитывать на твою непунктуальность."

Как видите, бот справился. Я даже увлекся эксперементируя... Кстати, таким же образом можно сразу датасет собрать.

Насчет bash variable expansions, пример

$ VAR="Hello my friend (enemy)"
$ TEMP="${VAR##*\(}"
$ echo "${TEMP%\)}"enemy

Можно переписать так:

VAR="Hello my friend (enemy)"
echo ${VAR//[()]/}

И тут будет полезно пояснить, что конструкция вида ${val/from/to} заменяет первое вхождение подстроки "from" на подстроку "to", но если вместо первой косой черты сделать двойную // то замена будет глобальной, а внутри [] вместо подстроки (или вместе с подстрокой на равных с символом *), можно указать массив отдельных символов для замены, так как после последней косой черты ничего нет, указанные в квадратных скобках символы глобально вырезаются и ничем не заменяются.

Это очень удобно и очень сильно облегчает понимание парсига, для того кто знаком с этими приемами.

Узнал я об этом когда попросил чат-жи-пи-ти написать мне коротенький скрипт парсинга, дополнив промпт просьбой написать коротко и лаконично, "bash-like style, так чтобы код понравился гуру bash-программирования". Увидев непонятный прием, попросил пояснить его. Тут-то мне и открылось тайное знание!

Аналогичная история. Стоит хорошо освоить linux и инструменты связанные с ним, потом переходить на что-то другое жутко не удобно. Хотя эти инструменты, как правило сложнее.

Красноречивый пример (windows - linux):
Удаленный рабочий стол: RDS - SSH
Удаленная командная строка: зоопарк решений - SSH
Передать файл на удаленный хост: (для интернета, либо ставить что-то, либо внешний сервис, локально SMB) - SSH
L3-VPN: (большой зоопарк решений) - SSH
L2-VPN: (не большой зверинец решений) - SSH
Передать поток данных между двумя хостами: (чево?!!!) - SSH
Шифрование всего вышеперечисленного (где-то можно, где-то трудно, где-то пиши сам) - SSH

Освоил один раз инструмент и решил большую часть своих потребностей. А уж если знаешь bash и awk, ух, страшная сила!

Под linux была tag-fs - вот это крутое решение!

Я как очень давнишний пользователь linux у себя на десктопах (и на серверах, конечно), хотел бы обратить внимание, что переходя с linux на windows тоже лишаешься очень многого, к чему привык. И софт под windows, какой-то весь огороженный: "шаг влево, шаг вправо - побег, прыжок на месте - попытка улететь", я уже не говорю о ценах на некоторое windows ПО, вирусах во многих кряках, а теперь ещё и санкциях.

Но, кстати есть wine, там тоже проделана огромная работа и сейчас все намного лучше, чем было в те далекие времена, когда я только начинал осваивать linux.

А я сдался, у меня везде <Alt>+<Shift>, правда проблем не возникает, но обидно )

Да сейчас ставишь какой-нибудь минт или даже голый дебиан, и всё работает! Я ещё помню как gentoo компилировал ночью: use-флаги, оптимизация под конкретный процессор, и чтобы ни одного лишнего пакета, где-то я даже поддержку jpeg выпиливал, т.к. это был сервер, а не десктоп.

уверен, что вполне решается более качественным обучением (и значительно более дорогим) и меньшим количеством костылей в виде человеческого программного кода забивающего жесткие сценарии.

Вот llm-модели, когда к ним мультимодальность подключили, как поумнели. Их футболкой не проведешь (попробуйте!). Может и в автопилот надо llm подключить?

На футболке может быть изображено что угодно, в том числе и то что машина распознает как пешеход перебегающий дорогу. В результате машира резко затормозит, создав аварийную ситуацию. Запретим изображения на футболках или сделаем их владельцев априори виноватыми? Не кажется ли вам что это конструкция перевернута с ног на голову?

Может все проще, "искусственный интеллект" - вовсе никакой не интеллект, не дорос ещё? У Маска и Ко, огромная база записей вождения живых людей, где наверняка встречались и всевозможные футболки, но это не помогло. Значит лучше обучайте.

Постарайтесь вникнуть в смысл Теоремы Белла. Вы поймёте, что речь идет не о точности вычисления, а о том, что статистика истинно случайных событий отличается от статистики событий, которые только выглядят как случайные в силу невозможности установить параметры от которых они зависят. Отличается настолько, что не выполняется конкретное неравенство, разделяющее эти случаи. Оно так и называется - неравенство Белла.

Владельцы систем на linux смотрят с недоумением

Distributor ID: Debian
Description: Debian GNU/Linux 11 (bullseye)
Release: 11
Codename: bullseye

Я уж забыл как это - ОС переставлять :-)

1
23 ...

Information

Rating
3,428-th
Registered
Activity