Comments 35
пару строчек кода из google
А те модели, которые полу-поисковики, вроде пфинда и перплексити, дают лучший ответ или поиск в этих случаях не помогает?
upd - сам нашел ответ в тексте
> Интересной эту ошибку делает то, что она есть в коде, сгенерированной и ChatGPT, и *Bing* Copilot и Google *Bard*. Т.е. видимо такой код очень распространен в тренировочных данных
Ошибка раз: пытались доказать что-то ИИ. Оно слишком исполнительное, чтобы такой сценарий имел смысл. Оно поверит, что земля плоская. Никогда, вот вообще никогда не пытайтесь просить ИИ исправить неконкретную ошибку. Он прилетает ошибку на ровном месте там где не могло и не быть, просто чтобы услужить вам. В вашем случае надо было просто сгенерить код ещё один или два раза заново. Скорее всего выдал бы годный вариант. В чатегпт для этого далее есть кнопка регенерейт, поверьте, она не просто так там есть.
Ошибка два: продолжали диалог при том что в ответе были ошибки. ИИ это не совсем "ИИ", он просто ищет самое подходящее следующее слово исходя из контекста. Очевидно, что контекст у него - весь диалог. Если в диалоге есть ошибка - она попадет в контекст и будет влиять на ответ. Надо начать новый диалог или вернулся на пару шагов назвать и перегенерить ответы. Но продолжать диалог с ошибкой - плохо.
Оффтоп, но если уж надо найти ошибку в коде, то лучше попросить найти "все возможные и вероятные ошибки и вывести их в виде списка с описанием и водными деталями", а потом давать проверять каждую из них как отдельное задание. Но для такого надо как минимум хоть примерно понимать как должен бы работать код, в вашем случае это не проблема, но вообще это важно учитывать.
Ошибка три: использовать чат гпт для кода, но тут я надеюсь, что просто не уточнили, а использовали всё-таки специализированные модели.
Никогда, вот вообще никогда не пытайтесь просить ИИ исправить неконкретную ошибку.
А вот зря. Он хорошо ищет ошибки в своем собственном ответе даже без подсказок. Конечно не всегда работает, но часто.
подтверждаю, правильные и годные советы, к сказанному вами я использую время от времени подход псевдо-эмоциональных сообщений, мне кажется в ChatGPT есть обработка написанных капсом сообщений. доказать не могу но как будто бы это работает.
Ваши утверждения верны, но противоречат рекламным слоганам корп, про ИИ. Мне обещают простое общение, в ходе которого я получу желаемое, а не приседания, как лучше избегать проблемных мест.
Ошибка раз: пытались доказать что-то ИИ. Оно слишком исполнительное, чтобы такой сценарий имел смысл. Оно поверит, что земля плоская.
Ну нет, не поверит. В платной версии можно настраивать его поведение, давать мета-указания, которые будут приниматься во внимание всегда и будут сохранены в профиле. Первым делом я написал там, чтобы он не стеснялся настаивать на фактах и спорить со мной, если я не прав. Пригодилось уже кучу раз. Вот примеры такого поведения: https://chat.openai.com/share/5641354a-075b-4168-93cf-fe6aef890a0c
https://chat.openai.com/share/13fbf934-5489-447a-8a8d-e03fa2645dc4
Но даже и без этих инструкций chatGPT уже не настолько наивный, как раньше. Даже V3.5 заставить перекинуть здравый смысл через колено - уже не так просто, как когда-то.
Каждой задаче свой инструмент.
При желании, можно и за неделю осилить
Мне кажется, автор поставил задачу, для которой GPT не совсем подходит.
Претензии что фиксы не работают могут быть неверным описанием проблемы для исправления.
Иногда нужно не код ошибки передавать, а слегка изменить задачу, или вообще начать сначала.
В Chat режиме для генерации кусков кода так и поступаю.
В силу своих задач использую GPT4 в многошаговых API вызовах.
При нулевой температуре и грамотных инструкциях (prompt) получаю рабочие результаты без необходимости правки - только review/approve. Экономит массу времени/денег.
Все так - ошибка на которую ушло основное время (с перепутанными осями) - даже в той же модели была случайностью. Потому подход "не залипать, перегенерировать там же или в другой модели" - самый эффективный по времени.
Интересно! А можете, пожалуйста, подробнее рассказать, как вы используете GPT4, какими инструментами пользуетесь?
Протестировал на 2х литкодовских зачадах - Easy и Hard выбрав наугад. На питоне генерирует правильно сразу, на С++ пришлось исправить int на long, чтобы из диапазона не вываливаться. Слава роботам! Копипастил долже, чем решал.
Есть ощущение, что модель на этих задачах и тренеровали, в том числе.
Так на GitHub валяется куча решений на разных языках, конечно они были в данных для обучения.
Я ради интереса пробовал задачи с codeforces скармливать. Правильного решения удалось добиваться всегда только после кучи уточняющих вопросов, задать которые можно только если ты уже знаешь как решить задачу. Leetcode действительно решает лучше, но все равно быстрее закодить самому. Проверял на ChatGPT 3.5. Может быть 4я версия работает лучше.
Скорее всего его тренировали на всём, до чего смогли дотянуться, так что ничего удивительного в том, что ChatGPT может выдавать готовые решения.
Простите ))) не удержался. Вроде избитая тема ! На чем она там тренируется интересно.
Я как-то из любопытства попробовал из LLM моделек преобразование фурье получить (на питоне без готовых FFT библиотек).
Варианты были разного уровня ржачности - https://medium.com/p/b11fc5f12f75
С возвращением, как мы долго ждали статей от вас :).
Давным-давно читал ваши статьи, очень рад, что вы снова начали писать!
Перефразируя Сократа , можно сказать:
Не каждый ... может задать такой вопрос, что даже GPT4 не сможет на него ответить.
------------------------
Возможно, что ответ на данный вопрос не присутствует в интернете, поэтому GPT4 не нашел решения.
ChatGPT довольно часто ошибается в каких-то тривиальных задачах бывает, то есть ты ждешь что будет какое-то верное решение на выходе после не самого профессионального prompt, но на деле получаешь скомпилированную кашу ) причем если человек не разбирается в этой "каше", то заметить подвох крайне трудно, а иногда банальный вопрос о точности ответа заставляет ChatGPT переписать весь ответ(!).
Может есть какой-то prompt повышающий качество ответов? ну то есть чтобы ChatGPT не использовал непроверенные данные из интернета без доказательной базы?
Ну и это уже почти Classic
В своё время таких функций я наделал миллиард (и даже статью пытался писать), например:
Диапазон аргумента/значений -1..1, обратной функцией является та же, но с 1/n вместо n.
Взглянув на график - бросается в глаза # классика: "проезжая мимо станции, с меня слетела шляпа"
Если взглянуть на график - бросается в глаза # This is correct
Взглянув на график - мы увидим # This is correct
Когда уже этот парад "я не умею пользоваться штангенциркулем" закончится ?
Здравствуйте.
Вы не пробовали другие LLM? В частности, Bard от Google.
Да, там в конце есть его упоминание. Оси не перепутал больше никто. А вот с округлением ошибка есть почти у всех.
Как-то спросил я у Bard'a код для инициализации какого-то там контроллера LCD SSD2828. Надеялся увидеть команды инициализации со всеми параметрами настройки. Но в результате получил фактически нечто однострочное типа такого:
init_ssd2828();
Тот же ChatGPT мне выдал с десяток команд для начальной инициализации контроллера. Правда, команды были не по теме, но это уже мелочи.
Тот препод не с мехмата был? Мне такой хмырь на вступительном экзамене попался. Единственная рациональная гипотеза была почему он такое исполнил, это потому что слишком легкий билет мне попался и задача.
Делаем 10-минутную задачу за 2 часа с помощью ChatGPT