Comments 10
Из интереса попробовал ему задать условия чтобы вел себя как учитель английского и разъяснял правила, поправлял ошибки, давал упражнения и т.п. Поэкспериментировал, иногда, пусть и нечасто, странные вещи придумывает. И в сложных случаях может ошибки допускать в разборах. С другой стороны у них ожидается следующая модель которая в 500 раз больше параметров будет иметь, плюс возможно часть проблем из-за того что я с ним на русском все таки общался. Очень интересно как себя более продвинутая версия покажет, если уже даже эту можно вполне в утилитарных целях использовать, пусть и перепроверяя некоторые вещи.
Спасибо, хорошие пояснения, многие в коментах плавают в этих вопросах. Примеры с кодом можно найти в этом переводе.
А что такое эти «галлюцинации»? По сути это придумывание фактов нейронной сетью, ну или просто — враньё. Управление «галлюцинациями» позволит получать то что мы хотим, ну или по крайней мере улучшит вероятность получения правдивого ответа.
Замечание психофизиологического характера. Хотя жаргон уже сложился, он не совсем удачный как кажется, и может вызывать неприятные ассоциации. Во-первых, в отношении ЯМ это все же не глюки, а бред получается. Во-вторых, глюки и бред больше признаки психопатологических отклонений или необычных условий. Вряд-ли это можно отнести к ЯМ, они такие, как их спроектировали, и ничего не принимают, если только разработчики) Более удачная терминология — фантазии сетей. Люди также фантазируют на разные темы по множеству раз на день. Это вполне нормально в некоторых пределах, одна из составляющих креативности, и является следствием ассоциативного мышления и памяти человека. В ЯМ как раз пытаются моделировать этот уровень психических процессов (Система 1 — быстрые, автоматические процессы мышления. В том же источнике приводятся идеи как улучшить это процесс с помощью логического уровня мышления — Системы 2, тем самым уменьшая объем совсем необоснованных фантазий. Исследование на тему, как работает ассоциативность в GPT).
на вход модели подается контекст (любой текст)
модель анализирует весь контекст и генерирует всего ОДИН токен (токен — слово, часть слова или символ)
модель добавляет токен к контексту и передает новый контекст в пункт 1, до тех пор пока не будет получен ответ
Выглядит достаточно просто. Теперь надо понять от чего зависит выбор следующего токена? Конечно магия.
Во-первых, на следующий токен влияют веса и параметры, которые были получены при обучении модели. Можем ли мы влиять на это — да можем, но только дообучая модель.
Вот это момент с генерацией одного токена непонятен. Почему то считал, что генерируется распределение токенов со своими вероятностями из которого механизм семплирования выбирает токен в соответствии с текущими установками. Если жадная генерация, то берется наиболее вероятный токен, и тогда генерация текста для одинаковых контекстов в новых сессиях будет детерминированной.
И еще интересно, почему GPT сама прекращает генерацию текста, а жена нет, пока не заткнешь? ;)
Да, фантазия и творчество хорошие термины. Но тут вопрос дискуссионный, фантазирует ли она или занимается творчеством. Всем в итоге управляют параметры, которые указывают, какой именно токен взять следующим, а там уже что получится, возможно существующий факт, возможно вымысел. Сеть не контролирует это, как например человек.
Если говорить почему оно прекращает генерацию текста, то можно посмотреть на API, которое может возвращать информацию о выбранных токенах и их вероятностях. Видимо вероятности сильно падают и получается, что найти подходящего токена не получается.
Когда игрался с API, в режиме "простого" completion (например davinci), сеть может разговаривать сама с собой, если неправильно указать стоп слова (например "." или перенос строки), то сеть разговаривает сама с собой.
Например:
"Hi, how are you?"
"Fine, thank you, what about you?"
"I am fine too, thank you."
В режиме "простого" completion, разработчики сами организуя режим чата, добавляя User и ChatGpt, например:
"User: Hi, how are you? ChatGpt:"
"Fine, thank you, what about you? User:"
"User: I am fine too, thank you."
В данном случае стоп слово: "User:" как бы говорит, что сеть ожидает ответа.
В режиме chat/completion (Gpt 3.5 и Gpt 4) сама Open AI реализует указанное поведение и возиться со стоп словами не нужно.
Еще интересная вещь, в ответе от API, есть параметр, который говорит, сеть закончила генерировать текст потому, что достигнут лимит токенов или сеть сгенерировала необходимый ответ.
Да, фантазия и творчество хорошие термины. Но тут вопрос дискуссионный, фантазирует ли она или занимается творчеством. Всем в итоге управляют параметры, которые указывают, какой именно токен взять следующим, а там уже что получится, возможно существующий факт, возможно вымысел. Сеть не контролирует это, как например человек.
Согласен, нужно брать в кавычки, но только потому что это не дотягивает до уровня человека, причем пока довольно сильно. Хотя принцип правильный, человек также ослабляет контроль, чтобы найти новые идеи в заданном контексте. В мозговом штурме впрямую предписывается ослабить логический и критический контроль, и разрешается нести глупости по теме) Однако, затем начинается разбор идей, и эти уровни должны включаться. В существующих архитектурах таких возможностей пока нет, и человеку приходится их брать на себя. Более того человек для генерации идей привлекает не только ассоциативный уровень мышления, облеченный в языковую форму, но и эмоциональный, и образный — воображение. Использование таких возможностей пока не просматривается в существующих реализациях. Хотя GPT-4 может работать с изображениями, и это, видимо, можно как-то приспособить, как для генерации новых идей, так и для контроля результатов, наряду с логическим анализом. Есть пример использования такого "воображения" для улучшения качества переводов текста. Однако, для полноценного использования этих возможностей, точнее их моделирования как у человека, нужны иерархически организованные рекуррентные архитектуры. Прямых трансформерных недостаточно, как не увеличивай их размерность, и объемы обучения.
Видимо вероятности сильно падают и получается, что найти подходящего токена не получается.
Действительно, человек тоже может завершать ответ, когда аргументы исчерпываются. Возможно роль также играет длина обучающих выборок, ограниченная размером контекстного окна. У человека обучение устроено несколько по иному, и такого жесткого ограничения нет.
до тех пор пока не будет получен ответ
А как модель понимает, что пора остановиться? Что ответ дан после сотого токена, например, а на 50 токене только подводка идёт?
Статья, конечно, интересная, но заголовок больно кликбейиный
долго мучал ИИ вопросами по физиологии и биохимии, никаких глюков не отметил, однако, очевидно, когда обсуждаются передовые рубежи науки, где еще и в научном сообществе нет консенсуса, некоторе ответы не совпали с моим мнением, но может быть я и не прав... Еще заметил некоторое ограничение по глубине построения логических цепочек... ну это, думаю, чисто технический вопрос...
ChatGPT: влияем на галлюцинации или как потопаешь, так и полопаешь