Понимание и смысл не являются тождественными понятиями. Смыслом высказывания может быть намерение, например, что-то доказать, не выраженное в самом тексте (свою правоту). А понимание текста отражается в том, что собеседник может построить ответ на вопрос о тексте, предположить его продолжение, понять «о чем речь». В общем, можно понять текст, а можно понять его смысл (отдельно).
// Но кто-то не поймёт, что такое "типичный", кто-то будет настаивать, что его мир фантазий вполне реален и т.п.
Вы считаете, что GPT просто очень креативная? )) Но вот что интересно, GPT не поймет, что не может выполнить задачу, опиши нетипичного волка, или какие могут быть волки в фантастическом мире. Она буквально возьмёт связи этих слов, а не примет их как задание, которому надо следовать в построении текста. Ваша ссылка про однократное обучение немного не о том.
Про семантику не поняли — GPT-3 пишет складно, но не имеет представление о семантике мира, том же здравом смысле. Иначе бы у волка небыло 4 глаз.
Все верно по тому что знаю я про саккады, за одним моментом — мы можем узнавать сцену и число объектов в ней в том числе сразу без саккад в объеме рабочей памяти. Она небольшая как Вы знаете наверняка (число Миллера). Прочитайте про чанки Саймона Г. в мышлении шахматистов.
// Что же тогда реально? Физические объекты и свойства реально существуют, как модели естественно.
Вы сами ответили — модели только и реальны. Ничего другого нам непосредственно не дано. Опять же по Канту. Но что же у модели от реального мира — так надо ставить вопрос. И ответ может быть такой: модель всегда вариативна. В моем всегда есть варианты. Так вот выбирает вариант как раз реальность через ощущения. В мозге есть все цвета, но какой цвет яблока будет для вас (в модели) зависит не от вас. И все)
Конечно, можно найти вопрос, на который не ответит правильно и человек, и найти правильные ответы у GPT. Но на вопрос сколько глаз у волка правильно ответить 100% людей и старше 4 лет, даже если его посадить в комнату без какого либо ещё контекста. Это говорит о том, что GPT просто угадывает ответы, а не "знает" их. Усвоив кучу теста, она хорошо прежде всего усвоила синтаксис и строит правильные предложения, так как синтаксические BPE встречаются чаще. Это не должно вводить в заблуждение, потому что с семантикой у нее все хуже, так как сочетаниями реже.
Кроме того ребенок усваивает картинку мира не только из статистики. Он правильно рассуждает и о том, что никогда не видел. В этом и отличие видимо — стоит модель мира как то иначе, не только по языковой модели.
С умыслом чуть не так. Обед дела э дело говорить о том, что заплачено на входе, другое, использовать слова как инструмент достижения цели. Смысл тут — это текст про текст, который не озвучивается.
По моему Вы с Михаилом подразумеваете в обсуждении разные «смыслы». Или не различаете их. Смысл слова (именно слова) как значение в чисто текстовой среде — «это употребление» (с) Витгенштейн. То есть контекст, в котором оно употребляется. С этим легко справляются дистрибутивные системы типа w2v. С этим все просто. Но есть «здравый смысл» (уже текста), о котором я писал как о проблеме. С этим в своих текстах GPT справляется… очень условно. Глаз у травинки все таки нет, это не «здравый смысл». С этим она не справляется по указанной мной причине — она она хорошо уловила грамматику текстов и складывает их как человек, но «картину мира» как совокупность возможного и невозможного в нем она не представляет совсем. Еще есть смысл-цель. Это когда текст следует какой-то задумке. Мы описываем такое значение совсем не теми словами, что сам «осмысливаемый» текст. Это «текст о тексте» как сказал не помню кто. Так вот этого в GPT нет от слова совсем. Она не может выдать текст с умыслом как мы. И в этом смысле это совсем не ИИ.
Это позволяет взглянуть на чувство численности, как на механизм реализации одной из априорных форм знания, о которых писал И. Кант — числах.
Вы путаете СЧЕТ и узнавание чисел. Животные могут различать разное число, и выбирать большее, но не могут складывать их и делать вывод, какая сумма больше. Счет же — это именно возможность сложить, или определить число в порядке чисел. Это называл Кант априорным знанием, а не опытным.
Одно дело знать несколько фактов из таблицы сложения, другое абстрагировать до числа предметы. Этому тоже надо учиться и за это отвечает не та зона, что распознает числа, а ассоциативная кора. Это где то в третичной зоне, в конце латеральной борозды, ну вы видимо знаете сами где это )
Вниз генератору речи он спускает «решение», которое GPT должен оформлять в складный человекочитаемый вид.
Вот только вопрос как этого добиться. Слово «спускает» не добавляет ясности ) Скорее всего рассуждения GPT надо придать смысл как целевой показатель. Но как его выразить и как заставить ему следовать сеть? Не сказать что-то по поводу цели, а следовать ей — вот в чем разница. Сказать по поводу она может (нагенерить связанного текста), это не прибавляет смысла (следования цели). Это текст должен сравниваться с целью в каком-то аспекте «достижения цели». Например, вывести формулу — это не значит написать о выводе формулы. Это достичь требуемого ее вида. В каком пока не понятно.
Прочитал, очень интересно. Но немного излишне Вы индикаторами и двойственностью нагрузили описание. Не понятно, какую задачу вы этим решали. Рецептивное поле зрительной коры топологически подобно расположению рецепторов сетчатки. А аттракции типа места и формы — это уже метакогниции, которые определяются как вырожденные категории из объектов.
Интересно показалось другое — гексогональная структура, которая определяется относительно самой себя. Определяет свои перемещения и повороты через последовательности активации ячеек x(p)y. Каждая из переменных может быть определима через две другие, так как смешение приходится на ячейки этой структуры. Причем в этом универсальна именно гектогональная — и повороты и линейные смешения. Вы знаете, что такую же структуру имеют grid нейроны в гмпокампе, за которые в прошлом году дали Нобелевскую? Вы знаете, что падежей в русском тоже шесть? Все это не случайно.
Видимо вы сказали по себя правду — вы отпусти настолько, что вам не понять мысль, например, учесть, что внутривидовая конкуренция присутствует всегда. Ну а по оценочные суждения без аргументов ваши лучше всего говорить ваша карма. Без комментариев.
Не нужно пытаться весь мир загнать в граф (про такой тупиковый проект я знаю). Нужно сформировать сильно ограниченный набор простых шаблонов для квантования этого мира. Я как-то насчитал менее двух десятков таких паттернов, которыми можно описать/структурировать большинство текста
Интересная мысль, а есть где прочитать про эти 20 шаблонов?
Те самые BPE. GPT значит тоже ими оперирует. Как оказалось, это упрощает на порядок даже перевода (google) — этих BPE (частотных) на порядок меньше, чем слов. И строить эмбединги из них проще, ну и модель сама меньше.
Когда попробуете — напишите! ) Про смещение в нужную сторону. Можно в личку. Надо только учитывать, что BERT по крайней мере оперирует не словами, а чем то ближе к слогам, BPE.
Похоже ни одна машина, которая в какой-то форме не выработала строгий язык описания закономерностей, предложения которого были бы доступны для ее восприятия, не способна по настоящему обращаться и создавать хоть сколько-нибудь абстрактные понятия.
А можете кратко изложить суть этой идеи, из такого описания не понятно, а читать три больших текста — надо сначала понимать, если там то, что кажется интересным ) И что в Вашем понимании «абстрактные понятия»? У волка есть понятие о зайце, любой формы и цвета. Это абстрактное понятие?
// Но кто-то не поймёт, что такое "типичный", кто-то будет настаивать, что его мир фантазий вполне реален и т.п.
Вы считаете, что GPT просто очень креативная? )) Но вот что интересно, GPT не поймет, что не может выполнить задачу, опиши нетипичного волка, или какие могут быть волки в фантастическом мире. Она буквально возьмёт связи этих слов, а не примет их как задание, которому надо следовать в построении текста. Ваша ссылка про однократное обучение немного не о том.
Про семантику не поняли — GPT-3 пишет складно, но не имеет представление о семантике мира, том же здравом смысле. Иначе бы у волка небыло 4 глаз.
Все верно по тому что знаю я про саккады, за одним моментом — мы можем узнавать сцену и число объектов в ней в том числе сразу без саккад в объеме рабочей памяти. Она небольшая как Вы знаете наверняка (число Миллера). Прочитайте про чанки Саймона Г. в мышлении шахматистов.
// Что же тогда реально? Физические объекты и свойства реально существуют, как модели естественно.
Вы сами ответили — модели только и реальны. Ничего другого нам непосредственно не дано. Опять же по Канту. Но что же у модели от реального мира — так надо ставить вопрос. И ответ может быть такой: модель всегда вариативна. В моем всегда есть варианты. Так вот выбирает вариант как раз реальность через ощущения. В мозге есть все цвета, но какой цвет яблока будет для вас (в модели) зависит не от вас. И все)
Конечно, можно найти вопрос, на который не ответит правильно и человек, и найти правильные ответы у GPT. Но на вопрос сколько глаз у волка правильно ответить 100% людей и старше 4 лет, даже если его посадить в комнату без какого либо ещё контекста. Это говорит о том, что GPT просто угадывает ответы, а не "знает" их. Усвоив кучу теста, она хорошо прежде всего усвоила синтаксис и строит правильные предложения, так как синтаксические BPE встречаются чаще. Это не должно вводить в заблуждение, потому что с семантикой у нее все хуже, так как сочетаниями реже.
Кроме того ребенок усваивает картинку мира не только из статистики. Он правильно рассуждает и о том, что никогда не видел. В этом и отличие видимо — стоит модель мира как то иначе, не только по языковой модели.
С умыслом чуть не так. Обед дела э дело говорить о том, что заплачено на входе, другое, использовать слова как инструмент достижения цели. Смысл тут — это текст про текст, который не озвучивается.
Но для этого нужна все таки память, иначе система будет считать «по одному». Нет?
По моему это очень точное замечание. Только вопрос, как влезть внутрь GPT, чтобы ограничить контекст?
Вы путаете СЧЕТ и узнавание чисел. Животные могут различать разное число, и выбирать большее, но не могут складывать их и делать вывод, какая сумма больше. Счет же — это именно возможность сложить, или определить число в порядке чисел. Это называл Кант априорным знанием, а не опытным.
Вот только вопрос как этого добиться. Слово «спускает» не добавляет ясности ) Скорее всего рассуждения GPT надо придать смысл как целевой показатель. Но как его выразить и как заставить ему следовать сеть? Не сказать что-то по поводу цели, а следовать ей — вот в чем разница. Сказать по поводу она может (нагенерить связанного текста), это не прибавляет смысла (следования цели). Это текст должен сравниваться с целью в каком-то аспекте «достижения цели». Например, вывести формулу — это не значит написать о выводе формулы. Это достичь требуемого ее вида. В каком пока не понятно.
Прочитал, очень интересно. Но немного излишне Вы индикаторами и двойственностью нагрузили описание. Не понятно, какую задачу вы этим решали. Рецептивное поле зрительной коры топологически подобно расположению рецепторов сетчатки. А аттракции типа места и формы — это уже метакогниции, которые определяются как вырожденные категории из объектов.
Интересно показалось другое — гексогональная структура, которая определяется относительно самой себя. Определяет свои перемещения и повороты через последовательности активации ячеек x(p)y. Каждая из переменных может быть определима через две другие, так как смешение приходится на ячейки этой структуры. Причем в этом универсальна именно гектогональная — и повороты и линейные смешения. Вы знаете, что такую же структуру имеют grid нейроны в гмпокампе, за которые в прошлом году дали Нобелевскую? Вы знаете, что падежей в русском тоже шесть? Все это не случайно.
Видимо вы сказали по себя правду — вы отпусти настолько, что вам не понять мысль, например, учесть, что внутривидовая конкуренция присутствует всегда. Ну а по оценочные суждения без аргументов ваши лучше всего говорить ваша карма. Без комментариев.
Интересная мысль, а есть где прочитать про эти 20 шаблонов?
А можете кратко изложить суть этой идеи, из такого описания не понятно, а читать три больших текста — надо сначала понимать, если там то, что кажется интересным ) И что в Вашем понимании «абстрактные понятия»? У волка есть понятие о зайце, любой формы и цвета. Это абстрактное понятие?
При афазии Вернике
Вот да, что то не хватает