Один простой антитезис — чтобы увидеть случайность в озарении как системный случай, эта система должна быть хотя бы возможной в голове исследователя. Менделев увидел во сне далеко не случайно, он до этого строил систематизацию итак и сяк. Но мозг во сне (инкубационный период прошел) выстроил согласно какой-то системе, которая не случайна.
GPT-2 уже используют школьники для генерации сочинений )) И в этом смысле случайность — это неточность вероятностной схемы GPT, которая приводит к новым вариантам. Когнитивная система в какой-то мере работает так же. Модели более вариативны чем «реальность», математика как одна из них подразумевает гораздо больше возможностей «сосчитать», чем подтверждается в опыте.
Да, буду рад, если будут мысли в этом направлении — плиз, пришлите ссылку в личку. Я читал Вашу статью тут, замечу только, что она не учитывает современное состояние когнитивной науки, ну или я не увидел ссылок на них.
Разница — первый даже не заметит это, второй вряд ли пропустит)
И именно это говорит, что человек делает открытия не случайно, хотя для него это инсайт (черный ящик). Nehc очень точно отметил что не хватает — критического мышления (сравнения если быть точным), мотивации (намерений у агента нет никаких по отношению к нам), долгосрочной памяти (тут есть ошибка — памяти нет у мозга, это неправильная метафора записи в книге, у мозга есть восстановление по контексту). Вот когда всем этим займутся, тогда только будет круто. А пока — только крутая имитация )
Они предполагают некоторые возможности к генерализации, аппроксимации, сходимости, и тд.
Это общие вычислительные характеристики, а не характеристики построения «знаний», чем бы они ни были. Я же говорю о специфическом априорном способе выстраивания знаний. И не путем «переработки» информации, кстати. Вам наверняка известно, что, как Вы написали ниже, когнитивная все больше приходит к парадигме не обработки информации из вне, а ее генерации изнутри с корректировкой этой картины нашими органами. То есть наоборот, в когнитивной это еще называют «контролируемыми галлюцинациями». И это по моему даже очевидно — от объектов не исходит никакая инфо, она является функцией моделей. То есть грубо говоря, вся информация в нас уже есть, и мы способны не узнавать новую информацию, а только создавать новые модели. Я это развиваю как «интерактивный конструктивизм». Это к вопросу о реальности.
Вопрос, что хотим получить от автономного ИИ в перспективе? С «дружественной» логикой, или построенной на иных принципах?
Мы не можем представить себе Недружественную логику. Если мы ее представили, значит она уже возможная и для нас ) У нас у самих сейчас в науке столько логик, что не перечесть. Повседневная же логика — это не формальная логика, а «здравый смысл», то есть правдоподобная логика, частично культурно обусловленная к тому же. За ссылки спасибо, внимательно прочитаю. Но фундаментальный механизм рассуждений, о котором я пишу, скорее всего один у всех логик.
причин торможения эффективности научных исследований (стагнации),
Очень интересный момент! Я бы на Вашем месте написал бы тут отдельный пост. Но скорее всего это плато перед новым парадигмальным сдвигом. Но это не будет объединение каких-то теорий. Нет. Это будет изменение самого взгляда на мир как я описал выше. Похожий на то как в 11 веке вдруг поняли, что мы видим не потому что глаза испускают лучи, ощупывающие предметы, а наоборот ) Причем мы теперь то знаем, что именно ощупывает, но не испуская лучи — см. eyestracker. Но это точно философия )
В первом приближении таковыми можно считать функции когнитивного ядра, являющегося своеобразным интерфейсом между реальностью, и ее перцептивным представлением и теоретическим осмыслением
Вот именно в этом весь вопрос — что это за «когнитивное яро», которое работает между реальностью и представлением? Уже известно, что тут особую роль играет гиппокамп с его нейронами места и решетки, на которые я намекал выше. Но в чем именно она заключается пока никто не знает.
Это не более чем имитация тогда интеллекта, за счета мускул — гигантских текстов. Как ассоциативная память да, тут писали где то, что похоже очень на поиск Гугл (результаты схожи на запросы). Но не более.
Значит все ещё впереди )
Одной контекстной встречаемости недостаточно, это уже очевидно. Это было понятно еще раньше, на сетях Элмана (были опыты с обучением нейросетей на текстах и в 90х). И дело даже не в том, что ребенок имеет врожденные представления о мире — GPT тоже переводится как предварительно обученная. Но ребенок не просто учится, он учится эффективно — буквально на паре примеров может узнавать всех кисок на свете.
Вопроса по моему остаются такие:
1. Метод обучения основан не только на внешних данных, но и на способе их «обработки», которая приводит этот опыт к системному виду. И в результате к сравнимому, сопоставимому, что позволяет из них делать выводы (рассуждения). Это некая grid-сетка, через которую пропускается весь опыт, в которой он записывается. Но про нее никто не говорит, все страстно набивают нейросети все большими данными и надеются на чудо, что она сама как-нибудь обучится и все поймет.
2. Сам функционал рассуждения, то что мы называем разными словами — метафора, аналогия, силлогизм (есть статья, где силлогизм разбирается как метафора), дедукция и индукция. Она следует из п.1, но им не является. Механизм этот как раз и позволяет делать правдоподобные выводы из фактов, дополняя картину мира. Но опять же он не известен и о нем не говорят.
Заметьте, что оба функционала являются по сути априорными, то есть врожденными, и не концептами твердого тела, а еще более базовыми как причинность и пространство. Но не они.
Да, я не на тот комментарий ответил, тут где то было, что надо ей приделать зрительную модальность и все будет ок. Уже приделали вокены. Не будет. А вот ваша ссылка как раз о том, что может привести к результату. Это не мульти модальность, а память плюс действие с подкреплением как проверка гипотез, которые GPT классно генерит.
Нет, опора на другие модальности ничем не поможет GPT. Потому что текст принципиально не отличается от той же картинки, которую глаз оббегает по некоторой линейной траектории. См. Eyestracker. В тексте, на котором она обучалась, столько же"здравого смысла", сколько и на картинках (при анализе отношений в них). Кружка на столе и в моем тексте, и на картинке. Поэтому ничем это не поможет. А вот действия для проверки и корректировки может. Это новый способ самообучения. Только вот в диалоге трудно определить ошибку.
Нет, опора на другие модальности ничем не поможет GPT. Потому что текст принципиально не отличается от той же картинки, которую глаз оббегает по некоторой линейной траектории. См. Eyestracker. В тексте, на котором она обучалась, столько же"здравого смысла", сколько и на картинках (при анализе отношений преемников в них). Кружка на столе и в моем тексте, и на картинке. Поэтому ничем это не поможет.
Как показывает практика, слепо-глухо-немые дети с интеллектом дружат не очень…
Это потому что из сразу помещают в спец заведения и плохо учат. Ольга Скороходова стала кандидатом наук, потому что её учили великие педагоги начала прошлого века.
Тексты, которые подаются в GPT-3 — это такие же сигналы, которые как-то скоррелированы с реальностью.
Вот совершенно верно! В тестах не написан бред о реальном мире, наоборот, это человеческие тесты, наполненные зернового смысла. Но GPT это не помогает быть более благоразумной в своих ответах, хотя грамматически, например, она безупречна. Что мешает? Вот настоящий вопрос.
Иное дело, если слова воспринимаются в контексте «известного мира».
Незнакомые слова воспринимаются в контексте знакомых, так учат иностранные языки, только с текстом.
Совершенно верно, никто не обладает всеми знаниями, но при этом может достроить конкретный кусочек картины мира вполне правдоподобно (здравый смысл). Я об этом и пишу. И вопрос именно в этом когнитивном ядре, которое позволяет строить не только правдоподобные факты, но и целые концепты (через метафоризацию).
Почему такое ядро не возникло у GPT и она нередко выдает откровенный бред? Ведь писали, что внимание в трансформере по сути создаёт свою псевдограмматику текста. И в части грамматики тексты GPT безупречны. Что не хватает достичь безупречности в "здравом смысле"? Или хотя бы понять, как в мозгу человека формируется этот базовый компонент?
Вы пишите (в п.А) про «коммуникационный акт», а не про понимание, а это разные вещи, хотя одно и происходит в ходе другого.
Но системе придется взаимодействовать с разными людьми…
В каждый момент, или КА, как вы пишите, бот взаимодействует с одним человеком.
Не думаю, что игра со словами может быть продуктивным инструментом мышления
Нет, не игра слов, не культурная особенность и не только творческий прием. Это общекогнитивный механизм. Если вы не знакомы с этим, то вам стоит поверить тем, кто знает, например, Т. Скребцовой. ))
Всего доброго
Это не о понимании, это критерии успешности диалога, коммуникации.
Именно их я и считаю критериями понимания. Собственно у вас выше в А. приведены они же.
Или, по крайней мере, для этого надо быть человеком (не ИИ или ИР), находиться в среде психически здоровых людей, принадлежащих к одной культуре
И это достаточный критерий «здравого смысла». Но в общем смысле это просто факты, которые «логичны», то есть хотя бы возможны по нашему представлению.
Чтобы полностью соответствовать вашим ожиданиям в данный конкретный момент, любая система (даже обладающая в полной мере человеческим разумом) должна для этого «мониторить» вас 24 часа в сутки
Этого совершенно не требуется. Я ожидаю, например, просто получить одобрение — для этого не обязательно за мной следить круглые сутки ) Лаже гугл не следит за каждым моим действием (я вот сейчас пью чай, и он об этом не знает), но дает вполне удовлетворяющие мои ожидания ответы в поиске ))
Если следовать определению метафоры система должна в ответ на ваш запрос намекать, приводить аналогии, используя «ограниченный язык»
Нет, метафора понимается мной так как она используется в когнитивной лингвистике, введенной туда Лакофф Г. Метафора применяется как основной механизм получения новых концептов и понятий — времени из пространственного движения, власти из позиции верх-низ и т.п. Подробнее можно почитать у автора.
Полностью разделяю его мысль
Жаль, потому что эта позиция очень… странная. Конечно, осознание понимания самим субъектом субъективно. Это очевидно. Но речь о коммуникации, и оценка понимания по ответному поведению как вы написали в А, что вполне объективно как примере с холодной/горячей кружкой. Поэтому что именно утверждает teology и с чем вы именно согласны становится не понятным вообще.
GPT-3 как раз показывает, что не в данных дело. В нее собрали миллиарды параметров, гигабайты перемолотых текстов. Но умнее она не стала сильно, она так же допускает нелепые ошибки в текстах на здравый смысл.
Вы неправильно задали промт. Если бы вы написали так как ниже, все посчитала бы правильно.
how many words are in message: how many words are in message
Как-то надо обозначить в простое, к какой базе надо построить запрос, иначе chatGPT будет фантазировать.
GPT-2 уже используют школьники для генерации сочинений )) И в этом смысле случайность — это неточность вероятностной схемы GPT, которая приводит к новым вариантам. Когнитивная система в какой-то мере работает так же. Модели более вариативны чем «реальность», математика как одна из них подразумевает гораздо больше возможностей «сосчитать», чем подтверждается в опыте.
И именно это говорит, что человек делает открытия не случайно, хотя для него это инсайт (черный ящик). Nehc очень точно отметил что не хватает — критического мышления (сравнения если быть точным), мотивации (намерений у агента нет никаких по отношению к нам), долгосрочной памяти (тут есть ошибка — памяти нет у мозга, это неправильная метафора записи в книге, у мозга есть восстановление по контексту). Вот когда всем этим займутся, тогда только будет круто. А пока — только крутая имитация )
Это общие вычислительные характеристики, а не характеристики построения «знаний», чем бы они ни были. Я же говорю о специфическом априорном способе выстраивания знаний. И не путем «переработки» информации, кстати. Вам наверняка известно, что, как Вы написали ниже, когнитивная все больше приходит к парадигме не обработки информации из вне, а ее генерации изнутри с корректировкой этой картины нашими органами. То есть наоборот, в когнитивной это еще называют «контролируемыми галлюцинациями». И это по моему даже очевидно — от объектов не исходит никакая инфо, она является функцией моделей. То есть грубо говоря, вся информация в нас уже есть, и мы способны не узнавать новую информацию, а только создавать новые модели. Я это развиваю как «интерактивный конструктивизм». Это к вопросу о реальности.
Мы не можем представить себе Недружественную логику. Если мы ее представили, значит она уже возможная и для нас ) У нас у самих сейчас в науке столько логик, что не перечесть. Повседневная же логика — это не формальная логика, а «здравый смысл», то есть правдоподобная логика, частично культурно обусловленная к тому же. За ссылки спасибо, внимательно прочитаю. Но фундаментальный механизм рассуждений, о котором я пишу, скорее всего один у всех логик.
Очень интересный момент! Я бы на Вашем месте написал бы тут отдельный пост. Но скорее всего это плато перед новым парадигмальным сдвигом. Но это не будет объединение каких-то теорий. Нет. Это будет изменение самого взгляда на мир как я описал выше. Похожий на то как в 11 веке вдруг поняли, что мы видим не потому что глаза испускают лучи, ощупывающие предметы, а наоборот ) Причем мы теперь то знаем, что именно ощупывает, но не испуская лучи — см. eyestracker. Но это точно философия )
Вот именно в этом весь вопрос — что это за «когнитивное яро», которое работает между реальностью и представлением? Уже известно, что тут особую роль играет гиппокамп с его нейронами места и решетки, на которые я намекал выше. Но в чем именно она заключается пока никто не знает.
Это не более чем имитация тогда интеллекта, за счета мускул — гигантских текстов. Как ассоциативная память да, тут писали где то, что похоже очень на поиск Гугл (результаты схожи на запросы). Но не более.
Значит все ещё впереди )
Вопроса по моему остаются такие:
1. Метод обучения основан не только на внешних данных, но и на способе их «обработки», которая приводит этот опыт к системному виду. И в результате к сравнимому, сопоставимому, что позволяет из них делать выводы (рассуждения). Это некая grid-сетка, через которую пропускается весь опыт, в которой он записывается. Но про нее никто не говорит, все страстно набивают нейросети все большими данными и надеются на чудо, что она сама как-нибудь обучится и все поймет.
2. Сам функционал рассуждения, то что мы называем разными словами — метафора, аналогия, силлогизм (есть статья, где силлогизм разбирается как метафора), дедукция и индукция. Она следует из п.1, но им не является. Механизм этот как раз и позволяет делать правдоподобные выводы из фактов, дополняя картину мира. Но опять же он не известен и о нем не говорят.
Заметьте, что оба функционала являются по сути априорными, то есть врожденными, и не концептами твердого тела, а еще более базовыми как причинность и пространство. Но не они.
Это так, алгоритмического понимания точно нет, есть только герменевтическое — Если смог интерпретировать, значит понял. Но критерий сомнительный
Да, я не на тот комментарий ответил, тут где то было, что надо ей приделать зрительную модальность и все будет ок. Уже приделали вокены. Не будет. А вот ваша ссылка как раз о том, что может привести к результату. Это не мульти модальность, а память плюс действие с подкреплением как проверка гипотез, которые GPT классно генерит.
Нет, опора на другие модальности ничем не поможет GPT. Потому что текст принципиально не отличается от той же картинки, которую глаз оббегает по некоторой линейной траектории. См. Eyestracker. В тексте, на котором она обучалась, столько же"здравого смысла", сколько и на картинках (при анализе отношений в них). Кружка на столе и в моем тексте, и на картинке. Поэтому ничем это не поможет. А вот действия для проверки и корректировки может. Это новый способ самообучения. Только вот в диалоге трудно определить ошибку.
Нет, опора на другие модальности ничем не поможет GPT. Потому что текст принципиально не отличается от той же картинки, которую глаз оббегает по некоторой линейной траектории. См. Eyestracker. В тексте, на котором она обучалась, столько же"здравого смысла", сколько и на картинках (при анализе отношений преемников в них). Кружка на столе и в моем тексте, и на картинке. Поэтому ничем это не поможет.
Вот совершенно верно! В тестах не написан бред о реальном мире, наоборот, это человеческие тесты, наполненные зернового смысла. Но GPT это не помогает быть более благоразумной в своих ответах, хотя грамматически, например, она безупречна. Что мешает? Вот настоящий вопрос.
Совершенно верно, никто не обладает всеми знаниями, но при этом может достроить конкретный кусочек картины мира вполне правдоподобно (здравый смысл). Я об этом и пишу. И вопрос именно в этом когнитивном ядре, которое позволяет строить не только правдоподобные факты, но и целые концепты (через метафоризацию).
Почему такое ядро не возникло у GPT и она нередко выдает откровенный бред? Ведь писали, что внимание в трансформере по сути создаёт свою псевдограмматику текста. И в части грамматики тексты GPT безупречны. Что не хватает достичь безупречности в "здравом смысле"? Или хотя бы понять, как в мозгу человека формируется этот базовый компонент?
Вы пишите (в п.А) про «коммуникационный акт», а не про понимание, а это разные вещи, хотя одно и происходит в ходе другого.
В каждый момент, или КА, как вы пишите, бот взаимодействует с одним человеком.
Нет, не игра слов, не культурная особенность и не только творческий прием. Это общекогнитивный механизм. Если вы не знакомы с этим, то вам стоит поверить тем, кто знает, например, Т. Скребцовой. ))
Всего доброго
Именно их я и считаю критериями понимания. Собственно у вас выше в А. приведены они же.
И это достаточный критерий «здравого смысла». Но в общем смысле это просто факты, которые «логичны», то есть хотя бы возможны по нашему представлению.
Этого совершенно не требуется. Я ожидаю, например, просто получить одобрение — для этого не обязательно за мной следить круглые сутки ) Лаже гугл не следит за каждым моим действием (я вот сейчас пью чай, и он об этом не знает), но дает вполне удовлетворяющие мои ожидания ответы в поиске ))
Нет, метафора понимается мной так как она используется в когнитивной лингвистике, введенной туда Лакофф Г. Метафора применяется как основной механизм получения новых концептов и понятий — времени из пространственного движения, власти из позиции верх-низ и т.п. Подробнее можно почитать у автора.
Жаль, потому что эта позиция очень… странная. Конечно, осознание понимания самим субъектом субъективно. Это очевидно. Но речь о коммуникации, и оценка понимания по ответному поведению как вы написали в А, что вполне объективно как примере с холодной/горячей кружкой. Поэтому что именно утверждает teology и с чем вы именно согласны становится не понятным вообще.
Причем тут разница в обучении? Вы писали про нехватку данных, а не разница в обучении. Я отвечаю на этот аргумент.