kapas19анонсировал следующую статью в которой продемонстрирует реализацию аппарата на простом и наглядном примере Спиди. Уверен, это поможет лучше прочувствовать и понять основные принципы теории Амосова.
Nehc для понимания «прорывных концепций», в качестве стимула к ознакомлению с теорией Амосова, рекомендую прочитать страницы 18-30 работы «Алгоритмы разума».
Могу сказать, почему работы Амосова вдохновляют меня. В свое время, на первом курсе военного училища я пробовал понять, как устроен мозг, пытался выстроить свое понимание как мыслю я сам, что общего можно выделить в плане алгоритма работы мозга, разума. Помню, после трудового дня ходил несколько часов по территории училища и думал, анализировал, записывал… До тех пор, пока не натолкнулся на препринт работ лаборатории Амосова и понял — вот оно — то, о чем я думал, что записал сам. Все стало логично и понятно. Лично мне понравился подход Амосова не с точки зрения биологии, или математики, а на стыке — информационное объяснение того, как работает мозг, какие информационные процессы в нем происходят. Спасибо автору статьи (kapas19), что привлекает внимание к работам Николая Михайловича, вызывает уважение его смелость обратить внимание к такой сложной теме. В одной статье рассказать все невозможно.
Амосов в своих работах соблюдает строгий баланс между биологией, математикой, возможно, философией. В далекие 50-е прошлого века они в своей лаборатории моделировали процессы, которые сейчас никто смоделировать не сможет. Небезразличным, думающим, очень рекомендую познакомиться с работами Амосова. Уверен, многие найдут ответы на свои вопросы о разуме и источник вдохновения для своих работ.
Еще раз спасибо автору статьи, за привлечение внимания к этой теме.
Но опять же предлагаю не отбрасывать то, что не вяжется с привычным пониманием.
Давайте предположим, что это реальный случай.
С информационной точки зрения это логично. И получение информации от рецепторов, и управление эффекторами — все это передача и обработка сигналов. Тогда, при медленном угасании активности пораженных участков мозга, корковые структуры могут перенимать функции пораженных.
В случае же травм, происходит резкое нарушение функций и кора не успевает их перенять.
Могу предположить, что одно из фундаментальных свойств сети — обязательный отклик на распространяющийся сигнал. Если отклика нет, формируются новые связи в «свободных» участках коры.
Это далеко не единичный случай. Мой знакомый невролог рассказывал про случай из своей практики. У ребенка- третьекласника на томограмме также обнаружили поражение мозга водянкой. При этом мальчик учился хорошо и ничем от сверстников не отличался.
Восстановление документа было реализовано без нейросети. Парсер прогонял текст через модуль морфологии, в результате мы получали индексы слов. Они-то и подавались в сеть. До нейросетевой морфологии мы не дошли .
Поищу.
Я был в стороне этого проекта — больше как наблюдатель. По моему мнению, проект был обречен изначально. Он возник от безысходности — нужны были вычислительные мощности, а персональные компьютеры появились значительно позднее.
Да, просто индекс предложения. На основе этого слоя получали аннтотации документов.
Мы предполагали добавить слой смыслов или образов, но до этого не дошло.
И тем не менее — одно дело пытаться разобрать все на уровне молекул и химии, другое — понять информационную составляющую. Какая функция моделируется? В теории Амосова у связи есть много параметров, не только проходимость.
Может быть, я вас не понял. Тогда, можете пояснить, в каком смысле вы используете оборот единая топология?
Все правильно поняли. Амосов в своих работах моделировал различные сферы деятельности мозга на одних и тех же структурах. В своих исследованиях он старался понять информационную (алгоритмическую) сторону процессов мозга. Ведь для того, чтобы перемножить величину возбуждения на проходимость связи не требуется моделировать передачу нейромедиаторов в синапсе. В этом и состоит баланс между нейрофизиологией и математикой.
Что же касается данных гистологии — да, старый мозг состоит из многих образований, но случай с водянкой дает основание предположить, что для полноценной деятельности мозга достаточно неокортекса, размер которого напрямую связан в живом мире с интеллектом. Это же подтверждает и Джефф Хокинс на основе данных полученных в ходе изучения мозга основанным им институтом.
А между блоками? А набор самих функциональных блоков? – тоже генетика?
Однозначно. А можно предположить что-то еще? Начальное состояние формируется вручную (с использованием данных нейрофизиологии), далее сеть изменяется на основе своей деятельности и внешнего окружения. Очень похоже на то, что мы видим в живой природе. Разве нет?
Это вопрос вашей веры (не подкрепленного достаточным количеством фактов утверждения) или доказанный факт?
Использую фразу Амосова — мне трудно предположить что-то иное. Факты того, что для полноценной мозговой деятельности достаточно новой коры есть. Факт, что размер коры напрямую зависит с силой интеллекта (среди видов) тоже трудно оспорить. То, что для начала жизнедеятельности требуется четкая структура отвечающая набором врожденных рефлексов — факт. То, что большинство врожденных рефлексов угасает в процессе развития тоже факт.
… но не организация конкретных межнейронных связей (скорее всего, за исключением нейронных ансамблей в сенсорных анализаторах).
Конкретные связи в первоначальном состоянии. Как раз связи ансамблей. В М-сетях каждый нейрон рассматривается как модель ансамбля. Амосов в своих работах разделял уровни на А-сети (моделируют один ансамбль) и М-сети. При этом М-сети являются А-сетями для нейронов высшего уровня.
Гипотеза Амосова интересна, красива и на нее можно опираться. Однако, если все так хорошо, почему нет результата – работающий ИР?
В то время, когда Амосов разрабатывал свою теорию не было необходимых вычислительных мощностей. Сейчас нет Амосова. Но почему бы не повторить его работу нам?
Описался — операция логическое «И». В данном случае при равномерном распределении на большом количестве битов пересечение будет соответствовать умножению. В обеспечении равномерного распределения и возникли основные трудности. Но было предположение, что точного умножения для работоспособности не требуется.
Уже трудно сейчас свободно использовать что-то, что нарушает законы США. В гитхабе ПО, нарушающее чей-то патент, долго не проживёт.
Точное повторение того, что описано в патентах не нужно. Базовые принципы патентами закрыты быть не могут, так как описаны в открытых публикациях. А будет ли это 4-х слойная сеть или другая — вопрос архитектуры.
Я писал, что у меня сложное отношение к патентам. С точки зрения развития мысли они крайне-полезны, но обойти их не нарушая всегда можно, тем более, если речь идет об алгоритмах.
Слой Objects и связи с ним, я так понимаю, формировали вручную?
Все верно. В рамках Quintura формировали вручную.
Есть понимание, как делать это автоматически на основе «осмысления» текстов и аналогий. Также, как это происходит у человека. Ведь подтверждение «умозаключений» при обучении человеку также необходимо. Сначала чаще, позже реже.
Первую реализацию программ на PC делали на нашей кафедре. Нейроны стандартные. Отличаются лишь семантической нагрузкой. Группируются в блоки (рецепторный, эффекторный, блок чувств и т.п.), в пределах блоков алгоритм работы стандартный, отличается значениями некоторых параметров. Цель архитектора системы сформировать правильное начальное состояние сети, в том числе вручную задав начальные связи. И чем полнее будет описана первоначальная сеть, тем ближе она будет к реальному мозгу.
Идея была в том, чтобы использовать для нейросетей устройство, построенное на основе простых логических элементах (те самые К155ЛА3 и ЛЕ1) — то что было под рукой. Для перемножения возбуждения на вес связи требовалось решить вопрос логического умножения. В стохастических нейросетях значение величин кодировалось вероятностью возникновения единицы в каждом разряде (при 0% — получаем все 0, при 100% все единицы, при 50% в байте будут 4 единицы в случайных разрядах). Было доказано, что при логическом сложении таких величин фактически происходит операция умножения. Были произведены отдельные модули, но полностью работы завершены не были.
Этого как раз в природной НС не обнаруживается. Есть не только микроколонки (что характерно для коры полушарий).
Природа доказывает обратное. При рождении человек пользуется старым мозгом, а позднее, практически все функции переходят в новую кору. На хабре есть статья на эту тему. Также это хорошо описано Джеффом Хокинсом в работе «Об интеллекте».
Они вводятся «руками»?
Да, структура мозга задается вручную, экспертом. Также как в живом мире определяется генетикой.
Каким образом? Я не о теоретических соображениях Амосова, а о модели…
С помощью механизма Системы Усиления-Торможения. В «Алгоритмах Разума» об этом пишут на страницах 109-121.
Было бы интересно попытаться воспроизвести результаты команды Амосова.
Конечно программа вводилась с перфокарт, но могли остаться листинги… Да прошло уже немало — полсотни — лет.
Цель повторения результатов Амосова была основной в написании этой статьи. Листинги не так важны — формулы и алгоритмы хорошо описаны в «Автоматах». Полезнее было бы полное описание нейронов в информационных блоках.
...«Автоматы и разумное поведение...» с моей точки зрения намного более содержательная работа — это по своей сути — отчет о НИР
Согласен, в ней подробно рассмотрены несколько примеров реализации. Но более полно мысли про сильный ИИ все-таки описаны в «Алгоритмах разума».
Мне показалось что работы были остановлены задолго до этого…
Теория фактически не менялась Амосовым с «Алгоритмов разума». Дальнейшие работы в области стохастических нейрокомпьютеров велись сотрудниками лаборатории вплоть до начала 90-х.
Не факт…
Это ведь не предмет веры?
Аргументы в пользу М-сетей:
единая топология для моделирования различных аспектов разума;
присутствуют нейроны соответствующие критериям оценок или чувствам;
объясняются феномены сознания и подсознания;
обучение происходит схожим образом — без многократной подстройки весов обратным распространением ошибки;
возможность моделирования сложной нервной деятельности;
В глубоких сетях можно найти аналогию с сетчаткой глаза и зрительными зонами мозга, но как-то с натягом.
1. По ряду причин (опала, отсутствие вычислительных мощностей и, как следствие, возможности реализации практических задач), Амосов мог заниматься больше теорией, чем практикой. «Алгоритмы разума», на мой взгляд, подводили итог нейросетевого этапа в жизни Николая Михайловича. Теория была разработана но условий для ее практической реализации не было.
Лаборатория Амосова переключилась на попытку разработки аппаратного нейрокомпьютера на основе стохастических нейронных сетей.
Серьезного результата получить не удалось, последовал развал Союза и эмиграция части лаборатории за рубеж. Фактически школа прекратила свое существование. Сейчас уже нет и института кибернетики им. Глушкова, в котором существовала лаборатория Амосова.
Основные материалы лаборатории издавались единичными экземплярами. Программы писались под существующие компьютеры, на перфокартах. Сомневаюсь, что удастся их разыскать.
2. В вашей модели явно присутствует семантическая сеть. Непонятно, а в чем ее связь с нейросетями? Вес связи между нейронами-«понятиями»?
Нейросетью считают любую модель, построенную по принципу биологических нейронных сетей. В этом плане сети Амосова на порядок ближе к биологическим, чем популярные сейчас модели. Мне кажется главное свойство, которое объединяет различные парадигмы — параллельная работа множества однотипных элементов. Законы, по которым происходит эта работа и отличают различные парадигмы. Правила формирования и изменения связей, количество одновременно работающих элементов, семантика, интерпретация результатов — это все аттрибуты нейронной сети, а не только вес связи между нейронами-«понятиями».
Но вся работа Амосова оказалась бы «под грифом секретно».
На самом деле почти так и было. Амосов обратился в ЦК КПСС с предложением использовать свой аппарат для моделирования социальных процессов в обществе и предварительной оценки политических и социальных решений, после чего попал в опалу. Ему пришлось использовать весь свой авторитет (в том числе международный), чтобы сохранить деятельность лаборатории ИИ.
Вот про опенсорс. После того как рассказали о применённых решениях, наверно стоит упомянуть здесь те из них, которые другим разработчикам теперь применять нельзя из-за закрытия вашими патентами.
У меня неоднозначное отношение к патентам. Желающих их нарушить не остановить.
Патенты действуют на территории США, остальной мир может использовать описанные идеи свободно. Кроме того, добавление изменений в реализацию описанных идей обеспечит соблюдение авторских прав.
Наверное, могут возникнуть сложности с визуальными картами запроса и точным повторением архитектуры нейросети (но это будет сложно доказать).
Амосов в своих работах соблюдает строгий баланс между биологией, математикой, возможно, философией. В далекие 50-е прошлого века они в своей лаборатории моделировали процессы, которые сейчас никто смоделировать не сможет. Небезразличным, думающим, очень рекомендую познакомиться с работами Амосова. Уверен, многие найдут ответы на свои вопросы о разуме и источник вдохновения для своих работ.
Еще раз спасибо автору статьи, за привлечение внимания к этой теме.
Но опять же предлагаю не отбрасывать то, что не вяжется с привычным пониманием.
Давайте предположим, что это реальный случай.
С информационной точки зрения это логично. И получение информации от рецепторов, и управление эффекторами — все это передача и обработка сигналов. Тогда, при медленном угасании активности пораженных участков мозга, корковые структуры могут перенимать функции пораженных.
В случае же травм, происходит резкое нарушение функций и кора не успевает их перенять.
Могу предположить, что одно из фундаментальных свойств сети — обязательный отклик на распространяющийся сигнал. Если отклика нет, формируются новые связи в «свободных» участках коры.
Не очень понял в чем вопрос?
Это далеко не единичный случай. Мой знакомый невролог рассказывал про случай из своей практики. У ребенка- третьекласника на томограмме также обнаружили поражение мозга водянкой. При этом мальчик учился хорошо и ничем от сверстников не отличался.
Восстановление документа было реализовано без нейросети. Парсер прогонял текст через модуль морфологии, в результате мы получали индексы слов. Они-то и подавались в сеть. До нейросетевой морфологии мы не дошли .
Я был в стороне этого проекта — больше как наблюдатель. По моему мнению, проект был обречен изначально. Он возник от безысходности — нужны были вычислительные мощности, а персональные компьютеры появились значительно позднее.
Мы предполагали добавить слой смыслов или образов, но до этого не дошло.
Остается вопрос организации процесса создания опенсорс-проекта. Осилит дорогу идущий, конечно. Буду рад сотрудничеству.
Все правильно поняли. Амосов в своих работах моделировал различные сферы деятельности мозга на одних и тех же структурах. В своих исследованиях он старался понять информационную (алгоритмическую) сторону процессов мозга. Ведь для того, чтобы перемножить величину возбуждения на проходимость связи не требуется моделировать передачу нейромедиаторов в синапсе. В этом и состоит баланс между нейрофизиологией и математикой.
Что же касается данных гистологии — да, старый мозг состоит из многих образований, но случай с водянкой
дает основание предположить, что для полноценной деятельности мозга достаточно неокортекса, размер которого напрямую связан в живом мире с интеллектом. Это же подтверждает и Джефф Хокинс на основе данных полученных в ходе изучения мозга основанным им институтом.
Однозначно. А можно предположить что-то еще? Начальное состояние формируется вручную (с использованием данных нейрофизиологии), далее сеть изменяется на основе своей деятельности и внешнего окружения. Очень похоже на то, что мы видим в живой природе. Разве нет?
Использую фразу Амосова — мне трудно предположить что-то иное. Факты того, что для полноценной мозговой деятельности достаточно новой коры есть. Факт, что размер коры напрямую зависит с силой интеллекта (среди видов) тоже трудно оспорить. То, что для начала жизнедеятельности требуется четкая структура отвечающая набором врожденных рефлексов — факт. То, что большинство врожденных рефлексов угасает в процессе развития тоже факт.
Конкретные связи в первоначальном состоянии. Как раз связи ансамблей. В М-сетях каждый нейрон рассматривается как модель ансамбля. Амосов в своих работах разделял уровни на А-сети (моделируют один ансамбль) и М-сети. При этом М-сети являются А-сетями для нейронов высшего уровня.
В то время, когда Амосов разрабатывал свою теорию не было необходимых вычислительных мощностей. Сейчас нет Амосова. Но почему бы не повторить его работу нам?
Описался — операция логическое «И». В данном случае при равномерном распределении на большом количестве битов пересечение будет соответствовать умножению. В обеспечении равномерного распределения и возникли основные трудности. Но было предположение, что точного умножения для работоспособности не требуется.
Точное повторение того, что описано в патентах не нужно. Базовые принципы патентами закрыты быть не могут, так как описаны в открытых публикациях. А будет ли это 4-х слойная сеть или другая — вопрос архитектуры.
Я писал, что у меня сложное отношение к патентам. С точки зрения развития мысли они крайне-полезны, но обойти их не нарушая всегда можно, тем более, если речь идет об алгоритмах.
Все верно. В рамках Quintura формировали вручную.
Есть понимание, как делать это автоматически на основе «осмысления» текстов и аналогий. Также, как это происходит у человека. Ведь подтверждение «умозаключений» при обучении человеку также необходимо. Сначала чаще, позже реже.
Идея была в том, чтобы использовать для нейросетей устройство, построенное на основе простых логических элементах (те самые К155ЛА3 и ЛЕ1) — то что было под рукой. Для перемножения возбуждения на вес связи требовалось решить вопрос логического умножения. В стохастических нейросетях значение величин кодировалось вероятностью возникновения единицы в каждом разряде (при 0% — получаем все 0, при 100% все единицы, при 50% в байте будут 4 единицы в случайных разрядах). Было доказано, что при логическом сложении таких величин фактически происходит операция умножения. Были произведены отдельные модули, но полностью работы завершены не были.
Природа доказывает обратное. При рождении человек пользуется старым мозгом, а позднее, практически все функции переходят в новую кору. На хабре есть статья на эту тему. Также это хорошо описано Джеффом Хокинсом в работе «Об интеллекте».
Да, структура мозга задается вручную, экспертом. Также как в живом мире определяется генетикой.
С помощью механизма Системы Усиления-Торможения. В «Алгоритмах Разума» об этом пишут на страницах 109-121.
Цель повторения результатов Амосова была основной в написании этой статьи. Листинги не так важны — формулы и алгоритмы хорошо описаны в «Автоматах». Полезнее было бы полное описание нейронов в информационных блоках.
Согласен, в ней подробно рассмотрены несколько примеров реализации. Но более полно мысли про сильный ИИ все-таки описаны в «Алгоритмах разума».
Теория фактически не менялась Амосовым с «Алгоритмов разума». Дальнейшие работы в области стохастических нейрокомпьютеров велись сотрудниками лаборатории вплоть до начала 90-х.
Это ведь не предмет веры?
Аргументы в пользу М-сетей:
В глубоких сетях можно найти аналогию с сетчаткой глаза и зрительными зонами мозга, но как-то с натягом.
Лаборатория Амосова переключилась на попытку разработки аппаратного нейрокомпьютера на основе стохастических нейронных сетей.
Серьезного результата получить не удалось, последовал развал Союза и эмиграция части лаборатории за рубеж. Фактически школа прекратила свое существование. Сейчас уже нет и института кибернетики им. Глушкова, в котором существовала лаборатория Амосова.
Основные материалы лаборатории издавались единичными экземплярами. Программы писались под существующие компьютеры, на перфокартах. Сомневаюсь, что удастся их разыскать.
Нейросетью считают любую модель, построенную по принципу биологических нейронных сетей. В этом плане сети Амосова на порядок ближе к биологическим, чем популярные сейчас модели. Мне кажется главное свойство, которое объединяет различные парадигмы — параллельная работа множества однотипных элементов. Законы, по которым происходит эта работа и отличают различные парадигмы. Правила формирования и изменения связей, количество одновременно работающих элементов, семантика, интерпретация результатов — это все аттрибуты нейронной сети, а не только вес связи между нейронами-«понятиями».
На самом деле почти так и было. Амосов обратился в ЦК КПСС с предложением использовать свой аппарат для моделирования социальных процессов в обществе и предварительной оценки политических и социальных решений, после чего попал в опалу. Ему пришлось использовать весь свой авторитет (в том числе международный), чтобы сохранить деятельность лаборатории ИИ.
У меня неоднозначное отношение к патентам. Желающих их нарушить не остановить.
Патенты действуют на территории США, остальной мир может использовать описанные идеи свободно. Кроме того, добавление изменений в реализацию описанных идей обеспечит соблюдение авторских прав.
Наверное, могут возникнуть сложности с визуальными картами запроса и точным повторением архитектуры нейросети (но это будет сложно доказать).
В сети есть сравнение облака Quintura с Google Wonder Wheel, появившемся позднее и в настоящий момент закрытым.
При закрытии все патенты были куплены американским патентным брокером и, по слухам, использованы против Google в составе большого пакета.