0,0
рейтинг
19 марта 2014 в 16:10

Разработка → Логика мышления. Часть 13. Ассоциативная память



Этот цикл статей описывает волновую модель мозга, серьезно отличающуюся от традиционных моделей. Настоятельно рекомендую тем, кто только присоединился, начинать чтение с первой части.

В предыдущей части мы показали как может выглядеть распределенная память. Основная идея заключается в том, что общий волновой идентификатор может объединить нейроны, которые своей активностью формируют запоминаемую картину. Чтобы воспроизвести конкретное событие достаточно запустить по коре соответствующий идентификатор воспоминания. Его распространение восстановит ту же картину активности, что была на коре на момент фиксации этого воспоминания. Но главный вопрос — это как нам получить требуемый идентификатор? Ассоциативность памяти подразумевает, что по набору признаков мы можем отобрать события, в описании которых присутствовали эти признаки. То есть должен существовать нейронный механизм, который позволит по описанию в определенных признаках, получить идентификатор подходящего под эти признаки воспоминания.

Когда мы говорили о распространении нейронных волн, мы исходили из того, что нейрон хранит на внесинаптической мембране те волновые картины, участником которых он является. Встретив знакомую картину, нейрон своим спайком создает продолжение уникального узора. И тут важно, что нейрон не просто в состоянии узнать волновую картину, а то, что он сам – часть распространяющегося узора. Только будучи сам частью уникальной волны нейрон способен участвовать в ее распространении.



Чтобы не запутаться в последующих рассуждениях, еще раз повторим основные свойства волновой модели коры. Если отметить нейроны, относящиеся к одному волновому узору или – другими словами – идентификатору, то получится что-то вроде набора точек, изображенного на рисунке ниже.



Взяв любое место коры и активировав элементы идентификатора, мы получим волну, распространяющуюся от активного места, повторяющую характерный для идентификатора узор (рисунок ниже).



Проходя через каждое место коры, волна будет «высвечивать» фрагмент своего уникального узора. Так, стартовав из области 1, волна, дойдя до области 2, создаст там свой предопределенный идентификатором уникальный узор (рисунок ниже).



По уникальности узора можно в каждом месте коры определить, какие идентификаторы составляют волну.

Если мы на спокойной коре в области 2 воспроизведем уже знакомый нам узор, то он также создаст волну, которая, распространившись до области 1, создаст там все тот же паттерн, характерный именно для этого идентификатора.



Из всего этого следует, что для узнавания идентификатора достаточно в любом месте коры запомнить, какой узор именно в этом месте создает волна. Это можно запомнить либо на синапсах нейрона, либо на внесинаптической части мембраны. Запоминание на синапсах приводит к вызванной активности (пакету импульсов) при узнавании, запоминание на метаботропных рецептивных кластерах позволяет получать единичные спайки при появлении знакомой волны.

Сложнее, если нам надо воспроизвести идентификатор. Для этого нам надо активировать хотя бы единичными спайками группу близко расположенных нейронов, относящихся к требуемому идентификатору. Описывая обратную проекцию и вводя несколько медиаторов, мы как раз показывали механизм, реализующий нечто подобное.

Говоря об ассоциативности понятий, мы показали, что запрос, построенный на волнах идентификаторов, возвращает набор идентификаторов понятий, ассоциативно связанных с понятиями, содержащимися в запросе.

Чтобы показать механизм извлечения воспоминаний из ассоциативной событийной памяти нам надо показать, как волновой запрос, состоящий из понятий-признаков, может выдать уникальные гиппокамповские идентификаторы воспоминаний, подходящих под этот запрос. Если мы сможем получить такой набор идентификаторов и отобрать из них один, то, запустив этот идентификатор обратно по коре, мы получим активность нейронов-детекторов, содержащих этот идентификатор на внесинаптической мембране, а это будет равносильно восстановлению всей описательной картины требуемого воспоминания.

Напомню, про нашу упрощенность и схематичность описания. Далее я изложу возможный нейронный механизм ассоциативной памяти, не утверждая при этом, что мозг работает именно так.

Опять ненадолго обратимся к строению реальных нейронов. Тело нейрона – сома – имеет ограниченную площадь и не может обеспечить места для всех синаптических контактов. Большая часть синапсов приходится на разветвленную структуру, называемую дендритом или дендритным деревом (рисунок ниже). Количество синапсов, располагающихся на дендрите, в 10-20 раз превышает количество синапсов на соме.


Формы дендритных деревьев (Greg Stuart, ‎Nelson Spruston, ‎Michael Häusser)

Было обнаружено, что нейрон ведет себя по-разному в зависимости от того, приходят ли сигналы на синапсы на одну или на разные дендритные ветки (Shepherd G.M., Brayton R.K., Miller J.P., Segev I., Rinzel J., Rall W., 1985). Одновременный приход импульсов на синапсы одной ветки вызывает значительно более сильный ответ нейрона, чем сигнал, распределенный по разным веткам.

На основе наблюдений такого рода родилась гипотеза о том, что дендритные ветки могут играть роль детекторов совпадений (Softky, 1994). Ее суть в том, что сигналам, рождающимся в удаленных ветках дендритного дерева, для генерации спайка нейрона необходимо, чтобы были активны сегменты дендритного дерева, лежащие по дороге сигнала к соме.

Такой эффект был показан для пирамидальных нейронов (Jarsky T., Alex Roxin A., Kath W.L., Spruston N., 2005), но можно полагать, что что-то подобное свойственно и нейронам других типов.


Фазы распространения сигнала в апикальных и наклонных сегментах пирамидального нейрона гиппокампа. Сигнал возникает в апикальном пучке (красная точка) и распространяется до коллатерали Шаффера (зеленая точка). Сигнал в более близком к соме месте дендрита не позволяет далекому сигналу угаснуть и способствует возникновению спайка (Jarsky T., Alex Roxin A., Kath W.L., Spruston N., 2005)

Распространение импульса по дендриту сопровождается его значительным затуханием. По идее, влияние удаленных (дистальных) синапсов должно быть значительно меньше, чем влияние близких (проксимальных). Однако были показаны механизмы, выравнивающие вклад таких синапсов, что вылилось в концепцию «демократии синапсов» (Clifton C. Rumsey, L. F. Abbott, 2006 ). Выравнивание вклада синапсов вдоль ветки дендрита позволяет рассматривать ветки как самостоятельные логические элементы, сигналы которых каким-то образом далее обрабатываются нейроном. Это означает, что теоретически, меняя конфигурацию дендрита и реакцию сомы, можно получить нейроны с различными логическими свойствами.

Например, в популярной концепции «иерархической темпоральной памяти» Джеффа Хокинса применяются нейроны, использующие автономные элементы, работающие в режиме «или» (рисунок ниже).


Модель нейрона с набором дендритных логических автономных элементов в сопоставлении с пирамидальным нейроном (Хокинс, 2011)

Вполне уместно предположить, что и реальный мозг оперирует нейронами с существенным разнообразием свойств.

Теперь перейдем, собственно, к описанию ассоциативной событийной памяти. Предположим, что у нас есть нейроны двух типов, образующие плоскую кору. Рецептивные поля этих нейронов охватывают некую локальную область своего окружения, куда попадают нейроны обоих типов. Условно разнесем их на два слоя, помня при этом о перекрестном распределении связей.

Зададим нейроны первого типа такими, чтобы они распространяли волну информационного идентификатора. Нейроны же второго типа заставим распространять исключительно волны идентификаторов гиппокампа (рисунок ниже).


Распространение двух независимых волн на нейронах с разным типом медиатора

Для этого разведем их аксоны и внесинаптические рецепторы по используемым медиаторам (таблица ниже). Обратите внимание, что для задания волнового распространения синаптические рецепторы нам не важны.
Синапсы Вне синапсов Аксон
Тип 1 A A
Тип 2 B B
Нейромедиаторные характеристики нейронов. Чувствительность рецепторов и выброс аксона

При таком задании медиаторов и рецепторов волны на двух слоях никак не будут влиять друг на друга.

Теперь усложним нейроны второго типа, сделаем их дендритные деревья состоящими из двух типов веток, отличающихся внесинаптическими медиаторами. При моделировании однородные ветки можно объединить и в результате оставить два дендритных сегмента, работающих по принципу «или» (таблица ниже).
Сегмент Синапсы Вне синапсов Аксон
Тип 1 A A
Тип 2 1 B B
2 A
Нейромедиаторные характеристики нейронов. Чувствительность рецепторов и выброс аксона. Нейроны второго типа имеют два дендритных сегмента с рецепторами, чувствительными к медиаторам разного типа

Предположим, что пока шло обучение нейронов тому, как распространять волны идентификаторов, у нейронов второго типа был заблокирован второй сегмент, чувствительный к «чужому» медиатору. Вся информация, необходимая для формирования волн, у нейронов второго типа будет откладываться на внесинаптической памяти первого сегмента.

Если теперь мы включим вторые сегменты, то на них начнется запоминание волновых картин, распространяющихся по нейронам первого типа. Будем полагать, что внесинаптическое запоминание происходит в момент, когда нейрон генерирует спайк. При этом фиксируется не моментальная картина активности на синапсах, а накопленная за весь такт распространения волны. Накопление позволит нам запомнить фрагмент волны первого уровня, даже если фазы волн двух уровней в месте запоминания не совпадают. То есть, когда нейрон второго уровня выдаст спайк, он зафиксирует картину информационной активности, даже если она была какое-то время назад.

Предположим, что мы провели один такт такого запоминания. Все нейроны второго уровня, распространяющие волну идентификатора гиппокампа, активные в этом такте, запомнят на своих вторых сегментах фрагменты информационной волны, прошедшей по нейронам первого типа. Это значит, что если мы когда-нибудь повторим такую же волну описания, то все нейроны второго уровня, которые узнают эту картину, дадут спайк. Общая картина этих спайков воспроизведет тот самый идентификатор гиппокампа, который был на момент запоминания этого информационного образа.

Так можно запоминать различные описательные картины. При повторении соответствующих описаний нейроны второго уровня будут выдавать суммарное сочетание всех идентификаторов гиппокампа, попадающих под текущее описание.

Видно, что такое запоминание крайне расточительно. Мы запоминаем каждый образ на всех активных нейронах второго типа. Хотя для воспроизведения идентификатора нам нужен всего лишь малый локальный участок, способный запустить волну. Чтобы исправить ситуацию, будем запоминать информационную волну не на всех активных нейронах второго типа, а только на тех, которые попадают в области с высокой вызванной активностью нейронов первого типа. То есть вспомним, что информация дуалистична. Она одновременно и идентификаторная волна, и активность паттернов вызванной активности. Волна даст нам узор для запоминания, а паттерны укажут места для этого.

Самый простой способ выбора места – это воспользоваться тем же полем активности, которое мы использовали для пространственной самоорганизации паттернов. В такой конфигурации запоминание можно представить так. В местах коры, где информационная картина создает паттерны вызванной активности, формируется поле активности. Все активные нейроны второго типа, распространяющие волну гиппокампа, для которых поле активности выше определенного порога, фиксируют на внесинаптической памяти картины, описываемые информационной волной.

Подав информационную волну-запрос, мы получим активность нейронов второго типа, узнавших этот запрос. Локальные группы таких нейронов будут излучать идентификаторы гиппокампа, относящиеся ко всем воспоминаниям, ассоциативно связанным с этим запросом.

Мы показали, как могут фиксироваться и восстанавливаться уникальные идентификаторы воспоминаний. Ранее мы показали, что если на нейронах-детекторах хранить память о таких уникальных идентификаторах, то можно восстанавливать образы, соответствующие запомненным моментам. В таблице ниже приведена возможная конфигурация медиаторов для такой памяти.
Сегмент Синапсы Вне синапсов Аксон
Тип 1 1 A A
2 B
Тип 2 1 B B
2 A
Нейромедиаторные характеристики нейронов. Чувствительность рецепторов и выброс аксона. Двусвязная конфигурация

Задание области запоминания через поле активности – достаточно грубый инструмент. Есть вполне очевидные пути по совершенствованию конструкции. Например, можно через синаптическое обучение нейронов второго типа создать из них области, соответствующие понятиям, находящимся в этом месте коры. Используя концепцию дендритного детектора совпадений, можно сделать так, что активность понятия будет обязательным условием, как для записи, так и для обратной генерации идентификаторов воспоминаний, связанных с этим понятием.

Вообще же богатство инструментария, которое предоставляет волновая модель коры с многосекционными нейронами, позволяет реализовывать достаточно сложные и интересные конструкции. Ограничимся пока уже приведенными самыми простыми схемами, чтобы окончательно не запутать повествование.

Использованная литература

Продолжение

Предыдущие части:
Часть 1. Нейрон
Часть 2. Факторы
Часть 3. Персептрон, сверточные сети
Часть 4. Фоновая активность
Часть 5. Волны мозга
Часть 6. Система проекций
Часть 7. Интерфейс человек-компьютер
Часть 8. Выделение факторов в волновых сетях
Часть 9. Паттерны нейронов-детекторов. Обратная проекция
Часть 10. Пространственная самоорганизация
Часть 11. Динамические нейронные сети. Ассоциативность
Часть 12. Следы памяти

Алексей Редозубов (2014)
Алексей Редозубов @AlexeyR
карма
159,7
рейтинг 0,0
Реклама помогает поддерживать и развивать наши сервисы

Подробнее
Реклама

Самое читаемое Разработка

Комментарии (16)

  • 0
    Ух ты! Отложу на вечернее чтение. Помниться, в университете в курсе архитектуры вычислительных систем рассказывали про ассоциативную память, и что за ней будущее искусственного интеллекта, ведь так работает человеческий мозг.
  • 0
    Алексей, уточните пожалуйста. Описанные два слоя моделируют кору? Или один из них и представляет собой гиппокамп? Наличие различных наборов медиаторов и является тем морфологическим отличием, о котором я упоминал в комментариях ранее или это так или иначе присуще всем нейронам коры?

    Из повествования не совсем понятно, то ли вызванная активность второго слоя это и есть работа гиппокампа или она лишь транслирует и ассоциирует идентификатор, сформированный и пришедший «извне».
    • +1
      Два слоя моделируют кору. Волна от гиппокампа приходит по системе проекций и распространяется по коре.
      Разные медиаторы, разные рецепторы, разные формы дендритных деревьев, различный характер распределения синаптических и аксонных контактов — это основной набор морфологичских отличий. Варьируя их и комбинируя нейроны различных типов, можно получать участки мозга с требуемыми свойствами. Такое аппаратное программирование.
  • +1
    Очень интересно, хотя признаться есть моменты, которые сложно «осилить». И конечно, возникли размышления и вопросы.

    — Каким образом формируются предустановленные, врождённые паттерны, например критерий красоты самки, разного рода инстинкты? Возможно ли формирование предустановленных паттернов в период формирования мозга младенца в утробе, на основе информации из ДНК? Ведь для того, чтобы унаследовать «опыт предков» в ходе естественного отбора, нужно чтобы этот опыт был не приобретен путем запоминания и обучения, а «прошит» на генетическом уровне, возник в результате мутаций у наиболее успешных особей.

    — Как на деятельность мозга влияет нагруженность умственной деятельностью? Какое оказывает влияние объем перерабатываемой информации, переутомление? Тренируется мозг или наоборот, засоряется? Какие из мер и методик, которые принимают для сохранения и стимуляции работоспособности мозга, имеют смысл и объяснение в рамках это теории, а какие нет?

    — Какие физиологические изменения претерпевают нейроны со временем? Насколько зависит способность мозга к обучению и запоминанию от возраста нейронов?
    • +2
      К сожалению, это не весь цикл, а только его начало. Если осилим, то предстоит еще три раза по столько. Ваши вопросы очень серьезные, ответы на них будут далее.
      Относительно красоты я убежден, что ничего не наследуется, все, что кажется нам красивым — следствие приобретенного при жизни опыта. Подробнее о красоте описано у меня в книге «Логика эмоций» и в видеолекциях.
      • +3
        Спасибо, с удовольствием прочту. Ещё бы хотел поднять такие темы, если они не выходят за рамки теории:

        — Судя по всему, мозг не может находиться в электрохимическом состоянии покоя. Возможен ли анабиоз с полным сохранением личности и реанимацией в будущем?

        — Как объяснить состояние отсутствия сознания, например во время комы, нокаута, обморока, клинической смерти? Отсутствует ли оно или лишь не может управлять телом? Мыслит ли при этом мозг, что происходит с воспоминаниями за этот период времени? И как восстанавливается нормальное мышление?

        — Что такое сон, как он возникает и зачем он нужен? Почему сны более яркие и реалистичные, чем воспоминания в процессе сознательного мышления? Почему сны так плохо сохраняются в памяти?

        — Судя по всему, в принципе, ничто не мешает существовать в одном мозгу нескольким высшим системам обработки информации, «сознаниям». Таким образом можно объяснить диссоциативное расстройство личности. Но почему в подавляющем большинстве случаев личность у человека только одна? Является ли это результатом «конкурентной борьбы» неразвитых «сознаний» за нейронное пространство на ранних этапах формирования мозга?

        — Что такое волевое усилие и почему для волеизлияния и вообще ускорения умственной активности требуется усилие? Является ли это реакцией на истощение синапсов, с целью торможения принятия решений, или чем-то другим? Действительно ли волевое усилие требует энергозарат, например дополнительного притока АТФ?
        • +3
          Про анабиоз не знаю, но слабо верю.
          Бессознательные состояния бывают разной природы. Про каждый случай надо говорить отдельно. При наркозе, сильном охлаждении, глубокой коме исчезает фоновая активность, что в моей концепции делает невозможным распространение информации по мозгу.
          Про сон будет немного позже.
          О сознании и единстве личности имею только самые общие рассуждения, которые приведу позже.
          Волевое усилие никак не связано с истощением синапсов. Позже я подробно опишу этот механизм.
        • +1
          Отличные вопросы, половину вы у меня украли :) Я все ждал момента, когда их пристроить.

          Тогда, раз уж речь зашла, то все таки:

          — Почему во сне мы становимся творцами? И куда этот запал девается в бодрствующем состоянии.

          Не знаю как другие, но мне удается рендерить мир в мельчайших деталях, вплоть до песчинок на тропинке, теней и отражений, ветра и прочих физических эффектов, да еще и генерировать сложный сюжет, зачастую с неожиданной концовкой (для самого себя, вот смех-то!), с перемещением во времени и наблюдением себя со стороны и т. д. Сочинять музыку. Я не спорю, многие наверное пытались записывать «гениальные» мысли, возникшие во сне, а потом смеялись в голос над ними, прочитав уже окончательно проснувшись. Но на визуальную составляющую это все же не влияет.

          — Что такое сознание?
          — Что такое подсознание?
          — Выключив «внутренний голос», остаемся ли мы сами собой?
          — Что такое совесть в конце концов :)

          Конечно, вопросы скорее философские, но тем интереснее, если на них можно дать материалистический ответ. Или хотя бы выдвинуть гипотезу.
          • +2
            Про сон планирую выложить завтра, потерпите.
            Про сознание будет значительно позже. Правильного ответа я не знаю, но приведу несколько новых фактов и рассуждений, которые раньше не звучали. Возможно, это поможет кому-то продвинуться дальше меня.
            • 0
              Да ради бога, мы же вас не торопим :) Вопросы уж больно интересные, вот и хочется их обозначить заранее, чтобы не забыть. А вы уже пишите о том, о чем считаете нужным в плане логики повествования.

              Еще раз спасибо за ваш труд!
  • 0
    Я читаю с самого начала, и немного запутался. :)

    Предположим активировались нейроны столбца(и следовательно с высокой вероятностью эти нейроны породят волну), вот идёт волна из точки А в точку B(условно, в точке Б, если есть нейроны со схожим рисунком, они тоже активируются и породят волну)? Я правильно понял? У меня вопрос такой:

    Предположим нейроны в точке А имели форму ромба(совсем условно, предположим их было четыре).
    Тогда в каждом месте где проходит волна, будет рисунок из четырёх нейронов в виде ромба?
    В точке Б для активации нейроны должны иметь такую же форму?

    Я про волну понял всё, кроме того, как таки она несёт информацию? :) Я осознаю что тут ещё масса механизмов типа вненейроной передачи, но хотелось бы понять именно про волну.
    • 0
      Если в точке А «ромб», то его продолжением будет некий узор, не ромб. Фокус в том, что нейроны «соседнего» узора дают спайк тогда, когда видят рядом «ромб». Так продолжается по всей коре. Когда волна доходит до точки Б, там возникает свой узор не похожий на «ромб». Вся прелесть в том, что «ромб» в точке А всегда дает один и тот же узор в точке В. Другой узор в точке А — другой узор в точке Б. В момент обучения узоры возникают случайным образом. Обучившись, картина становится повторяемой. Механизм того как это получается в предыдущих частях. Вненейронной передачи тут нет.
      • 0
        Следовательно на всём протяжении волны, должны быть группы нейронов, от первого, — реагирующего на ромб(точнее от первой группы), и так далее, — вторая группа должна реагировать на рисунок выдаваемый первой группой и т.д? Должна идти непрерывная цепочка на всём пути следования волны? Тогда получается от активационного нейрона, в КАЖДУЮ сторону куда идёт волна, должны быть такие цепочки?
        • +1
          Именно так. Только не воспринимайте это как цепочки. Просто нейроны «помнят» картины тех волн в которых они должны принять участие. Обнаружив рядом с собой знакомую картину нейрон дает импульс, что и есть продолжение волны. При этом каждый нейрон способен хранить около ста тысяч таких картин.
          • +1
            Да, и в начале не один нейрон, а группа. Только паттерн может запустить волну.
  • 0
    Огромное спасибо. Теперь всё понятно. :)

Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста.