Тема форума: «Нейросимулятор»

Вполне таки есть. 

вот как: 1, 2, 3 

да, не стоит погружаться в конкретику природной реализации, хотя она многое подсказывает.

Я все более склоняюсь к мысли, что в модели послойного самообучения первый слой не нужно обучать. Потому, что его задача - просто разбить рецепторный рисунок на фрагменты, чтобы потом их можно было сгруппировать на втором слое, начав тем самым определять признаки детектируемого объекта. А для этого оптимальным будет просто сделать его в виде равновесной решетки (с одинаковыми весами связей) - как если бы слой был обучен фоновой засветкой. Я подозреваю, что в природной реализации происходит нечто подобное, например рецепторы при созревании тоже имеют стадию "пейсмейкерной активности", когда они просто хаотично возбуждаются вынуждая созревающие нейроны первого слоя выстраивать к ним связи, которые в конечном итоге все более структурируются и выравниваются. Я уже приводил аллегорию по этому поводу: если начать красить забор шлепая по нему хаотично кистью, то итоговый результат будет сплошной закрашенный забор. И возникает вопрос - а не проще было бы просто выплеснуть ведро краски на забор? Я думаю, примерно так и устаканилось эволюцией.

Но это касается только первого слоя. На втором уже никаких решеток и равновесных связей - там уже происходит группировка тех активностей первого слоя, которая возникает как отражение реальности. А первый слой - это просто "разлиновка на сектора" рецепторного рисунка, которую лучше сделать равномерной. Возможно конечно, что ничего такого нет, может просто потому, что это довольно сложно и глючно, закодировать не предрасположенность, а конкретное ветвление дендритов. Но все равно, при искусственной реализации лучше сделать так - такое вот ИМХО.

Хочу уточнить свое понимание, как в природной реализации происходит группировка сигналов с первого слоя. Имеется в виду, когда первый слой эффекторов детектирует например вертикально стоящую швабру, выдав какой то эффекторный рисунок, где присутствуют вертикальные отрезки. Каким образом на втором слое может произойти сведение сигналов от этих групп эффекторов на вход нейрона второго слоя по логике ИЛИ? Чтобы увидев другую швабру, он так же активировался, показав тем самым что в ней есть какое то кол-во "вертикальности".

Я представляю себе это так: в момент созревания второго слоя должны быть поочередно показаны в разных местах сенсорной матрицы вертикальные объекты. Чтобы при установке связей с созревающим нейроном второго слоя каждая из них была прокачана до уровня выше порога. Но никто ведь не будет специально расставлять швабры - оно должно получиться как то само. Стало быть, нужно чтобы был механизм привлечения внимания именно к ним, к вертикальным предметам. Он в свою очередь так же не может кем то направляться (мы ведь рассматриваем самообучение без учителя). Остается только один вариант: первая швабра должна быть зафиксирована для экспозиции просто как первый в жизни объект, выделяющийся на общем фоне. Когда попадется вторая, частично активируются уже установленные связи, возбудив обучаемый нейрон, который должен запустить рефлекс привлечения внимания. То есть активация на созревающем втором слое нейрона должна означать "увидел что то знакомое" - и автоматическую фиксацию для "уточнения" - протягивания новой связи к тому же нейрону, что возбудился. И так постепенно должно установиться, что активация в разном месте рецепторного поля групп нейронов должна активировать один и тот же нейрон (или группу) на втором слое - что и будет означать выявление общего признака.

Для искусственной реализации можно поступить проще: показывать специальные настроечные таблицы, чтобы четко зафиксировать варианты группировок примитивов. А может и в природной нейросети что то похожее происходит на стадии внутриутробного развития? Может там тоже каким то образом при созревании второго слоя ему "показывают" какие то простые примитивы путем возбуждения сенсорной матрицы по определенной схеме? (Первый слой тогда должен быть обучен фоновой засветкой). И тогда распознавание вертикальных линий после рождения будет происходить сразу на более высоком уровне.

Вообщем вопрос в том, как обучать второй слой для группировки признаков: через спец. таблицы или с подключением механизма захвата внимания, который еще надо придумать?

У тебя возникает много вопросов. С одной стороны это хорошо, раз есть интерес, их генерирующий. Но ты как бы пытаешься найти систему "с нуля", за одну итерацию. Вряд ли ты сможешь прийти к системе так быстро с нуля, не через десяток лет...

Да, слои первичных распознавателей новой коры вообще обходятся без учителя и без привлечения внимания к формирующимся примитивам. Хотя цепочки удержания образов уже тоже начинают формироваться.

Все происходит куда проще, без лишних сущностей. Первый специализированный слой, каким бы хаотичным он не получился, уже отвечает коррелировано на поступающие сенсорные сигналы. Это добавляет к первичной сетчатке более укрупненные, дополнительные к глазу сенсоные элементы уже более высокого уровня (как в косп.программах). На основе первого слоя корреляторв действительности, так же ворзникет еще более специлизированные, более укрупненные корреляты, всякий раз, когда есть то,повторяющееся, что может быть зафиксировано. И т.д. Пофиг вертикальные ли это линии или еще какие-то примитивы. Главное то, что эти вторичные сенсоры дополняют возможности распознавания элементов внешней среды. И когдпа в итоге мы сходу распознаем чье-то лицо - это и есть выигрыш в появлении такого вот специфичного сенсора. И у утят возникает возможность тут же зафиксировать основные признаки мамы-утки.

Помнишь проследовательность: до глаз были даже не фасеты, а просто несколько светочувствительных точкек. Они давали достаточно важные корреляты действтельности типа затемнение со стороны данной точки. Потом появились дополнения сенсоров в виде фасет, потом сетчатка глаза с фокусировкой - чт позволяло строить управления по вполне четким контурам на сетчатке. Потом пошли дополнения уже на уровне самой нейросети в виде распознавателей примитивов.

Все слои первичной новой коры - это просто дополнаяющие и все более специализированные  сенсоры  к глазу, которые возникли именно для той среды, в которой развивалась особь (вот в чем их преимущество). И в таком смысле - назначении можно рассматривать вообще все в мозге со стороны воспричятия.

Я предполагаю, что первый слой формируется в виде решетки потому, что создать такую решетку не представляет сложности. Это же простой фрактал: если каждый нейрон будет тянуть пару связей под 90 град - получим ортогональную решетку, если под 60 - гексагональную. Если добавить сюда фоновую засветку как стадию формирования слоя вместо обучения - первый слой можно создать быстро и практически сразу со слоем рецепторов. В этом  может быть эволюционное преимущество. Раз ты говоришь, что тут даже хаотичные связи ничего принципиального не рушат (с чем я в принципе согласен), значит у тебя тоже нет принципиальных возражений к такому подходу: сделать первый слой решеткой и засветить ее, выставив равномерные связи?

У меня еще довод в пользу такого подхода: технически проще сделать симулятор в виде структурированных связей, как равномерно, а не хаотично разлинованную плату. В принципе, если без разницы как она будет разлинована, этого уже достаточно, чтобы принять схему решетки для первого слоя как базовую

Выделение закономерностей согласен, происходит автоматически уже за счет того, что повторяющиеся активации нейронов способствуют их более быстрой специализации. Но на втором слое как я понимаю должна происходить группировка активностей первого слоя, что означает формирование распознавателей по логике ИЛИ. Это возможно только в случае, если эти активности будут активироваться поочередно так, чтобы связи от них успели прокачать веса до уровня выше порога. Иначе опять будет логика И, что по сути означает просто уменьшение кол-во нейронов, детектирующих объект. Что это дает в плане укрупнения распознавания? Вот группировка фрагментов разбитого на части на первом слое объекта дает, она как раз позволяет выделить в разных объектах какие то "одинаковости". Что потом с ними делать я пока еще не знаю, но мне думается логичным шагом после разбиения примитива разложить по кучкам его фрагменты - это будет действительно последовательный шаг в сторону распознавания.

И тут одно из двух: либо происходит захват вниманием активностей первого слоя, либо опять как и ранее это делается специальной засветкой. В любом случае должен быть какой то конкретный механизм, позволяющий сгруппировать мелькающие примитивы на экране первого слоя по логике ИЛИ, причем не какие попало, а по принципу "похожести": вертикальные с вертикальными, горизонтальные с горизонтальными.

Возможно это происходит так: вертикально стоящая швабра на первом слое разбивается на фрагменты - вертикальные отрезки. На втором слое они все захватываются одним нейроном. Другая швабра, другого размера, так же разбивается на фрагменты и они так же должны захватиться тем же нейроном. Это будет возможно, если как то спровоцировать рост связей от новых активностей первого слоя к нему, например за счет его подвозбуждения. Этого можно добиться, если активировать его через поворот головы, глаз так, чтобы активировались уже прицепленные от первой швабры нейроны первого слоя. То есть зафиксировав первый раз объект, во втором случае нужно проверить проекцией образа на всю область сетчатки - активируется ли на втором слое что то из ранее привязавшегося. Если вторая швабра тоже будет вертикальной, активируются фрагменты на первом слое от первой швабры, они активируют нейрон на втором, его активность поддержится некоторое время закольцовкой - к нему и потянутся новые отростки.

Конечно возникают. Мне же нужно собрать конкретно работающую схему, а не просто рассуждать, как где то что то коррелируется и сопоставляется. Где, что, как, почему именно так - любой, схвативший паяльник после чтения теории построения радио-схем начнет задавать такие вопросы, потому как тут уже нужна строгая конкретика.

Ты хочешь сказать, что максимум, что возможно в первичных зонах - это выделить контрастированием контур, а все прочее, начиная с группировки активностей - происходит уже в новой коре? Но что мешает сделать хотя бы группировку уже на втором слое первичной зоны?

По моему я предложил очень простой способ группировки свойств объекта: при детектировании первого объекта фиксируются его фрагменты как "свойства", и затем при детектировании следующих объектов ищется, есть ли среди них зафиксированные ранее. Если да - фрагменты помещаются в эту группу, если нет ничего - создается новая. Собственно группировка происходит потому, что "вертикальный" объект содержит большей частью вертикальные фрагменты, поэтому складывание всех его свойств в одну кучу вносит не слишком много ошибок группировки.

А какой твой вариант организации группировки активностей без учителя? Я не очень понимаю, что ты имеешь в виду говоря об укрупнении коррелятов. Вот смотрю я на свой симулятор. Первый слой генерит эффекторный рисунок, второй его детектирует и разбивает на фрагменты - получаем тот же рисунок, только еще более разорванный. Потом следующий слой. И так пока не останется в теории один нейрон. И в чем тут прикол? Это по сути то же самое, если к каждому первичному рисунку прицепить свой уникальный нейрон, что значит просто запоминать каждый образ и выстраивать от него свои цепочки. Так это можно сделать на первом же слое. Вот группировка активностей на втором слое - качественно другой уровень распознавания, который дает очевидное преимущество, возможность сравнивать объекты и строить дополнительные уточняющие цепочки реагирования, а не просто реагировать на них по отдельности. Это первый шаг к контекстному реагированию.

>>если каждый нейрон будет тянуть пару связей под 90 град - получим ортогональную решетку, если под 60 - гексагональную. … у тебя тоже нет принципиальных возражений к такому подходу: сделать первый слой решеткой и засветить ее, выставив равномерные связи?

Вот только нейроны не тянут связи под каким-то определенным углом, им пофиг углы :) так что если тебя идея решеток очень греет, то нужно найти хоть какие-то эмпирические данные по решетчатому формированию связей.

>>еще довод в пользу такого подхода: технически проще сделать симулятор в виде структурированных связей,

Вот это – вообще не довод. То как проще природе – может быть совершенно не так, как проще тебе.

>>на втором слое как я понимаю должна происходить группировка активностей первого слоя, что означает формирование распознавателей по логике ИЛИ.

Слои данной зоны мозга однотипны, и число слоев – вариации версии для данного вида. Логика или возникает на другом качестве слоев распознавателей. Т.е. слои зоны могут быть все по И а слои зоны рядом могут быть все по ИЛИ, что дает разное качество распознавателей. Я точно не знаю как это организовано, возможно – это свойство “колонок”, где слои по И (распознаватели примитивов) позже сходятся в слои по ИЛИ (распознаватели одного примитива разных версий).

>>Возможно это происходит так: вертикально стоящая швабра на первом слое разбивается на фрагменты - вертикальные отрезки. На втором слое они все захватываются одним нейроном. Другая швабра, другого размера, так же разбивается на фрагменты и они так же должны захватиться тем же нейроном. 

Мне кажется наиболее правдоподобным то, что ассоциации по ИЛИ возникают уже в третичной зоне (хотя отдельные качества по ИЛИ могут быть и в первичных, вот почему.

То, что данный образ относится к варианту одного класса примитивов (швабра, палка, колонная, дерево) – дело уже рефлекторного и даже осознанного обучения. Мы постепенно узнаем, что вот эти виды палок относятся к классу швабр, а эти – измерительные линейки.

Т.е. нет необходимости сразу на уровне первичных зон пытаться решать проблему инвариантности образа.

Так я ориентируюсь в первую очередь на практическое изготовление. Прямые линии проще сделать на станке чем сплайн, построить фрактальную структуру проще чем хаос линий. В природной реализации конечно может быть иначе, но зачем повторять за ней, с учетом что у нее может просто тупо нет возможности чертить прямо. В самом начале идеи своих решеток одним из первых доводов было то, что возможно, такая решетка - это то, что получилось бы у природы при идеальных условиях. Но их нет - и  мы имеем сильно покореженное нечто, что очень отдаленно напоминает ячеистую структуру. Кстати, как оказалось, тема решеток - давно заезженная. Если прогуглить ЯСН (ячеистые структуры нейросети) - там жуть-кошмар каких формул и теорий вывалится. Ячейки - первое, что приходит в голову при слове нейросеть, и естественно, не мне первому оно пришло.

Вообщем, если ты принципиально не возражаешь против ячеистой схемы, но не согласен, что так оно прямо в природе все  разлиновано - то я разлиную ее так просто потому, что так красивее и технически строже будет. И в качестве компромисса примем пока, что так будет только на первом слое, где как ты сам говоришь, совершенно пофигу как там что связано, один хрен будет генерить уникальные пары рисунков. Как связалось, так и слава богу.

Если на втором слое сводить логику к одному нейрону, то уже там придется объединять связи в пучки. Иначе как связать активности в разных частях первого слоя. Вообщем если у тебя нет уверенного ответа, имеет смысл попытаться придумать какой то способ группировки на втором слое, вдруг получится. Или что нибудь неожиданное придет в голову.

Ты забываешь, что нервная система развиваясь эволюционно позволяла нашим предкам решать наши задачи как то иначе, проще, в "урезанном" по сравнению с нынешним варианте. Всякий механизм имеет свои более упрощенные варианты, в том числе распознавание признаков. Например, чтобы произошел переход от прикрепленных организмов к ползающим, должны были появиться детекторы движения, сканеры пространства, регистры сдвига для организации цикла перемещения. Они не могли возникнуть одномоментно все сразу, но возникая поочередно, работали выполняя свою функцию в определенных условиях. И очень может быть, что это так и осталось, а сверху уже прибавился более продвинутый механизм. Я подозреваю, что в наследие от предков досталось множество таких рудиментов, ведь как то же они жили миллионы лет не имея новой коры. Должны быть какие то "промежуточные" варианты решения задач классификации, они реализованы в первичных слоях и служат подготовительными для более сложной классификации.

Можно еще так рассудить: если обнаружится простой способ частично решать какие то задачи классификации в первичных зонах, с большой вероятностью можно сказать, что он как минимум использовался ранее и возможно продолжает использоваться сейчас. Причем может статься, что имеет место "многократный пересчет": задача может решаться по старому, потом несколько раз пересчитываться по все более эволюционно новому. Почему бы и нет, если процесс идет параллельно и может статься предварительные расчеты большей частью крутятся вхолостую. Это опять же аналогия с хрипами и свистами приемника или гудением трансформатора, сопровождающими рабочий процесс но не несущими никакой полезной нагрузки.

Или так: если нервная система развивалась послойным наращиванием функционала, это означает, что в каждой своей промежуточной стадии она полностью самодостаточная для тех условий, в которых был использован этот функционал. Как луковица, где под каждым снимаемым слоем находим еще один, более "древний", и видим все ту же полноценную луковицу, только меньше и проще. Группировка признаков нужна была уже на ранних стадиях эволюции, потому, что на ее базе возникли более сложные ассоциации - значит она делалась иначе, не так как сейчас с использованием новой коры. Чтобы построить дополнительные ветвления не обязательно сразу придавать смысл и значимость выделенному признаку типа "швабра". Достаточно просто отличать его от другого объекта. И тогда выходит, что простейшие группировки признаков очень древние находки, реализованные на нижнем уровне.

Вот жаль, что ты не вкурил ключевой принцип организации распознавателей, о котором я писал. Он отсеивает все лишние сущности. Суть в том, что любое дополнение к сенсорной системе, позволяющее выделять определенное сочетание признаков восприятия, может быть использовано с пользой видового и индивидуального преимущества, т.е. для адаптивности. И в этом смысле инвариантность образа не имеет никакого практического значения, т.е. можно рефлексировать на любой конкретный вид швабры или другого образа, не обязательно заготавливать полный набор всех воспринимаемых версий швабры. Главное – чтобы в ключевой момент реагирования была та версия, на которой построена реакция.

Это потом появляются модели понимания, в которые постепенно включаются все виды воспринимаемой швабры и то, могут быть случаи, когда ты ее не распознаешь и разные иллюзии, требующие, опять-таки, нового процесса адаптивности к новой ситуации.

Никакие механизмы более низкого уровня не могут обеспечить полный набор инвариантов образа.

Напомню то, что я писал:

 слои первичных распознавателей новой коры вообще обходятся без учителя и без привлечения внимания к формирующимся примитивам. Хотя цепочки удержания образов уже тоже начинают формироваться.

Все происходит куда проще, без лишних сущностей. Первый специализированный слой, каким бы хаотичным он не получился, уже отвечает коррелировано на поступающие сенсорные сигналы. Это добавляет к первичной сетчатке более укрупненные, дополнительные к глазу сенсорные элементы уже более высокого уровня (как в косп.программах). На основе первого слоя корреляторв действительности, так же возникают еще более специализированные, более укрупненные корреляты, всякий раз, когда есть то, повторяющееся, что может быть зафиксировано. И т.д. Пофиг вертикальные ли это линии или еще какие-то примитивы. Главное то, что эти вторичные сенсоры дополняют возможности распознавания элементов внешней среды. И когда в итоге мы сходу распознаем чье-то лицо - это и есть выигрыш в появлении такого вот специфичного сенсора. И у утят возникает возможность тут же зафиксировать основные признаки мамы-утки.

Помнишь последовательность: до глаз были даже не фасеты, а просто несколько светочувствительных точек. Они давали достаточно важные корреляты действительности типа затемнение со стороны данной точки. Потом появились дополнения сенсоров в виде фасет, потом сетчатка глаза с фокусировкой - чт позволяло строить управления по вполне четким контурам на сетчатке. Потом пошли дополнения уже на уровне самой нейросети в виде распознавателей примитивов.

То есть ты хочешь сказать, что в первичной зоне распознавания возникновение новых слоев это просто продолжение ветвления рефлекторной дуги. Рядом с конечным эффектором появляется новый нейрон, который связывается аксоном с ним и дендритами с активными нейронами последнего слоя, образуя новое ветвление. По какой логике связь - без разницы. На конечный эффектор в итоге приходит новый конец рефлекторной дуги. Они могут все поочередно или вместе его активировать, или какие то старые ветвления дезактивируются если будут редко использоваться. Но вся эта паутина, какой бы сложной она не была, это по прежнему нейросеть первичной зоны реагирования. В ней нет никаких группировок в смысле классификации активностей, просто тупая рефлексия по каким то смешанным И/ИЛИ логикам связей, смотря что образовалось.

Я полагал, сначала надо попытаться придумать вариант, как сделать группировку на втором слое, а потом уже думать, как это использовать. Но получается, что использовать это в первичной зоне никак не получится, потому что это имеет смысл только в случае организации контекстного реагирования, например через переключатель ветвлений. Для этого нужно, чтобы слой, где происходит группировка признаков мог подключаться к любому из слоев первого уровня, но это не возможно, потому что на всех слоях кроме последнего созревающего все нейроны созрели  и не подлежат модификации. Стало быть это должно делаться через отдельный коммутатор, где сведены выходы от слоев в один пучок, а управляющий сигнал на переключатель должен поступать из другой нейросети. То есть организовать второй уровень распознавания через выделение признаков в самой себе нейросеть первого уровня не может - это делается внешним управлением.

Второй слой не означает новый уровень распознавания, это просто ветвление того же уровня. Слоев в первичной зоне может быть сотни, но они не меняют логики ее работы.

Первичные зоны работают только на свой специфический сенсор: глаза, слух, обоняние, осязание и т.п., формируя всякие дополнительные заготовки сочетаний признаков реальности – как бы дополнительные фасеты – рецепторы. И все. Только со вторичных начинают подключаться другие сенсорные модальности и, главное – значимость от распознавателей гомеостаза (что и обеспечивает потом замыкание образов в циклы Иваницына). Вот отсюда только и возможно сфокусировать внимание на каком-то примитиве восприятия потому, что значимость как раз и обеспечивает выделение контекста.

Это я уже понял, что перепутал ветвления с вторичными зонами. Но тут нужно уточнить: каждая цепочка имеет в конце связь с эффектором. Если возникает новое ветвление, оно получается цепляется параллельно к тем же эффекторам. Это как бы простейший способ организации многовариантности реагирования, который быстро исчерпывается, так как приводит к глюкам, когда эффектор с множеством связей начинает реагировать почти на любой раздражитель. Поэтому оптимум ветвлений в такой схеме поддерживается естественным отбором, а сами ветвления возникают случайными мутациями и при удачном попадании передаются по наследству. То есть модификации рефлекторного реагирования в такой схеме после ее формирования практически нет, все ветвления в ней результат эволюции. А из этого следует, что и обучения там никакого нет. Стало быть, если я буду делать модель обучения первичного уровня, то правильнее будет назвать это моделью этапов эволюционного формирования не модифицируемой нейросети. В конце ее созревания хвосты цепочек цепляются к конечным эффекторам и на этом в первичной зоне все заканчивается. Но начинается для вторичной зоны, потому, что первичная для нее это рецепторное поле. Так?

Если под эффектором ты имеешь в виду моторные нейроны, то все дело обстоит вот как. Моторные зоны (так же первичная и вторичная) сосредоточены между теменной и лобной частями мозга. Самые первые наслественно предрасположенеы связи идут туда. Но не с первичной или вторичной новой коры. Связь новой коры с мотонейронами идет на уровне третичной ассоциативной зоны, где сходятся все сенсорные образы с выходами на моторные программы действий (безусловные рефлексы). Дополнение в виде ветвлений в третичной ассоциативной образует условные рефлексы. А ветвления в третичной лобной коре – автоматизмы (моторные и мыслительные).

Это означает, что от каждого слоя первичной зоны идет связь на вторичную. Эти слои ведь и есть "заготовки  сочетаний". То есть аксоны слоя первичной зоны тянутся к дендритам следующего слоя первичной зоны, а так же к слою вторичной - как бы 2 параллельных выхода получается: один на следующий слой, другой на вторичную зону. На нее же приходят аксоны от нейросети гомеостаза, и вся эта каша начинает взаимодействовать между собой, контрастировать и выделять итоговые активности. Которые дополнительно с активностями от первичной зоны воздействуют на конечные эффекторы.

Вот пример соединения первичной зоны со вторичной (гомеостаз тут не подключается) и их общее воздействие на конечные эффекторы. Получается, что моторные нейроны получают воздействие от 2 нейросетей: первичной и вторичной. Видимо изначально подключается первичная и происходит рефлекторное подергивание мышц, как реакция на активность созревающий нейросети. А когда созревает вторичная - она начинает модулировать активность мотонейронов, синхронизируя ее с гомеостатической значимостью.

Не значит. Хотя и могут быть выходы отдельных примитивов во вторичную, а не только самых уже сложно-сложившихся.

Непонятно, откуда это получается. Со вторичной нет выходов сразу на моторные нейроны, они есть с третичной, ассоциавтиной зоны.

Если в первичной зоне будет такая схема связей, то будет происходить постепенное укрупнение ассоциаций пока в и итоге не останется один нейрон, реагирующий на все. Стало быть схема строго послойных связей не имеет смысла, если не считывать с каждого слоя активности и где то в другом месте их перемешивать/группировать.

А если будет такая, смешанная схема связей - то на выходе уже получим комбинации активностей на слоях. Но возможны ли такие соединения, между нейронами разных слоев? Или может это на самом деле один слой, где нейроны связаны с рецепторами и между собой, что в принципе вполне может быть?

Тогда схему из трех зон я представляю так  Aona_3.rar