Тема форума: «Нейросимулятор»

Согласен. Надо сделать модель по природной реализации с протягиванием связей и посмотреть что получится. А потом уже сравнить с матрицей: действительно ли это корявая сетка или что то принципиально другое. Короче, нужен эксперимент на симуляторе.

Поменял связи вручную на случайные - получил просто другие эффекторные рисунки. Получается, на уровне одного слоя нет особой разницы. Но если задуматься что будет в многослойной системе, то приходит такое соображение:

 

Возможно, именно так в основном и функционирует нервная система насекомых. Спорным будет вопрос о степени вариабельности таких систем, чтобы объяснить наблюдаемое разнообразие рефлексии насекомых, от простейших поведенческих навыков до сложных взаимоотношений муравьев, пчел и т.п. Для этого нужно построить работающий по такой схеме полноценный прототип нервной системы муравья, который покажет, так ли это. Однако представляя ее как построение однотипных решеток связей с регулировкой слоев через их параметры, можно представить, как передаются по наследству такие сложные модели поведения насекомых вроде пчел. А никак они не передаются. Слои строятся «по одному чертежу», фрактальной структуре решеток связи, закодированной в геноме. Уникальные для каждого вида лишь параметры слоев, которые и определяют особенности рефлексии - вот они и идут довеском к "чертежам" в геноме, как сопроводительная записка. Это можно сравнить со сложными, иерархически структурируемыми функциями с параметрами, изменяя которые можно получать различные области решений. Гипотеза весьма смелая и мало обоснованная, кроме наблюдений за поведением слоя при изменении его параметров.

 

Думаю, нужно все таки строить модель самообучения с протягиванием связей к активным рецепторам, возможно в дальнейшем, при развитии модели до многослойной, станет наконец понятно, почему индивидуальная расстановка связей и весов выгоднее в плане адаптации чем шаблонная. Конечно, первое что приходит в голову - уникальность построения рефлексии для конкретной особи в конкретных текущих условиях. Модификация реагирования через "подкручивание" параметров видимо действительно как говорил Nan просто быстро исчерпывает себя и не отвечает требованиям сложной поведенческой организации животных. Но почему она возникла, почему эволюция стала строить новую ветку, отдельную от насекомых? Сыграли в этом роль массовые вымирания, когда приходилось начинать все с чистого листа, или это неизбежный этап эволюции?

Насекомые от простейших как бабочка со всего лишь считанными цепочками реагирования в зависимости от обстоятельств, выбивались в более продвинутые с каждым новым совершенно случайным мутнтным приобретением еще какой-то цепочки. И у мух-муравьев этого накручивалось очень, очень много на многие случаи. Автоматизм ЛЮБОЙ сложности можно собрать из таких цепочек, проверяя жизнями огромного числа особей за огромное количество времени.

И это происходило пока не возникла еще одна мутация, породившая зачатки новой коры с возможностью формировать дополнительные псевдо-органы чувств, т.е. кроме глаз,. ушей и т.п еще и примитивы их сочетаний. Вот это и был качественный скачек от несекомых к более сложным тварям.

Ну да, кажется я уже где то приводил соображение, что если возникают длительные закольцовки активностей, то они неизбежно станут "объектом внимания" для каких то более сложных структур распознавания, зачатки которых могли возникнуть через мутацию. Если в голове постоянно что то крутится - кто нибудь начнет это детектировать.

Ведь строгого разделения уровней на рецепторный/детекторный нет. Даже на сетчатке, которая вроде как чисто рецепторный орган имеются тормозные взаимодействия между рецепторами, позволяющие уже на уровне детекторов контрастировать воспринимаемые сигналы, например выделять цвета. Фасеточные глаза насекомых вдохновили меня на схему дуплексных решеток, и глядя на них не могу отделаться от мысли, что не могла природа не наткнуться и не использовать такую компоновку рецептор/эффектор в одном слое. Обычно представляют фасеточное видение насекомых в виде мозаичной картинки - просто разрезали изображение на участки и типа так видит мир насекомое. Но я думаю не так. Оно не видит никаких "картинок", это ведь сложные субъективные образы, для "видения" которых нужны соответствующие зоны, которых у насекомых просто нет, ввиду не надобности. Не нужны они им потому, что фасеты имеют смешанную функциональность: они возбуждаются внешними сигналами и в какой то мере возбуждают соседние фасеты, которые специализированы в большей степени как "эффекторы" и возможно даже тормозят друг друга. В итоге получается вложенные друг в друга рецептор-эффекторные слои. Это все делается слоем специальных клеток под ними, связанных с фасетами. Все это работает так же как дуплексная матрица в симуляторе латерального торможения, разбивая, выделяя, контрастируя примитивы, с гомеостатическим подруливанием. Думаю, природа выжала по максимуму из этой схемы, вплоть до способности детектировать динамические примитивы типа скорости объектов. У насекомых распознавание образов происходит в первичных структурах в большей степени за счет свойств самих этих структур: схемы компоновки элементов, схемы связей между ними и т. д. Но это конечно все предположения. Кажется невероятным, что можно построить такие сложные цепочки рефлексов да еще и как то закодировать в геноме. Но никто же не проверял, насколько вычурные каскады доминошек способна выстроить схемотехника за миллионы лет эволюции.

автор: Palarm сообщение № 46811:

сли возникают длительные закольцовки активностей

На рассматриваемом нами уровнях нет никаких закольцовок, а просто тупо активность отражает воздействие.

автор: Palarm сообщение № 46811:

Кажется невероятным, что можно построить такие сложные цепочки рефлексов да еще и как то закодировать в геноме.

В геноме они не закодированы. Никакой емкости бы не хватило. Как и не закодирован мозг человека. Об этом было: Наследование признаков

По поводу расчета весов связей (это выдержка из будущего хелпа):

Сами по себе рецепторы не фиксируют заряда, их задача среагировать на него возбуждением, если внешний сигнал превысил их порог срабатывания, и передать свое возбуждение эффектору. Чтобы он среагировал возбуждением, между ними должна быть связь и уровень передаваемого сигнала так же должен превышать порог срабатывания эффектора. В природной нейросети процесс самообучения нейрона включает в себя вытягивание отростка к активному рецептору и установление веса передаваемой от рецептора связи. При этом нейрон должен находиться в режиме готовности к обучению (пейсмекерной активности), который должен быть выключен после завершения обучения, чтобы процесс не длился вечно. В данной модели, симулирующей природную нейросеть, связи так же устанавливаются только между активным рецептором и эффектором в стадии созревания. Вес связи при этом устанавливается не сразу, а постепенно увеличиваясь с каждым шагом цикла обучения, что симулирует временную задержку в установлении веса синапса. Формула расчета веса следующая:

We = (Ur – Sum(Wtr))/Nr, где

• Ur – уровень сигнала получаемого от рецептора. В модели он установлен по умолчанию и равен 1 (?)

• Nr – номер шага цикла наращивания
• Wtr – тормозное влияние от соседних активных эффекторов

Из формулы видно, что на установку значений весов оказывает влияние взаимное торможение между активными эффекторами. Это приводит к тому, что возникает конкуренция в скорости обучения эффекторов за счет контрастирования. Первыми наращивают веса самые нагруженные эффекторы, а наименее нагруженные могут вообще не успеть обучиться, если тормозное влияние соседних эффекторов будет слишком велико. Кроме того, вес рассчитывается для каждого синапса отдельно, а это значит, что если рецепторы, подключенные к синапсам одного нейрона будут одновременно возбуждаться, то их веса установятся одинаковыми. Но если частота возбуждений будет не равномерна, то есть рецепторы будут мерцать с разной частотой, а не вспыхивать одновременно, что как правило и происходит в реальности из за нечеткости контуров детектируемого примитива – то и веса установятся различными.

 

И вот тут вопрос по поводу единицы. Чтобы связать вес синапса с уровнем сигнала рецептора, можно привязаться напрямую к его величине, то есть по шагам наращивать вес синапса, где на каждый шаг идет прибавление Ur/10 (при 10 циклах обучения). Но тогда получается, рецептор - аналоговый датчик выдающий разный уровень сигнала в зависимости от уровня раздражителя. А он вроде как пороговый должен быть - выдавать только 1 или 0. Но тогда если нужна зависимость между уровнем возбуждения рецептора и выращиваемым весом - остается привязаться к частоте сигнала рецептора. Чем более он возбужден, тем больше шаг наращивания веса синапса. Этот вопрос вроде бы поднимали: что там у рецептора - аналоговая или частотная выдача? Я думаю что частотная. Рецептор генерит серию импульсов с большей частотой и/или продолжительностью - что и служит фактором определяющим скорость наращивания веса связанного с ним синапса.

Вид выходного сигнала в элементе модели не имеет никакого значения, он может быть импульсный или постоянным током. Важно только то, активен рецептор или нет. То же самое про пейсмеккер. Если по обе стороны связи элементы активны, то она нарастает, конечно, не мгновенно, а как фотопластинка суммирует воздействия на нее.

В самом деле, привязываться к уровню сигнала рецептора имеет смысл только в случае, если бы и после обучения сохранялась такая зависимость. То есть вес синаптической связи менялся бы пропорционально уровню сигнала рецептора. Но по факту он фиксируется на каком то значении. Видимо так устаканилось потому, что нет никакого преимущества реагировать на уровень сигнала от рецептора. При обучении это просто ускорит созревание связи, что не очень то и важно. А при детектировании создаст проблемы - один и тот же нейрон будет возбуждаться при разных уровнях активности рецептора, что обессмыслит попытку одним нейроном определять уровень мощности: лампочка горит и при 180, 220, 240 W - и ориентируясь только на ВКЛ/ВЫКЛ невозможно будет понять, какое там напряжение.
Поэтому если рецептор даже и генерит импульсы разной частоты и длительности - на логику работы нейрона-эффектора это никак не влияет. Хотя вполне возможно, что в ходе эволюции возникали попытки это как то использовать, но в любом случае это были дополнительные, малозначимые механизмы. Основной - простое пороговое реагирование при активации рецептора: ВКЛ/ВЫКЛ.

А насколько критично, чтобы нейроны слоя примерно одинаково созревали? Если созревший нейрон будет просто реагировать, а рядом несозревший созревать, тем самым включая созревший в свою цепочку эффекторного рисунка.

автор: Palarm сообщение № 46815:

Видимо так устаканилось потому, что нет никакого преимущества реагировать на уровень сигнала от рецептора.

Да. Практически ни по одному органу восприятия невозможно определить абсолютную силу воздействия, ни по яркости зрительного, ни по силе звука слухового, все определяется относительно, уже в ходе взаимного торможения и таким образом удается обеспечить огромный динамический диапазон этих относительных величин, с которым не может сравниться матрица фотика.

автор: Palarm сообщение № 46815:

А насколько критично, чтобы нейроны слоя примерно одинаково созревали?

Новый слой - новая заплатка эволюции, которая появляется в череде других и поэтому ее функция разворачивается  в таком же порядке и примерно в одно и то же время.

 

Сможешь прокоментировать этот блок

>>необходимо условие: образ должен быть «неподвижен» относительно рецепторов в течение некоторого времени. 

Просто зафиксируется тот наиболее частый образ, которые вырисуется из всех мельканий. Конечно, более повторяющиеся и неподвижные получат преимущество. Нет никаких критериев, чтобы на этом уровне дать примитиву какое-то предпочтение перед другими.

>>для того, чтобы нейроны могли зафиксировать связи с активными рецепторами, что не может произойти мгновенно

Предшествующий рост дендритов уже многое предопределяет. А для этого роста важны не мелькания активности, а тот метаболический след, который активность оставляет, так что дендрит будет расти и после недавней активности.

>>Дополнительным свойством нейросети, эволюционно возникшем позднее, так как и без него сеть была способна функционировать (иначе на базе чего бы оно возникло, если не на более примитивной нервной системе), является латеральное торможение между активными эффекторами,

Вряд ли есть основание считать взаимное торможение поздним приобретением. Тут вопрос спорный.

>>связи выстроились равномерно распределенными с одинаковыми весами по схеме шестигранника, как в пчелиных сотах. Я думаю, можно вполне обоснованно предположить, что в природной реализации такое может возникнуть на самых начальных этапах формирования нервной системы. 

Не стоит делать акцент на шестигранниках.

>>Природная нейросеть обучается послойно, формируя постепенно иерархическую структуру распознавания.

Есть качественная разница между развитием первичных нейросетей и новой коры. Первичные, наследуемые сети развиваются в последовательности приобретения новой заплатки, а эти заплатки могут быть какими угодно в мутирующей вариабельности. Развитие новой коры идет последовательно, так же отражая новые приобретения (появление нового слоя), но здесь есть определенный порядок расположения эффекторных матриц в слое (перекрытие друг друга профилями активностей и равномерная структура взаимного торможения).

автор: nan сообщение № 46820:

Конечно, более повторяющиеся и неподвижные получат преимущество.

я предполагаю сделать несколько режимов обучения: статический, когда один образ неподвижен, динамический - когда он дергается, мультирежим - когда мелькают несколько. Думаю, надо в итоге еще выводить кол-во показов каждого образа - а потом смотреть что зафиксировалось.

автор: nan сообщение № 46820:

Предшествующий рост дендритов уже многое предопределяет.

Получается, что первые мелькания задают вектор специализации, а последующие чем ближе к финишу тем больше игнорируются. Это по сути еще один фильтр контрастирования. Если возник повторяющийся образ, он подучит преимущество фиксации не только из за большего накопления веса синапсов и торможения соседей после возбуждения детектирующих его эффекторов, но и благодаря все более предсказуемому росту дендритов до начала этих процессов. Это как бы первичный вектор специализации, который будет усилен как только дендрит свяжется с рецептором и начнется прокачка веса связи.

автор: nan сообщение № 46820:

Не стоит делать акцент на шестигранниках.

ОК, уберу, чтобы глаз не замылился этими сотами

автор: nan сообщение № 46820:

Есть качественная разница между развитием первичных нейросетей и новой коры

Плохо конечно, что я делаю частичные модели нейросети не имея четкой картины в голове как оно все работает. Скорей всего многое потом придется переписывать и переделывать. Твой курс по моим ощущения дал только общие представления. Это как узнать правила, стилистику языка, выучить какие то слова - но до бегло говорить, читать и тем более писать без ошибок еще очень далеко. Собственно обучение только сейчас и началось.

 

А что ты думаешь по поводу 3 свойств нейросети - это просто философия или действительно что то в этом есть?

автор: Palarm сообщение № 46821:

что ты думаешь по поводу 3 свойств нейросети - это просто философия или действительно что то в этом есть?

Это не столько свойства нейросети, как принципы формирования ее звеньев.

Думаю испытать в модели самообучения такую решетку. Она проще в реализации и меньше ортогональных искажений, чем в шестигранных решетках. Так же как и ранее все связи  с весами показаны, кроме тормозных весов, так как они одинаковы и задаются как свойство слоя. Это в плане наглядности большой плюс. А в плане реализации как интегральной микросхемы дуплексные решетки дают оптимизацию компоновки и экономию материалов - вместо двух слоев один смешанный.

Выглядит менее сумбурно, чем гексагональная.