Тема форума: «Нейросимулятор»

Добавил коэфф. усиления веса рецепторов через настройки (поле и ползунок) которые раньше использовались для задания общего одинакового веса, что как бы было не правильно. Теперь можно имитировать общее усиление/ослабление сигнала на рецепторы, что тоже приводит к изменениям эффекторного рисунка. В итоге имеем теперь три параметра, которые могут каждый по отдельности и в разных комбинациях менять отклик сети на раздражитель.

Перебрал отрисовку связей - теперь нет глюка с программной активацией рецепторов и можно на них сразу кидать готовый примитив, а не включать его по пикселам. Это значит, что можно будет потом проецировать их в динамике. А пока можно через список "Загрузить рисунок" выбрать несколько простых примитивов.

 

Подумалось, что вообще то число рецепторов (розовый) должно быть равно числу эффекторов (зеленый) - так получается максимально плотный равномерный охват эффекторами рецепторов. И тогда при этом один эффектор охватывает 7 рецепторов, а не 6, как сейчас в симуляторе, аналогично каждый рецептор связан с 7 эффекторами. Схема 7х7 для шестигранной  упаковки получается. При этом так же максимально плотны тормозные связи - на рисунке слева они показаны. А вот основные связи на виде сверху (лев. рисунок) не видны - они под тормозными. И центральная основная вообще не видна - она перпендикулярно вниз направлена. То есть все таки идею отражения всех связей на одной матрице придется забыть - при такой плотной упаковке не получится, разве только в 3D.

Но существующая схема, где эффектор в центре шестигранника все таки останется как упрощенная. Там все связи видны, что позволяет быстрее понять из взаимодействие.

Придется теперь делать новую решетку, там думается кол-во конфигураций будет больше.

Мне кажется,ты зря придаешь такое внимание числам рецепторов и эффекторов. Это - очень условно для подобных моделей. Хотя можно было бы ввести коээфициент разветвления типа под одним кружком рецептора подразумевается, 1,2,3 ... 20 рецепторов,  и тогда учитывать такое число в итогах работы модели.

Возможно ты прав. В самом деле, можно прописать какие угодно связи в таблице связей эффектор/рецептор, даже такие, которые графически очень сложно отобразить, и получить варианты реакций. Но суть останется прежней. Текущая сетка просто очень наглядно и просто показывает принцип передачи сигнала от рецептора к эффектору. И на ней остановимся. Есть задачи поинтереснее, чем перебирать бесконечные варианты их соединений. Например, можно приступить к самообучению.

У меня уже возникли кое какие соображения по этому поводу, сформулирую и выложу. Там походу тоже вылезут интересные моменты.

1. В самом простейшем случае (мало имеющем общего с реальной ситуацией - но про это пока думаю преждевременно) обучение сети происходит простым проецированием на нее неподвижного примитива. Нужно просто выдержать его какое то время, чтобы закрепились веса или вместо времени использовать параметр "кол-во" обучающих проекций. По сути это тоже самое - но намного быстрее, чтобы не тратить время попусту глядя как секундный счетчик неспешно отсчитывает например 100 сек.

Но даже при таком идеализированном самообучении возникает вопрос по поводу настроек сенсорной матрицы - какими их выставлять? Минимальными/максимальными? И модуль гомеостатической значимости, управляющий настройками (его еще нет, но когда будет, надо будет решить) так же пока отключен, иначе он только хаос будет вносить?

 

2. Объект по идее должен позиционироваться всегда по центру сенсорной матрицы, иначе потом придется как то объединять одинаковые проекции в разных частях экрана. Вообще это в какой то мере должно получиться автоматически уже потому, что какой бы примитив не рисовали, максимальная засветка будет ближе к центру и именно центральные рецепторы быстрее всего созреют. Чтобы позиционировать по центру нужно подключение следящего модуля к еще сырой, не созревшей матрице. Это как бы "магнитная рамка", захватывающая и удерживающая объект по центру через поворот головы, движения глаз, шевеления ушами  и т.д. - для разного типа рецепторов. Мы пока просто подразумеваем его, поэтому примитив всегда по центру.

 

3. Модуль гомеостатической значимости, влияющий на настройки созревающего слоя и задающий контекст реагирования - он вроде как должен быть временно отключен. Иначе о каком переключении может идти речь, если еще нет уверенного распознавания.

 

4. На вопрос о признаке созревшего слоя ты помню говорил, что у тебя только предположения есть по этому поводу (в смысле, как это конкретно в природной нейросети реализовано). Стало быть тут можно просто выбрать что проще и эффективнее для реализации в симуляторе. Вроде как очевидно просто задать временной  интервал (или например общее кол-во проекций на матрицу) после чего самообучение прекращается.

 

По поводу гомеостатической значимости - мне кажется, ты имеешь в виду не то, что я предполагаю. Я пока просто представляю себе, что какие то рецепторы отдельной нейросети, "наблюдающей" за гомеостазом, воздействую на параметры первичного слоя и меняют тем самым его эффекторные рисунки. Правда дальше не очень понятно, что с этим делать. Но ты кажется имеешь в виду другое: он не просто меняет, а выделяет, заставляет обращать внимание на одни рисунки и игнорировать другие. То есть за счет конкуренции детектированных примитивов (которые он получил от первого начального слоя) на своем рецепторном слое, через взаимное торможение он контрастирует суммарный рисунок из множества распознанных примитивов и выделяет только те из них, которые отвечают текущей гомеостатической значимости. Но тогда выходит, что к первичному слою, который непосредственно с рецепторами связан, никаких доп. модулей не подключено, там никто не воздействует на его настройки. Видимо они просто заданы по умолчанию как константы. А воздействие происходит на втором слое. То есть первый просто детектирует примитивы, а второй уже выделяет гомеостатической значимостью наиболее актуальные из них.

 

Получается, я правильно заметил, что изменения параметров сети меняет ее эффекторный рисунок. Но не правильно интерпретировал это свойство, приписав такое регулирование уже самому первому слою. Но там взаимное торможение эффекторов просто контрастирует детектируемые примитивы, разбивая их на более простые (линии - на более короткие отрезки, пятна - на контуры). Тут контрастирование статическое, постоянное. А вот на втором слое уже динамическое.

>>модуль гомеостатической значимости, управляющий настройками

Наработка коллекции примитивов иерархически усложняющихся распознавателей, включая подключение сенсорики другой модальности (кроме зрительной) – никак не касается развития примитивов распознавания сочетаний рецепторов гомеостатических параметров. И только на позднем этапе возникает контекстная иерархия, при развитии третичных зон, там, где сочетаются не только модальности органов восприятия, но и примитивы значимости, а также концы уже наработанных примитивов моторных реакций.

Стало быть когда в первичных зонах идет простое создание иерархических распознавателей никакие значимости там никаких регуляторов не крутят. И только когда наконец построится древовидный список распознавателей и начнут на их базе формироваться третичные зоны - тогда от них подключается обратная связь на первичные и начинает воздействовать на параметры слоев, контрастируя из уже уверенно детектируемых примитивов "нужные".

Звучит логично уже хотя бы по тому, чтобы среагировать на чью то "зловещую" тень, или "злобный" блеск чьих то глаз в темноте, через резкое контрастирование признаков предполагаемого хищника (есть ли он там) - нужно чтобы в какой то более высокоуровневой зоне свелись в "общую картину" сигналы от наружных сенсорных датчиков, концы рефлекторных заготовок реагирования и какие то управляющие сигналы, чтобы в зависимости от общей рецепторной картины запускать подходящую рефлекторную цепочку. В данном случае управляющие сигналы - это данные гомеостаза. Тут действительно, пока все очень сложно даже представить, как это работает, а не то что смоделировать. Стало быть заморачиваться кто и как крутит регуляторы первичных слоев пока что преждевременно. Потому как сначала нужно построить дерево примитивов, создать модуль модификации условных рефлексов, модуль гомеостатического балланса, свести все это как то в одну кучу - и только потом уже тянуть линии обратной связи на первичные зоны. Звучит так же "просто", как построить первую, вторую, третью ступень ракеты и полететь на луну.

 

Для начала наверное надо просто сделать простое самообучение слоя статической экспозицией примитивов, их группировку на втором слое. А потом уже думать про модули "захвата примитива" и далее по нарастанию сложности.

автор: Palarm сообщение № 46782:

тогда от них подключается обратная связь на первичные и начинает воздействовать на параметры слоев, контрастируя из уже уверенно детектируемых примитивов "нужные".

Нет. Никакой такой обратной связи. Но есть обратные связи через вторичные зоны через гиппокамп для удержания стимула в памяти.

В третичных значимость играет роль контекстов, для отделения восприятия и реакций для базовых стилей поведения и на этой основе все более уточняющие контексты. Ты явно подзабыл систему :)

Потому, что твоя информация еще не стала мыслительными автоматизмами - для этого нужна ее долгая обкатка в разных контекстах восприятия. Если бы можно было понять новое просто прочитав/послушав - тогда иностранные языки учились бы простым одноразовым чтением словарей. Но в реальности язык приходится много лет набалтывать. 

На этот раз решил пойти от обратного: сначала тщательно расписать "справку" по модели самообучения, а уже потом закодить. По сути переоткрыл для себя банальность, которые все старые кодеры уже охрипли повторять молодым: сначала расчерти блок-схему на бумаге, потом топчи клаву! Но как водится, их никто не слушает до какого то момента, как та обезьяна с пальмой и бананом на ней: кули думать, трясти надо!

И вот при пережевывании пришла мысля: в момент самообучения при активации эффектора включается латеральное торможение, притапливающее соседние эффекторы и мешающее им наращивать веса с прежней скоростью - что и приводит к неравномерному распределению весов на одном эффекторе. Другая причина - разная частота активности рецепторов связанных с данным эффектором. Но это уже зависит от конкретного рецепторного рисунка, а вот в случае с торможением сразу приходит на ум, что происходит некое автоматическое уравновешивание/распределение весов. Это то, над чем бьются персептронщики выдумывая сложные формулы расчета весов для уверенного детектирования примитива? Ведь нужно как то добиться, чтобы один и тот же набор эффекторных пикселей мог детектировать несколько примитивов, а не один - для этого надо им как то хитро расставить веса. И всяко у них есть какая то ацкая формула по этому поводу, определеяющая кроме матрицы весов еще и "емкость" самой матрицы - сколько теоретически она способна зашить в себе распознаваний при таких то весах. Но это еще предстоит проверить - какую роль играет латеральное торможение при самообучении. Может и правда - устаканивание весов?

Но с другой стороны в симуляторе латерального торможения все веса одинаковы, как если бы матрицу обучили сплошной фоновой засветкой - и она прекрасно отличает вертикальную линию от горизонтальной. Стало быть, торможение при самообучении не очень то и нужно. Оно лишь добавит контрастирования при детектировании после обучения за счет того, что некоторые веса будут изначально притоплены и стало быть эффектор как бы предрасположен к определенному распознаванию.

В отличие от нейросетевиков задачи одним распознавателем обучить различать несколько примитивов нет. Вообще нет никакой аналогии с их проблемами.

Ты видимо не понял суть интриги или я не понял тебя. Представь рецепторную матрицу скажем 4х4, на которую проецируются цифры от 0 до 9. Цифра 1 включает в себя пиксели от цифры 4 и 7, 8 - от 6 и 0 и т. д. То есть один и тот же рецептор детектирует разные примитивы. А теперь представим что мы обучили распознавать цифру 1, что означает - все эффекторы, которые участвуют в ее распознавании созрели и больше не обучаются. И если мы начнем теперь обучать эту же матрицу цифре 4, то получится, что некоторые уже обученные эффекторы начнут реагировать на нее, потому как попадают в область охвата рецепторов предыдущей цифры 1 ("ножка" обоих цифр). И вот тут встает вопрос: получается это уже не обучение с нуля, а дообучение, частично цифра уже распознана.

 

А следующий логический вывод - с каждым новым обучением/дообучением все больше пикселов будет "засвечиваться" и в конечном итоге при показе какого то примитива там вообще никто ничему не будет обучаться (наращивать веса) - все уже обучено, засвечено - будет просто реагирование согласно расставленным весам.

 

И вот встает тогда главный вопрос: а нафига тогда вообще ее чему то обучать таким образом - показывая поочередно примитивы и развешивая веса? В нейросимуляторной модели латерального торможения все веса одинаковы, матрица как бы обучена фононовой засветкой. И она работает - выдает на каждый рецепторный рисунок  свой уникальный эффекторный. То есть ее реагирование просто предопределено изначальной расстановкой связей и весов. В моем понимании обученная эффекторная матрица выдает на каждый уникальный рецепторный рисунок свой уникальный эффекторный. Они вовсе не обязательно должны быть визуально похожи - главное чтобы была уникальная пара, чтобы эффекторный рисунок цеплялся только к одному рецепторному. Но получается этого можно добиться без всякого обучения - просто установив связи и веса по умолчанию, например в виде решетки и одинаковыми.

 

Или таким образом можно добиться лишь ограниченного распознавания группы примитивов, для большего разнообразия нужно уже бодаться с весами? И может тут боковое торможение как раз помогает автоматически решить вопрос уравновешивания весов? А может ты имеешь в виду, что каждый примитив детектирует своя группа нейронов? Тогда правильнее говорить не о решетке связей, а множестве параллельных решеток, подключенных к одним и тем же рецепторам. Реальный слой это как слоеный пирог. Но это приведёт лишь к тому, что при детектировании 7 и 4 будут активироваться эффекторы на разных субслоях одного слоя, что суть масло масляное. Нет никакого преимущества в плане точности распознавания цеплять параллельные слои, ведь все они подцеплены к одним и тем же рецепторам.

 

А может ли так случиться, что пара созревающих нейронов свяжется между собой как рецептор с эффектором? Чтобы исключить такое надо не просто соединять активные нейроны, а только созревший с несозревшим. Но по моему ты говорил только об активности по обе стороны.

1. Сразу распознаванию цифры природная нейросеть не специализируется. Сначала - разные элементы цифры.

2. Если данному эффектору за время его специализации показывать части от 1 на 90% чаще, чем другие, то возникнет детектор 1, который будет еще срабатывать и от других цифр, похожих на 1 (как результирующее изображение на фотопластинке за время экспозиции). То, что распознавание неверно на этом уровне никак не определяется. 

автор: Palarm сообщение № 46804:

А может ли так случиться, что пара созревающих нейронов свяжется между собой как рецептор с эффектором?

Все эффекторы слоя созревают примерно одинаково и начинают тянуть свои дендриты именно к предыдущему слою туда, где появляется активность.

автор: nan сообщение № 46805:

Сначала - разные элементы цифры

В том то и дело. Обучение природной нейросети - это протягивание отростков к ближайшему активному рецептору и фиксация веса связи. А у меня то связи изначально протянуты равномерной решеткой. Остался вопрос с весами - и есть подозрение, что расставив их так же равномерно я собственно и закончу обучение. То есть для равномерно структурированной матрицы оптимальным будет обучение простой фоновой засветкой. И его можно просто заложить изначально. Это можно сравнить с ситуацией, когда ты макаешь малярную кисть и начинаешь стучать ей по забору как попало пока он весь не закрасится, а можно просто сразу взять ведро с краской и выплеснуть на забор - будет тоже самое, только намного быстрее. Если на первый слой начать проецировать разные образы, а он начнет учиться детектировать их фрагменты-примитивы, то после обучения окажется, что эффекторы соединились с рецепторами какой то корявой решеткой с некоторым разбросом весов. Останется только поправить решетку и веса - или просто сразу соединить их решеткой с равными весами связей.

 

Почему природа не пошла таким путем? Ведь матрица - простой фрактал, его легко закодить в геноме. Пауки плетут паутины, пчелы лепят соты - никто не парится с индивидуальной настройкой ячеек, а в нейросети почему то потребовалось устанавливать специфические связи по каждому элементу. Пока не вижу особых приемуществ в этом. Обучение первичного слоя распознавать простейшие примитивы (отрезки, дуги) лучше делать сразу разлиновав матрицу на сетку и прописав одинаковые связи по умолчанию. А вот на следующем уровне, где будет сборка более сложных примитивов - там уже начнут рулить веса.

Скорей всего есть какая то байда с разлиновкой сетки, иначе не стало бы преимуществом случайно-коряво-глючное распределение весов и связей при самообучении. Или есть нюансы при дальнейшем иерархическом детектировании, которые сводят на нет преимущества сетки с фоновой засветкой.

Нужно выбрать: это модель природной реализации или какая-то версия искусственной. Если природной, то нужно бы устроить обучение как именно протягивания связей к наиболее часто активным рецепторам (или протягивание связи к каждому активному рецептору и добавление еще одной при следующей его активности).