Эксклюзивные занятия по  МВАП : Первые управляющие структуры организмов на основе распознавателя.

Самое классное и полезное изобретение природной эволюции – способность плодить новые варианты (мутации) на основе уже достигнутого. Это организуется на генетическом уровне так, что в каждом организме возникают свои специфичные, неповторимые в некоторой части бурлящих новшеств особенности. Белки одного организма оказываются несовместимыми с белками другого. Одни и те же механизмы пробуются несколько разными способами (из-за разных белков, которые – в основе всего строительного материала). То, что уже оказалось полезным, с значит и вошло в генетический код выживших, становится все более общим, но всегда есть то, что постоянно варьируется. Даже у очень сложного организма многие основывается на нескольких вариантов реализации, так, у разных людей - 50 видов гемоглобина (постоянно приводимый мной яркий пример) и все они прошли испытание на жизнь, обладая теми или иными преимуществами и недостатками.

Это и обеспечивают возможность выживания в новых условиях – за счет гибели всего, что к этим условиям оказывается не приспособленным.

Это еще обеспечивает постоянное усложнение потому, что ранее отработанные решения случайными и удачными мутациями дополняются новыми полезными механизмами. Т.е. усложнения возникают не из какой-то целенаправленности развития, а просто потому, что новые прибамбасы изредка дают преимущество в выживании.

В прошлой теме мы рассмотрели как на основе специализированных терминальных датчиков и исполнителей возник новый вид промежуточных клеток, которые являются и рецепторами и эффекторами одновременно – по отношению к предыдущим и последующим по взаимосвязи клетками. Это было случайное новшество, но оно дало преимущество более гибкой адаптивности управления поведением и осталось в генах выживших.

Кстати, на Элементах недавно вышла статья, где показан закономерный статистический результат изменчивости и отбора к новыми условиями: чем выше сложность адаптивных механизмов, тем менее вероятна полезность мутаций (в статье это сформулировано не очень корректно, о чем я там отписался).

Выживали те организмы, которые не только оказывались в данных условиях более адекватными своими адаптивными механизмами, но и те, которые способны препятствовать постоянному вреду своей же изменчивости. И чем сложнее организм, тем более важна эта задача борьбы с вредом своей изменчивости. Причем, если изменчивость затрагивает какие-то основы строения организма, то все последующие развитие идет наперекосяк и, в лучшем случае получается какой-то монстр-уродец, а чаще – просто нежить. Поэтому клеточные механизмы восстановления  генетического кода и борьбы с мутациями на ранних стадиях развития организма нарабатывались особенно эффективно. Так что мутация имеет шанс оказаться полезной для организма только в области самых последних эволюционных заплаток.

Вот такая картина эволюционной стратегии  позволяет понимать то, как появляются новые механизмы, как они развиваются, что влияет на появление новых фичей. Это – очень полезный и достаточно строгий контекст для верификации своей модели понимания организации управляющей сети мозга, чтобы уберечься от субъективных фантазий в этом направлении (которыми особенно отличаются всякие современные теории организации мозга), так что стоит стараться как можно естественнее следовать тому, через что прошла природа.

А все шло тупо по пути соответствия новым условиям методом природного тыка, а не какой-то изобретательской смекалки. И поэтому ни в коем случае не следует предполагать те механизмы, которые не следуют данному уровню эволюционных заплаток, а каждый механизм достаточно четко относится к определенному уровню последовательных усложнений.

Вот почему так не хотелось сразу привлекать персептроны, всякие пока непонятного назначения колонки в неокортексе и т.п. атрибуты человечьей мысли.

Никаких персептронов, а лишь тупое устройство для взвешивания накапливающегося потенциала на входе клетки распознавателя до перевешивания порога срабатывания (вот откуда термин “вес”).

 И никаких точных дробных весов от рецепторов потому, что 1) нет никакой такой возможности организовывать и поддерживать точные значения в уловиях переменной внутренней среды мозга (хотя у высших животных делается все, чтобы сделать эту среду как можно более постоянной) и еще 2) как мы уже рассматривали ранее много раз и подробно, каждый рецептор (без исключения, начиная с самого первичного сенсора) имеет какое-то значения (значимость для организма), отражающие определенные параметры внешней (по отношению к мозгу) среды (т.е. среда организма – тоже внешняя). Но некоторая дробность весов есть, и мы рассмотрим это ниже, в каких случаях она оказывается полезной.

Поэтому самые первые сенсоры уже могли воздействовать в полезном  для выживания направлении на ответные эффекторы. Потемнело – пора сваливать, посветлело – пора выползать жрать и плодиться, - что-то в таком роде зависимостей.

И эффектор мог использовать информацию (воспринимаемые данные, которые имеют для организма определенную значимость) не одноного, а нескольких сенсоров, например, чтобы уползать не тогда когда чуть потемнело на короткое время, а когда достаточно потемнеет. А те улитки, которым пофиг данный критерий, пожирались ночными хищниками (утрирую, конечно, для пользы общего представления).

И когда мутация сделала из конечного эффектора не сократитель мышц или выделитель регулирующего вещества, а клетку, способную как рецептор выдавать в ответ потенциал, то возможность усложнения схем управления получила новый качественный уровень. Теперь случайные комбинации связей образовывали как вредные, так и бесполезные связи через таких посредников до эффекторов, среди которых в новых условиях ответные действия оказывались критически полезными для выживания,

Вот так тупо формировались наследственно предопределенные реакции: никакого обучения, никаких “глубоких персептронных сетей” для распознавания. Просто – случайные связи с полезным или вредным или никаким эффектом.

Но принцип для образования таких связей соблюдался четко потому, что он основывался на самих свойствах промежуточных клеток:  спонтанной активности при созревании, но отсутствии эффективных связей и механизм увеличения проводимости синапсов при одновременной активности с двух сторон. Этот механизм сам в свое время прошел отбор из вариантов, большинство из которых просто ни к чему полезному не приводили, так что остались те варианты, которые реально обеспечивали связи с предыдущим рецептором  и возможность образовывать цепи воздействующих групп рецепторов на промежуточные нейроны и конечные эффекторы.

Этих вариантов реализации проводимости синапса очень не мало. Мало того, что варьируются вещества, обеспечивающие проводимость синапса (нейромедиаторы), но и самих механизмов организации передачи возбуждения есть несколько, вплоть до того, что вместо передачи воздуждения сигнал от рецептора может оказывать не возбуждающее, а тормозное воздействие. И это тормозное оказалось очено полезным для схемотехники управление нейронами потому, что позволяет 1) организовывать намного более гибкую логику и 2) позволяет бороться с паразитными возбуждениеми, которые могут привести все сеть нейронов в возбужденное состояние, т.е. вместо управления устроить эпилептический припадок.

Особенно полезным тормозное влияние оказалось для соседних нейронов: если возбудился какой-то нейрон, то соседние притормаживаются, не давая им срабатывать от случайных шумов сверх чувствительных рецепторов.

Когда связь формируется между активным рецептором и созревшим спонтанно активным эффектором, проводимость нарастает весь период активностей рецептора, пока есть спонтанная активность эффектора. Как только связь окажется достаточной, чтобы прекратить спонтанную активность эффектора, то на этом процесс и останавливается. Дальнейшая модификация связей на этом уровне становится невозможной если не соблюдается условие: активность с обоих сторон синапса.

Если же активными одновременно бывают несколько рецепторов, связанным пока непроводящими синапсами с созревшим эффекторов, то так же проводимости нарастают пока эффектор не прекратит самопроизвольную активность и тогда получается, что к этому моменту каждая из связей нарабатывает проводимость меньше, чем если бы была только одна связь. Теперь эффектор возбудиться только при одновременной активности всех рецепторов, которые участвовали в формировании связей.

Этому предшествует механизм, когда у созревающего эффектора начинают тянуться выросты (дендриты) в сторону ближайшей активности (туда, где соответственно изменился химический состав среды) и там образуются синапсы.

Формирование новых дендридов так же прекращается после специализации, что еще более стабилизирует получившуюся конфигурацию связей.

Так появлялись все адаптивные механизмы простейших животных, и основы этих механизмов остались у человека. Все действия простейших насекомых демонстрируют этот механизм наследственных связей, управляющих их поведением.

Итак, внешний мир и внутренняя среда организма – это внешние по отношению к мозгу области получения данных о значимости пользы и вреда, когда польза означает возможность жить в данных условиях, а вред – гибель организма и обрыв передачи генетического кода потомкам.

Внешняя  среда отслеживается первичными сенсорами и мозгу пофиг, что это за данные (из внешнего мира или внутренней среды), просто мутации перестраивают его в некоторой наиболее вариабельной (мутагенной) части механизмов и особи, которым посчастливилось выжить, передают генетический код.

В анимации Простейшая нейросеть управления крыльями бабочки показан принцип реализации участка такой сети. И можно себе вообразить, сколько же нужно было времени и погибших бабочек чтобы методом случайных мутаций организовать такую сеть из уже обкатанных клеток распознавателей и синапсов между ними. Т, конечно, все накопления полезного не возникли сразу как самолет из мусора в притчах верунов, а в огромном количестве удачных и неудачных шажков в огромном разнообразии вариантов.

Схемы, наподобие анимации для бабочки, – хорошее раздолье для развития схемотехнического мышления в представлениях моделей простейших нейросетей. И это важно для того, чтобы подготовится к тому новому, более сложному механизму, который случайно возник в ходе бурлящей эволюции и придал новое качество возможности управления.

Вот этим мы некоторое время и займемся, пока это не станет привычно просто.

В схемах нейроны (распознаватели достаточно веса активирующих их сигналов) будем обозначать кружком, синапсы – щелью (похожей на обозначение конденсатора в эл. схемах), а отростки клеток к этим связям – линиями.

Пока что сами потренируйтесь, сначала в понимании анимации по ссылке, потом повоображайте разные моменты простейших поведенческих реакций насекомых, в том числе и уползание улитки когда наступает темнота и, уже сложнее, распознавание врага по резкому изменению освещенности.

Схемки заливайте прямо в эту тему в любой удобной вам форме. Но не стоит спешить, пусть те, кто затрудняется, успеют сами подумать, хотя каждый же заинтересован в неподдельном понимании и не будет сам себя обманывать :)

>>> (nan) Пока что сами потренируйтесь, сначала в понимании анимации по ссылке, потом повоображайте разные моменты простейших поведенческих реакций насекомых, в том числе и уползание улитки когда наступает темнота и, уже сложнее, распознавание врага по резкому изменению освещенности.

Нужно две схемы нарисовать и сюда залить?

Не обязательно именно эти две реакции, любые другие у насекомых. Нужно набить ум и руки на таких схемах.

При составлении схемы распознавания квадрата через 2 слоя понадобилось учитывать неактивные участки сенсорной матрицы. Не очень понимаю, как конкретно это организовано в реальности. Мне видятся только два варианта:

1. Сам рецептор детектирует неактивность за счет того, что хим. процессы в нем не возбуждаются, а угнетаются внешним воздействием. Тогда при отсутствии воздействия он начинает активно "пульсировать", а при раздражении затухать.
2. Между рецептором и нейроном первого слоя вставлен дополнительный промежуточный нейрон, который работает аналогично вышеописанному инверсно: при отсутствии сигнала с рецептора постоянно пульсирует, при получении сигнала - угнетается.

Но в обоих случаях получается, что придется либо вставлять между рецепторами такие специальные детекторы (это напоминает триаду пикселов RGB в матрице монитора), либо создавать отдельный слой с такими нейронами, подцепленными ко всем сенсорам (в смысле каждый следит за своим участком сенсорной матрицы и детектирует на ней отсутствие сигнала).

Сейчас задача строить схемы для примитивных насекомых, а они не распознают квадраты и другие графические примитивы. У них фасеточные глаза, определяющие есть или нет свет в направлении трубы фасеты. На этой основе можно делать распознаватели перемещения пятна света или тьмы, направление света и звука, температуры тела, необходимости искать еду, распознавание самки (самца по запаху) и т.п. Ну и управление двигателями (обычно двигатели работает уже вполне автономно и можно просто давать команду лететь, ползти, сворачиваться) с небольшими модуляциями (лететь вверх или вниз, ползти быстрее или медленнее).

То, как организуется распознавание примитивов неокортекса - другая тема.

Кстати, попытки нарисовать не туфтовую, а в самом деле рабочую схему взаимодействий сенсоров с моторными терминалами через промежуточные распознаватели показывает разницу между просто философскими предположениями о работе мозга, и тем, что в самом деле приходится учитывать для конструирования схем управления. Философствовать легко и беззаботно, а конструировать – намного сложнее. Философские предположения чего-то о мозге – как бы сами выскакивает, но когда пытаешься воплотить эту идею схемотехничсеки, вырисовывается неожиданные трудности, противоречия с возможностями причинно-следственных взаимодействий.

Этот момент хорошо чувствуют программисты и схемотехники (программисты – это эмуляционные схемотехники). Возникшая идея что-то сделать и попытка реального воплощения – совершенно разные вещи. Без второй первое оказывается в статусе субъективной фантазии.

Так что очень важно осваивать именно схемотехническое мышление.

Например дафнии стремятся не всегда к свету, а когда одновременно со светом повышается концентрация углекислоты , которая парализует дафний . Те дафнии , которые успевают ( там где свет меньше концентрация углекислоты) избежать факторов вреда перемещаясь ближе к свету - выживают.

Дафний используют для биотестирования водной среды.

Ещё в одном  случае дафнии , которые стремятся к свету при большой кучности ( скоплении)- имеют больше шансов для выживания.

Мухи бывают безразличны к свету , но когда муху начинают преследовать - фактор просвета  в форточке становится решающим для спасения.

Интересно как это выглядит в схематическом  плане? Факт значимости нескольких сенсоров на лицо.

Головастики так же при большом скоплении начинают стайкой плыть к свету.

Это схема позиционирования головы насекомого так, чтобы попавший в поле зрения фасеточного глаза объект всегда находился в центре сенсорной матрицы. Для этого нужно дать команду сокращения одной из 4 мышц, управляющих глазом, для его поворота вверх, вниз, вправо, влево соответственно. Поворачиваться голова будет дискретно, то есть один командный импульс – один шаг поворота. Для начала возьмем минимальную матрицу 3х3. Задача – в зависимости от положения в ней активного элемента задать направление перемещения, чтобы активным стал центральный. Для наглядности направление перемещения будем считать как направление смещения пятна на матрице, хотя на самом деле надо конечно делать наоборот, ведь не пятно движется, а поворачивается голова: чтобы пятно сместилось вниз, голова должна повернуться вверх, для левого смещения – поворот вправо и т. д.

Линейка с верхними квадратами – номера ячеек сенсорной матрицы 3х3, кружок – нейрон, квадраты внизу – эффекторы, обозначенные как П (мышца для поворота вправо), Л – влево, Н – вниз, В – вверх. По схеме видно, что для угловых ячеек 1, 3, 7, 9 нужна одновременная работа пары мышц, то есть для перемещения из сектора 1 в центральный сектор 5 нужно задействовать эффекторы П и В. Это означает, что к некоторым ячейкам сенсора будет подключено по два входа от соответствующих управляющих нейронов. Такая схема имеет 2 серьезных недостатка:

1.Подключение к сенсору более одного входа от нейронов означает распределение по ним сигнала, потерю мощности – нужно ведь по обоим направлениям подать одинаково мощный сигнал.

2.Схема подразумевает строгое подключение каждого рецептора к своему нейрону. Если представить вероятность попадания в ходе отбора путем случайных мутаций для матрицы 1000х1000 – даже без расчетов очевидно, что она будет очень низкой. Стало быть, нужна схема с менее жесткой привязкой, с большей степенью свободы установления связей.

Для этого сделаем перемещение от угловых ячеек ортогональным. Тогда каждая угловая ячейка получит две степени свободы. Например от ячейки 1 можно двинуться вверх или вправо – в любом случае попадаешь на центральную ячейку 4 или 2, а оттуда уже строго к центру. То есть вместо одного строго определенного движения получили два, но зато равно возможных. При этом заодно избавились от двойного подключения к рецептору от разных нейронов.

Теперь к угловым ячейкам рецептора может без потери функциональности устройства равноценно прицепиться один из двух нейронов. Это для матрицы 3х3 создаст 128 возможных схем соединения вместо одной единственной.

Понятно, что чем больше размер сенсорной матрицы, тем больше количество схем подключения. Но можно еще добавить хаоса. Например, в матрице 1000х1000 раскидаем примерно равномерно ячейки, к которым может цепляться вообще любой нейрон. Тогда даже если при реакции сенсора движение будет в противоположную сторону, соседняя ячейка направит ее в нужном направлении. Это понятно замедлит общую скорость стабилизации положения, но здесь только нужно найти ту степень хаоса, при которой это затормаживание будет в пределах допустимого.

В итоге получили схему стабилизации головы насекомого, слежение за объектом. Но по сути это схема стабилизации любого параметра, например гомеостаза. Если вместо ячеек сенсорной матрицы подразумевать нейроны-рецепторы, а вместо мышц – железы-эффекторы или что то иное, что требуется совершить для прихода в норму. Главное, что становится очевидно – такая схема вовсе не требует жесткой юстировки (настройки) параметров. Она допускает довольно широкий их разброс, что позволяет теоретически собрать ее эволюционным путем естественного отбора. А другое, что приходит в голову: хотя у насекомых практически вся нейросхема передается через геном, но это не жесткий шаблон, а весьма вольная трактовка. Это объясняет, как так удается передавать по наследству довольно замысловатое поведение. А оно и не передается в точном исполнении, но в виде каркаса с допуском вольностей исполнения. В итоге все тараканы при включении света на кухне стремительно сваливают под плинтус – но каждый по своей, замысловатой траектории, но с одинаковым стермлением к ближайшему укрытию.

Пожалуйста, все,разберитесь как работает схема Palarm  если что-то непонятно, задайте ему вопрос. 

Я это так понимаю: есть две основных логических схемы соединения.

Логика И (и тут, и там) - означает, что нейрон сработает только если на всех его входах будет сигнал, в сумме достаточный, чтобы превысить порог. В данном случае такая сумма будет 1,2 - это выше порога 1. Порог напомню, это не 1V - а  значение напряжения, при котором срабатывает устройство. На схеме это Uп (напряжение порога).

На схеме слева показаны рецепторы 1, 2, 3. От них к нейрону через синапсы поступает сигнал. И тут особенность схемы "И": раз мы имеем 3 входа, то чтобы в сумме они набрали выше порога, надо разделить 1 на 3 и чуть добавить (для надежности, но не обязательно). В итоге получили коэфф. 0,4 (0,333... округленное в большую сторону). Было бы 10 входов - на каждом будет по 0,1. А если 1000 - 0,001. Но в этом случае потенциал будет настолько низок, что это будет по сути случайные флуктуации - не получится добиться надежного срабатывания устройства. Стало быть несложно догадаться, что для его успешной работы не стоит использовать слишком много входов.

Но тогда возникает вопрос: известно, что у нейрона их может быть до 10 0000 и даже больше. Но тут уже работает другая логика - ИЛИ (или тут, или там).

Здесь как видим синапс не уменьшает сигнала. Реально конечно уменьшает, но очень слабо. Стало быть, если хоть один из входов получит сигнал - это уже  1 и нейрон срабатывает. Если больше одного  - тем более сработает.

Стало быть, касаемо мухи: если один датчик зафиксировал тень от объекта (предположительно хищник), а другой показывает свет (солнечный) день - тут налицо логика срабатывания  "И", реакция бегства при наличие двух обязательных факторов.

Как я еще понял трактовку Nan: у нейронов природной сети в отличие от искусственной не нужно устанавливать (подгонять) разные веса на входах. Они все имеют один одинаковый вес. Потому, что каждый слой просто определяет наличие или отсутствие "своего" примитива в реакции предыдущего слоя. Для этого достаточно простейшей логики И / ИЛИ.

Логика формирования синапса с проводимостью меньшей 1 вполне реализуема и это описано в первом сообщении темы. За время специализации нейройна процесс останавливается когда нейрон перестает спонтанно активироваться из-за достаточно упроченных суммарных связей, а к этому моменту что в каждой связи установится, то и станет специализацией. Так что твой пример с весом 0.4 реально возможен и тупо может реализоваться.

Тогда не понятно твое утверждение, что у нейрона все веса на входе одинаковы - для этого их придется специально уравнивать или надо, чтобы рецепторы послали одновременно сигналы и отростки нейрона успели примерно одновременно к ним "приклеиться".

Второе думаю скорей всего и происходит, но в реальности все же веса "плавают" и фактически будет что то вроде: 0,2 - 0,3 - 0,5 вместо 0,4 - 0,4 - 0,4

Но главное для понимания "зачем нужны веса" думаю то, что иначе не получится реализовать логику "И".

Схема описывает процесс возникновения и прекращения пищевого поведения.

Датчик голода S1 сигнализирует уменьшение ниже нормы энергетического баланса, которое распознается нейроном N1 по логике «И» (так как обычно любой распознаватель использует несколько признаков для распознавания).

Датчик корма S2 сканирует окружение в поисках объектов, похожих на корм. С него поступают сигналы на группу нейронов NG2.1 первого слоя распознавателя корма, тоже работающих по логике «И». Этот слой распознает начальные признаки объекта-корма, достаточные, чтобы начать к нему движение.

Когда одновременно возникают сигналы от нейронов N1 и NG2.1 – это значит, что имеется голод и в поле зрения попал объект похожий на корм, значит можно к нему двигаться. Чтобы запустить движение используется нейрон N4 с логикой И, который активирует эффектор движения Ef1. Кроме того, N4 управляется так же тормозным нейроном Т1, который блокирует N4 при своей активации. Но это происходит только при поступлении на Т1 сигнала со второго слоя NG2.1, распознающего более точный образ корма. Это нужно для того, чтобы остановить движение при достижения объекта. В этом случае второй слой выдаст более подробный образ, что и послужит сигналом для активации тормозного нейрона.

Но если сразу начать есть корм – можно отравиться. Издалека ведь не видно, в каком он состоянии. Поэтому по достижении объекта нужно уточнить качество корма. И только после срабатывания распознавателя качества корма S3 можно начать его есть. Процесс поедания запускает эффектор Ef2, который активируется нейроном N3. Он в свою очередь требует одновременного кроме наличия сигналов от сенсора качества S3 и голода (N1) так же сигнала со второго слоя распознавателя корма NG2.2. Дело в том, что нужно выполнить двойное действие: остановить процесс движения к корму и начать его есть. Это все и запускается сигналом со второго слоя.

В итоге получаем процесс:

Появился недостаток энергии, сканер объектов показал, что поблизости имеется объект похожий на корм – пошло движение к корму. При достижении объекта пришло подтверждение, что это точно корм и он съедобен – остановился процесс движения и началось поедание. При насыщении поедание прекращается.

В схеме использовались условные изображения:

Не нравится тут два момента: к выходам некоторых нейронов подключены более одного входа других нейронов и есть подключение к отдельному слою распознавателя, что как бы под вопросом - допускается ли такое вообще. Вроде бы как нет особых причин такое запрещать.

Вот, к примеру, возьмем ситуацию, требующую адаптивности: чтобы выйти на поиска еды нужно

1) тварь проголодалась – опять же голодная или не головная – это целочисленный параметр.

 2) чтобы был ясный, не дождливый день, т.е. распознавание идет по достаточной освещенности: если она или нет ее, а не какой-то дробной.

3) еще какое-то условие, например, рядом нет резких опасных движений, вызывающих оборонительную реакцию.

Каждое из этих условий детектируется как есть или нет своей системой рецепции. Их нужно свести по “И”, т.е. ползти на охоту только если все три значения 1. Просто одним распознавателем это делать не хорошо и тем более ненадежно, чем больше условий нужно свести по “И”.

Последовательная, “rконтекстная” система реагирования – то, что нужно. Программисты избегают конструкций типа

If(paramrttr1==1)

{

If(paramrttr1==2)

{

If(paramrttr1==3)

{

Goto ToDoIt();

}

}

}

А это – самое настоящее контекстное поведение: paramrttr1==1 – тварь голодная, включается базовый стиль пищевого поведения.

Если его нет, все остальное игнорируется. Если жрать хочется, для поиска нужен день, иначе предки, пренебрегавшие этим, быстро отсеивались.

Ну и, наконец, высунув смотрелки из норки, тварь не видит резких и опасных смен освещенности,

Все, можно ползти на охоту.

Но и выделение признака из нескольких методом весового баланса на уровне одного нейрона может дать преимущество, хотя это ужен более высокий пилотаж распознавания, при том, что он тем менее надежен, чем больше параметров сравнивается на входе нейрона и чем менее определенен каждый из этих параметров. Т.е. облака по небу, перекрывающие солнце, сбивают с толку тех, кто не приспособил распознаватель типа “да это- просто облака, а не нашествие врага”.

Наиболее крутые такие распознаватели, отработанные по надежности суммарного взвешивание соседних параметров, начали формироваться как специализированные примитивы восприятия в новой коре мозга. И это – уже другая история, до которой мы еще не добрались. Хотя отдельные элементы механизмов такого формирования уже бессистемно там и здесь образуются случайно.

Короче, нужно епе бы чувствовать тупость и возможные границы возможности насле6дственных образований промежуточных распознавателей для систем управления и не фантазировать то, что явно преждевременно. Это – очень непросто.

Точно. Вместо того, чтобы сводить 10 000 выходов от нейронов на вход одного суммирующего нейрона, надо просто построить дерево с ветками, подветками. В каждом узле будет вполне допустимое кол-во, не приводящие к обесцениванию веса. Кроме того, каждый узел - отдельный специализированный распознаватель.

Это как если бы все отчеты шли на стол директору, пусть бы и гениальному и он бы в них утонул и многое прошляпил - или на столы отдельных начальников-профи, от них свои отчеты по эстафетам вышестоящим и так до директора, который выслушает уже только главков и примет итоговое решение.

К сожалению, на этой теме застопорился серьезно, нет понимания изложения и представления о чем и про что говорится. Засел за лекции с самого начала... 

Нужно выявлять непонятное конкретно, поименно, плиз, тогда можно будет помочь.

Дорогие товарищи курсанты! Неужели вы стесняетесь нагло задавать "глупые" вопросы, без которых не выяснить непонятное? Не может же быть, что просто заигнорировали все? Неужели мы застрянем окончательно на этой теме?.. А мы даже до по-настоящему интересного еще не добрались.

В пятницу дам обратную связь после попыток углубления в вопросы (последние две темы особенно)., пока работа с утра до ночи(

В порядке забегания вперед с оговорками, что это пока никак не затрагивает текущую тему и не должно вводить в ступор тех, кто пока еще в ней разбирается, скажу, что на вопрос 1) ответ: может возникать и возникает множество разных конфигураций, в том числе абсурдные и сложные, но все это не проходит отбор на эффективность адаптивности. В целом формируется иерархия контекстов представительства тех или иных признаков, а не идет игра на распознавании сразу сложного их сочетания. Второй вопрос – тоже схож. Коллатерали аксонов – дело изменчивости и проб, хотя среди таких проб и остается нечто реально полезное. Что касаетсмя шунтирования, то здесь его нет практически потому, что любая активность по выходным волокнам способна запустить нейромедиаторный механизм поляризации мембраны последующего нейрона, т.е. синапс как бы является и буферным усилителем тока. А вот немиелинированные аксоны мешают точной проводимости как провода без изоляции и замедляет скорость передачи возбуждения.

У разных животных разное число цветовых сенсоров, у человека – 3 штуки. Так что кодировка цвета (оттенки) возникает как сочетание этих трех “RGB”. С яркостью все намного сложнее потому как она зависит от активности соседних распознавателей: если они молчат (темнота), то возбуждение даже от одного фотона может дать вспышку (на фоне некоторого спонтанного шума молчащих, но то и дело возбуждаемых всякими флуктуациями окружающей среды нейронами). Из-за взаимного бокового торможения в слое реагирование нейрона на яркость притупляется и поэтому воспринимаемая яркость оказывается относительной величиной.

Даже у одного вида животных несколько различается предварительная обработка (предопределяемая наследственно) от сенсорной сетчатки, а именно здесь упрощается поток информации, становясь “разжованным” для зрительной коры, до которой мы еще не добрались. У более простых животных, у которых нет коры мозга, происходит непосредственное использование того “расжованной” предобработки, которая оптимизировалась миллионы лет. Как имненно у разных животных это организовалось, до сих пор нет определенных сведений, кроме того, что предобработка есть.

Можно нарисовать множество вариантов предварительной обработки, и как бы каждый из них дает какие-то преимущества.

И только на уровне новой коры мозга возникли более однотипные и универсальные механизмы формирования примитивов восприятия.

Насчет цвета все понятно - только специализированные к частоте сенсоры "RGB”. С яркостью я тоже склонялся к идее, что это более сложный по уровню тип распознавания - на каком то следующем слое сравнивается интенсивность сигналов от близлежащих сенсоров. Но вот как именно сенсор передает уровень сигнала?

Если никак, то есть чисто цифрой "1/0" - то опять плодить некую группу разночувствительных сенсоров по примеру "RGB” (только ясно, что в этом случае их будет куда больше 3) и снова собирать из них общее понимание яркости, например как средне-статистическое распределение среди группы активных сенсоров разной чувствительности.

А если сенсор передает данные об уровне воспринятого сигнала через выходной уровень или частоту пульсации - то опять проблема, как все это считывать нейрону, который как ты говорил ничего этого в принципе не воспринимает, а только 1 и 0. Или воспринимает? Например через какие - то хитрости с щелью?

Вообщем ты просто скажи: если достоверных исследований по этому вопросу нет, то на что опираться в формировании своего представления? Как я понял, пока можно лишь уверенно сказать, что предобработка, а конкретно передача уровня сигнала от сенсора к нейрону имеется, но как это реализовано еще не ясно.

Как ты знаешь, на выходе клетки с электрической активностью нет параметра интенсивности. Она или возбудилась стандартным выходным импульсом или нет. Если она долго возбуждается, то идет пачка импульсов (глаза подергиваются чтобы не дать истощиться сенсору). 

Как есть отдельные распознаватели цвета, так есть и отдельные распознаватели общей и локальных интенсивностей, и они далеко не идеальные. Сочетание этих параметров у высших животных просиходит во вторичной и окончательно - в третичной новой коре - как взаимодействие иерархии контекстов, см. https://scorcher.ru/neuro/neuro_sys/illustration.php

Понял так:
есть специализированные нейроны, распознающие локальную и общую активность сенсорной матрицы. Как они это делают - не понятно, но делают. Может просто реагируют на суммарный сигнал n-рецепторов, и тогда можно через группу нейронов с разным кол-во прицепленных рецепторов составить "индикаторную шкалу": какой "загорелся" - такая "величина" по шкале интенсивности локального/общего участка матрицы. Но ты не можешь точно сказать об этом, так как нет исследований на эту тему.

В цифровой микросрохеме нет проблем с шунтированием выходов, потому что там на каждый выход свой транзистор, который выдает строго единицу - и скачет только потребление мощности микросхемы. А у нейрона выходит наоборот - усиление происходит на входе. Но есть же какой то порог, чтобы не было ложных срабатываний? Или тут еще играет роль синхронность входных сигналов? То есть даже очень слабые, но одновременно поступившие на входы сигналы способны спровоцировать возбуждение нейрона, а вот разрозненно-слабые уже нет.

Вообще складывается впечатление, что нейросеть это не цифровая и не аналоговая логика - а что то смешанное.

Это логика, построенная на специализированных универсальных элементах – распознавателях. Все такие градации – условны. В нейросети от цифровой – то качество, что обмен сигналами – с помощью унифицированных по амплитуде и длительности импульсов, а аналоговость проявляется в порогах срабатывания, как если в составе цифровой логики работают компараторы. Ну и это касается и сенсоров, которое, в отличие, скажем, от фотоэлемента, может выдавать только унифицированный выходной сигнал, а его чувствительность зависит от степени бокового торможения соседними сенсорами: если такового нет, то фоторецептор может сработать от одного фотона и при этом выдать в точности такой же стандартный импульс, как сработал бы, будучи приглушен соседями. Вот на такой схемотехнике сделана природная нейросеть, если отбросить еще множество всяких несистемных, непринципиальных особенностей.

Поэтому нет таких специализированных нейронов, они все универсально одинаковы.

Любая цифровая микросхема имеет свою нагрузочную способность, скажем, штук в 10 входов бипололярно-транцисторной логики (выходной потенциал понижается до уровня регламентированного порога срабатывания около середины напряжения питания) или в случае полевых транзисторов на входе – суммарная емкость уже ограничивает регламентированную верхнюю рабочую частоту обмена. Это – для уточнения.

У нейронов аксон так же обладает немалой нагрузочной способностью, но включение промежуточного синапса придает нагрузке новые свойства: это не просто электрошунтирование, а некий механизм выделения нейромедиатора в щели, который, точно сказать не могу, насколько он способен грузить аксон.

Речь идет о процессе формирования проводящего синапса. Неважно, какие механизмы для этого задействованы, общий смысл сводится к тому, что синапс между двумя активными клетками начинает наращивать элементы (пузырьки или везикулы) для выброса нейромедиатора, которые и оказывает поляризующее действие на мембрану последующего нейрона. Чем больше пузырьков сформируется, тем эффективнее связь. Понятно что для их образования нужно время. Вот и получается, чем дольше экспозиция, тем больше пузырьков. И важно общее время экспозиции, а не однократное, т.е. при повторяющейся время от времени обоюдной активности, растет число пузырьков. Пока нейрон окажется уже специализированным, т.е. уже не проявляет спонтанную активность.

Я так себе это и представлял. Только тогда выходит, что первоначально формируются наиболее часто и достаточно точно повторяющиеся примитивы. Я высказывал предположение, что детеныш рождается уже с частично сформированными примитивами распознавания, так как например в утробе можно в максимально комфортных условиях, с минимумом помех формировать например осязательные примитивы. А еще была мысль, что эти структуры частично служат основой или участвуют в каком то этапе формирования других примитивов, которые формируются уже после рождения. Ну и генетический шаблон имеет место. А вообще, можно начать с прислушивания к "самому себе" - то есть самые первые примитивы могут формироваться "наблюдая" некие внутренние процессы, специально синхронизированные для этой цели, в смысле имеющие строгую периодичность и достаточную для экспозиции мощность. То есть вовсе не с чистого листа начинается формирование распознавателей после рождения, всяко имеет место довольно сложная предварительная подготовка. Если бы я проектировал такую систему, как не крути, а пришлось бы закладывать хотя бы минимальные начальные параметры и давать хотя бы небольшой, но пинок в нужном направлении.

А у тебя есть соображения по этому поводу? А то я один фантазирую и не очень уверен, в том ли направлении иду.

Имхо, если нет понимания, как это реально организовано, не будет понимания, как это реально повторить пусть бы и на другой элементной базе. В данном случае для ИИ конечно можно тупо прошить примитивы и не морочиться, но когда дойдет до более сложных структур, там таки придется озадачиться конкретикой - так мне кажется.

>>если нет понимания, как это реально организовано, не будет понимания, как это реально повторить пусть бы и на другой элементной базе. 

Вот как раз это изучено достаточно подробно, я же дал ссылку, просто конкретный механизм неважен, но в примитиве эти пузырьки – как клизмочки с нейромедиатором, который в них синтезируется. Импульс активности замалюет их впрыскивать содержимое в щель, вот и вся химия.

>>А у тебя есть соображения по этому поводу?

Есть и они уже описаны вполне подробно на сайте, но думаю, что не стоит пока фантазировать, а стоит постепенно идти по логике занятий, ну или открыть потустороннюю тему.

Как ранее предложил Palarm: упрощенная выжимка того, что, на мой вгляд, хотел сказать в этой теме Nan.

1. В основе приспособления к новому и выживания лежит возможность мутаций и варьирования, что в некоторых случаях дает случайное преимущество и в этом случае генетически передается потомкам.

2. Контроль изменчивости на ранних стадиях развития так же играет важную роль в выживании организма.

3. Наследственно предопределенные связи формировались случайным образом в зависимости от того, оказалась ли такая связь полезной, вредной или нейтральной.

4. Есть несколько вариантов организации проводимости синапса, как тормозных, так и возбуждающих.

5. Связь между рецептором и эффектором формируется, пока есть активность с обеих сторон, и далее уже не модифицируется. Если таким образом сформировалась связь эффектора с несколькими рецепторами, то он возбудится только при сочетании их активностей.

Со схемами пока беда. Даже с этой анимацией с бабочкой.

Например, сработал распознаватель (рецептор) тепла выше 36 - сработал эффектор складывания крылья. Зачем там вставочный тормозной нейрон? Чтобы дополнительно заблокировать подъем крыльев? Тогда, по такой логике, почему при одновременном распознавании холода и света и соответственно поднимании крыльев нет в схеме интернейрона, блокирующего опускание крыльев, а он появляется только на следующем слайде? Или это чтобы схему не загромождать? В общем, непонятно.

>>Со схемами пока беда.

А это – самое главное, ради чего затевались эти занятия, без чего не получится понять суть механизмов. Поэтому нужно на это потратить все усилия пока не возникнет перелом и вдруг схемы не начнут разворачиваться в голове сами определенным смыслом взаимосвязей.

>>Зачем там вставочный тормозной нейрон?

Кроме взаимного торможения сенсоров и двигательных терминалов, вставка, подписанная “Тормозящий синапс” подавляет терминал “Поднять крылья” чтобы терминал “Опустить крылья” получил преимущество, а не уравновешивался одинаковыми возбуждающими входами. После чего активировашийся “Опустить крылья” начнет уже сам тормозить “Поднять крылья” даже после того, как тепло отпустит и пропадет входной сигнал на “Опустить крылья”.

Тут получился триггер – устройство, которое переключается сигналом в одно из устойчивых состояний и сохраняет его даже при пропадании сигнала. Тогда сигнал может быть даже очень коротким, но действие окажется постоянным.

В данном случае триггер оказывается не полным потому, как нет возбуждающей связи от противоположного партнера пара участников и при пропадании сигнала от тепла оба участника замолчат.

Мы не рассматривали схемотехнических принцип триггера на этих занятиях, и сейчас есть повод освоить еще и этот принцип конструирования последовательности взаимодействий. Он реально используется очень во многих вещах.

Вот пример того, как на конкретно озвученную непонятку стало возможно ответить, так что это – единственный способ эффективного продвижения.

>>Как ранее предложил Palarm: упрощенная выжимка

Кроме упрощенных выжимок, показывающих понимание темы, необходим и практикум, в данном случае – в личном конструировании всяких съем управлений насекомых. Вот этого нужно как можно больше, но пока только Palarm выдал схему на этом занятии. Мы тонем…

Значит тебе надо еще более простую схему придумать. Если не получается прыгнуть сразу через весь пролет, значит надо подниматься по ступенькам. Секрет обретения понимания и как следствие мотивации прост - дробишь задачу на более мелкие фрагменты, пока не сможешь их решить. Но чтобы это стало банальностью и самособойразумеющимся - надо это лично попробовать и получить положительный результат. Тогда у тебя в голове щелкнет и запишется новое ветвление: "а..а! так вон оно как надо! Странно, что раньше это не понимала - это же очевидно!"

Но "очевидно" - это то, что свершилось. "Страшно, неуверенно" - то, что предстоит свершить. "Произвольность выбора" - это твое решение: стоять так дальше размышлять или все таки начать потихоньку карабкаться.

Для того чтобы, все же, начать делать практические попытки решения схемотехнических задач, приведу несколько конкретных проблем, для которых нужно нарисовать механизмы взаимодействий нейронов.

• У голодной особи при виде добычи начинается выделяться пищеварительный сок.
• При резком потемнении вокруг особь замирает как мертвая.
• Или при толчке и падении насекомое перестает двигаться некоторое время.
• Улитка втягивает усики при прикосновении к верхней части тела.
• Богомол вскидывает лапы в сторону движущегося перед ним пятна.

Попытайтесь нарисовать, как это может реализовываться.  Если вознкнут трудности, нужно задать конкретный вопрос.

В качестве примеров воспользуйтесь схемой температурного поведения бабочки.

К сожалению, Palarm лучше взять паузу чтобы другие могли сами решить проблему, но помощь другим оказывать можно.

Улитка втягивает усики при прикосновении к верхней части тела.

 shyema.jpg

Схема рабочая, рецепторы воздействуют по логике ИЛИ, что характерно для первых связей. Давай другие схемы, набивай руку!

Правильнее сказать тормозной синапс, потому как сигнал от "тормозного нейрона" приходит такой же "положительный" как и от всех прочих. Но так как он приходит на синапс, который настроен на блокировку возбуждения нейрона (например впрыскивает нейромедиатор нейтрализующий начавшуюся реакцию возбуждения) - то сигнал от такого нейрона будет "тормозящим".

По сути участие тормозного синапса в общем складывании сигналов в нейроне симулирует ситуацию, что на один из входов (или на несколько, смотря по мощности впрыснутого дезактиватора) сигнал как будто бы не пришел - и сумма не сложилось до нужного порога срабатывания. Такая симуляция нужна для тех случаев, когда нужно принудительно блокировать нейрон, несмотря на то, что все нужные сигналы для его активации имеются

Хотя теоретически, реакцию можно тормознуть подняв порог возбуждения нейрона. Это как бы второй вариант реализации блокировки, если предположить, что порог срабатывания тоже как то модулируется. То есть временно приподнимаем планку - и нейрон не срабатывает. Тут вопрос, что проще и надежнее было осуществить в природной реализации.

Если у нее срабатывает распознаватель"верхней части тела", то два рецептора, один из которых распознает "верх", а другой "прикосновение" работают по схеме И?

И - это когда распознаватель в центре сработает только если активны оба сенсора, но тогда это будет распознаватель одновременного прикосновения к двум левым сенсорам, а у нее – к любому из двух. Конечно, эта схема не уточняет весов синапсов, И будет если веса будут только в сумме =1.

Это понятно, но там ведь детектируется не просто касание, а касание верхней части. Может она имела в виду отдельные сенсоры для касания вообще, и определения верхней части. Тогда только при срабатывании обоих сенсоров должен запускаться детектор.

Вообще, чтобы не гадать, желательно описание схемы - тогда можно точно увидеть, верно ли понимание работы рецепторов/эффекторов. А то схема может и рабочая, но автор имел в виду совсем другую работу - проверить то он ее не может на симуляторе.

Да, насчет недостаточности описания схемы ты прав. Спроси у нее или, м.б., она сама ответит :)

Кстати, раз зашла речь, можно представить как развиваются подобные схемы, на основе наследственно предеопределенных ветвлений аксонов от предшествующих сенсоров. Т.е. речь идет не мутациях, в которые может быть вообще что угодно возможно, а о вполне устоявшейся “норме” развития.

Итак, на схеме – случай, когда к центральному нейрону наследственно подходят аксоны от двух типов сенсоров. И вот, центральный нейрон созрел, а к эетому временя уже и подавно работают сенсоры (потому как они эволюционно развились раньше и экеспрессиия генов, порождающие центральный нейрон, актуализируются позже в развитии).

Нейрон созрел, перед ним то и дело возникает активности предшествующих двух аксонов, там меняется хим. состав, что является приманкой для ветвления дендритов созревшего. Они подошли к аксонам, образовались синапсы и начинается самое интересное.

Т.к. эффективных связей пока нет, нейрон оказывается в нейстойчивом равновесии потенциала на своем теле (как4 весы, которым которых ничем не нагружены и колеблются от всего). А в это время со стороны аксонов тоже возникают активности во время отклика на раздражение сенсоров. Понятно, что активность двух аксонов разная потому как то к одному сенсору что-то прикоснется, то к другому, иногда к обоим сразу. Ровно так же начинают формироваться и связи. Все зависит от того, с какой частотой активируются каждый из двух сенсоров.

Для определенности предположим, что верхний сенсор откликается на прикосновения  к усикам, а нижний – к телу на голове.

И вот тут возможны варианты. Предположим, что в этой местности улитку чаше кто-то или что-то тревожит за усики, чем за голову. Тогда связь от верхнего сенсора будет укрепляться сильнее и, фактически, центральный нейрон, после завершения специализации (когда уже не будет состояния неустойчивого равновесия и он прекратит самопроизвольно генерировать)  станет детектором прикосновения к усикам, а на прикосновения к голове будет реагировать более вяло, когда прикосновение будет сильным и продолжительным (продолжительная серия импульсов).

Тоже может быть и с сенсором головы в случае более частого раздражения.

А в случае примерно одинаковой раздражительности обоих сенсоров, веса синапсов поделятся примерно поровну и будет логика И.

Получается, что логика ИЛИ так не формируется и для этого нужны другие условия, другое ветвление аксонов.

Но главное: улитка приспособится реагировать именно к местным существующим условиям.

Действительно, задача стояла, чтобы улитка прятала усы при касании именно верхней части тела, а при логике ИЛИ это будет происходить при любом касании вообще - и в этом случае зачем тогда в схеме указывать сенсоры определения верха? Я подразумевала одновременное срабатывание рецепторов касания и рецепторов определения верха - логика И. 

Palarm, ты очень хорошо и внимательно подмечаешь детали, эти уточнения всегда полезны.

У голодной особи при виде добычи начинает выделяться пищеварительный сок.

Детекторов добычи по идее должно быть несколько - например, темное движущееся пятно. Веса связей от каждого детектора признака добычи должны превысить порог срабатывания распознавателя добычи (возможно как И, так и ИЛИ) - одновременно со срабатыванием распознавателя голода (падения уровня глюкозы) (И).  В этом случается возбудится эффектор выделения сока.

chema2.jpg

Пожалуйста, напиши веса от рецепторов в цифрах чтобы было ясно как работает схема.

Не уверена, как правильно распределять веса. На практике они ведь подбираются экспериментально и многократно уточняются для достижения необходимого результата. 

Ну, поставила вот так для начала. Логика И.

chema2a.jpg

Эх, жаль ты не проставила вес от рецептора голода, вот это - интереснее всего! 

В схеме главное - что наступил голод и нужно с этим что-то делать: воспринимать окружающее как возможную еду. Распознаватель голода задает контекст, в котором все воспринимается как возможная еда и если признаки объекта внимания и в самом деле - еда, то срабатывает пищевое поведение.

Для этого рецептор голода должен подвозбудить распознаватель пищевого поведения в центре и то, что раньше равнодушно игнорировалось, теперь стало едой.

Тут, конечно, не хватает промежуточного распознавания Еда, т.е. отдельные совокупности признаков формы, цвета, скорости перемещения должны уже давать детекцию еды. Но если нет голода, то эта детекция хоть и срабатывает, но не запускает пищевое поведение.

Попробуй сделать такую схему со всеми весами, пожалуйста!

Мне здесь уже сложно, я не знаю, как это нарисовать, путаюсь. Но, видимо, лучше неправильная схема, чем никакой.

Датчик падения уровня глюкозы возбуждает нейрон, запускающий пищевое поведение (это эффектор, получается?) по логике ИЛИ (то есть 1 либо 0, в нашем случае 1). Детектор добычи распознает ее по сумме признаков и передает сигнал дальше по логике ИЛИ (распознана добыча или нет, 1 или 0). Дальше срабатывает распознаватель одновременно контекста пищевого поведения и еды в поле зрения - логика И, от нейронов 2 и 3 должны прийти веса 1 (тут у меня были сомнения, может, каждый сигнал должен иметь вес 0,5, чтобы в сумме было 1, но сочетаются ли дробные веса с логикой И?). Если распознаватель 4 срабатывает, он передает сигнал эффектору выделения сока, вес 1, логика ИЛИ (да либо нет).

Все синапсы в этой схеме получились проводящими.

shema2b.jpg

Вот сейчас у тебя идет процесс формирования схемотехнического мышления, ты прорываешься через трудности, черех проблемы, находя понемногу решения. Это - неизбежные усилия, как на тренировке спортсменов и любых других.

Поэтому я не буду подсказывать готовое решение, ломая твой процесс. Ты сможешь научиться сама видеть плюсы и минусы своих схем так, что это потом сольется в обще-ясное видение.

Сейчас у тебя получилось, что 4-1 нейрон активируется хоть от 2-го, хоть от 3-го, т.е. обе цепи оказывают независимое влияние. А нужно, чтобы 4 активировался только когда актиен голод и при этом увидел еду.

ЧТо делает 2-й непонятно, пищевое поведение запускает 4-й, раз от него оно активируется. 2-й модет выполнять роль как 3-й- собирать общую потребность есть, т.е. кроме 1, там должно быть еще рецепторы нехватки глюкозы и м.б. еще чего-то, что дает пища.

Попробуй сделать так,чтобы сама увидела правильность схемы.

В таком случае это будет долго и утомительно для тебя самого же.

shema2s.jpg

А если 2 это будет нейрон, запускающий контекст поиска еды? И поменять веса связей от 2 и 3 к 4, вместо 1 сделать по 0,5, тогда чтобы 4 возбудился и запустил выделение фермента, надо чтобы был активен одновременно и контекст поиска еды, и распознаватель признаков добычи, что в сумме даст 1. А по отдельности они не превысят порог возбуждения 4 и он не активирует 5.

И сразу, если в этом случае схема по-прежнему неверна, то, наверно, веса связей пока надо оставить в покое, а где-то в схеме поставить тормозной интернейрон? Или они актуальны только для скелетно-мышечной системы?

Сечас схема работает именно как контекстная реакция на еду в случае голода. Это видно по весам связей с 4. Не нужно уточнять, по какой логике сработает нейрон, когда прописаны веса, они все и определяют: если веса - по 1, то срабатывание по ИЛИ, а в данном случае для срабатывания нужна активность 2 и 3 одновременно.

Вот такая контекстная схема - довольно позднее приобретение. Для простых первичных схем, когда специализация заканчивается как только установятся связи, характерны входные веса по 1 и срабатывание по ИЛИ, как это уже было показано. В случае контекстов уже специализированный нейрон может устанавливать новые связи потому, как его активирует не самовозбуждение, а какой-то признак потребности. Это - начало формирования рефлексов - более высокоуровневые схемы.

То есть сейчас схема соответствует тому, что требовалось изначально?

При резком потемнении вокруг особь замирает как мертвая.

В этой схеме за детекцию и скорость затемнения отвечают рецепторы сетчатки глаз? Отдельные для степени и для скорости затемнения?

Ты или кто-нибудь можете дать какой-то обучающий материал по таким управляющим схемам поведения? А то почти вслепую приходится, методом проб и ошибок. Кроме твоей анимации и единственной лекции на Ютуб, в которой я нашла толковое объяснение схемы с бабочкой, я ничего не могу найти. Я имею в виду, что ты вроде нигде подробно и практически не объяснял, как эти схемы делать, на разных примерах. 

По искусственным нейросетям информации масса, но там вроде не совсем то. Или все же по искусственным сетям брать материал?

Вот та лекция на Ютуб, чтобы было понятно, что я имею в виду под "объяснение". Когда я ее посмотрела, мне хоть немного понятнее стало - но и то, не сказать, что кристально ясно. И это всё, что я нашла. Объяснение только одной схемы. А ты просишь множество самых разных составить, не однотипных, как с бабочкой.

Да. 

У бабочки множество глаз - фасет, тут неважно как назвать, но, конечно же, срабатывают рецепторы. И рецептором скорости затемнения является не фото-сенсор, а группа нейронов, сводящаяся на детектор "резко потемнело".. Это требует творческого подхода для решения. 

Palarm взялся запилить эмулятор развития и работы простой нейросети, это должно здорово помочь. Но это будет не завтра, а набивать руку нужно уже сейчас.

Мне кажется, помимо творческого подхода, нужно знание биологии в части устройства нервной системы насекомых. Например, я не могу выдумать, из каких параметров у них складывается "резкое затемнение", кроме непосредственно рецепторов затемнения и его скорости. И не знаю, как организуется замирание. Не может же быть, наверно, один эффектор, запускающий мышечную блокировку либо, наоборот, отвечающий за импульс к движению? В интернете мне пока не удалось эту конкретную информацию по устройству насекомых найти. Поэтому схему прилагаю самую примитивную и грубую (два проводящих синапса и один тормозной). Чтобы скорректировать ее, надо, наверно, знать эти детали.

shema3.jpg

Может. ОН, конечно, не один, а множественно дублируется, как обычно в нейросети, в принципе он может запускать общее торможение мышечной активности.

У тебя - как бы центральная часть схемы, без конкретизации устройства распознавания быстрого затемнения.

Нужно постараться сформулировать, в чем именно затруднения. Постановка задачи - обеспечивает решение. Эту постановку нужно детализировать до более мелких подзадач. 

Может оказаться, что ты не вполне представляешь, что именно нужно сконструировать. Умение формулировать задачи себе - основа схемотехнического мышления. Нужно из того неясного впечатления, что возникает в голове добиваться ясного понимания конкретных целей. Тогда останется придумать как их воплотить и тогда, в случае затруднений, у тебя будут уже конкретные вопросы для запроса помощи.

Я аж почувствовал, что ты пытаешься применить “логику” для рассуждений :)

Жили в грузинском селе три брата. Украл у них кто-то барана.
Первый брат говорит:
— Раз украл, значит рыжий.
Второй продолжает рассуждение:
— Раз рыжий, значит, кривой.
Третий завершает:
— Раз рыжий и кривой, значит, Гоги.
Пошли они бить Гоги. Схватили их соседи и привели к судье. Тот спрашивает, почему они бесчинствуют?
— Мы не бесчинствуем, а вора бьем. Гоги у нас барана украл.
— А как вы это узнали?
— Логически.
Рассказали братья свои рассуждения.
— Да где же здесь логика? Так вы что угодно доказать сможете!
— Не что угодно, а лишь правду.
— Ну ладно, я сейчас выйду в соседнюю комнату и что-то спрячу в ящичек, а вы логически установите, что я спрятал.
Возвращается судья с ящичком. Первый брат говорит:
— Раз спрятано, значит, круглое.
Второй продолжает:
— Раз круглое, значит, белое.
Третий завершает:
— Раз круглое и белое, значит, яйцо.
Судья открывает ящичек, показывает всем яйцо и заявляет:
— Гоги, сейчас же отдай барана и заплати штраф!
Грузинско-русский анекдот.

Но ты мыслишь  разумно. Это мне в голову пришло, извини :)

Ты просто не знаешь приемов конструирования чтобы определить быстрое затемнение. Вопрос для помощи: “какими схемами можно определять быстрые изменения чего-то”?

В данном конкретном случае можно просто вообразить, что ты смотришь на мир, где-то что-то происходит, что-то передвигается, но это дает изменения в небольшом числе рецепторов. А вот если вдруг все они погаснут или большая часть, а ты глаза не закрывала, то это говорит о чем-то  большом и, возможно, опасном, даже ты насторожишься. Т.е. получается, что да, нужно определить, не погасли ли большая часть рецепторов. При медленном погасании рецепторы начнут приспосабливаться к меньшему свету и ты даже не заметишь, что становится темнее, а вот если что-то заслонит свет, то рецепторы не успеют приспособиться и ты заметишь потемнение. Т.о. определение быстроты затемнения уже обеспечивается итак.

Айк, Клон, Packer, lol, вы уже слились по-английски или еще в деле?

У мухи в фасеточном глазе несколько тысяч ячеек. Если ты все прицепишь их к одному нейрону - вес будет настолько ничтожным для логики И (в районе случайных флуктуаций), что будут ложные срабатывания. А вот если соединить 10 рецепторов к одному нейрону - вполне нормально. Стало быть... надо использовать группы нейронов: 10 к 1, потом второй слой так же по 10 к 1 и т. д. И так в итоге можно свести всю пирамиду связи к одному нейрону, который будет возбуждаться только при получении сигнала от всех рецепторов, которых может быть хоть миллион.

Этот же нейрон может воздействовать на тормозной нейрон. В итоге такая пара переворачивает сигнал (инвентирует): она возбуждается при отсутствии сигнала и затухает при его появлении - получается детектор отсутствия сигнала.

Ты ведь не ограничена в кол-во используемых слоев и элементов распознавателей - поэтому проблемы теоретически обработать 10 или 10 млн. рецепторов для тебя нет.

Остаются непонятными две вещи: как обозначить  связи между нейронами разных слоев и как отобразить инвертированный сигнал? Вес связей всего этого большого числа детекторов нескольких слоев должен быть в итоге меньше 1, чтобы возбудить нейрон "резко потемнело", связанный с конечным тормозным нейроном? 

Нейрон срабатывает и выдает на выходе уровень своего порога - и так каждый раз. В нейросети нет потери мощности, как например в гирлянде, где последовательно соединенные лампочки теряют в мощности свечения тем больше, чем их больше в гирлянде. В нейросети каждая "лампочка" имеет встроенный аккумулятор, их можно соединять хоть миллионами - и все горят ярко одинаково мощно, когда вспыхивают.

Выход одного нейрона на вход другого. Тот, откуда выход - рецептор для того, куда вход.

Я думаю, ты преждевременно заморачиваешься, как конкретно определяется к примеру "резкое потемнение" или "чувство голода". Кружок на схеме в реальности может означать сложную систему распознавателей-анализаторов, а вовсе не один нейрон, среагировавший на какой то рецептор. Ведь нужно определить не просто потерю сигналов с рецепторного поля, но и скорость потери, чтобы это было именно внезапное, а не медленно-постепенное. Это вызовет сложную систему реагирования с тревожным контекстом. Сравни: "внезапно наступила зловещая тишина" - и "постепенно все затихло". Очень разное восприятие? За это отвечают системы значимости, контексты восприятия до которых мы еще не добрались. То есть сейчас просто рисуй кружок рецептора и говори: он реагирует на внезапное затемнение. А как конкретно - пока не важно. 

Palarm, спасибо за твои ответы, хоть я и не всегда понимаю их.

Попробовала сделать вот так, условно два слоя с весами условно по 0,1. Как специфически отобразить инвертированный сигнал и надо ли это делать, я так и не поняла.

shema3a.jpg

А ты пробовала мысленно прогнать работу этой схемы? Представить как активируются рецепторы и последующие нейроны? Можешь сказать, какаой практический результат получаем оттого, что 10 рецепторов активируют первый нейрон, а он активирует целый слой 10 нейронов, который снова сведутся к одному?

В деле. Кое-что прояснилось, стараюсь нагнать передовиков. 

Примерно. Думаю, если речь о простейшей нейросети, то два слоя необязательны, достаточно одного. Я поправлю. В остальном схема верная или есть еще недочеты?

Если убрать первую "Ж", то детектор затемнения срабатывает от своей группы нейронов, естественно. Каждый из нейронов этой группы, должен бы тоже так же быть поддетектором своего участка, т.е. к нему веером сводятся более ранние 10 штук.

На картинке каждый из нейронов второго ряда должен отрабатывать от своей десятки и веера бы уходили влево все более широко, захватывая все большие области с каждый слоем. 

То есть они треугольником должны расходиться от детектора резкого затемнения.

Чтобы слишком много кружков не рисовать, обозначила каждые 10 нейронов как 10 н.

shema3b.jpg

Да, верно. Скоро будет эмулятор чтобы можно было наглядно все смотреть.

Вот модель, пробуйте, теперь можно пробовать составлять свои схемы на ее основе. Замечания,пожелания, замеченные ошибки, пожалуйста, не держите в себе :) Я постараюсь оперативно корректировать.

1. Обучил первый слой, создал второй. Выбрал там "Set3", выбираю "все" для нейронов второго слоя - сбрасывается вся схема связей второго слоя. В итоге не обучается второй слой.

2. Не понятно, как ты закрываешь слой для обучения - второй по идее должен открываться только после закрытия первого.

3. Ты ничего не объяснил по поводу алгоритма формирования веса синапса - а по идее надо, без этого не будет понимания, что собственно происходит при обучении. И вообще надо бы примеры с пояснениями.

4. Второй слой сейчас у меня сгруппирует активные нейроны первого слоя в одну группу - то есть все РАЗНЫЕ примитивы будут распознаны как ОДИНАКОВЫЕ. В моем понимании обучение распознавать например вертикальные линии разной длины, толщины как ВЕРТИКАЛЬНЫЙ примитив на втором слое возможно лишь в случае, если на сенсорной матрице нарисованы будут только они - тогда они и соберутся в одну группу. Иначе теряется смысл в разбивании распознавания по слоям.

Что-то не подтверждается. Возможно у тебя сохранился кеш предыдыущей версии, очисть кеш браузера.

Если первый обучился, то уже не может специализироваться, это - сделано, а если там остались недоспециализированные нейроны, то они продолжат обучение. Наверное просто нужно для каждого слоя сделать свою кнопку Начать обучение.

Да, еще не сделал.

То, что ты рисуешь на матрице и воспринмаешь как фигуру, для слоя нейронов (в ряд один за одним) не является какой-то вообще фигурой, им пофиг, будут обучаться реагировать на любую имеющуюся в матрице комбинацию, становясь детектором ее появления.

2_sloya.rar

Если на экране нарисовать несколько разных примитивов и начать обучение, то получится:

1. При одновременном или поочередном показе всех примитивов первый слой научиться их детектировать отдельными нейронами по логике И потому, что один нейрон физически не может охватить всю матрицу, а в нашем случае просто заложено ограничение 5 связей на один нейрон. 

2. Но на втором уже слое возникают  2 варианта: если продолжать одновременно показывать разные примитивы на матрице – они детектируются одним нейроном по логике И, а если показывать поочередно – по логике ИЛИ. В первом случае детектируется некий общий признак явления (по какой то причине они появлялись все разом – и это повторялось достаточно часто чтобы зафиксироваться), во втором уже можно говорить о неком общем признаке объекта, так как появляясь поочередно они возбуждают один и тот же нейрон второго слоя.

Стало быть, есть разница, как демонстрировать объекты на матрице – обучение будет различным. Поэтому имеет смысл ввести такой режим мультиплицирования примитивов. Еще думаю стоит убрать зеленый фон с матрицы результата для нейронов «АВТО» - а то они плохо отличаются от обученных.

Да, исправил.

Если хочешь выделить специализации разных образов, нужно к каждому образу подводить свои связи группы распознавателей. И тогда каждая группа специализируется на своем образе.

Сделал для авто более блеклый.

Тогда при самообучении сначала нужно прицепить связь от ближайшего нейрона к активным рецепторам, а потом уже веса наращивать.

Я предполагал так: показываем на матрице таблицу вроде той, что раньше для настройки телевизоров была - и первый слой формирует распознаватели. Вопрос был лишь как показывать: просто картинку или мультик из меняющихся фигур. То есть найти оптимальный в плане качества и скорости самообучения вариант экспозиции.

Да, можно взять и самому протянуть связи, а потом запустить обучение. И тогда если связи шли от одного нейрона, он станет детектором образа. 

Но 3 вариант связей эмулируют реальное прорастание дендритов от ряда нейронов в слое к активным рецепторам с перекрытием. И поэтому возникает пятно детекторов, во многом дублирующих друг дружку. 

Вот, кстати: https://www.nkj.ru/news/37708/

Т.е. в отличие от цифровой логики, где возникал бы единственный детектор, в натуре возникает целое пятно детекторов и повреждение одного мало что портит.

Это уже не будет самообучение. Я имел в виду, что в природной реализации дендриты часто промахиваются и связи перекрываются, потому как никто не будет показывать "настроечные таблицы" для юстировки первичных примитивов - все происходит в динамике, с кучей помех и как получится. Правда в итоге эта каша оказалась полезной в плане надежности. И все же: мы в отличие от природы можем точно выстрелить отростком к нужному рецептору. То есть в алгоритме самообучения первым шагом будет создание связи между активной ячейкой рецептора и активным нейроном, и только потом уже набор веса синапса - а не ручное проставление связи. Так мы можем значительно уменьшить бардак в связях.

Тут думаю вопрос оптимизации, что эффективнее: использовать множественный перехлест связей как в природной сети или точный подвод с заданным перекрытием (совсем без перехлеста думаю все же нельзя). Короче надо экспериментировать.

Обнаружил еще лажу при обучении для второго слоя. Буду исправлять, потом дополню описание, в том числе, как ты предложил, алгоритмами обучения, латерального торможения и т.п. (в том числе нужно написать, почему перекрываются нейроны в трех предложенных вариантах сваязей).

Лажу исправил. 

Вот как я понимаю распознавание «прямоугольника» (palarm_kwadrat):

На первом слое нейроны 1, 13 и 6, 8 распознают пары горизонтальных и вертикальных отрезков по логике «И». На втором слое 6 и 7 нейроны группируют их по группам по логике «ИЛИ». Кроме этого 8 нейрон группирует все активные нейроны первого слоя в одну группу.

В итоге получается: при появлении по отдельности этих вертикальных полос на экране на втором слое будут возбуждаться нейроны 6 и 7, показывая к какой группе («вертикальный» или «горизонтальный») принадлежит примитив. А возбуждение нейрона 8 второго слоя покажет, что все они принадлежат группе «отрезок». В итоге определяются «вертикальный отрезок» или «горизонтальный отрезок». Хотя понятно, что если строго, то правильнее назвать это более размыто: «группа 1» и «группа 2» к примеру. Понятие «отрезок», «дуга» и т.д. будет присваиваться в других слоях.

Схема точно распознает только эти пары отрезков и не реагирует на другие комбинации сенсоров в этой области экрана.

Запустил самообучение для квадрата ("palarm_kwadrat_learn") - выдало фигню. Оно и понятно, нет логики "ИЛИ" для второго слоя. Стало быть, надо что то выдумывать для ее формирования.

Оказалось все совсем не так, как я представлял. Специализация первичных примитивов первого слоя получается автоматически за счет перехлеста связей нейронов. Мне удалось легко обучить первый слой распознавать горизонтальные примитивы просто закрасив весь фрагмент матрицы сенсоров. Получается, первичные примитивы формируются раздражающим сигналом типа «сплошной  фон». А разбиение на отрезки происходит автоматом за счет перекрытия связей и взаимного торможения. Походу это возможно сделать еще в утробе без контакта с реальностью, просто искусственно подавая/выключая фон, так сказать предстартовая подготовка. А я все не мог понять, как же задаются первичные настройки. Ведь чтобы начать группировать признаки нужно уметь их выделять, иметь уже сформированные первичные распознаватели - как же этому научиться еще не родившись. Оказалось вот так. И точно так же все прочие сенсорные настройки предустанавливаются: просто вкл/выкл фоновый сигнал на матрицу.

Аналогично простой фоновой экспозицией одновременно распознаются горизонтальные и вертикальные примитивы (palarm_HW). Если бы таблица была побольше можно и наклонные 45 град туда же ввести.

На видео видно, что первый слой после обучения распознает только вертикальные отрезки в заданном секторе матрицы. А в "palarm_HW" также отдельно распознаются и вертикальные.

Pyervichnyy_primitiv.rar

PS:

стрелки вверх/вниз в поле ввода веса только мешаются.

Это ты ушел несколько в сторону :) Обучение фоном показало прикольные результаты, но это не то, что должно быть именно с установлением связей от аквтиных образов и затем использования этих связей... 

Т.е. нужно создать сначала несколько образов, установить максимум перекрестных связей и начать предъявлять отдельные образы с разной частотой. Должны укрепляться наиболее повторяющиеся места.

И тем не менее думаю стоит иметь в виду, что предрасположенность к распознаванию простейших примитивов устанавливается через связи. Для зрительного восприятия критически важно точно определять вертикальность и горизонтальность линий. Тогда первым делом при восприятии образов будут формироваться точные короткие ортогональные отрезки, а потом уже из них складываться более длинные ломанные линии. Это все равно как чертить образы по линейке или просто вручную. В первом случае без труда можно прикинуть степень "вертикальности" кривой просто сравнив кол-во вертикальных и горизонтальных отрезков в ней. А в ручном режиме все изгибы плавные и придется еще условно принимать какой то из них как наиболее прямой - и вот тут вопрос: а что есть "вертикальность" для нейросети которая не знает вообще ничего? Вообщем, если предварительно "разлиновать" сенсорную матрицу получим явную фору при создании начальных примитивов. Я думаю, в природной реализации это имеет место быть в какой то мере. Нужны начальные установки в виде предрасположенность воспринимать образы через предустановленные связи - надо же от чего отталкиваться.

Это запросто может быть уже на уровне предварительной обработки, до первичной зрительной коры потому, как те структуры очень древние, задолго дорефлексовые и даже до вообще тех животных, которые имеют новую кору. Так что это, в самом деле, может быть наследственная предрасположенность типа первых сочетаний рецепторов с эффекторами. Данных по этому делу я толком не встречал.

Тут думаю надо подходить с позиции проектировщика: если надо спроектировать нейросеть, то первое, что нужно сделать - разлиновать "сенсорную матрицу": ортогональной, наклонной, сотовой и т. д. решеткой - смотря под какие задачи проектируется сеть. В любом случае так предопределяются будущие начальные примитивы: их пространственная ориентация, длина. А от них уже будет зависеть точность и тип распознавания ("мировосприятие"). Это еще предстоит определить какая решетка например наиболее универсальна (скорей всего ортогональная).

Для искусственных систем вовсе не обязательно начинать с этого, можно встроить готовый блок примитивов и их иерархического развития с уклоном в нужную специализацию.

Критерий для участников: если ключевые моменты темы не даются, то нет никакого смысла двигаться далее. На сегодня только temnaya loshadka давала схемы, показывая свою подготовленность (про Palarmне говорю :).

Вот ясность понимания и экспериментирование на новом эмуляторе хорошо дадут понять самому участнику его подготовленность: тут не должно оставаться вопросов в основных принципах работы модели.

Бесконечно тему тянут не буду, конечно, если не увижу до 15-го января оптимистического прогресса, придется завершить занятия. Просто оформлю что уже есть в предвариловку для занятий по школе и все на этом. Пока не вижу вообще сдвигов, а некоторые вообще исчезли.

Думаю, разные типы связей дадут различную специализацию. Зеленый - нейрон, красный - рецептор. И все эти решетки строятся простым алгоритмом отзеркаливания и поворота базового элемента. Причем самый базовый из них - треугольник, а звезда и ромашка уже из него получены.

Ryeshyetki.png

Не врубился в эту систему, нужно более детальное пояснение.

Пока что эмулятор не упрощает задачу, а кажется куда как более сложным для осваивания, чем необходимость рисовать схемы ) Хотя, дело наживное, конечно.

И потом, суть схем, насколько я понимаю - управление поведением в зависимости от заданных параметров, а эмулятор заточен на распознавание и обучение распознавателей, а не на поведенческие цепочки управления. В этом эмуляторе мы ведь не можем отобразить, например, ту схему с бабочкой? 

Palarm, ты мог бы сделать обучающее видео со звуком, подробно объясняя все, что ты делаешь, на реальном примере? Что и зачем ты щелкаешь в выложенном ролике -  совсем не очевидно )

Вот я и пытаюсь их установить через фракталы :) Думаю, это как раз то состояние связей к которому стремится матрица при обучении но прийти к которому ей мешают множество помех. Попробую в выходные это закодить, там думается не так все сложно как кажется. Частично уже сделал, но по ходу дела возникли еще более интересные идеи, типа конфигурирование сетки связей, что возможно позволит симулировать нейромедиаторный фон. Представь, что решетка связей будет по ходу дела переключаться на другую схему. Ведь изменение веса синапса во многих случаях означает просто "Вкл/Выкл" его связи - а это значит перестройка схемы связей.

А кроме того, линейная схема связей совершенно не читабельна, как и цифры весов - там просто каша. Сравни с моими решетками - все связи видны и цифры так же легко будут читаться. То есть мой вариант подхода: связи изначально устанавливаются по фрактальной решетке, а не создаются по ходу обучения. При обучении меняются только веса. Ты ведь и сам так же сделал (S1-S2-S3), я лишь предлагаю сделать это более фэншуйно и читабельно.

Попробую :)

Сможем и бабочку и затемнение. Фокус в том, как это сделать, не вручную задавая связи, а самообучением.

Если получится  феншуйно, это будет круто! Я, правда, так и не понял суть, ты слишком лаконичен :)

Это было бы здорово!

Всех с наступившим :)

Palarm, очень жду твоего подробного и медленного ) учебного ролика. Самой не получается разобраться пока, несмотря на инструкцию Nana к симулятору. Нужна демонстрация на реальном примере.

Распознавание примитивов

На видео связи расставлены вручную с перекрытием в одно звено. Если сделать по схеме Nan, с двойным перекрытием и связью 5х1 (5 рецепторов на 1 нейрон), выбрав одну из схем (S1-S3) и показывать поочередно при обучении например примитив "квадрат" - на первом слое его распознает несколько нейронов, то есть он автоматически разобьется на более простые примитивы. Это происходит потому, что один нейрон связан только с  5 рецепторами и потому не может детектировать весь большой примитив. А так же из за связей перекрытия и латерального торможения соседних нейронов.

Если посмотреть как растет вес связи, то видно, что если например несколько связей соседних нейронов растут одинаково и уже приближаются к порогу, то как только один из нейронов активируется он тут же "придушит" немного соседа, тем самым увеличив "разрыв" в значениях между растущими весами. Тем самым первый из активировавшихся нейронов получает фору - он быстрее наращивает веса своих синапсов. То есть если он получил суммарно больший вес своих синапсов и быстрее пришел к финишу, то он еще и оттолкнет от него почти догнавших его конкурентов - поэтому такое торможение называют "контрастированием": нейроны с большим суммарным весом связей делают рывок вперед, а с меньшим - получают пинка под зад.

Другой важный момент:

на первом слое практически все примитивы распознаются по логике И, потому, что детектируется одновременная активация групп рецепторов. А для формирования логики ИЛИ нужна поочередная демонстрация образов: при каждом показе веса связей, связанных с образом подрастают, пока не достигнут порога срабатывания нейрона. Стало быть, если демонстрировать все образы разом - второй слой просто соберет их в кучу и будет детектировать их одним нейроном или группой как некий единый образ. В реальности так и происходит, никто не демонстрирует "настроечные таблицы" (как это было раньше в телевизорах) - на сенсорную матрицу одномоментно проецируются сложные контура, которые хоть и детектируются автоматически на первом слое в виде фрагментов, но если второй будет их просто обучаться распознавать так же как и первый - он неизбежно соберет их все в одно большое "нечто". И чтобы этого не произошло, а продолжилось дальнейшая группировка "свойств" и "признаков" - думаю, уже тут должна быть фильтрация: выделение среди всех активных примитивов какой то части. Скорей всего тут имеют место дополнительные тормозные связи от слоев, которые формируют контекст восприятия: одномоментно воспринимается только узкий диапазон. Рассматривая объект мы поочередно "видим": "что то прямое", "кривое", "большое", "круглое", "прямоугольное" и т. д. - происходит сканирование вторым слоем первого, словно он действительно "разглядывает", чиркая "вниманием" по нему как глаз зигзагами. Что и в каком порядке будет воспринято - и определяется контекстом восприятия. Это я так понял из лекций Nan.

Стало быть: для распознавания на первом слое важно естественное фрагментирование нейронами матрицы рецепторов и латеральное торможение - иначе не получится разбить сложный объект на более простые примитивы. А на втором слое уже нужно подключение контекста восприятия - иначе все выделенное опять свалится в одну бесформенную кучу.

А здесь попробовала из двух таких малых наклонных линий-примитивов создать одну длинную наклонную прямую (с перекрытием). Но не поняла, как на втором слое объединить оба распознавателя в один, по логике И? Если бы схему рисовала, я бы сделала веса по 0,5 и порог возбуждения конечного нейрона 1. А здесь как?

Liniya2

что-то не подтвердилось, скопировал в Liniya_222 и завершил там обучение второго слоя. Может сказать последовательность действий, приводящую к глюку?

надо оба примитива показать на матрице, то есть исходную прямую - тогда на первом слое одновременно будут активны два детектора которые соберутся в кучу на втором слое.

Вообще, тебе надо было нарисовать одну большую линию, которая разобьется на более простые составляющие на первом слое. То есть нейросеть сама должна дробить на части примитив, группировать их и "придумывать" им свойства и признаки.

Untitled_Project.rar

Не заметил, что речь идет о копировании образов, сорри, исправил.

Вот так? 

Liniya3

Не понимаю, как она сама разобьет на составляющие, если мы задаем связи? Я нарисовала одну линию, но сама же и разбила ее на две составляющие на первом слое, путем проставления связей и группировки сенсоров, а на втором слое объединила в одну группу.

Она "научилась" распознавать их только потому, что связи были установлены " по горизонтапи". То есть, один нейрон охватывает рецепторы 0...4, другой 3...7 и т. д. Поэтому даже если просто засветить всю матрицу, каждый из них "научится" распознавать свой участок рецепторов. С горизонтальными или наклонными примитивами сложнее при такой расстановке связей, так как там уже получится практически один нейрон на один рецептор. А вот если дополнительно сделать аналогичные связи по вертикали, под углом, чтобы один нейрон охватывал рецепторы из разных рядов то при фоновой засветке получим "разбиение" матрицы на горизонтальные, вертикальные и наклонные примитивы. И такая схема связей логически приводит к схеме шестигранник.

у тебя одна линия детектируются на первом слое парой нейронов, а на втором - одним. Если обучить нейрон второго слоя распознавать только ее - то зачем вообще тогда второй слой? Можно было также свести все связи к одному нейрону на первом.

Ты сейчас ставишь связи вручную - это не  есть самообучение, так как ты задаешь сети сразу нужную связь которая закономерно при включении режима самообучения нарастит веса до порога срабатывания. А надо, чтобы матрица просто имела изначально универсальную решетку - и тогда при проецировании на нее примитива и активации самообучения произойдет именно самообучение, ведь ты ничего не рисовала и не устанавливала, а просто "показывала" ей примитив. Вопрос в том, какая решетка связей в таком случае наиболее универсальна, в смысле позволяет например при экспозиции на матрице квадрата самообучаться распознавать его пары вертикальных и горизонтальных примитивов? А при экспозиции звезды еще и наклонные линии? Я думаю, что шестигранник, где нейрон в центре как паук охватывает сразу все рецепторы вокруг себя до каких может дотянуться, тем самым он способен специализироваться к фрагментам горизонтальных, вертикальных и наклонных примитивов.

То есть ты сейчас прописываешь связи вручную. Но лучше будет выбрать одну из заготовок (s1...s3) нарисовать примитив, запустить самообучение и смотреть что получится. Надо экспериментировать с одним из вариантов решеток связей (s1...s3), а не рисовать связи вручную и тем более не проставляя вручную веса. Иначе это не будет самообучением нейросети, а простым ее проектированием.

так это и есть разбиение. Как ты связи создашь, так примитив и разобьется. Если сделаешь связи к трем нейронам, где каждый из них будет охватывать свою часть примитива - он и "разобьется" на 3 части. Сделаешь к одному - не разобьется, будет детектироваться одним нейроном. В реальной нейросети разбиение неизбежно потому, что один нейрон физически не может охватывать всю матрицу. Ведь в ней могут быть миллионы рецепторов, и она по сравнению с нейроном как футбольное поле и мяч.

Nan, я тут умничаю, а ты молчишь, никак не комментируешь. Может я все вру и ввожу народ в заблуждение? Например, мое предположение, что группировка на втором слое нейронов первого (логика ИЛИ) формирует первичные абстрактные свойства экспонируемого на матрицу примитива - оно верно и соответствует твоей концепции?

Тут такой момент. Связи, найденные в ходе эволюции - как раз такие как если задавать вручную. Они могут быть какими угодно, если в результате - преимущество. А самообучение - это поздняя находка эволюции с появлением новой коры мозга. Так что тут два радикально разныз метода адаптивности: 1) наследственно предопределенная - на основе опыта всего вида и 2) индивидуальная адаптивность к конкретным условиям развития особи.

У тебя очень неплохо получается, но, конечно, есть на что обратить внимание, я не специально отстраняюсь, у меня полоса цейтнотов, сорри.

Тут очень много нюансов, залазим в область вторичных и третичных (контекстных) структур мозга, в принципе у тебя рассуждения очень даже здравые.

Тогда получается, имеет смысл смоделировать для начала несколько вариантов нейросети типа "модель поведения бабочки". Задавая вручную связи и веса. Примитивы на матрице - разные типы рецепторов. Например один реагирует на повышение температуры, другой на понижение, третий на свет (день), четвертый на темноту (ночь) и т. д. Соединяя их разным образом на разных слоях можно получить модель управления насекомым. А потом уже пофантазировать, как такие связи могли бы самообразоваться и закрепиться. Я думаю, тут не совсем случайный тык, а есть некоторые предопределенности.

В любом случае появилась наконец возможность для творческого экспериментирования, чтобы понимание пришло через руки. Оно не придет через размышления. Если только читать и осмысливать - в голове будет просто каша.

 PS:

Кстати, я потом проверил: если в примере с видео "квадрат-линия" обучать второй слой поочередной демонстрацией квадратов - там созреют  2 нейрона, которые будут детектировать  каждый свою пару горизонтальных примитивов. То есть будет то же самое, и даже лучше, если бы как в видео показывать в мультирежиме сами примитивы. А это еще ближе к реальному обучению, как в природной нейросети. И вот кто бы мог подумать, что распознавание простейших примитивов надо проводить в динамике? Ведь вроде как очевидно, что надо просто показать статические отрезки для их фиксации нейронами - они и созреют. Но как потом сгруппировать их? Только в динамике. Такая мысль стало быстро очевидной при практических экспериментах, но вряд ли до нее можно было так же легко додуматься просто размышляя. Думаю, эксперименты приведут еще к множеству неожиданных открытий.

>>> (Pararm) И вот кто бы мог подумать, что распознавание простейших примитивов надо проводить в динамике?

Я об этом писал осенью в теме о первичных зонах:

https://scorcher.ru/forum/index.php?topic=1938#msg46197

В первичных зонах рецептивное поле узкое, котёнок, даже если спокойно сидит, совершает микросаккадные движения глазами, голова немного, да шевелится, соответственно, перед первичной зоной экспонируется некое статистическое распределение, а не стабильный объект, который зависнет на достаточное время перед группой нейронов.

Спасибо тебе за инструмент. :)

Это да. Но когда просто прочитал и согласился - то тут же и забыл, потому как значимость не особо важна была. А вот когда промучился как следует и к тому же самому пришел - тогда совсем другое дело.

Я лишь подтолкнул nan к его созданию, кодил то он.

Да.

А что планировалось затронуть в дальнейших занятиях ? 

Планировалось последовательно проходить все этапы формирования заплаток адаптивности: ,распознаватели новой коры с особенностями их формирования, сведение в третичных зонах внутренней сенсорики (гомеостаза) с образованием контектных рефлексов и т.д. - по схеме занятий школы, но в более наглядном виде.

Но, похоже, народ тормознулся окончательно.

И тем не менее случился прорыв: появился симулятор формирования первичных распознавателей. В котором можно экспериментировать самостоятельно.

Ну, какой-то плюс из патовой ситуации. Но будет классно, если ты дошаманишь свою версию.

Некий прорывчик может случиться если не облажаюсь и выложу итоговое резюме в популярной форме - как бы последнее занятие, каким оно могло бы быть. Готовность - около 20%.

В программе минимум добить самообучение сети по твоему примеру но на моей сетке, чтобы проверить - есть ли в ней (сетчатой структуре) практический смысл. В программе максимум дойти до того места, где конкретно упрусь рогом в землю в плане не понимания дальнейшей стратегии "как это работает". Тогда надеюсь будет ясно не в "общих чертах", а конкретно, чего не хватает для создания ИИ: материалов, компонентов, технологий, теории.

>>> Но, похоже, народ тормознулся окончательно.

Я слежу за вашей перепиской. Думаю. Поддерживаю позитивную оценку Palarm. Вы крутые. Полезное дело сделали. Palarm, отдельное спасибо за видео примеры. 

Надеюсь, что скоро подключусь к учебе, пока накопилась какая-то усталость от форумов, есть желание помолчать. 

Вчера был на лекции по искусственным нейросетям. В феврале запишусь на курс по нейросетям. Пишу свою распозновалку текста - OCR для телефонов. Изучаю  фреймворки для нейросеток на питоне.

Наверное надо продолжать курс. Будет полезно и через многие годы как учебное пособие для тугодумных потомков вроде меня. :) Кроме Нана, с его опытом курс никто не напишет , не откорректирует.

Я в свою очередь каждый день с Форнит.Пытаюсь разобраться в схемотехнике.Нелегко даётся с гуманитарным образованием.Мне бывает стыдно за своё непонимание , поэтому иногда предпочитаю просто промолчать.

Курс конечно неплохо было бы продолжить - я одним глазом почитывал и все равно кое-что почерпнул для себя. 

Сейчас собираю детали для курса ХоровецХилла на минималках).Осталось питалово и хлебная доска и наконец можно будет пощупать схемы руками.Главное теперь все не сжечь в порыве дилетантизма. 

Смысл курса в том, чтобы люди не вылетали на следующей теме, не вкурив предыдущую, как это произошло со всеми кроме одного на занятияз школы. Какой смысл отрываться?

Делаю убедительноt внушение: ломать - не строить, уже не вернешь, так что НЕ ЖГИ!!! :)

Кажется никакого прояснения по поводу мотивации и затыков мешающих продуктивно влиться в курс так и не произошло.Еще у меня есть ощущение что какие-то причины тупо умалчиваются.

Если Nan не против , предлагаю участникам ответить на следующие вопросы.

Сделать это лучше в теме про мотивацию https://scorcher.ru/forum/index.php?topic=1949&start=45 

1 Максимально честно ответить на вопрос - зачем лично вам нужен курс (мвап и эксклюзивные занятия).Просьба избегать размыленно - неопределенных целей.Если таких нету стоит об этом прямо сказать , а не вводить себя в заблуждение. 

Типа вот вы модель поймете - а дальше что ? 

2 Тех кто не участвовал , но почитывал курс , ответить на вопрос почему нет желания вливаться ?

Что это за фактор с которым так не хочется связываться ? Это важный вопрос и хорошо  бы на него ответить без умолчаний. 

3 Тех кто участвовал , но отвалился - просьба отфиксировать в какой момент и что произошло ?

Здесь я не буду гадать , но прошу ответить так - без перехода на личности , но и не утаивая эти факторы.

Может это какая-то мелочь , а может и что-то серьезное ? Лучше это осознать так как оно объективно мешает.  

Еще некоторые вторичные вопросы - нету ли определенной усталости и убежденности что материалы мвап - непостижимы ? 

Был ли опыт успешного усвоения какой-либо области знаний где удалось не залипнуть ? В чем разница ?

Можно ли что-то добавить/убавить в занятия что кардинально изменит ваше отношение(желание продолжать или участвовать)? 

Вечером напишу свои ответы. 

А тут что непонятно: https://scorcher.ru/forum/printpage.php?topic=1945