Тема форума: «Нейросимулятор»

Вот для примера как детектируют три решетки квадрат при изменении уровня торможения. Шестигранник и квадратная 4х4 просто контрастируют контур с небольшими вариациями, а вот последняя решетка 9х9 отжигает по полной, выдавая целую  серию рисунков. Разница между решетками - в схеме связей и кол-во охвата. Причем в схеме 9х9 охватываются только ближайшие элементы, хотя я предполагаю, в реальной нейросети это может быть и второй, и третий круг охвата. Там будет уже много больше комбинаций рисунков.

Кстати в конце видео я показал, что решетка 9х9 не видит разницы между точкой и крестом из 4 пикселов - это таки серьезный залет. Получается увеличение связей (охвата) вовсе не улучшает качество распознавание, точнее лишь до какого то момента улучшает, а потом наоборот приводит к глюкам.

 

И ты еще говорил в этой теме, что тормозные связи устанавливаются изначально перед обучением. Но по какой схеме? С каким охватом?

Sravnyeniye_ryeshyetok.rar

автор: Palarm сообщение № 46864:

тормозные связи устанавливаются изначально перед обучением. Но по какой схеме? С каким охватом?

Вставочные нейроны с тормозными синапсами созревают в слое наравне с остальными, проявляют свою пейсмеккерную активность и образуют связи с другим активными элементыми. Без какого-то особого порядка. Видимо, их концентрация в слове как-то оптимизируется эволюционным отбором.

автор: nan сообщение № 46866:

Видимо, их концентрация в слове как-то оптимизируется эволюционным отбором.

Скорей всего просто чрезмерно заторможенный слой становится глючным в детектировании настолько, что особь выпиливается из эволюционной гонки. Тоже самое про слишком "кустистые" рецептор-эффекторные охваты. Может при совместном обучении они тянутся к созревающим эффекторам, воспринимая их как рецепторы, а при созревании  слоя - так же перестают ветвиться и наращивать веса. Вопрос только - почему они не тянутся к настоящим рецепторам. Может созревающий нейрон выделяет специфические хим. маркеры, чтобы с одной стороны не дать нормальным нейронам к нему прицепиться, а с другой - приманить к себе тормозные. То же самое с рецепторами - тормозные нейроны не должны к ним цепляться. Однозначно должен быть регулировщик, разруливающий два потока созревания - и это вполне может быть специальный хим. след.

 

В плане симулятора тут опять таки надо будет определиться: прописывать ли тормозные связи изначально в виде решетки или так же проращивать при самообучении. Дело в том, что в практической реализации например в виде микросхемы я представляю это так:

 

в ней изначально проведены все дорожки связей, как основные так и тормозные, но с разрывом, который заполнен спец. веществом, которое в "сыром виде" работает как диэлектрик. При подаче напряжения оно "спекается" и становится проводником с определенным сопротивлением, зависящим от величины напряжения. Процесс не мгновенный, что симулирует время прорастания дендритов. А напряжение на каждый "разрыв" симулирует частоту/уровень сигнала от рецептора. В итоге  когда все дорожки "спекутся" получим связи с разными весами.

 

Поэтому нужна конкретика, если речь о фактической реализации: если прорисовывать дорожки - то по какой схеме, если не прорисовывать - то как соединять элементы? Программным блоком, какими то мудреными нано-веществами, которые буквально "тянутся" как отростки? Имхо, практичнее простой разлиновкой и активацией разрыва, чем ветвить непонятно каким образом. Дуплексная схема будет экономичнее и проще, двухслойная чуть сложнее. Осталось только придумать параметры искусственного слоя, по которым его можно оценивать, и обосновать оптимальный для определенных задач тип решетки. Может это будет отступление от природной реализации, а может природная реализация это просто невозможность в виду ограниченных ресурсов построения изначально разлиновать нужную решетку.

автор: Palarm сообщение № 46873:

Вопрос только - почему они не тянутся к настоящим рецепторам.

То, куда ветвятся аксоны определяется только генетически, вот как задано у предком данной твори,плюс некая мутационная вариабельность для самых поздних эволюционных структур (ранние очень точно воспроизводятся).

автор: Palarm сообщение № 46873:

надо будет определиться: прописывать ли тормозные связи изначально в виде решетки или так же проращивать при самообучении

А вот дендриты - да, растут в сторону локальной активности.

Причина слишком активных переключений сетки при изменении уровня торможения - расчет весов через последовательный обход. На первом рисунке эффекторы 136,147,157,148 активны уже на пороге (0,1) переключения (суммарный вес 0,114). И при повышении торможения они должны были выключиться все 4, но выключились только 2, исказив тем самым эффекторный рисунок. Потому, что расчет весов происходит через последовательный опрос элементов матрицы по возрастанию их номеров, в данном случае это эффекторы в порядке: 136,137,138,146,147,148,156,157,158. И при каждом шаге происходит пересчет веса текущего элемента.  В итоге 137 как первый в списке вырубается, оставшиеся элементы лишившись его тормозного влияния подрастают в весах, 146,148 уже не выключаются, а последний из группы 157 вырубается потому, что подросшие в весе 146,148 его задавливают, не смотря на то, что он тоже подрос после выключения 137 (двое против одного). То есть правильнее надо не включать/выключать эффекторы на каждом шаге опроса матрицы, а на шаге итераций: выключать их группами а не по одному.

В гексогональной решетке этот эффект слабо проявлялся, а здесь, при таком массированном охвате основных/тормозных связей вылез более явно. Это поправлю. Но опять же это интересно как пример, как легко повестись на множество спец. эффектов, возникающих при сложном взаимодействии нейросети. У меня косяк программный, а там тоже самое может быть из за нестабильности параметров нейронов, ложных связей. Тут тебе и переключения рисунков, и даже генерации колебаний - от всего этого можно напридумывать множество вполне рабочих схем, и вполне может быть, в природной реализации они даже имеются, но... идут в никуда. То есть что то прицепилось к мельтешению эффекторного рисунка, возникла рефлекторная цепочка, которая ни с чем не связана, просто генерит вхолостую. И это отражается на энцефалограмме и вводит в ступор исследователей - чтобы это значило? А ничего это не значит, как свисты и хрипы приемника при настройке волны. Не зная принципа передачи радиосигнала можно легко насочинять "правдоподобных" объяснений, связывающих например свисты с настройкой на частоту. Типа раз всегда чистому звучанию предшествует шипения и хрипы - значит они играют какую то важную роль и без них никак не получится попасть на волну. Вот и получается, что не имея теории, где четко показано, что есть главное, что второстепенное, принципиально не возможно понять принцип действия устройства, и тем более смоделировать и развить его. Исследователи которые этого не понимают подобны обезьяне трясущей пальму.

Решил более наглядно проследить, что происходит при активации нейрона, вернее как она происходит в «замедленной съемке». Ведь расчет методом итераций по сути и показывает как бы по кадрам этот процесс, с некоторой погрешностью конечно. И выяснилось, что там такие же «скачки напряжения» как и в самой сетке. То есть суммарный вес эффектора растет не линейно, а в виде колебаний. Это означает, что он несколько раз превышает/падает порог, пока окончательно не устанавливается итоговое значение. Как маятник покачался и успокоился. Это потому, что по мере роста веса меняется равновесие решетки, что им вызывает колебания ВКЛ/ВЫКЛ. То есть эффектор не мгновенно получает итоговый вес, а за некоторый промежуток времени, за который он разряжается серией импульсов. Может в этом причина, почему нейроны реагируют не простым ВКЛ/ВЫКЛ, а короткими сериями колебаний? Потому, что они связаны тормозными связями. Или правильнее сказать нейроны, как генераторы колебаний, разряжаются серией импульсов модулированной по амплитуде частотой, которая зависит от схемы тормозных связей между ними.

 

На видео показано, что при любом значении тормозного воздействия, как только активируется эффектор, его кривая роста суммарного веса при итерациях становится синусоидальной. Эта кривая - модулирующая для "несущей" частоты, с которой разряжается нейрон при активации.

 

Конечно, если как в реальном генераторе ввести в модель понятие инертности, то эти скачки можно сгладить. А может и не надо. Может лучше оставить эти неоднозначности состояний эффекторов, из за которых собственно и возникают колебания, чтобы была некоторая неопределенность, отличающая жесткий алгоритм от "свободного".

 

Еще пришла такая мысль: в квантовом компьютере вместо понятия "Бит" используется "Кубит", который означает не 0 и 1, а все бесконечно возможные значения между ними. То есть логика квантового компьютера заточена как раз на работу с областями решений, "неоднозначностями", которых как все больше выясняется, полно в нейросетях. Правда я не очень понял, как квантовый компьютер выдает в итоге решение, но возможно именно на нем можно будет замутить полноценный ИИ в чисто виртуальном исполнении.

Vyes_ityeratciy.rar

Вот у тебя уже накопилось много эмпирического материала при работе с моделями. Было бы очень полезно обобщить его в перечень выводов, которые следуют их модельных экспериментов: чем ограничены веса вставочных тормозных нейроны, почему они не могут быть слишком большими, и т.п.

Т.е. попробуй составить список таких выводов и их обоснование конкретным поведением модельных нейросетей. Это было бы очень полезно и круто.

Я так и собирался делать. Накапливается экспериментальный материал, и когда возникает некоторое понимание, делаю небольшое обобщение с картинками, моделью. Я это думал для модели самообучения сделать, но опять вылезло много интересного в предварительном и конечно это стоит отдельно изложить. И поправить предыдущие страницы.

Более наглядная схема пульсаций эффектора при наращивании им суммарного веса. При изменении значения порога и уровня торможения меняется расстановка весов в сетке. На примере эффектора №112 видно как его при этом корежит. В матрице эффекторов что справа мы видим только его ВКЛ/ВЫКЛ, а на самом деле практически перед каждым переключением он выдает серию из 1-2-3 импульсов, то есть он "мерцает". Для общей схемы латерального торможения важны лишь его конечные состояния, но возможно при дальнейшем изучении эти мерцания позволят глубже понять, как происходит решение "неопределенных состояний" переключения. А может и нечего не даст - просто флуктуации, которые гасятся инертностью нейрона и ни на что не влияют.

 

Интересно, что аллегория с настройкой приемника оказалась достаточно близкой к реальности. Нейросеть действительно шипит и свистит при "настройке на волну" - изменении ее параметров до устойчивого состояния. Ведь щелчки пульсаций модулируют собственную частоту разряда нейрона при его активации.

Pulsatciya_affyektora.rar

Оказывается идея "разрывов" в соединениях микросхем, которую я толкал как вариант реализации нейроплат, не новая. Уже давно пытаются сделать оптические соединения

Посмотрел на твой пример закольцовки в конструкторе - и сразу вопрос: если 4 нейрона образующих закольцовку лежат в разных слоях, то как образовалась обратная связь между 4 и 1? Разве возможно прицепиться снизу вверх к созревшем слою? Думаю что нет. Стало быть должен быть специальный коммутатор, который это делает и который не показан на схеме. И думаю что зря. Иначе возникает ложное представление, что нейроны могут как угодно связываться, хотя на самом деле они вяжутся строго по слоям по мере их созревания. Или это не везде и не всегда? Вообщем, если коммутатор условно не показан, то думаю имеет смысл подумать, как его ввести в схему. Может в виде специального элемента.
Хотя возможно это уже излишне для упрощенных схем, где показывается логика работы, а не конкретная схема связей. Это как КМ и КМД чертежи: в первом схема, во втором деталировка.

Но самый интригующий вопрос: а как вообще возникают такие закольцовки? Почему нейроны разных слоев связываются в определенной последовательности?

Конструктор нейросхем предназначен именно для простейших, наследственно мутированных цепей. Имеется в виду, что никакой новой коры еще нет. И связи могут быть вообще какими угодно, .в том числе закольцованными, если это окажется в чем-то полезным. Т.е. та демо-схема - не модель круга А.Иваницкого, от вторичных зон новой коры, к образам ассоциативной, через коммутатор гиппокампа, замыкающего выход образа со входом распознавателей гомеостатической значимости, который определяют контекст примитивам вторичной зоны новой коры и, тем самым, активируют вход примитива.

Получается, что твоя, что моя модель показывают простейшую организацию нервной системы 1 уровня. В них принципиально невозможно показать ни вторичные, ни тем более третичные зоны новой коры. Для этого нужно вводить специальные модули типа гиппокамп, лобные доли и т.д. И потом еще раскрывать их устройство, которое для меня сейчас совершенно не ясно, в смысле конкретной внутренней схемы соединений.
Хотя на первый взгляд кажется, что просто создавай слой за слоем и на каком то слое организуется чего там. Если бы это было так, не пришлось бы в мозге выделять отдельные специфические зоны.

В первую очередь этот конструктор сделан как игровой способ развить схемотехническое мышление, не рисовать схемы на бумажке,а творить в удобной, даже прикольной среде. Конечно же он не позволяет создать модель столь эволюционно отдаленных дополнений как новая кора со связями с лимбической системой, с рефлексами мозжечка, с системой обработки новых ситуаций в лобной коре.

Я их скорее воспринимаю как эскиз механизма, где показана его принципиальная схема работы. На его основе нужно спроектировать "рабочий чертеж". Сложность тут в том, что связи и веса должны "протянуться и расставиться сами". То есть инженер-нейротехник создает многослойную матрицу-заготовку и определяет какими внешними воздействиями прошить в ней нужные связи и веса. Так надо делать потому, что иначе не получится встроить модуль в уже готовую нейросистему как апгрейд. Он должен после рецепторной активации "развернуться" и приобрести нужный функционал. Иначе придется всю нейросеть перепроектировать при каждой модернизации. Потому, что в ней заложен принцип послойного созревания и встраивание нового модуля по сути имитирует созревание и специализацию новой группы нейронов на базе существующих слоев.

Например на базе этого надо будет создать что то вроде этого но с нулевыми весами. Потом определить таблицы настроечных прошивок, при засветке которыми должны активироваться/заблокироваться линии связей и расставиться правильные веса.

 

Интересно, насколько такое предположение окажется близким к реальному и по какой методике будут проектироваться нейроплаты? Ясно, что не методом тыка и не простым разведением дорожек "как надо". Потому, что никто не сможет сказать как конкретно в этой нейросети "надо", чтобы заработало и не конфликтовало с предыдущими модулями - стало быть встраиваемые модули должны как то самонастраиваться.