Тема форума: «Нейросимулятор»

Это - очень просто. Если вдруг тормознешься, пиши в чате, помогу.

Вроде как получилось сделать взаимное торможение в сетке. Каждый аффектор тормозит связанные с ним аффекторы пропорционально суммарному весу на своих входах и весу тормозной связи. То есть в связке например А1(0,9) и А2(0,3) с весом тормозной связи 0,2 влияние А1 на А2 будет: А1 * 0,2 = 0,9*0,2 = 0,18. А влияние А2 на А1 соответсвенно: А2 * 0,2 = 0,3 * 0,2 = 0,06.

Суть торможения - контрастирование. Это видно на картинке прицепа - при полной фоновой засветке матрицы мы имеем активность только на краях (красные - рецепторы, зеленые - аффекторы). В итоге проецируя на нее пятно мы получаем контур - и это, как мне думается критически важная часть распознавания и оценки примитива - повышение активности аффекторов на границах примитива. По такому же принципу выделяется новизна, значимость на других шагах - так подсказывает интуиция, если не врет.

Плохо только, что приходится пересчитывать в хранимке всю сетку. Пока она небольшая - оно и ладно. Но если сгенерить слой на 1 000 000 элементов - тормоза будут не хилые, при каждом чихе колошматить такой массив, тем более что планируется потом туда проецировать примитивы в динамике. Но вот если сделать микросхему, где соединение сделано по такой же схеме сот, вместо программного расчета весов провести реальные связи в виде проводящих дорожек и транзисторных ключей - тогда получим действительный прототип природной нейросети. Меня вообще удивляет, почему никто не пытался вместо выдумывания сложнейших алгоритмов расчета многослойных персептронов просто взять и эмулировать нейрон в виде транзисторной схемы (как это показал Nan) а потом соединить их в сетку. И ничего не надо рассчитывать - заряды сами распределятся нужным образом как это и происходит в мозге.

Хотя слышал, что есть какие то нейристоры - может это оно и есть.

2020_02_25_23_19_11.png

Рассчитывать на большое число элементов не стоит. Это всегда упрется в предел как в пузырьковой сортировке :) Вот и видна сразу разница централизованного контроля и самостоятельности работы элементов. Конечно никакой центрально-процессорный ресурс с этим не справится.

Демонстрация контрастирующего эффекта взаимного торможения очень важна, если сделаешь это наглядным, модель получит новое качество.

Я как обычно дунул вперед паровоза - процедура расчета врет, надо допиливать. Но это частности. Вообще то я предполагал в дальнейшем после прикручивания алгоритма самообучения сделать полигон, посадить туда какую нибудь химеру, прошить ей в мозги сетку - и начать ее всякими пакостями раздражать, чтоб начала адаптироваться. Но сейчас подумал, что это все таки сильное забегание вперед. Имеет смысл сначала тщательно разобраться с конкретными механизмами распознавания, чтобы не осталось вопросов "как это делается". Иначе наблюдаемая рефлексия химеры будет малоинформативна.

Идея с ползунком интересная - попробую их прикрутить ко всем настройкам для плавной одиночной и возможно для групповой смены параметров. И вот кстати подумалось: контрастирование отрезка означает определение его конечных точек - ведь на концах меньше всего будет влияние торможения. Так можно определять длины, толщины. То есть подрубаем два параллельных слоя к сенсорной матрице с разным тормозным влиянием аффекторов: на одной распознаем примитив (где минимум торможения и все аффекторы активны), на другой считываем его конечные точки (где больше торможение).

Проблема не только в том, что нужно делать пересчет всей сетки, но и то, что приходится делать несколько прогонов - и все равно результат не точен. Подозреваю, что математически задача решаема очень тяжело если вообще решаема. Или мне просто не хватает математики в мозгах - но тогда выходит я лузерством занимаюсь, пытаясь решить методом приближения школьную задачу про пару поездов идущих навстречу другу другу с известными скоростями. Только поездов много больше чем два и взаимосвязаны они тоже более чем парой. Может есть какая то формула или теория расчета таких задач?

С другой стороны, сейчас сетка даже в относительно грубом приближении работает примерно так, как я себе представлял - эффект контрастирования ярко выражен. Для большей уверенности стоило бы спаять ее реальный прототип из светодиодов, транзисторов и т. п., чтобы убедиться, что сетка действительно будет работать и распределять веса так, как предполагает ее виртуальная модель. Но радиотехник я еще худший чем программист и подозреваю, что там вылезет еще своих граблей, поэтому скорей всего делать этого не буду, иначе совсем зависну на первом слое. А хочется хотя бы грубо пробежаться максимально далеко по теории Nan, чтобы убедиться, что она действительно описывает реальные процессы нервной системы. Теория, сколь бы убедительной не казалась - все равно лишь иллюзия понимания, а работающий прототип - уже что то.

Это да - тут очень наглядно видна потребность в очень мощном компе - или хитрой математике.

Однако радует: идея сотовой структуры действительно оказалась удачной в плане наглядности, все веса и связи видны + взаимохват сенсоров/аффекторов ближе к реальности. И то, что в качестве инструмента была выбрана СУБД - тоже правильно: выборки, группировки, суммирование весов лучше и правильнее делать запросами. Хотя в идеале тут наверное нужен специальный тип СУБД, заточенный под нейросети.

Вообщем, потерзаю еще алгоритм расчета до конца недели, и если не случится прорыва, так и оставлю пока - более менее он правильно считает.

Да, без и тераций не решаема. Я делал 10 прогонов до отрисовки рещультата. Для небольшой сетки - ерунда, а на большую нефиг замахиваться :)

Не рассчитывай на это. Я тебе давал исходники с итерациями, но это, конечно, упрощающие ситуацию исходники, и если ты задумал сделать полностью адекватную модель взаимного бокового торможения, то нужно сильно запастись терпением. И ни один математик не поможет, у меня было немало попыток привлекать математиков, они точно так же сходу не врубаются, нужно создавать собственную модель.

Это же чудесно, что еще нужно?

Ты не сможешь все потянуть сам... Придется на чем-то остановиться пока не заинтересовал других настолько, что тебе дали достаточный грант на такую работу (что - далекая фантазия).

Следующим шагом я буду пытаться научить сеть самостоятельно распознавать примитивы - хочу проверить предположение, что такие их параметры как длина, толщина определяются как раз при помощи бокового торможения  через опорные точки, возникающие при контрастировании. Ты говорил, что это делается в третичных зонах, а мне подумалось - что уже в первичных, по крайней мере какая то базовая часть. Нужно определить: если часть - то какая, если все - то как. Но если алгоритм расчета весов будет врать - то и выводы будут ложные.

Сначала понимание, потом формализация. Вот поэтому математики и тормозят с задачками типа взаимного торможения, у них нет готовой подходящей модели. А у тебя получается, что ты делаешь предположения вне какой-то конкретной модели понимания. Это - очень кропотливый путь - проверка всех возможных побочек. В принципе эволюция как раз этим и занимается. Если бы выяснилось, что распознавание условных выделенных форм возможно уже в первичной коре, то, скорее всего, именно там и возникали бы связи с рецепторами значимости. Длина, толщина - условные, относительные понятия.

Но не хочу тебе мешать идти так, как тебя ведет твоя эвристика.

А для того, чтобы возникло понимание, нужна формализация на базе своих текущих представлений - проверка опытом - коррекция. Ты забываешь, что ни у кого здесь нет такого специфического и долгого практического опыта как у тебя - стало быть и полноценного понимания нет ни у кого, в том числе у меня. Чтобы понять твою теорию нужно пройти такой же n-летний путь поиска, анализа, проверок - или сделать работающий прототип по твоей теории. Пройти так сказать по проложенной лыжне - но именно пройти ногами, а не ушами и глазами. В этом у меня уже не осталось никаких сомнений, что это единственный путь.

Вот ты уже не раз говорил, что чисто математически задачу не решить, и я соглашался внутренне, что да, сто пудов это потребует огромных мощностей. Но это не было действительное понимание проблемы. Лишь протрахавшись несколько недель с попыткой составить алгоритм взаимного торможения, пришло действительное понимание в чем проблема, в каком конкретно месте и почему. Нельзя вникнуть в проблему наблюдая за ней со стороны - только погрузившись в нее лично.

В рамках текущей, неполной, не проверенной модели - она еще формируется. И ты тут ничем не поможешь и не ускоришь.

Удалось сделать одним прогоном, но возникло сомнение: по видео видно, что при максимально длинном отрезке по идее должны активироваться аффекторы по центру (27 и 32) так как по бокам у них погасшие аффекторы, и на них теперь нет тормозного влияния. Но по сути состояние, когда центральные аффекторы взаимно гасят друг друга на пределе порога (как качеля балансирует в среднем положении) - неустойчивое и стоит дополнительно активировать рецептор в их охвате то они уверенно активируются (как потом на видео и показано) и переведут сетку в одно из устойчивых состояний. И может так и надо оставить. А может все таки сделать еще прогон чтобы активировать 27 и 32 потому как они вообще то должны быть активны.

Вообщем тут вопрос возникает по поводу соответствия последовательных расчетов весов сетки при прогоне ее реальному поведению, где все элементы одновременно, а не последовательно меняют свои веса. Может реальная сетка как раз и будет вести себя как на видео - центральные аффекторы взаимно затормозят друг друга, хотя по расчетам некоторые из них должны выскочить за порог.

Aapis_akrana__04_03_2020_10_48_15_.rar

т.е. у тебя есть формула расчета (точнее алгоритм вычисления) результата взаимного торможения при данном профиле возбуждения?

Формулы нет. Просто сначала включаю все аффекторы как если бы не было торможения, потом одной пробежкой по каждому вычисляю его вес с учетом воздействия соседних активных (выключенные не учитываются) и выключаю те, что оказались задавленными. Получается почти похоже на правду. Потом по идее надо бы еще пробежаться по включенным и поднять их вес - ведь те что выключились теперь на них не воздействуют. И тут то я и встрял, потому как при тупой пробежке опять включаются те что были задавлены, а хитрую еще не придумал. Чувствуется, тут просто надо просто головой тряхнуть - отвлечься. Тут не математика, а просто грамотный алгоритм. Но в первом приближении работает уже очень похоже на правду. Можешь сам потыкать рецепторы.

Думаю полный алгоритм должен быть такой (после воздействия на рецептор):

1. Меняем статус рецептора на противоположный.
2. Расчет весов связанных с активными рецепторами аффекторов без учета бокового торможения. Если вес > порога то включаем аффектор.
3. Расчет весов всех аффекторов с учетом бокового торможения. Если вес < порога то выключаем аффектор.
4. Расчет весов оставшихся включенных аффекторов с учетом бокового торможения – он подрастает, так как пропало тормозное влияние выключенных.
5. Расчет весов выключенных аффекторов с учетом бокового торможения – у одних он еще больше падает, так как увеличилось тормозное влияние включенных, а у других возрастает, так как выключенные в п.3 перестали их тормозить. При этом если вес > порога то включаем аффектор.
6. Далее прогоны пп. 4-5 по условию, что хотя бы один вес у кого то изменился либо просто задать кол-во прогонов.

Сейчас только п. 1-3. И вот задумался - а нужно ли прогоны делать? Это точно будет соответствовать работе реальной физической нейросети? И еще: в этих схемах есть торможение рецепторов (CRT) - их учета в алгоритме нет. Потому как тоже сомневаюсь, что оно надо. Это ведь по сути аналогично поднятию тормозного влияния между аффекторами.

Мне кажется (я так реализовал), что суть алгоритма может быть такой:

делаем цикл 10 проходов. В каждом проходе добавляем 10% от воздействющих потенциалов торможения. Результат используем в следующем проходе. Так получает как бы имитация постепенного увеличения взаимовлияния без прыжком значений.

В постепенном увеличении веса тормозной связи есть смысл если учитывать тормозное влияние только от активного аффектора. Тогда можно одной процедурой прогонять расчет несколько раз - и чем меньше шаг (и соответственно больше кол-во прогонов) тем точнее будет итоговое распределение. Но если начать учитывать тормозное влияние при первом же прогоне от еще не активировавшихся аффекторов, то получится, что тормозная связь реализуется не через вставочные нейроны (условно не показанные на схеме, чтобы ее не загромождать), а как то иначе: не через связку дендрит - аксоны, а например через аксоны - аксоны, что резко усложняет модель нейрона. Вряд ли природа пошла по пути создания дополнительных типов связей.

При скачкообразном расчете, как у меня, для уточнения весов приходится менять фильтры, чтобы учитывать в расчете попеременно включенные/выключенные аффекторы - для подкачки/утапливания весов включенных/выключенных. Это в итоге приводит к искажению результатов вплоть до того, что включаются задавленные ранее тормозными связями. А если повышать вес постепенно, то может этого и не случится. Но все равно тут надо иметь в виду, что тормозная связь от аффектора активируется только после его активации.

ОК, попробую по схеме постепенного повышения.