Тема форума: «Нейросимулятор»

Вставочные тормозные нейроны есть всегда, они уже готовы к моменту начала специализации слоя.

Понятно, что готовы, иначе не было бы торможения. Я про то, что у меня получается схема ПОСТСИНАПТИЧЕСКОГО взаимного торможения. А в твоей схеме выходит ПРЕСИНАПТИЧЕСКАЯ - раз тормозные нейроны начинают давить веса аффекторов с самого начала. Это возможно, если тормозные нейроны получают активирующий сигнал от рецепторов. А в моей, постсинаптической схеме тормозной нейрон активируется сигналом активировавшегося аффектора. То есть изначально, пока ни один аффектор не набрал веса для переключения, тормозные нейроны не участвуют и веса растут как если бы их не было вовсе. Но стоит только хотя бы одному аффектору активироваться - он включит связанные с его выходом тормозные нейроны и они придавят соседние аффекторы с силой прямо пропорциональной весу активировавшегося. Тем самым кто не успел набрать вес - тот опоздал, получит пинка под зад от финиша. А если активировалось сразу несколько, то взаимным торможением они уравняют свои веса - придут в равновесное состояние. Но стоит только кому то из них получить чуть больше веса - его тормозное влияние возрастет и он прихлопнет соседние нейроны, если этого тормозного возрастания окажется достаточным. В итоге получится: соседние погаснут (упадут), а он резко взлетит, потому как пропало их тормозное влияние.

Вот так я понимаю принцип контрастирования. И по этой причине если проецируем отрезок то активируются аффекторы по его концам и центру (но пока что он у меня не активируется из за недоработки алгоритма), так как только там минимум тормозного влияния. НО: в твоей схеме, где тормозное влияние между всеми, активными и не активными аффекторами, получившими сигналы от сенсоров, будет активность только по краям, так как даже придавленные друг другом центральные аффекторы будут продолжать давить друг друга, хотя они и выключены. Потому что их давят тормозные нейроны, получившие сигналы от рецепторов. И выходит, в такой схеме контрастирование более выражено, раз активность только по границам.

Возникает вопрос: как правильнее? Тормозные нейроны активировать параллельно/независимо аффекторам сигналами сенсоров, чтобы они постоянно давили их, или активировать их сигналами включенных аффекторов?

Нет, никакой активации от рецепторов или других слоев. Только - от соседних нейронов. Все.

Скинул тебе в чат ссылку, но ты, похоже, не заходишь на форум без новых сообщений. Так вот, сделал Демо латерального торможения для контрастирования и там есть исходный код так что ты можешь посмотреть алгоритм.

>>Если элемент в правой матрице активен (оттенок зеленого), то он оказывает активирующие воздействие на связанный с ним рецептор, но соседние активные рецепторы оказывают тормозящее влияние и могут не позволить возбудить данный рецептор

1. Эффектор оказывает воздействие на рецептор? Или все таки наоборот?

2. Квадратики в левой матрице - рецепторы. Раскрашены с разной степенью интенсивности, что видимо показывает мощность их реагирования. Но если мы исходим из цифровой логики, то рецептор имеет только два состояния Вкл/Выкл - стало быть оттенков там быть не может. Вместо них может быть кол-во активных рецепторов на единицу площади матрицы. Если же исходить из аналоговой логики (предположить такую работу рецептора), то надо определиться с логикой работы эффекторов. Судя по правой матрице с кругляшками это они и есть и реагируют они на самый слабый сигнал рецептора. И тогда выходит, что включившись от слабого сигнала он перестанет реагировать на его дальнейшее повышение - просто так и останется включенным. То есть детектирования уровня сигнала не будет - только уровня минимального сигнала, на который он срабатывает - эффектор же "цифровой", срабатывает на превышение порога. И на правой матрице эффекторов визуально не возможно определить, кто из них какой сигнал получил - все горят одинаково.

3. Боковое торможение в твоей схеме позволяет "потушить" слабые сигналы, тем самым выделив из всех активных только самые активные. И это будет центр размытого пятна, где максимальная мощность эффекторов. А если это будет одинаковая по яркости фигура - то активность останется на границах, где минимум торможения.

4. У тебя связь без перекрытия? Один рецептор связан с одним эффектором. Это не позволит разбивать сложные примитивы на более простые на первом же слое детектирования.

5. У тебя реализован эффект "выстреливания" эффектора, когда тормозящие его боковые эффекторы при увеличении уровня торможения гаснут и он лишенный противодействия резко активируется еще более придавливая их? Это как качели в неустойчивом состоянии, когда стоит чуть толкнуть одну из перекладин - как одна тут же падает вниз а другая вверх.

Это то что сразу бросилось в глаза, исходник завтра посмотрю.

Нет, не так и в тексте это описано. Если левая матрица - сенсоры, то интенсивность цвета показывает силу воздействующего фактора. Если - нейроны, то показывает число активных связей, действующий на эффектор (т.е. тогда это не одна связь квадратика с кружком, а равная числу в квадратике).

Да, поэтому и сделан второй образ с такими локальными активностями и они хоть и контрастируются, но остаются непотушенными. А вот шумы около центральной линии эффективно подавляются торможением.

А в целом эмклятор предназначек для иллюстрации контрастирующего воздействия взаимного торможения и показывает при каких условиях это оптимально. Кстати, торможение учитывается от всех соседей данного эффектора.

>> Если элемент в правой левой матрице активен (оттенок зеленого), то он оказывает активирующие воздействие на связанный с ним рецептор эффектор, но соседние активные рецепторы эффекторы оказывают тормозящее влияние и могут не позволить возбудить данный рецептор эффектор.

Ведь так правильно? Иначе у тебя получается, что эффекторы воздействуют на рецепторы - это можно только через обратную связь, и тут это совершенно не нужно.

Это то я понял. Но при этом у тебя эффектор в правой матрице срабатывает на активность рецептора больше 1. То есть будет он с интенсивностью 1 или 9 - эффектор одинаково сработает. Тогда выходит он никак не различает интенсивность рецепторов. Понятно, что оттенок означает либо силу воздействия на рецептор либо число связей из этого участка с эффекторами - то есть в этом случае там не один квадратик а несколько и все они прицеплены к одному эффектору. Но это вовсе не самоочевидно - такое графическое упрощение схемы.

Мне сразу подумалось, что с одной стороны изображение разной интенсивности квадратиков очень наглядно показывает как в реальности выглядит например на сетчатке глаза проекция внешнего объекта. И дальнейшая демонстрация контрастирования тоже просто демонстрирует эффект повышения резкости. НО: тогда можно подумать, что от рецепторной матрицы от каждого рецептора к эффектору идет сигнал разной мощности - это первое, что приходит в голову уверен большинству. А на самом деле рецептор это такой же пороговый элемент, который выдает 1 или 0. И даже если это не так (или скорей всего не совсем так, там возможно имеет место частотная модуляция уровня получаемого сигнала) - все равно в дальнейшем это будет преобразовано в двоичную схему взаимодействия. Нейроны то уж точно пороговые элементы.

А вторая мысль, что приходит сразу в голову: а если мы просто повысим порог срабатывания - не то же самое разве будет? Так же отвалятся "слабые" эффекторы. И вот тут как мне думается в описании надо подчеркнуть: оно похоже сработает но только до того момента, пока не останутся только примерно одинаковые по мощности воздействия эффекторы. При дальнейшем повышении порога они все разом погаснут. А вот при боковом торможении картина будет принципиально иной: начнет проявляться эффект "задавливания" тех что по середине и "освобождение" тех что по краям. И финальным аккордом центральные выключившись резко упадут а боковые резко взлетят - как стороны качелей. Такого эффекта невозможно добиться играясь с порогом срабатывания или уровнем внешнего сигнала (которые скорей всего сильно "гуляют" в реальной нейросети) - это более четкое контрастирование и стало быть более точное выделение актуального признака примитива. Потому и закрепилась такая находка эволюционным отбором.

А еще глядя на твой исходник пришло в голову, что я все таки рано радовался, что перенес логику работы матрицы на сервер. У меня все сильно тормозит, а у тебя летает. Потому, что у меня на каждый чих идут запросы-выборки, а у тебя все делается в простых циклах и массивах.  У тебя получается, что интерфейс часть логики работы сетки, а я пытался отделить данные от клиента, типа чтобы независимым быть реализации клиента. Получается был не прав. У тебя логика напоминает .Net  - когда на клиенте создается типа буфер порции данных с сервака и дальнейшие манипуляции с ними происходят так же на клиенте. Потом коротким запросом обновляется итоговый результат на серваке. Тормозов очевидно на порядок меньше, но не будет интерактивной работы на серваке. То есть например для многослойной работы придется либо загружать на страницу все слои, либо работать с каждым слоем отдельно-поочередно. Для демонстрашки пойдет, для реального прототипа скорее всего нет - или что то надо выдумывать.

И все таки логика работы торможения у тебя не совсем правильно показана. Если нарисовать прямую на матрице рецепторов (квадратики 22...26), активировать их весом 3, поставить пожестче торможение (например 5) - и начать двигать ползунок. Когда кружки эффекторов 23 и 25 погаснут, то оставшиеся 22, 24, 26 должны вернуть себе начальный вес 3 и дальнейшее увеличение коэфф. торможения уже не будет на них влиять - ведь тормозящие их эффекторы погасли. А у тебя они продолжают терять в весе при увеличении торможения.

То есть в реальности при определенном торможении матрица эффекторов переходит в устойчивое состояние и перестает реагировать на дальнейшее увеличение торможения. Хотя можно допустить, что при большем тормозном влиянии одномоментно (а не последовательно) гасятся все попавшие под раздачу пендалей эффекторы (если пинок был достаточен для гашения), но все равно в конце надо вернуть исходный вес оставшимся не погашенными - ведь их уже никто не тормозит.

Наверное тут просто надо решить, что нам полезнее будет, какая логика: при увеличении торможения гасить постепенно все эффекторы или дойдя до устойчивого состояния остановиться. В природной реализации скорей всего такой вариант, не потому, что он самый лучший, а потому, что практически не возможно четко-синхронно дирижировать такими "криворукими музыкантами" как нейроны. Но в программной реализации лучше как у тебя сейчас, это дает больше вариаций ответных реакций: можно просто "резкость" повысить, можно опорные точки выявить, можно вообще все погасить.

Да, перобор и недобор фильтруется. Сенсор будет выдавать один и тот же сигнал при любой силе его освещения.

Нет, к эффектору может подходить несколько разных связей, некоторые будут импульсировать изредка, другие чаще, что получится в сумме и ответит эффектор. Но при этом учитывается и то, как реагируют соседи и если они возбуждены, то это огрубляет эффектор и ему уже нужна большая активность на входе. 

Не то же самое, а, важно, учитываются соседи, а не просто уровень на входе, вот что контрастирует.

У меня многослоная модель тоже рисуется на сервере, но при обучении запрос идет раз в секунду. А вот если бы я привинтил там ползунок, то совершенно недопустимо было бы посылать запросы на сервер со скоростью его смещения. Тут нужно ловить сообщения от ползунка чисто на клиентском скрипте и рулить уже без обращения на сервер. У тебя все элементы div имеют свои id, к ним можно оперативно обращаться из js а так же перерисовывать холст канвы со стрелками. И это будет происходить очень быстро.

Это же имитатор только эффекта контрастирования. Если бы принять не только одну связь как буд-то это несколько (какое число - столько связей), а было бы веерное перекрытие профилей соседей, то этой бы побочки не было.

Сделал ползунки - работает и вправду шустро, при том что число элементов довел почти до 500.

Я это и имел в виду, говоря, что надо делать что то вроде буферных таблиц на клиенте (скорей всего массивы, как ты обычно делаешь в таких случаях), а на сервак отправлять уже результат манипуляций с сеткой. Мне по сути придется продублировать алгоритм расчета весов на клиенте или даже вообще перевести их сервака на клиент. Иначе получается, что я гоняю тяжелый многотонный самосвал для перевозки пригоршней песка. И когда я говорил, что у тебя логика работы с нейросетью подразумевает расчеты на клиенте через циклы, а не на серваке через хранимки как сейчас у меня - то получается, что клиент у тебя это уже не просто оболочка для интерфейса а часть модели. А может тут правильное решение будет 3-звенная архитектура: данные на сервере, оболочка на клиенте, расчеты в отдельном модуле. Вот тогда все будет по уставу: и скорость - и не зависимость от реализации.

Может статься, что придется вообще отказаться от таблиц связей, если рисовать просто одинарные прямоугольные сетки как в твоем примере. И тогда не надо ничего грузить - просто по номеру элемента справа, слева, снизу, сверху - вот и все связи. Ведь если представить сенсорный экран в виде пикселов монитора - то там их будет сотни тысяч. Ворочать таким массивом, а тем более запросом будет очень тяжко. Если же определять элемент просто по номеру + - вертикально/горизонтально - то их может быть хоть миллион, скорость реакции будет та же. Сдается мне что моя идея с SQL-запросами приведет к закономерному затупу и придется все переделывать. Сервак будет хранить только снимок последнего состояния матрицы для первой загрузки и который потребуется для передачи результата манипуляций с ней на следующий слой.

Ты не правильном пути, прогресс налицо! 

База нужна только чтобы запоминать состояние, а текущие операции уже выполнять на основе сохраненного и всех делов.

Если они добавят тормозные связи между эффекторами в топологию микросхем - то почему бы и нет. Без латерального торможения не получится выделять важно-значимые признаки - а это как мне думается основа принятия решения в природной нейросети.

Схема такого нейропроцессора предполагает входное и выходное устройства для обработки сигналов, запоминающую матрицу, блок нейронов и маршрутизатор на основе логической матрицы.

Слой рецепторов + слой эффекторов, матрица весов и матрица связей. Может у них там и тормозные связи есть. Это возможно близко к тому что мы тут пытаемся моделировать. Обнадеживает, когда одна и та же идея приходит в голову разным людям - значит в этом что то есть.

Допилил наконец отрисовку латерального торможения. Добавил ползунки для порога, основного и тормозного весов. Теперь можно их крутить и смотреть как происходит контрастирование примитива при изменении порога и весов. Данные пока не сохраняются, при обновлении страницы все сбрасывается.

Оказалось, что Nan был совершенно прав по поводу итераций - это действительно единственный метод расчета торможения (а точнее вырубания задавленных им эффекторов), если нет формулы. Так же окончательно пришел к выводу, что идея вести всю логику на серваке провальная. Тормоза будут дикие. И вообще в принципе можно без сервака, а через файловые массивы. Если потом пилить DLL то там точно не будет никаких SQL а свой источник дл сохранения промежуточных данных в виде например спец. файла с определенной структурой. Хотя до этого еще очень далеко.