Тема форума: «Нейросимулятор»

Кроме нарисованных двух нейронов в конце среднего блока, могут быть еще один, связанный с первым и последним предыдущим и еще один, связанный со всеми предыдущими.

В принципе возможны, но как именно это происходит в природе, пока не выяснено.

То есть смысл "перепутанных связей" в первичной зоне - получить максимум вариантов ассоциаций от рецепторного поля, чтобы потом из этой щебенки во вторичной зоне произвести их группировку, затем перемешать в ассоциативной с гомеостатической значимостью и получить итоговую активность для мотонейронов. Получить сложно-связанные соединения в первичной зоне можно 2 способами:

1. перемешивать их сразу по мере формирования слоев, для этого надо просто запустить специализацию нового слоя чуть раньше того, как предыдущий созрел. Тогда нейроны нового слоя потянут на себя аксоны от не созревших с предыдущего. И думаю, так и происходит. Ведь слой не мгновенно прекращает специализацию, всяко есть период угасания активности - вот тут и происходит перемешивание связей слоев.

2. при помощи специального механизма организовать "связанный с первым и последним предыдущим и еще один, связанный со всеми предыдущими". Если ты про него говоришь, стало быть он есть? Это данные исследований?

Еще подумалось: дуплексные решетки позволяют решить задачу "перемешивания слоев", в смысле для физической реализации в виде микросхемы. Если положить слои-дуплексы друг на друга, то через промежуточный слой-проводник можно организовать контакты между слоями, как это делается в резиновой клавиатуре кнопочных телефонов. То есть внутри дуплексного слоя есть связи рецептор-эффектор, к ним нужно добавить связь между слоями - и получим их "перемешивание", которое думаю сгенерит довольно большой набор конфигураций эффекторных рисунков. Можно даже извернуться и сделать связи не только между соседними слоями, но и более глубокими, как это делается в многослойных платах, через вертикальные перемычки. В любом случае, если задача создать максимум вариаций ассоциаций рецепторной активности - технически думаю это вполне реализуемо уже на сегодняшнем уровне. Нужно только разработать конкретные технологии активации/дезактивации разрывов связей в слоях и способы межслойных связей. Решетки в этом случае - это просто техническая адаптация.

Перемешивание - не самоцель. Важно фиксировать те сочетания, которые реально воздействуют и, значит, могут использоваться. И какие это будут сочетания сильно зависит от того, как организована последовательность созреваний слоев и позволяется ли дендритам последующего слоя проникать сквозь предыдущий к еще более раннему. Но по-любому все это несущественно: важно чтобы была возможность опираться в реагировании на какие-то детекторы признаков. Даже если бы у тебя был единственный рецептор - красная точка, ты бы использовал его. А тут гораздо большее разнообразие.

В этом все и дело. В ходе эволюции преимущество получили те, у кого была возможность образования диффузионных связей между слоями. Потому, что если будут связи только строго последовательно от слоя к слою по логике И, то все они в конечном итоге сойдутся на одном нейроне и в этом не будет никакого смысла.

В первичной зоне происходит как в дробилке разбиение общего рецепторного рисунка на фрагменты. Во вторичной по логике ИЛИ происходит их группировка. В ассоциативной подключаются сигналы от нейросети гомеостаза и происходит суммарная реакция на наиболее активные группы и внутреннее состояние организма. Тут уже явное абстрагирование, так как выделяются "свойства" детектируемого объекта и подключается простейшая внутренняя модель.

Решил собрать в Солиде 3D-модель искусственной кортикальной колонки. Она конечно не работает как симулятор, это просто модель, но визуально лучше видно связи. С другой стороны, в принципе так можно и физический конструктор сделать, например из пластмассы, чтобы можно было из модулей собирать схемы. А если сделать это по аналогии с радио-конструктором, где соединяются между собой кубики с деталями внутри - получился бы реальный физический прототип.

Зеленые шарики - нейроны, красные - рецепторы. Зеленые связи - основные, желтые - тормозные, они действуют между соседними элементами слоя колонки и между соседними колонками. Вверху колонки выходы с последних двух слоев. Тормозные нейроны не стал делать, так как их задача организация тормозной связи, а ее можно и просто так сделать.

Вообще получается, что предыдущие дела с решетками это были попытки создания одной большой однослойной колонки, где отдельные нейроны детектируют активности рецепторов. Но как оказалось, элементарной единицей в системах распознавания в мозге служит кортикальная колонка, а не отдельный нейрон. В то же время думаю, предыдущие выводы по поводу поведения решеток при разбросе параметров справедливы и для колонок - если рассматривать ее отдельный слой.

По ссылкам архивы E-Drawings в виде экзешника, чтобы запускались 64-разрядных компах без установки солида. Это стандартный формат для обмена моделями между клиентом/заказчиком, у которых нет лицензий на покупку проги, но показать модель как то надо.

Колонка

Фрагмент коры

Как в бинарной системе сетчатки глаза можно определять яркость? Если исходить из того, что светочувствительные элементы пороговые, то есть не передают никакой информации об интенсивности воздействия на них кроме как ВКЛ/ВЫКЛ. Очевидно, что только по распределению на единицу площади активных рецепторов. Но смущало то, что иногда попадались упоминания о специфических детекторах, способных реагировать на разные уровни воздействия. Получалась сложная система, где надо как то равномерно распределять по матрице россыпь детекторов с разной чувствительностью - и как то потом сводить их показания, для чего нужно будет определять топологию датчиков на сетчатке, а не просто их активность.

Но оказалось, что сетчатка глаза все же устроена именно как бинарный датчик. Интенсивность определяется по величине пятна освещенности на ней, которое регулируется зрачком. То есть строго говоря есть понятие "субъективно воспринимаемой яркости", которая определяется по числу задействованных рецепторов. А то что рецепторы могут иметь разную чувствительность - это уже вторично.

Стало быть детектирование колонкой фрагмента  сетчатки делается по принципу: RGB-триада рецепторов (цветочувствительные колбочки) + специфические рецепторы реагирующие в черно-белом диапазоне (палочки). Их концентрация в активном состоянии на единицу площади и размер самого активного пятна (или просто кол-во активных палочек на сетчатке) и создает ощущение яркости. Если сравнить с матрицей фотоаппарата, то там яркость передается величиной сигнала ячейки, то есть аналогового рецептора.

Регулировка диафрагмой зрачка не обеспечивает огромный динамический диапазон восприятия яркости. Все сложнее в природе.

Есть понижение чувствительности фоторецептора при повышенной яркости и есть, конечно же взаимное торможение.

В статье описаны первые два механизма:

Но от самого маленького размера до самого широкого зрачка ваш зрачок может увеличить свою площадь всего лишь в 16 раз. Вы можете хорошо видеть поперечные изменения уровня освещенности гораздо больше, чем в миллион раз. Так что здесь должно быть что-то еще происходит.

...Когда вы находитесь в ярком свете, ваши стержни полностью перегружены и не работают. Если вы выключите свет, ваш зрачок сразу же откроется. Ваши фоторецепторы начинают улучшать свою чувствительность, чтобы впитывать любой свет, который они могут в новых тусклых условиях.

Колбочки делают это быстро – примерно через пять минут их чувствительность повышается. Примерно через 10 минут в темном месте, ваши стержни наконец-то нагоняют и вступают во владение. Вы начнете видеть намного лучше.

Модель 3- слойной колонки для сетчатки. Выше ссылки на 3D  модель тоже обновил. В схеме пока не показаны тормозные связи, которые есть в 3D модели.

Становится все более очевидным, что в природной реализации колонка используется в качестве "пикселя" фотоматрицы, но так как рецептор яркости не может выдавать коды уровня напряжения, приходится использовать комбинации их активностей, для чего и пришлось создавать колонку. Это делает природную матрицу более дефрагментированной. А в случае получения 256 уровней яркости для каждой составляющей цвета по схеме RGB придётся ещё и сами колонки объединять, что делает природный пиксель уж совсем большим. И тогда возникает два вопроса: почему природа пошла по бинарной схеме и точно ли нужно кодировать по 256 уровней яркости по каждому базовому цвету?

По первому вопросу думаю станет ясно, когда сложится понимание что происходит дальше с данными колонки, как они обрабатываются. Ведь в отличие от ПО типа фотошопа в мозге нет никаких функций преобразований, все происходит на уровне бинарной активности нейронов. Генерация кода цвета для каждого пикселя означает цеплять к нему сотни нейронов, чтобы вышли миллионы вариантов - а потом цеплять ещё больше, чтобы во всем этом разобраться.

По второму получается, что если использовать связки колонок и контрастирование - нет нужды глубоко кодировать каждый пиксель-колонку. Рецепторный рисунок получится как результат взаимодействия нейронов колонок. Но остаётся вопрос с размерами такого пикселя - он все таки слишком большой выходит.

Ещё такая мысль пришла в голову: в природной колонке есть особые клетки, которые как стержни прошивают её насквозь и связаны со всеми слоями. Подумалось, что кроме образования специфических межслойных связей у них есть ещё функция служить в буквальном смысле стержнем колонки, задавать вектор роста нейронов. Иначе они будут делиться не в виде колонки, а во все стороны как попало.

Еще остаётся вопрос по тормозным связям: если подвести к тормозным нейронам связи от нейросети гомеостаза, то так можно модулировать их активность. Это тот эффект с движением ползунков регуляторов торможения сетки в модели нейросимулятора как простейший способ связи активности колонки с гомеостазом. Тогда на выход колонки надо ещё тянуть входы от них (см. 3D схему с выходами от слоев). Колонки ведь интересны тем, что имеют связи слоев с разными отделам, что позволяет модулировать активность слоя например гомеостатической значимостью.

Слишком быстрая смена, нет времени понять происходящее. Наверное, нужно рядом с пуском сделать задатчик масштаба скорости показа...

Сначала думал все 28 вариантов перебрать, но подумалось, что это растянется на очень длинное время, особенно если сделать нормальные паузы по 5-6 сек, поэтому сделал короткие по 2 сек. А вот если сделать ползунок промотки или поле ввода для коэф. скорости - то можно по ходу дела притормаживать/разгонять просмотр. И тогда уже лепить хоть часовые фильмы.

Смысл схемы в том, что она реагирует разным рецепторным рисунком на разные комбинации RGB и рецепторов яркости. В итоге получается по 4 уровня яркости для каждой составляющей RGB. Например:

1. R + 1 рецептор яркости
2. R + 2 рецептора яркости
3. R + 3 рецептора яркости
4. R + 4 рецептора яркости

То же самое для G и B, R+B, R+G, G+B, R+B+G. В итоге: 4х7=28 вариантов. Вроде бы мало по  сравнению с 256 вариантами для каждой составляющей RGB. Но если объединить 3 колонки, то получим уже 3 по 24 варианта - по моему тут уже где то около полумиллиона комбинаций выходит. Если добавить к этому управляемое гомеостазом контрастирование - еще на порядок больше. Вроде как нормально в смысле различения вариантов оттенков цветов. Кроме одного: в фото-матрице это делается тремя пикселами яркости, на которые положены фильтры RGB и с которых потом снимается уровень активности (аналоговым или цифровым кодом), а тут их целая куча - в итоге суммарный пиксель RGB выходит слишком большим, что скажется на качестве распознавания.

Это пока смущает больше всего, потому, что в бинарной схеме, когда уровни яркости детектируются через кол-во рецепторов иначе не получится.

Колонка_avi

С тормозными нейронами есть еще одна интересная особенность. Их связи должны быть равновесными, чтобы равномерно затормаживать связанные через них нейроны. Но в конструкторе такая схема приведет к "колебаниям" - начнет переключаться, словно генератор. Потому, что это равновесное, неопределенное состояние - типа суперпозиции. Прикол однако в том, что в реальной природной нейросети такие состояния практически исключены потому, что:

1. порог нейронов не стабилен, плавает
2. скорость активации их так же не одинакова

В идеализированной модели, где все строго математически рассчитывается такая схема просто зависнет или начнет пульсировать, смотря по тому, какой алгоритм расчета выбран. А в природной просто переключится в одно из состояний, в зависимости от текущей расстановки уровней порога и скорости возбуждения. Более шустрый нейрон задавит менее быстрый.

В итоге получается интересная фигня: такие равновесные схемы думаю будут довольно часто встречаться, потому как при самообучении нейрон тянет отростки во все стороны, и при этом часто скорость роста будет примерно одинакова, особенно в таких схемах типа равномерной решетки. Веса установятся одинаковыми - и в модели это приведет к зависанию. Чтобы этого не происходило, придется симулировать плавающий порог или разную скорость активации - вообщем искусственно вносить флуктуации в строгий расчет.

Интересная иллюзия. Если смотреть на точку по центру картинки, то после переключения на черно-белый вариант она покажется на короткое время "в цвете".

Сначала подумал, что это из за инертности активации цветовых рецепторов. Но тогда получалось бы, что они довольно сильно инертны, ведь иллюзия длится примерно 1-2 сек. Скорей всего дело в том, что восприятие нами цветного изображения происходит путем сложения активностей рецепторов яркости и цвета. То есть изначально мы воспринимаем цвет и яркость по отдельности, формируются отдельные образы и затем складываются в общий образ восприятия. И вот эти высокоуровневые наложения уже намного медленнее происходят, чем реакция рецепторов. В данном случае происходит задержка в переключении суммарного образа: цветовой образ не активен, но итоговый суммарный еще не успел погаснуть и какое то время 1-2 сек продолжает выдавать старый вариант из двух образов. То есть мы "видим" не рецепторами, а возникающими на основе их активностей образами.

Если не моргнуть и не отводить взгляд, то эффект сохраняется :) 

Это - не на уровне работы рецепторов глаза, а на уровне удержания образа.

Точно. Тут сразу три важных свойства восприятия демонстрируются:

1. рецепторы нужны только для активации подходящего образа
2. образ остается активным пока не сработает детектор новизны контекста восприятия, в данном случае пока не моргнешь, не отведешь взгляд и т. д.
3. данные рецепторов могут игнорироваться, если текущий активный образ считается подходящим ситуации

И похоже, что иллюзия "стереокартинок" происходит по тому же принципу удержания образа. Обычно образы с каждого глаза собираются в один. При этом происходит оценка "на что это похоже" и активация подходящего образа. При рассматривании привычным образом через "разглядывание" элементов рисунка, мозг быстро определяет, что это плоское изображение и включает соответствующий контекст. Но если глядеть отрешенно, не фокусируясь, и тем самым не давая подобрать нужный образ, то в случае, если каждый глаз поймает свою смещенную картинку, они могут сложиться и определиться как 3D - и активировать объемный контекст восприятия.

Прикол тут в том, что колонки воспринимая и предварительно оценивая сигналы от глаз, исправно выдают свою активность в вышестоящий структуры. Но пока там не найдется подходящий образ, мы "видим" лишь бессмысленный хаос пятен. И лишь при нахождении "удачного решения" внезапно "прозреваем" и видим 3D.

Еще интересный момент: если поймав стерео изображение начать медленно поворачивать лист картинки перед собой - тут же почувствуешь сильное напряжение в мышцах глаз и в какой то момент их заклинит. Ощущение, как будто они выкручиваются по резьбе из глазниц. Видимо потому, что подключенный контекст восприятия управляет не только оценкой поступающих сигналов, но и движениями мышц глаза и вообще всем, что связано с распознаванием зрительных образов. То есть "поймав волну" (положение глаз для восприятия своего смещенного рисунка), система включает стабилизатор их положения, чтобы поступающий от сетчатки сигнал соответствовал активному образу. И лишь когда рассогласование становится чрезмерным, происходит сброс образа и сопутствующих ему стабилизаторов и поиск нового устойчивого состояния восприятия.

Все это наводит на мысль, что мозгу вовсе не надо распознавать на уровне одной колонки (а может даже и их связок) все комбинации уровней RGB по данным рецепторов сетчатки, как это делается в фото-матрице. Достаточно ровно столько, чтобы активировать хоть какой то образ, а затем, продолжая наблюдать и уточнять (если система значимости не удовлетворена), постепенно "дорисовывать" недостающие фрагменты. То есть природа не стала заморачиваться созданием сверхчувствительных датчиков, выдающих миллионы кодов сигнала, а стала развивать структуры анализа того что есть. И вот там она отплясала по полной, научившись по крупицам информации "рисовать" цельные картины восприятия.

Сделал слайдер задатчика ускорения-замедления. Если регулировать во время прохода, то данный цикл пройдет с прежней скоростью, а следующий с новой заданной.