Тема форума: «Нейросимулятор»

Добавил обобщение по фасетчатому глазу. Оказалось, что там так же как в сетчатке имеется функциональная неоднородность омматидиев, рамбдомеры которых специализируются на определенной части спектра или направлению  поляризации. Стало быть подтверждается первоначальное предположение на примере сетчатки, что такая неоднородность не случайна, а принципиальна - иначе просто не получится создать параллельные потоки данных от глаза для организации комплексного реагирования. Мы сначала шарахаемся в сторону от внезапно выпрыгнувшей из кустов опасности, и только потом, с расстояния начинаем ее более подробно изучать. Если бы реагирование возникало только после окончательного определения объекта - нервная система так и осталась бы на уровне простейших реакций, достаточных по времени выполнения,чтобы тебя не съели.

В сетчатке позвоночных больше всего заинтриговал электротонический способ передачи возбуждения. Как мне думается - это успешная попытка создания аналоговой схемы связей, необходимой для снятия уровня возбуждения с рецептора. Если сравнивать с фотоматрицей, там мы имеем массив рецепторов с определенным уровнем заряда, что необходимо для получения итогового кода цвета. Но если попытаться собрать такую схему на бинарных элементах, как это сделано в статье "Сетчатка" - то получим проблему: как снимать многоуровневый потенциал с рецептора? Я для этой цели сделал 3 рецептора яркости, в итоге получаем 4 уровня для каждого рецептора RGB: рецептор при выключенных яркостях, и рецептор при последовательно включенных 1, 2, 3. Это с одной стороны сильно увеличивает размер пикселя, что соответственно уменьшает разрешающую способность глаза. А с другой - ограничивает диапазон яркостей.

Природа выкрутилась иначе использовав полноценный аналоговый способ связи в сетчатке. В итоге контрастирование в ее слоях работает так, как гексагональная решетка DK6-3 из соответствующей статьи, если крутить ползунок коэфф. усиления веса. В это случае веса связей пропорционально изменяются, меняя тем самым итоговый эффекторный рисунок решетки. Стало быть очередное "понимание", что есть решетки, про которые ты меня подкалывал - это модель децентрализованной нейросети первых слоев сетчатки позвоночных с электротоническим способом связей. Причем гексагональная ближе всех к модели фовеолы - центральному пятну. Там действительно гексагональная плотная упаковка колбочек. В одном дуплексном слое модели решетки сведены горизонтальные нейроны и колбочки. И получается, что черт его знает, может это в правду оказался корявый прототип искусственной фовеолы? :)

По фасетчатом глазу, когда наткнулся на вопросы в сети, почему природа выдумала такой странный глаз, а не снабдила насекомых нашим камерным, сразу пришло в голову, что главная причина - более примитивная нейросеть насекомых. Она тупо не сможет работать с таким уровнем детализации и макрообъектами. А техническая сторона, касаемая повышенной дифракции при таких микроразмерах и сводящей на нет все преимущества камерного глаза - уже вторична. Богомолу не к чему разбираться в видах и подвидах его жертв, он хватает и жрет все что может схавать и удержать, поэтому все что ему нужно знать о жертве - сможет ли он это сделать. А для этого достаточно лишь несколько простейших признаков размеров и способность различать живое от неживого.

Ты ставь ссылки сразу чтобы люди понимали, о чем речь :)

просто обращал внимание, что такого рода симметрия - результат конкретной природной реализации, но ты видишь в этом системный принцип, продолжай его выделять до очевидности, а пока что все достаточно сумбурно.

Я вообще, если решусь на какие-то прагматичные действия, то вообще отмету эту часть сенсорики, о чем сегодня написал в дневнике.

Я уже говорил, что с самого начала думал не в общем и целом - а как конкретно сделать распределенную нейросеть. А это значит уже конкретная топология, а не пространные рассуждения, как где то что то как то связывается. Кроме того, строгая решетка вовсе не означает строгую компоновку. Если рассматривать ее как матрицу-шаблон для создания нового слоя, то изначально там все связи нулевые и по мере обучения прожигаются нужным весом. В конце концов можно представить хоть сто-мерную виртуальную решетку с миллионами связей в одном узле. В любом случае, если ты создаешь новый слой - изначально это пустой массив с заданной размерностью (1-2-3 мерный и т.д.) и надо задать параметры: между какими элементами можно делать связи, а между какими нельзя - в самом простом случае исходя из того, что рецептивное поле это круговой охват каким то радиусом вокруг точки возбуждения. Это особенно касается сенсорной матрицы типа сетчатки, на которую проецируется изображение, так как связи будут формироваться вокруг областей рецепторной активности, а не где попало.

Вообщем хоть так посмотреть, хоть эдак - но есть определенные принципы построения нейросети, хоть визуально она и кажется бессмысленным хаосом сплетений проводов. Причем в случае сенсоров типа сетчатки - аналогия с решеткой более чем уместна. А в случае с зонами мозга - это уже больше как виртуальное определение, вроде многомерного массива.

Помнится, где-то в этой теме обсуждалось латеральное торможение (ЛТ). Сейчас не буду всё читать и рыться в аксиоматике, просто изложу мысль.

Во-первых, меня интересует сила ЛТ, а именно её свойство: статичность или динамичность в зависимости от приложенного к основному нейрону потенциала. Сила определяется синаптическими весами на аксонах тормозных нейронов, а веса постоянны, так ведь? То есть не зависят от того, какая сила сигнала на нейроне, а просто срабатывают, если нейрон активен, и молчат в противном случае. Имею ввиду, что при пороге срабатывания 1 независимо от того, какой сигнал на нейроне больше 1 (2, 3, 7, 9), тормозной нейрон будет действовать на соседний с одной и той же силой (будет приложен одинаковый потенциал), которая определена синаптическим весом от него. Вес синапса меняется не мгновенно, причём пластичность в первичных зонах нивелируется по завершении специализации слоя. Таким образом, сила ЛТ не зависит от приложенного к нейрону потенциала, а роль играет только то, возбуждён нейрон или нет. Если нет опровергающих фактов, идём дальше.

Можно сделать алгоритм псевдопараллельной обработки сигнала. Мат. модель я не представляю, так что сделаем циклом, но здесь у нас появилось обстоятельство -- сила ЛТ не меняется. Это значит, надо просто вычесть значения весов, умноженные на 0 или 1 из сигналов из каждого нейрона, чтобы создать иллюзию параллельности процессов, а затем проверить, изменилось ли состояние: если да, пересчитать с учётом включенных и выключенных нейронов, иначе выйти из цикла. Если нейроны примерно одинаковой силы и гасят друг друга, надо отловить такую ситуацию, обнулить ЛТ для данных нейронов и установить на них сигнал, равный порогу срабатывания, как на транзисторе в случае тока смещения на базе поддерживается напряжение, предельно близкое к напряжению отсечки. Таким образом, получается даже не цикл, а простое ветвление.

Примерный псевдокод:

если (примерно_равны(1,2)) {

сигнал_1 = порог;

сигнал_2 = порог;

} иначе {

сигнал_1 -= активность_2 * ЛТ;

сигнал_2 -= активность_1 * ЛТ;

активность_1_пред = активность_1;

активность_2_пред = активность_2;

активность_1 = проверить_активность(1);

активность_2 = проверить_активность(2);

если (активность_пред_1 == 1 и активность_1 == 0) сигнал_2 += ЛТ;

если (активность_пред_2 == 2 и активность_2 == 0) сигнал_1 += ЛТ;

}

Для двух нейронов это кажется несложным, но для большего числа пока не представляю.

В статье про решетки подробно по шагам показан расчет методом итераций, но он тоже не дает точного расчета состояний узлов сети. Нужна параллелизация расчета, как если бы процессор имел число ядер по числу узлов решетки. Либо бесконечный цикл как у Nan в конструкторе. Оба варианта означают серьезные вычислительные мощности, потому мне более целесообразным видится создание нейроплат-шаблонов, с программируемыми связями, как это делается в ПЗУ

Для нейронов с химическими синапсами да, они работают как пороговые элементы, но для электрических синапсов характерна передача уровня возбуждения, то  есть величина торможения здесь будет прямо пропорциональна величине возбуждения тормозного нейрона. В сетчатке все нейроны, кроме выходных ганглиозных связаны электрическими синапсами, что как я думаю определяет специфическое контрастирование, не похожее на то, что происходит в нейросети с химическими синапсами. Оно более плавное, не скачкообразное, это как бы вариант нейросети с аналоговыми элементами. Но самое главное - это позволяет обрабатывать взаимодействие элементов с учетом уровня их активности, то есть в случае с сетчаткой получить RGB код пикселя с весами составляющих, без использования дополнительных яркостных рецепторов, как мне пришлось сделать в модели цветового распознавателя. В конструкторе нейросхем используются симуляторы химических синапсов, там не получится создать такую логику, хотя она как мне думается, широко используется в рецепторных органах в том числе и для такого специфического "аналогового" контрастирования.

да, только дисретные элементы, а не эмуляция.

Вот думаю самая простая нервная система с адаптацией к внешним воздействиям. Адаптация к изменяемым условиям происходит за счет высокой плодовитости и мутаций.

Схема показывает простейшую реализацию коррекции внутреннего состояния (гомеостаза) при внешнем воздействии. Один единственный рецептор "Р" воспринимает внешнее воздействие и запускает эффектор "Э" организма, который оказывает влияние на ее внутреннее состояние. У организма свой собственный цикл существования, включающий колебания внутренних состояний, которые отслеживаются датчиками гомеостаза Г+ и Г-, показывающими соответственно положительное и отрицательное состояние. При отрицательном состоянии запускается действие "Д1" запускающее коррекцию гомеостаза до нормы, при положительном тормозное действие "Б1", гарантировано блокирующее запуск действия "Д2", чтобы не было выхода за норму.

В схеме показана реакция организма на внешнее воздействие, которое может привести как к положительным изменения гомеостаза, так и к отрицательным. В результате реагирует один из датчиков гомеостаза и запускает или блокирует его положительную коррекцию. Это прямая, непосредственная реакция на внешние воздействия. Все связи формируются естественным отбором и передаются по наследству. Организм с единственной реакцией коррекции гомеостаза может существовать лишь короткий срок в узкой экологической нише, для которой оптимальна такая реакция, и сохранять свой вид высокой скоростью размножения.

Тут возникает вопрос по поводу терминологии. В данной схеме нет обратной связи между гомеостатическими рецепторами и эффекторным действием, то есть при выборе действия влияет только связь рецептор-эффектор. Это значит, что особь будет постоянно наступать на одни и те же грабли, при условии, что это не смертельно и достаточно времени для восстановления гомеостаза. Единственный шанс для нее улучшить модель поведения - случайная мутация и естественный отбор. И можно ли при таком раскладе считать такую нервную систему самоадаптирующейся, или все же для этого обязательно наличие влияния гомеостатических рецепторов на выбор эффекторной реакции?

Более продвинутая схема показывает уже простейшую реализацию выбора эффекторной реакции в зависимости от текущего состояния гомеостаза и как в прежней схеме его последующей коррекции, при выходе из нормы в отрицательные значения. Для реализации такой схемы необходим выбор из минимум 2 возможных эффекторных реакций "Э" на активность рецептора "Р". Для этого вес связи от активного рецептора составляет лишь половину необходимого для активации эффектора. Оставшуюся половину он получит от одного из рецепторов гомеостаза "Г", показывающих текущее состояние организма. В данном простейшем случае это либо "хорошо", либо "плохо".

При отрицательном состоянии запускается действие "Д" запускающее коррекцию гомеостаза до нормы, при положительном тормозное действие "Б", гарантировано блокирующее запуск действия "Д", чтобы не было выхода за норму.

Такая схема более продвинута по сравнению с Гомеостаз 1 так как позволяет уже на стадии выбора реакции регулировать гомеостаз, не позволяя ему при "плохом" состоянии стать еще хуже. Кроме того, здесь уже есть минимум 2 реакции вместо одной - по числу градации состояний гомеостаза. При этом все связи изначально предопределены и формируются естественным отбором.

Таким образом я пытаюсь обосновать, что для адаптационной схему можно назвать лишь при условии:

1. Система реагирует на внешние воздействия внутренними изменениями.

2. В системе присутствует постоянный внутренний процесс, который выходит из равновесия при внешнем воздействии

3. Система имеет механизм коррекции своего внутреннего процесса - приведение его в равновесное состояние

Не будет хотя бы одного из пунктов - систему нельзя назвать адаптационной. То есть самообучаемость (интеллект) - не обязательное свойство адаптационных систем. Оно может быть зашито изначально как в вышеприведенных схемах.

У тебя - самоадаптирующаяся схема, но для узких условий. Такая тварь или может регулироваться в данной среде или выходит из игры жизни. В более общем плане любая причинно-следственная связь или срабатывает, т.е. оказывается адаптированной к среде, или если условия не позволяют, ее компоненты пассивны. - она неадаптирована

Я это подчеркнул, пытаясь опуститься до самой простейшей схемы, которую можно назвать адаптационной. Потому, что как то привычно считается, что адаптация == интеллект. Строго говоря это не так.

Вообще не так. Интеллект - эффект использования личного опыта в каких-то задачах: интеллект выживания в лесу, интеллект решения мат.головоломок, интеллект исполнения на скрипке и т.п. Но интеллект не развить без личной адаптивности.

Согласен. И тогда думаю можно сказать так: интеллекта не может быть без личной адаптации, но адаптивность в узких границах может быть без интеллекта.

Рассуждая далее о гомеостазе можно сказать, что его график не может быть в виде горизонтальной прямой, должны быть хоть небольшие колебания, которые могли бы отклоняться в какую то сторону. Это значит, что норма гомеостаза подразумевает колебания ниже какой то амплитуды. То есть это всегда колебания. Стало быть вопрос по сабжу из дневника, к чему привязывать нейробота, если никакого гомеостаза у него нет, вообще не стоит. Потому что процесс, который подразумевается регулировать, всегда колебательный, поэтому у бота он тоже должен быть. В простейшем случае это одночастотная синусоида смены состояний, даже если в такой системе нет ни одного рецептора и эффектора. А если есть хотя бы один эфектор, то он однозначно влияет на эти колебания, усиливая/ослабляя их амплитуду.

На вопрос почему именно колебания, а не просто какой то статический  уровень, выше/ниже которого  считается выходом из нормы. Потому, что колебания означают самостоятельный процесс, с регулярным изменением по времени. Это значит что так же решается вопрос какое внешнее влияние считать плохим/хорошим. То начальное, которое на момент формирования совпало с естественным ростом амлитуды - автоматически считать хорошим, которое совпало со спадом - плохим. Все последующие уже автоматически будут зависеть от первых, потому, что первые уже начали "влиять" на гомеостаз. Это эмулирует реальный процесс: то, что не понизило гомеостаз хорошо, что понизило плохо, так как понижение до критического уровня означает смерть. В программной реализации мы просто от балды даем этому понятие, ведь смертью мы можем назвать что угодно, а под него уже выстраивается модель реагирования. Потому, что в виртуальном мире это просто начальные параметры. 

Думаю при таком подходе теоретически нет проблем от чего отталкиваться при создании нейробота.

Следующий вариант схемы.

В схеме показана связь между рецепторами гомеостаза и эффектором внешних рецепторов опосредовано, через тормозные нейроны "Т". Дело в том, что модель гомеостаза изначально представляет собой замкнутый на себя простейший цикл внутренних реакций организма, не реагирующий на внешние воздействия - как в инкубаторе. Это необходимо для формирования связей системы между датчиками Г, блокираторами Б и реакторами действий Д. Система считывания/реагирования на внешние воздействия так же изначально не взаимодействует с системой гомеостаза, что так же необходимо для формирования связей между рецептором Р и эффекторами Э. В начальный период они существуют и развиваются параллельно и не зависимо друг от друга. Затем, после созревания, происходит их сцепление. Чтобы связать их между собой для выбора реагирования на внешнее воздействие, зависящее от текущего состояния гомеостаза, нужен промежуточный элемент. Это тормозной нейрон, блокирующий один из вариантов реагирования, оставляя другой.

Связь с ним устанавливается в 2 этапа:

1. первой в организме возникает система гомеостаза, в данной схеме представленной в виде поочередной активности датчиков Г+ и Г-. Они показывают равномерную ритмичную пульсацию системы - ее простейший вариант. При появлении тормозного нейрона он связывается с одним из датчиков, который начинает управлять его активностью.

2. второй возникает система считывания/реагирования на внешние воздействия. Тормозной нейрон уже связан своим входом с системой гомеостаза, и теперь он свой выход связывает с системой считывания/реагирования. Возникает тормозная связь между гомеостатической и эффекторной активностью.

Процесс создания связи подразумевает следующие условия:

1. нейрон, устанавливающий связь, должен находиться в особом режиме созревания, которое ограничено по времени. В случае эмуляции нейрона в нейросимуляторе время созревания можно заменить количеством принятых нейроном возбуждающих активностей.

2. связь устанавливается между периодически активирующимся созревшим нейроном, (рецептором), и созревающим нейроном (эффектором).

3. связь ограничена рецептивным полем - областью активных рецепторов, с которыми она устанавливается. Созревающий эффектор не может свободно связываться со всеми активными рецепторами, иначе это в конечном итоге приведет к связи всех со всеми. Поэтому нужно ограничить его некоторой областью. Графически на плоскости это будет окружность, в 3D пространстве сфера с заданными радиусами. Фактически же это массив доступных элементов, который задается либо просто списком, либо функцией определения. В любом случае должна присутствовать какая то система в задании таких массивов, чтобы избегать бессмысленных хаотичных связей. Особенно это касается зрительных сенсорных систем, где важна топология активностей эффекторов относительно рецепторов, иначе просто не получится распознавать зрительные примитивы.

На схеме визуально не показан процесс формирования связей между двумя системами. Подразумевается, что это связи между Т1-Э1, и Т2-Э2, то есть рецептивные поля тормозных нейронов включают в себя по одном эффектору. При вышеописанных правилах формирования связей возникают ситуации:

1. если при состоянии гомеостаза (активен Г-) несколько раз активируется эффектор Э2 - возникнет отрицательная связь между Г- и Э2 через Т2. При этом оставляется возможность активации Э1, так как он не входит в рецептивное поле Т2.

2. если при состоянии гомеостаза (активен Г+) несколько раз активируется эффектор Э1 - возникнет отрицательная связь между Г+ и Э1 через Т1. При этом оставляется возможность активации Э2, так как он не входит в рецептивное поле Т1.

Таким образом подразумевается определение "правильной" реакции для двух возможных состояний гомеостаза исходя из того, что внешнее воздействие, которое детектирует рецептор Р, возбуждает или угнетает гомеостаз. Следовательно, если выполнение эффекторного действия не меняет состояние гомеостаза - оно либо нейтрально к нему, либо усиливает внешнее воздействие и его нужно заблокировать. Причем это касается как положительного, так и отрицательного состояния гомеостаза. Это значит, что правильнее говорить не о плохом-хорошем состоянии, а о слишком плохом-хорошем, то есть о выходе за пределы амплитуды колебаний, требующей коррекции. Поэтому на каждый тип отклонения гомеостаза должно быть свое внутреннее корректирующее действие Д, возвращающее гомеостаз в норму его амплитуды колебаний.

Однако схема по прежнему не является полностью законченной, так как в ней не показано схематически, каким образом действие эффекторов Э1, Э2 влияет на состояние гомеостаза - лишь подразумевается. Можно даже сказать, если судить строго по схеме, что оно вообще никак на него не влияет, а просто внешние воздействия связываются с колебаниями гомеостаза. А это принципиально важно, иначе нельзя строго утверждать, что эффекторное действие возбуждает или угнетает гомеостаз. И самое главное - такие влияния начнут вносить в изначально строго ритмичные колебания дополнительные гармоники, которые в свою очередь будут все более предопределять выбор очередной реакции как правильной-неправильной. То есть наличие обратной связи между эффекторным действием и состоянием гомеостаза приведет схему к настоящей адаптации.

Суть утверждения о том, что гомеостатическая регуляция – просто некие самостоятельные колебания я не понимаю.

Датчики гомеостаза фиксируют отклонения и в некоторых случаях возможна их компенсация, например, отклонения в концентрации кислорода в крови могут компенсироваться изменением частоты дыхания. Но колебаний значений при этом нет, т.к. запаздывание изменения концентрации от частоты дыхания меньше, чем скорость реагирования датчик-регулятор частоты дыхания. Т.е. в данном случае нет генерации, как это бывает, например, в водяном термостате, где скорость включения-выключения тока в нагревателе намного больше, чем тепловая инерция нагревателя. Но если сделать задержку в регуляции (повысить плавность управляющего нагревателем напряжения больше, чем постоянная времени нагревателя, то пульсации исчезнут (закон появления колебаний в любой системе)).

Мало того в случае, если регуляция возможна только через повеление (утоление жажды), то вообще о пульсациях говорить нечего.

Ну и в аспекте адаптивности, там, где нужно использовать отклик датчика гомеостаза по результатам пробного действия, вообще какие-то циклы не при чем. А именно такие случае и интересны в организации адаптивности поведения.

Я исходил из того, что адаптация означает наличие внутреннего процесса, который нужно синхронизировать с внешним. Внешнее воздействие на процесс может быть тормозным или активирующим. Синхронизация означает, что каким то образом к внутреннему процессу добавляется корректирующий, что не позволяет ему из за внешнего воздействия пойти вразнос или окончательно прекратиться. А это в свою очередь означает что мы говорим о каких то пределах отклонения, превышая которые считается что процесс стал слишком активным или слишком угнетенным. Процесс, имеющий пределы активности/пассивности - это колебательный процесс. А норма - колебания, не выходящее за пределы.

Но ведь управляющее напряжение на что то должно реагировать, чтобы меняться и успеть изменить состояние системы до того, как начнутся отклонения. Это означает, что колебания на самом деле есть, достаточные для быстрого реагирования системы коррекции, но не достаточные, чтобы говорить о выходе из нормы.

Я не говорю, что гомеостаз это внутренние колебания. Это зависимые от внешнего воздействия внутренние колебания. Голод - что то съел - сытость - переварил - опять голод - это разве не колебания состояний? Другое дело - как связать внутренние колебания с внешними изменениями? Поэтому предложил считать, что сначала нужно создать независимые системы внутреннего процесса и внешнего реагирования, а потом их связать. То есть сначала просто запускаем "тактовый генератор", который будет колебать гомеостаз, чтобы можно было потом начать это колебание регулировать. Потом создаем систему реагирования на внешнее воздействие. А потом связываем их вместе. Но связь должна быть двусторонней: гомеостаз должен влиять на выбор реагирования, а реагирование должно влиять на состояние гомеостаза. По схеме выше связь пока что односторонняя, и действие эффектора никак не влияет на состояние гомеостаза. Он все так же колеблется сам по себе и это конечно не правильно, с позиции адаптационной схемы. Тут еще надо думать.

Например так: у каждого внешнего воздействия должно быть свойство, влияющее на гомеостаз. Например касаемо бота: его простейший гомеостаз - цикличные колебания "бодрость-усталость". У объектов-слов, на него воздействующих есть свойство "длина". Вводим понятие, что чем больше длина, тем быстрее наступает усталость у бота. В результате формируется модель поведения из реакций, где короткие слова более привлекательны чем длинные. Из них определяются контексты например по принципу, что как оказалось - в веселых текстах больше коротких слов, а в грустных больше длинных. Понятно, что чем больше выделить простейших начальных свойств внешних объектов и соответствующее их влияние на гомеостаз - тем больше будет вариабельность формируемой модели реагирования. В этом смысле если принять за объекты буквы и назначить им свойства типа высота тона, то вариабельность будет выше. Чем больше палитра свойств объекта, тем точнее будет ответная реакция.