Тема форума: «Бот на ГО»

Начался период полной уверенности в правильности пути, все как бы само разворачивается :) Теперь уже нет мыслей бросить все нафиг.

Причем, открываются дополняющие  МВАП  принципы, в частности – последствия блокировки неудачных реакций в новых (по отношению к базовым реакциям) условиях. Тут – прямой выход на функциональность внимания к наиболее актуальному, когда в условиях необходимости какого-то реагирования происходят выбор альтернатив. И вот тут выясняются принципы программной реализации уровней сознания, которые раньше не приходили в голову.

Все это уже описано в доке, который я веду как описание реализации проекта. Но выкладывать его не стану на форуме, а могу только предоставить соучастникам для понимания текущей версии.

Кстати, не считаю свою версию основной, каждый, конечно же, будет заниматься своей, если у него будет такая мотивация.

Кстати идея хорошая, обмениваться не конкретными исходниками, а описанием. Я недели три потратил, чтобы в курить, что ты там накодил и пытаясь потом прикрутить к своей версии. В итоге почти все выкинул, потому как многое оказалось у тебя в набросках, как заготовки, и не факт, что потом используемые. Короче следить за полётом чужой мысли крайне неблагодарное занятие. Чужой код более всего полезен как пример реализации каких то фич, которые потом можно перетянуть к себе.

Я сейчас тоже расписываю доки по проекту до уровня организации условных рефлексов, пока не станет полной ясности, что из чего вытекает. Интересно будет потом сравнить с твоими.

Текущее состояние версии Бота – уже на стороне “лобных долей”.

В прошлом сообщении упомянул, как “само” начали разворачиваться принципы, вписываясь в имеющийся функционал. Т.е. побочные возможности реализованных функций оказываются в очень для меня приятном соответствии с  МВАП  при том, что там и следа нет нейронов, а все реализовано без лишних эмуляций программно.

Реализовано дерево контекстов значимости, в котором в случае отсутствия реакции иди их блокировки возникает ситуация “А не нужно ли что-то сделать” и если текущие жизненные параметры плохи, то вопроса нет, делаются попытки сгенерировать пробные действия на основе заготовок, которые я, в отличие от безусловных рефлексов назвал инстинктами (хотя по сути это – тоже безусловные рефлексы, но со стороны моторного терминала, в точности как это есть в природе).

И тогда появляются условные рефлексы на пробу, пойдет или нет.

И в той же функции будут отрабатывать автоматизмы, вслед за рефлексами и очень похоже, но сделанные на основе новой фичи – актуальных Смыслах т.е. на списке условий и действий с оценками того, хорошо или плохо прошел вариант действия.

И вот этот набор актуальных Смыслов, который и станет мерилом актуальности текущих условий для ориентировочного рефлекса, уже тоже реализован.

Для этого создан детектор Хорошо-Плохо – опять же в теле той же функции. Она оказалась жутко информативна.

Раньше я думал, что Хорошо-Плохо выделяется в базовых распознавателях гомеостатической значимости, но они там оказались бесполезны, особенно состояние Хорошо. На основе детектора “Стало лучше-хуже” после совершения действий оценивается их непосредственно следующий результат состояния Бота и получаются оценки Хорошо-Плохо.

Еще одно приятное побочное приобретение – функция гиппокапмпа подключать структуры “лобных долей” – оказалась уже фактически реализованной в той же общей функции. В случае отсутствия реакций в данных условиях, но необходимости реагировать подключается генератор условных рефлексов на основе инстинктов и при этом дается оценка последствий действий – оценка Смысла в данных условий. Эти Смыслы записываются и накапливаются, причем не только от собственных реакций, но и чужих – с оценкой их последствий для Бота, т.е. отзеркаливания чужого опыта.

Еще не сделал, но уже вижу, как будет пополнятся коллекций Смыслов, которую назвал Моделью понимания. С ними связаны цепочки “эпизодической памяти” – последовательность реакций, каждая из которых имеет привязанный к ее результату Смысл. Появляется возможность организовать 1) отслеживающую функцию “сознания”, когда текущая готовая к выполнению в данных условий реакция, может быть заблокирована потому, как оказывается в условиях уже имеющегося Смысла, что инициирует “ориентировочную реакцию”, приостановление выполнения рефлекса (или автоматизма) и сканирование Модели и Цепочек связанных прошлых действий (эпизодической памяти) для поиска более удачной реакции.

С каждым удачным подтверждением Смысла увеличивается параметр уверенности, а в случае негатива – уменьшается. Ну и т.д.

Текущая реализация и ближайший план описан в доке, который я могу выслать участникам по требованию (а чтобы не париться с ГО неделями, в Пульте будет уже готовый исполняемый файл Го).

То, что мне удается заставлять работать схему программы так, как задумал и это оказывается полностью в рамках  МВАП , конечно, вовсе не значит, что этим достигается эквивалент природной реализации. Но тут есть один общий позитив: любая рабочая реализации адаптивной системы с формированным гомеостазом, представляет собой живой организм (в смысле способный к адаптивному поддержанию гомеостаза).

Таких вариантов природа испробовала неисчислимое количество, но строго на базе своих находок последовательно усложняющихся структур (РНК, органеллы, клетка, паразитирующий на ней вирус и т.д.), уже не изменяя основ каждого уровня. И вот это – самый главный принцип успешности эволюции, который стоит исповедовать: начав реализации определенным способом и развивая ее уже не имея возможности использовать другие методы реализации, нужно добиваться надежной универсальности текущих уровней адаптивности, которые тем самым, обеспечивают следующие.

Ну ты и улетел! Вот что значит опыт. Чудес не бывает, настоящие открытия делают профессионалы. У меня все намного скромнее, я по прежнему бодаюсь с безусловными рефлексами, пытаясь симулировать эволюционный процесс, чтобы они сами определялись. Я начал с того, что стал отталкиваться от текущего уровня заряда бота.

Процесс адаптации системы жизнеобеспечения означает поддержание ее оптимальных параметров при внешних воздействиях, стремящихся вывести систему из равновесия. Без адаптации она просто разрушится, оказавшись в одном из крайних состояний: чрезмерного истощения или возбуждения. Такой системой у бота, по аналогии с живыми организмами, является гомеостаз, который имеет следующие параметры:

• Энергетический баланс – стабилизируемый гомеостазом оптимальный диапазон уровня энергии бота
• Ответный рефлекс – механизм, возвращающий систему в равновесие
• Пульс – внутренний циклический процесс, «сердце бота», служащий индикатором его состояния. Он подразумевает расход энергии, с каждым ударом пульса уровень энергии уменьшается.

Изменение гомеостаза бота происходит из за внешних воздействий, под которыми подразумеваются текстовые фрагменты, генерируемые оператором, другим ботом, найденные ботом самостоятельно в сети. Они могут быть как угнетающими, так и возбуждающими. Угнетающие отбирают энергию бота, возбуждающие наоборот, дают энергию.

Поддержка оптимального уровня энергии означает стабилизацию энергетического заряда бота вокруг какой-то величины. Отклонения от нее означают недостачу или избыток энергии, что одинаково плохо, потому, что при недостаче бот переходит в угнетенное состояние вплоть до «остановки сердца», а при избытке в чрезмерное возбуждение вплоть до «разрыва сердца». Выход за пределы критических уровней энергии означает «смерть» бота, прекращение пульсации и реагирования на внешние раздражители. При этом есть область изменений энергозатрат колебаний пульса в пределах, незначительно влияющих на состояние бота и это его зона комфорта, к которой он постоянно стремится, но из которой его постоянно выводят внешние воздействия и естественные потери энергии при пульсации, что провоцирует бота на ответные рефлексы, задача которых вернуть его в комфортную зону.

Бот подобно живому организму получает внешние разрушительные/восстановительные воздействия, сдвигающие его энергетический баланс, через текстовые слова/фразы. Такое взаимодействие имитирует физический контакт животного с объектами в реальном мире, поэтому слова/фразы для запуска процесса адаптации бота должны иметь как минимум два свойства: «токсичность» и «питательность». Первое уменьшает энергию бота, второе увеличивает. Понятие «плохо/хорошо» для бота они обретают смотря по его текущему энергетическому балансу. Если бот находится в зоне пониженной энергии, то «хорошим» становится для него контакт с «питательными» сенсорами, а если в зоне повышенной – то наоборот, «хорошими» становятся «токсичные» контакты, так как они помогают более эффективно сбросить излишки энергии. Поэтому адаптация бота строится не по принципу избегания «плохого» и стремления к «хорошему», а вокруг стабилизации энергетического баланса. Это не прямая аналогия, хотя и похожая, с питанием животного, потому, что рефлексия бота подразумевает активное использование обоих свойств, а сами объекты становятся то полезными, то вредными, и от этого бот выстраивает свою рефлексию.

Но возникает проблема с глобальным определением для бота, что есть яд, а что еда. Нельзя просто присвоить слову/фразе статус полезное/вредное в отрыве от контекста, в котором они были сказаны. В реальности у животных таким контекстом служит интонация, жестикуляция, внутренний субъективный образ «говорящего» и окружающего мира. Но у бота только один текстовый канал восприятия, поэтому ему необходимо передавать дополнительные параметры сообщения, служащие аналогом интонации и жестикуляции, из которых определяется итоговый контекст сообщения. Кроме того, реагирование должно быть в основном на фразы, так как отдельные слова в большинстве случаев многозначны. Поэтому ответная реакция бота формируется на комбинации слов собеседника (макросенсоры), текущего внутреннего состояния бота и предполагаемого внутреннего состояния собеседника, которое бот прогнозирует по своему состоянию в той же ситуации, но на стороне партнера.

На первом этапе обучения тон сообщения является единственным показателем для определения негативно-позитивного воздействия на бота. Это процесс задания базовых простейших свойств объектов (слова и фразы) вселенной бота, потому, что на стадии инициализации объекты для бота это никак на него не воздействующие, и потому ничего не значащие наборы символов. То есть оператор на этом этапе вводится не для того, чтобы «научить» чему то бота, а по причине отсутствия симулятора реальности, в которой бот естественным образом эволюционируя, коммуницируя и конкурируя с другими ботами, сформировал бы аналогичные рецепторы. В реальности животному, чтобы понять свойства объекта, надо с ним вступить в контакт. Тогда физические процессы закономерно сдвинут его гомеостаз в одну из сторон. Чтобы аналогичное происходило с ботом, объекты его вселенной надо инициализировать. Это делается оператором, который указывает, какое воздействие несет его текст на бота. Величина воздействия текста определяется по его длине. Запоминая эти соответствия у бота начинает формироваться простейший опыт: он связывает слова с тоном сообщения и начинает реагировать на них соответственно, симулируя реальную физическую реакцию. В результате они начинают приобретать для него смысл: полезное/вредное. В дальнейшем, по мере обретения более сложного опыта определения «токсичности», такое поведение трансформируется в более сложную рефлексию избирательного поглощения текста, «пищевые предпочтения», а так же позволит боту целенаправленно воздействовать на собеседника.

Ответ бота сам по себе так же энергетически затратный, как и любая реакция живого организма. Уровень потраченной энергии распределяется в диапазоне от нулевого, при эмпатичном (давление на жалость), минимального, при «питательном», и максимальном при «токсичном» для собеседника ответе. Это задает прямую заинтересованность бота «выбирать слова» при диалоге, смотря по тому, хочет ли он получить от собеседника порцию энергии или сбросить свою, и это задает общий, глобальный смысл всех реакций бота. Даже если собеседник никак не реагирует, просто наорать на него или в пустоту будет выгодно в случае избытка энергии бота, но даже просто разговаривать самому с собой уже не выгодно в случае пониженного уровня энергии. В этом случае самое энергетически выгодное молчать, а если собеседник все же реагирует, то просить. Такие безусловные реакции являются базовыми, от которых начинает строится дерево безусловных рефлексов бота.

Процесс инициализации занимает конечное время. Сенсорная система бота воспринимая виртуальные объекты и связывая взаимодействие с ними с изменением своего гомеостаза формирует первичные сенсоры гомеостатической значимости, показывающие, какое влияние оказывает объект на бота, пока еще не связывая это с внешним контекстом условий. Это произойдет на следующем этапе построения дерева безусловных рефлексов, симуляторе эволюционного процесса. Но чтобы завершить этап инициализации у бота активируется соответствующий глобальный параметр.

Затем я попытался представить развитие эволюционного процесса:

Пищевой поисковый инстинкт

Стабилизация энергетического баланса бота изначально является пассивной формой адаптации, по аналогии с животным это простейшее адаптационное поведение типа уменьшить/увеличить обмен веществ, а все пищевое поведение сводится к поглощению проплывающего мимо корма, как у прикрепленных организмов типа губок, или фотосинтезу, как у растений. Но существенное преимущество получат те животные, которые перейдут к активному поиску корма. Это потребует более сложной адаптации, для которой нужен дополнительный рефлекс поведения: пищевой поисковый. Поэтому добавим новое ветвление в дерево рефлексов, продолжая имитировать эволюционный процесс: «губка» начала ползать, активно искать корм. Теперь это уже не прикрепленный организм, но еще и не полноценный хищник, так как кормовая база типа простейших микроорганизмов не требует особых навыков охоты, кроме их поиска и умения отличать съедобное от несъедобного.

Оборонительный рефлекс

Живые многоклеточные организмы первоначально адаптировались лишь к более эффективному пассивному усвоению корма, например фотосинтезу или поеданию простейших одноклеточных, пока не научились охотиться друг на друга, что послужило мощным толчком к усложнению нервной системы, так как требовало значительно более сложного реагирования для жертвы и хищника. Поэтому следующая эволюционная ступень адаптации – активные действия со стороны бота, которые отражаются в поле терминала в виде текста и являются его попыткой спровоцировать собеседника на генерацию нужных в данный момент боту текстовых фрагментов, с позиции их энергетической ценности и с учетом текущего контекста диалога. Это приводит к тому, что в простейшем варианте реагирования, находясь в зоне комфорта, бот может с одинаковой вероятностью провоцировать собеседника на любые варианты действий, а в зонах избытка/недостатка – только соответствующим нормализации баланса образом. Таким образом, основное внешнее проявление реакции бота «диалог» есть не что иное, как развитие оборонительного рефлекса, при котором бот выстраивает сложные активные стратегии стабилизации своего энергетического баланса. Это спарринг, при котором собеседники обмениваются «энергетическими ударами».

Оборонительный рефлекс уже не привязан жестко к энергетической шкале, только как доминирующий по умолчанию, потому как требует мобилизации сил при любом состоянии. У животных оборонительный рефлекс бывает двух видов: активный, задающий ветвления злобы, мужества и т. д., и пассивный, задающий будущие ветвления трусости, отчаяния и т. п. Оба варианта доказали свою эффективность в ходе эволюции при соответствующих внешних контекстах. Это базовый инстинкт поведения «дерись или беги» из которого потом формируются множество вариаций через условные рефлексы. Можно сказать, что оборонительный рефлекс активируется по всей энергетической шкале в виде антагонистической пары, задающей диапазон реагирования от пассивного до активного противодействия, и в зоне перекрытия в средней части энергетической шкалы переходящий в интригу. При этом энергетическая шкала является лишь частью суммарного пускового стимула и запускает рефлексы лишь в случае отсутствия активности дополнительных уточняющих рецепторов. Смирение и агрессия могут проявиться в любой части шкалы, смотря по обстоятельствам, а интрига только в зоне комфорта

Похоже это хоть в чем то на твой концепт или опять все не так? Если снова мимо, то скинь мне свое описание, начну вникать. По крайней мере, уже ясно видно затупы и интересно, как ты их обошел.

Мне тоже дошло, что для организации ветвления условных рефлексов надо как минимум сравнивать два состояния: до и после выполнения рефлекса, и смотреть, приблизился ли уровень энергии к зоне комфорта. Если да - рефлекс закрепляется, если нет - удаляется.

Сейчас думаю, как сделать так, чтобы не  случайным образом подкидывать варианты, а на основе какого то принципа. Пока что единственное решение - генерить варианты зигзагом: сделай так же, только сильнее - сделай так же, только слабее. И с каждым шагом увеличивая амплитуду. Это как попав в темную комнату широко расставив руки пытаться осторожными шагами нащупать стенку.

>>Похоже это хоть в чем то на твой концепт или опять все не так?

Не похоже и я постараюсь пояснить на основе твоих фраз.

>>Бот подобно живому организму получает внешние разрушительные/восстановительные воздействия, сдвигающие его энергетический баланс, через текстовые слова/фразы. Такое взаимодействие имитирует физический контакт животного с объектами в реальном мире, поэтому слова/фразы для запуска процесса адаптации бота должны иметь как минимум два свойства: «токсичность» и «питательность».

Тут несколько противречит с “на стадии инициализации объекты для бота это никак на него не воздействующие, и потому ничего не значащие наборы символов”.

Получается, что, все же, ты организуешь для Бота какой-то его мир, с которым он взаимодействует. Бот получает подкрепление не от живого оператора, а от фраз. А это не соответствует аналогу глухонемого, который уже имеет нормальные наследственные прошитые рефлексы, а внешний мир, воздействуя, улучшает или ухудшает его состояния (а не свойства восприятия). У меня на Пульте оператор реагирует на сказанное Ботом и на действия Бота (у бота есть несколько ответных действий, типа сделать больно, заплакать, улыбнуться и .т.п.). Именно то, как оператор отнесся к акциям Бота и влияют на того. Слова тоже могут исключаться у меня в безусловные рефлексы, но не фразы, а корни, - только для затравки. Это только в самом деле угрожающие и успокаивающие, бесящие и т.п. слова и их точные синонимы. Т.е. тут я снаглел и опередил воспитательный период, юно вот пусть Бот имеет сразу прошитое начальное отношение к определенным словам, а потом он сможет произвольно менять смысл этого в зависимости от ситуации.

>>Понятие «плохо/хорошо» для бота они обретают смотря по его текущему энергетическому балансу.

У меня оказалось, что эти понятия, точнее ощущения на уровне контекстов гомеостатической значимости отсутствуют и я как-то соберусь и скорректирую такие базовые контексты на состояния ухудшения и улучшения жизненных параметров, точнее на стили (коннекты) поведения, что будет точно соответствовать базовым значимостям (как-то условно назову). Хорошо ведь может быть и при полной голодухе, это – высокоуровневневая оценка.

>>я по прежнему бодаюсь с безусловными рефлексами, пытаясь симулировать эволюционный процесс, чтобы они сами определялись.

...

На первом этапе обучения тон сообщения является единственным показателем для определения негативно-позитивного воздействия на бота. Это процесс задания базовых простейших свойств объектов (слова и фразы) вселенной бота, потому, что на стадии инициализации объекты для бота это никак на него не воздействующие, и потому ничего не значащие наборы символов. То есть оператор на этом этапе вводится не для того, чтобы «научить» чему то бота, а по причине отсутствия симулятора реальности, в которой бот естественным образом эволюционируя, коммуницируя и конкурируя с другими ботами, сформировал бы аналогичные рецепторы. 

Не могу увидеть суть такого самоопределяющегося процесса самосоздания безусловных рефлексов потому как ты этим обещаешь как-то адекватно проимитировать естественных отбор правильных и неправильных особей. Я думаю, как бы можно было упростить процесс прошивки, но он никак ен получает автоматическим. Максимум я буду использовать много диалогов и ролевых ситуаций чтобы построить более-менее полноценное дерево реакций. Но буду забивать их вручную в редакторах (у меня таких 4 штуки).

Вот, если коротко про расхождения. Но любая система, которую ты заставишь работать как задумал, окажется вариантов живого существа. Вот только насколько оно будет прикольным – вся разница в таких вариантах.

>>скинь мне свое описание, начну вникать. По крайней мере, уже ясно видно затупы и интересно, как ты их обошел.

Скинул. Учти только, что еще не приступал к планомерному набиванию безусловных рефлексов, а есть только пробные, чтобы отладить механизмы. И сейчас нет периодизации, т.е. бот будет делать много преждевременных реакций. Я поставлю строгую периодизацию, когда начну прошивку условных рефлексов.

Противоречия нет. Просто мне не нравится твоя идея прошивать безусловные рефлексы вручную. Хотя как теперь понял, ты тоже пытаешься это обойти. А вместо слов-рефлексов используешь эмоциональные воздействия типа смех, плач и т. п. Это успокоило :) В том смысле, что раз и ты не нашел решения, значит есть шанс, что я чего то все же нарою.

Суть в том, что я начал с простейшей губки, пытаясь понять, почему и как возникли первые рефлексы. Бот изначально ни на что не реагирует, просто с каждым ударом пульса его энергия падает и в итоге он закономерно сдохнет. Стало быть нужно хоть что то сделать, чтобы хотя бы отсрочить этот момент. И самая первая и простая реакция - сделать зависимость пульса от уровня текущей энергии: чем она ниже, тем реже пульс, или как у меня - меньше потери при пульсации. А чем выше энергия - тем больше потери. Это простейшее адаптационное поведение типа уменьшить/увеличить обмен веществ, а все пищевое поведение сводится к поглощению проплывающего мимо корма, как у прикрепленных организмов типа губок, или фотосинтезу, как у растений.

Я это сделал для того, чтобы у бота был рефлекс на случай максимального отката по дереву рефлексов, когда нет никаких сигналов сенсоров, но что то делать надо. И это что то определяется тогда таким рефлексом. Дальнейшее развитие, новый рефлекс - это пищевое поведение. Но для этого уже нужно различать съедобное/не съедобное. Для чего и вводится инициализация - задание свойств объектам вселенной бота, чтобы они его либо угнетали, либо возбуждали.

Эти безусловные простейшие рефлексы будут влиять на все последующие. Например, при избытке энергии бот становится раздражительным, начинает ругаться. При недостатке - начинает ныть. Это простейшая реакция, если откатить ее до уровня безусловных рефлексов. Но подключение лобных долей вводит понятие произвольности, когда бот смотри в первую очередь не на свойства объектов его вселенной, а на свойства объектов своей внутренней вселенной, которую он построил сам. И это позволит ему практически игнорировать показания сенсорной энергетической линейки гомеостаза, выдумывая свои уникальные глупости. То есть развитие рефлексии мне видится во все большей независимости реагирования от базовых рефлексов.

Ты решил перепрыгнуть стадию функционирования бота, когда он жил своей жизнью, а сразу перешел к созданию условных рефлексов. У меня это пока определяется как активация оборонительного рефлекса. И никак не решил проблему - что ты будешь прописывать в безусловных. Я решил сделать так:

нужно создать базу макросенсоров (фраз) и придать им свойство токсичность/питательность. Это делается просто - оператор вводит фразу, например:

"привет, как дела?" - и ставит тон "доброжелательный".

Бот тут же пишет это в базу в виде кодов сенсоров с пометкой "питательный". Теперь эта фраза для него имеет смысл - она дает ему порцию энергии. Так происходит инициализация объектов. Оператор тут нужен только для того, чтобы указать, какой объект забирает, а какой дает энергию. Если бы у меня была вселенная с объектами, то он и не нужен был бы - просто выпустил бы бота погулять, он бы посовал свой нос куда попало (без всяких смыслов и целей, как тупая машина, хаотично дергающаяся), получил бы пинков и плюшек - и запомнил все. Это была бы настоящая имитация эволюционного процесса создания сенсоров гомеостатической значимости. В итоге бот получает эти сенсоры, и только теперь можно лепить базу безусловных рефлексов. Потому, что как определить, что и куда сдвигает уровень энергии бота, если нет таких сенсоров?

Тут есть видимо непривычный момент для понимания: почему я говорю, что без инициализации объекты на бота никак не действуют, а после инициализации начинают действовать. Получается вроде бы абсурд: если стукнуть по голове молотком, не понимая, что это молоток - все равно ведь больно будет. На самом деле с логикой все нормально: я не могу стукнуть бота  молотком, пока не инициализирую его - до этого процесса он как бы эфемерный. Инициализацией я как бы материализую объект. Но я не могу это сделать от балды, каким то случайным образом - должен быть оператор, который скажет что есть что. Вернее могу, но тогда это не будет копия нашей реальности, и бот будет адаптироваться к какой то другой вселенной, и в итоге с ним невозможно будет установить контакт. И получается как в библии: в начале было слово :) Так и есть, в начале было слово оператора.

У меня тоже высокая уверенность, что я правильно строю концепт, начиная плясать от энергетического баланса и делая первичную гомеостатическую значимость для бота - стремление к зоне энергетического комфорта. Иначе бот просто сдохнет. И полагаю, что вся последующая рефлексия, какой бы сложной она не была - это просто развитие этого базового рефлекса. Как бы быстрее, эффективнее, а в случае с лобными долями  - с просчетом на много шагов вперед, вернуться в стабильную зону.

то что ты выделил выше, это еще не создание безусловных рефлексов, а инициализация объектов, создание макросенсоров (комбинации слов). Как предположительно будут эволюционировать рефлексы я говорил: методом раскачки, но его еще надо проверить. Скорей всего он не даст полной автоматизации, но думаю, толк от него все же будет, как вариант вместо генератора случайных чисел ввести хоть какой то алгоритм. Еще одна причина, почему мне не нравится идея только через оператора прошивать рефлексы: допустим с ботом разобрались, а дальше? Каждый новый вид искусственного животного прошивать вручную? Имхо, просится какая то автоматизация, понимание принципа, почему мутации становятся именно такими а не какими то другими и как на это можно влиять.

Я думаю, что есть некое глобальное понятие адаптационных схем, где жизнь лишь частный случай. И приблизиться к нему поможет сравнение разных схем реализации.

Трудно представить что-то более выбешивающее, чем когда тщательно сделано уже многое, но на каком-то этапе выясняется, что неких деталей не хватает для того, чтобы заработал новый уровень, даже в голову не приходило, что это может понадобиться. И теперь нужно внедрять недостающее в ранние уровни и править все последующие, что бывает очень непросто.

Вот, для примера, скажем, есть форматы записи безусловных рефлексов, но на уровне автоматизмов, оказывается, что там не хватает какой-то фитюлечки, без которой не получится пристегнуть рефлексы к дереву контекстов. А ту уже забил тыщу наследственных рефлексов. Или сделал какой-то чудо-автомат, который нашлепал эту тысячу, неважно. Все придется переделать, а также все то, что основывалось на тех рефлексах.

Одно дело переделать просто программный код, что уже тоскливо, а другое – перештамповать все безусловные, сделанные на них условные (которых уже предусмотрено до 300тыс).

Вот почему я предельно оттягиваю момент начала прошивки рефлексов, довольствуясь только отдельными для отладки.

Вообще это – глобальный принцип любой схемотехники, в том числе природных нейросетей, когда природе проще грохнуть неудачный экземпляр, чем перепрошивать его лучшей задумкой. Так что если возникнет мутация, повреждающая первичные структуры, то все последующие уже идут в хлам.

Но момент настанет и начну прошивать рефлексы, вручную или Palarmоткроет что-то автоматическое. И тогда на первых же этапах многое прояснится и придется корректировать, что уже не станет особо проблематично, пока не сделано все. Так что придется идти через такие итерации.

Думаю, что просто необходимо иметь некую согласованную основу принципов индивидуальной адаптивности, без чего все разговоры здесь просто повисают без опоры. Так что предлагаю начать наводить мосты взаимопонимания именно с основ.

Попробую сделать это как можно проще и короче. Очень многое придется упустить, но самое важное и главное должно бы сформировать очевидную картину.

Если рассматривать динамику усложнения адаптивных механизмов с самых простейших существ, то возникает такая картина.

Самое главное – поддержание жизненных параметров, отклонения которых от нормы чревато и требует компенсации. Этим занимаются системы гомеостаза.

У самых простейших для поддержания баланса задействованы регуляторные системы на уровне самого тела, не затрагивая нейронных сетей.

Но уже у насекомых для регуляции управляющими элементами являются нейроны.

Самая главная функция нейронов - управляющая – обеспечить управление эффекторами в зависимости от рецепторов. На схеме бабочки рецепторы температуры и эффекторы движений крыльев – простейшая схема управления, сформированная естественным отбором (наследственно предопределенная).

С услужением адаптивного поведения усложняется и схема управления, позволяя реагировать на все большее число и разнообразие условий.

В самом общем виде есть сенсоры внешней среды, есть сенсоры состояния жизненных параметров, нужно так управлять моторными эффекторами, чтобы обеспечить поддержание баланса жизненных параметров, и вовремя восполнять потери.

Что на этом пути сделано в природной реализации.

1. Уровень – наследственно предопределенные реакции – схемы, разворачивающиеся с соответствующими экспрессиями генов с меняющихся условиях внутренней среды тела. Назовем это безусловными рефлексами. Это – просто управляющие электросхемы, найденные методом огромного множества вариантов. На основе существующих схем возникают новые, образуя ветвящиеся цепочки рефлексов. В них нет ничего таинственного. Гомеостаз у продвинутых животных основан на нейронных детекторах жизненных состояний и регулируется в зависимости от состояния внешней среды и изменения параметров организма довольно сложными управляющими схемами, многие из которых неплохо изучены.

Например, вас укачало, организм детектирует сбой систем восприятия, но непонятно почему он произошел, не хватает сложности распознавания ситуации. Обычно такие сбои означают, что произошло отравление и тогда возникает общая защитная реакция – рвота.

2. В ходе развития организма возникают ситуации, когда есть необходимость восстановления жизненных параметров, но нет подходящей реакции.

Это – возникновение новых реакций на основе старых под воздействием детектора ухудшения или улучшения состояния после пробного действия.

Например, был съеден новый фрукт в лесу и вскоре начало колоть в животе и замутило. Возникает связь: съедание такого плода впредь блокируется. Безусловного рефлекса на такой случай нет и просто вырвало бы, а в следующий раз опять тварь сожрала бы этот плод. Но с уловным рефлексом это уже не произойдет после нескольких попыток. Однако, для формирования устойчивого рефлекса нужно несколько повторений с подкреплением. Потому как связь не формируется моментально.

В ходе онтогенеза появляется возможность формировать новые управляющие связи и закрепить их, а не только использовать уже прошитые наследственно связи. И эволюционные эксперименты с этим происходят в мозге повсеместно, все более рельефно вырисовывая наиболее удачные приобретения.

Со стороны моторной части лобной коры формируются зоны, запоминающие совокупности условий, при которых стало хуже или лучше. Начинались они с безусловного обеспечения импринтинга, но развились в нечто большее и очень полезное. Назовем эту память жизненным опытом о событиях (на самом деле все куда сложнее, но лучше это пока упустить). Причем здесь запоминается не только собственные результаты реагирования, но и чужие (отзеркаленный чужой опыт, опять вынужден упрощать).

3. Часто возникают ситуации, когда хорошо отработанный и надежный рефлекс в новых условиях оказывает даже вреден, приводя к неожиданному негативу.

Если в простых ситуациях, когда ткнешься носом колючку, получаешь повреждение и несколько раз вполне можно попробовать чтобы закрепился рефлекс, то если события редки, условный рефлекс не может сформироваться. А это может кончиться фатально, так что отбор в этом направлении оказывается востребованным.

Возникает такое приобретение как ориентировочный рефлекс. Жизненный опыт уже подсказывает, что нового в ситуации (контексте данного рефлекса) оказывается важным так, что из всего нового, что возникло в данный момент, выбирается самое важное. Эта совокупность рецепторной активности выделяется как наиболее актуальная среди всего конкурентно активного в мозге. Системы внимания фокусируются на образе, связанном с лобными долями активностью наиболее подходящего жизненного опыта через переключательные структуры гиппокампа – что очень важно. Реакция блокируется на выполнение потому как опыт предсказывает возможный негатив и возникает ситуация необходимости решения проблемы. На первом уровне такого процесса не происходит осмысливание и привлечение механизмов творчества, а просто в массиве жизненного опыта ассоциативно подбирается наиболее привлекательный пример реагирования, и он применяется вместо блокированного рефлекса. Вскоре становится понятно (что такое понятно – отдельная песня), получилось или не нет. Если получилось, то реакция закрепляется в новом виде рефлекса, назовем его автоматизмом и всего за один раз потому как в гиппокампе даже после всего прошедшего продолжает циркулировать удерживаемый образ (пока все такие дневные образы не будут погашены во время сна или латеральным торможением) и за это время (примерно 30 минут) сформируются связи рефлекса.

На этом пока останавливаю картину, не утомляя деталями.

По схеме формирования безусловных/условных рефлексов проблем с пониманием нет, она совпадает с твоей. Я лишь пытался вывести всю рефлексию из одной глобальной потребности - поддержка оптимального энергетического уровня, предполагая, что например из пищевого поведения, которое активируется пониженным уровнем энергии, выросло умение отличать съедобное от несъедобного, поиск добычи, навык самому не стать добычей. Это спровоцировало формирование оборонительного, исследовательского рефлексов, а стайная охота/стадная оборона способствовали развитию коммуникации. И вроде как все началось с поддержки энергетического баланса. Но вот половой рефлекс однозначно никак с ним не связан. В итоге схема рухнула, один пазл получался «лишним». Тогда делаем шаг назад и меняем точку отсчета:

Вся рефлексия строится вокруг поддержания базовых потребностей организма. Что бы ни делала особь, в глобальном смысле это все попытки удовлетворить эти потребности. У человека это:

1. Потребность в поддержании жизненно важных параметров – рефлексы гомеостаза
2. Потребность в восполнении потерь энергии – пищевой рефлекс
3. Потребность в размножении – половой рефлекс
4. Потребность в противодействие внешней агрессии – оборонительный рефлекс
5. Потребность в изучении внешнего мира – исследовательский рефлекс
6. Потребность в общении – рефлекс коммуникации

1-4 базовые, общие практически для всех животных, 5-6 только для высших. Возможно, они возникли и связаны между собой в том порядке, как указаны. Но энергетический баланс является главным активирующим только для пищевого рефлекса. Для остальных она все менее значима.

Если шарик катится по столу "сам", это значит, что это происходит под действием внешних сил: притяжения, трения и т. п. Стало быть нельзя иначе автоматизировать ветвления рефлексов, кроме как создав взаимодействие между внешним воздействием и внутренним состоянием бота. То есть слова-сенсоры должны влиять на внутреннее состояние бота, и у них должно быть прошито соответствующее свойство.

Даже если просто оператором указывать какой рефлекс к какому тексту прицепить, все равно получается, что текст оператора воздействует на бота, только это воздействие оценивается оператором.

Один момент.

Если ты что-то назвал рефлексом, то оно должно иметь определенное действия при определённых условиях.

>>Потребность в восполнении потерь энергии – пищевой рефлекс

Есть пищевой контекст (стиль) поведения, в котором могут срабатывать разные рефлексы в зависимости от увиденного, унюханного. И вот такие рефлексы нужно прошивать для базовых контекстов (стилей) т.к. там поначалу еще ничего нет, а реагировать нужно если кончилась энергия.

Да, слова тоже могут быть условиями, и я предусмотрел их как возможные условия безусловных рефлексов. Вот слово убью тебя запросто можно прошить для оборонительных рефлексов. А вот как это можно проделать автоматом, без выборочного осмысливания, я не представляю.

У меня есть заготовки типовых простых диалогов и я намереваюсь их систематизировать и использовать, но тупо включать в автомат точно не стану потому, что потом будет много мороки со странным реакциями.

Да, неверно сделал обозначение. Вот мое понимание: условные рефлексы строятся на базе безусловных, то есть используют их как фрагменты, из которых составляются более длинные цепочки. Это значит, что если прошил скажем 1 000 безусловных рефлексов - вот с ними и будешь работать. Ладно если бы это были слова, тогда придумав спец. модуль для формирования предложений получил бы достаточно большую вариабельность реагирования. А из букв практически бесконечную, с учетом возможности генерить новые слова. Но в случае с ботом это явно не вариант - слишком неподъемная задача, к тому же явно требующая наличия уже функционирующих лобных долей.

Поэтому решение видится такое: безусловные рефлексы это не слова и фразы, а активация стилей реагирования. В самом начале я двинул идею создавать ассоциативные группы. Это просто список слов, собранных в смысловую кучу и имеющий некий условный номер или обозначение. Изначально, на момент формирования безусловных рефлексов группа пустая, от нее только название, например группа ЗЛО, ДОБРО, ЖАЛОСТЬ, ЯРОСТЬ и т. д. Это грубые, примитивные реакции. Вот они и активируются на аналогичные группы раздражителей слов. Это как мяуканье, лай, рычанье, урчание. Сказал боту "сдохни", "умри", "пошел вон"  и т. д. - он тебя облаял, сказал что то хорошее - он замурлыкал. Таких стилей думаю будет всего несколько десятков.

Следующая стадия условных рефлексов это уже заполнение списка групп. Вот тут уже каждый рефлекс привязывается к конкретным сочетаниям сенсоров. В итоге получается, что если нет рефлекса - бот откатывается в реагировании на уровень безусловных и "гавкает", если есть - что то отвечает.

Стиль реагирования в реальности это начальный, примитивный рефлекс, доставшийся по наследству от предков. Он блокируется, если наработался условный. В противном случае он выполняется потому, что его рецептивное поле достаточно большое.

Ты начал рефлексы только со стороны восприятия, но по-прежнему игнорируешь рефлексы со стороны моторных зон. Вот слелал ты активацию базовых контекстов по ключевым словосочетаниям, как говоришь, несколько десятков. А как на их основе будут образовываться более частные рефлексы, затрагивающие уже моторные действия, если ты никак не предоставляешь оттуда никаких реакций?

В самом общем плане, если активен какой-то контекст, но нет еще моторного реагирования, зато на тот же профиль условий уже готовы сорваться моторные рефлексы, то вот и нужно какие-то из них выбрать и пристегнуть так, что бы в данных условиях уже срабатывало моторное действие.

А еще классический условный рефлекс: вот при данных условиях сработало действие, а при новых компонентах условий начал укреплять условный рефлекс в случае, если все стало лучше. И потом это действие будет выполняться уже только при активности нового компонента условий. Это расширяет диапазон для данного ответа для новых условий. Пока  в каких-то не станет хуже и тогда там это действие должно быть заблокировано.

Изначально у меня была схема безусловного реагирования с привязкой к текущему уровню энергии. Конкретно сейчас это сделано так: при попадании в зону пониженной энергии порции потери энергии при пульсации уменьшаются, при попадании в зону повышенной - увеличиваются. Кроме того, раз у меня заложена инициализация сенсоров как питательные-токсичные, то в зоне пониженной энергии игнорируются токсичные, в зоне повышенной питательные. Это имитирует процесс "поедания", чтобы не "глотать" отнимающие энергию сенсоры, когда ее и так мало, а только питательные и наоборот. Это моторные рефлексы в твоем понимании? Если да, то дальше я предполагал, что алгоритм поиска в тексте макросенсоров с многоуровневым перебором в дальнейшем будет использоваться при исследовательском поведении. То есть из нюханья, пробования на вкус разовьется рефлекс осмысливания. Но ты все это раскритиковал. А теперь выходит это не так уже и не правильно?

То есть ты предлагаешь собирать условные рефлексы из моторных? В реальности оно так и есть, но в случае с ботом опять встает вопрос, что считать моторными. Нужно собрать какие то простейшие реакции, типа возгласов - а потом из них сформировать слова и предложения? Потому как из изменения пульсации вряд ли какая фраза родится. А из короткой фразы другую короткую фразу ты не сформируешь - только более длинную.

У меня был такой вариант: собрать в ассоциативной группе строку слов-рефлексов. На внешний контекст условий активируется группа, потом смотрится текущий уровень энергии и по нему активируется рефлекс в строке. Для этого они должны быть отсортированы по адекватности уровню энергии. То есть сначала активируется нейрон с большим рецептивным охватом, выбирая стиль реагирования, потом уже конкретный рефлекс в этом стиле. Тут уже двойное управление выбором: внешние условия активируют стиль, внутренние - рефлекс стиля. Но ты это тоже раскритиковал. Ну или мы опять друг друга не поняли.

Или ты имеешь в виду, что более частные рефлексы должны кроме внешних сенсоров учитывать внутреннее состояние. У меня так и предполагалось, что уровень энергии в разной степени влияет практически на все стили реагирования.

А вообще, мне кажется мы делаем не совсем правильно, пытаясь вывести такую сложную рефлексию как осмысленную речь из безусловных рефлексов. Точнее, пытаясь ее сформировать без участия лобных долей. Без них будет только агу-агу, уа-уа - и все. А мы пытаемся младенцев научить говорить как попугая. Но попугай ведь тоже будучи птенцом не может имитировать человечью речь, ему тоже нужно сначала полностью сформироваться. Может не стоит пихать в безусловные рефлексы текстовые фразы? Здесь нужно как то извернуться, пойти не совсем "по природному". Почему я и предложил считать безусловным рефлексом стиль реагирования. Вот там можно подвести реакцию под примитивное мычание, а потом уже на его базе развить реагирование словами. А сейчас получается, что туго запеленав младенца, поместив его в сурдокамеру, лишив живого многоканального общения и дав лишь один примитивный канал восприятия мы пытаемся вырастить из него полноценного человека. Но по факту получится даже не Маугли, а что то еще более тупое.

"Автоматическое ветвление" рефлексов означает, что есть группа внешних сенсоров, запускающая стиль реагирования. Стиль - это группа рефлексов, расположенная под энергетической линейкой. Активируется группа, затем по текущему уровню энергии активируется рефлекс. Причем, что интересно: если добавить в группу новый рефлекс, он как бы "раздвинет" соседние с ним рефлексы в строке. Теперь они будут активироваться на чуть меньшее - чуть большее значение энергии. Это значит, что привязка их к итоговому суммарному внешне - внутреннему контексту динамическая, а не жесткая.

Но рефлексы должны быть отсортированы в строке в соответствии со шкалой энергии. То есть можно попытаться организовать реагирование через динамические диапазоны, а не жесткой привязкой. Этим можно добиться эффекта, когда новый рефлекс как бы блокирует старый, хотя на самом деле он его отталкивает в сторону.

"Энергетическая линейка" это как один из вариантов управления ветвлением. Можно вместо нее использовать другой диапазон, где активация рефлекса в его строке будет аналогично указывать, какую позицию в модулируемой им строке активировать. Идея сумбурная, но стоит ее наверное осмыслить - вдруг она косвенно натолкнет на действительно интересный механизм.