Тема форума: «Бот на ГО»

У тебя заложен параметр скорость потери энергии, есть кнопка покормить бота. В итоге получаются пилообразные колебания. Потому, что есть постоянный процесс угасания энергии, а в противоположность ему резкие всплески после кормежки. Это по сути простейший RC  генератор. Так же имеют место внешние воздействия, возбуждающие или угнетающие гомеостаз, что вносит свои гармоники в колебания. Почему ты это не хочешь назвать постоянными колебаниями, хотя они явно имеют место быть. Конечно там нет стабильной частоты, амплитуды. Или ты имеешь в виду, что колебаниями строго говоря можно называть только процесс со стабильной несущей частотой, на которую могут накладываться другие частоты, но тем не менее в таких колебаниях всегда присутствует несущая. В гомеостаческих колебаниях этого нет, там непредсказуемые изменения уровней, что можно назвать лишь хаотичными колебаниями, которые строго говоря вовсе не колебания. Если так то согласен, не буду тогда больше опошливать гармоничные колебания сравнением с хаотичными дерганьями. 

По поводу отказа от эмуляции нейронов у меня тоже стала смутно расти такая мысль. В самом деле, даже по вышеприведенным схемам возникала "странная" идея: если я и так знаю, что в результате тормозных связей рефлекс R2 погасит рефлекс R1  -  зачем мне эмулировать это геморное торможение вместо того чтобы просто выключить R1? Если при формирование нового рефлекса нужно игнорировать активности других эффекторов - ну так и игнорируй их все сразу, без всяких итераций. Я думал, что может я чего то не догоняю, но получается, я все правильно догонял. У природы просто не было возможности сделать иначе, кроме как на дискретных элементах.

Выходит я может в целом и правильно понял природную схему формирования безусловных рефлексов на дискретных элементах за исключением идеи клонирования базового, это частный случай. И только для того, чтобы отбросить её. Ещё думал, что мы движемся параллельно, просто по разному интерпретируем. Но возможно это действительно два разных варианта решения. Меня зацепила идея перекрывания рецепторных диапазонов и я её буду дальше развивать. В программной реализации все может быть, есть же уравнения с областью решений. А на дискретных элементах возможно только один вариант, природный.

Мне все таки не нравится идея, что случайным образом нашлось удачное решение, пусть даже речь о безусловных рефлексах. При каждом затупе кидать кости - это разве что в крайнем случае. Во многих случаях оказывается удачным решение например попробовать бежать быстрее или ползти медленнее. Это значит, что чисто статистически могла определиться стратегия сначала сделать так, и лишь потом включить дурака. Может все таки идея притормозить/разогнать хотя бы как первый в списке вариантов способ имеет место быть. Конечно, если случайная мутация сразу попадает в цель это здорово, но надеяться все время только на удачу даже для насекомых это слишком рискованно. Мне кажется, это самая бестолковая из всех стратегий. Должен быть некий штатный механизм, что делать в критической ситуации, вроде устава. И таким простейшим алгоритмом может быть именно уменьшить/увеличить активность рефлекса. Тем более что это прямо вытекает из концепта перекрытия диапазонов как схематически естественный вариант. Я пока говорю о безусловной рефлексии, более продвинутые варианты это особый разговор. 

Да, просто не стоит базироваться на любых "хаотических" изменениях как на каком-то принципе.

Подготовил все для уровня условных рефлексов:

детектор изменения состояния в Плохо и Хорошо – с обучающим функционалом,

воздействие эмпатийными рефлексами (всего видов безусловных, т.е. предопределенных рефлексов получилось 5 видов), что, кроме влияния на рефлексы внешних обстоятельств, на уровне терминала начнет готовить почву для отзеркаливания,

собственно систему безусловных рефлексов и рефлексом на основе рефлексов (ветвления контекстов).

Вот последнее и продолжится уже условными рефлексами (самообучение по результатам попыток с блокированием неудачного), т.е. дерево контекстов оказывается единым. Потом оно же будет дополняться автоматизмами – рефлексами, которые оказались удачными при подборе вариантов ответов в условиях ранее заблокированной реакции: в новых условиях реакция привела к ухудшению, но реагировать-то нужно (доминанта нерешенной проблемы) и вот тут-то и подключаются механизмы лобных долей терминальных функций нахождения вариантов ответов.

Ну и теперь есть редактор переключения текущего уровня формирования реакций:

 редактор периодов развития

Попробую довести механизмы до как можно более продвинутого уровня, а потом останется заняться формирование безусловных рефлексов в строгой последовательности этапов развития, но что, думаю, потребуется около года. И это – перед этапом авторитарного воспитания – условных рефлексов, но что уйдет еще несколько лет при том, что параллельно будут заполняться файлы личного опыта (моделей понимания) и развиваться эмпатия отзеркаливания.

А я всего лишь переделал твой начальный вариант, убрав то, что пока не использую.

 Начало скрываемого блока

Мысль простая как валенок: бот по идее должен уметь жить в условиях сурдокамеры в режиме овоща. Это значит должен быть базовый сценарий гомеостаза, закрученный исключительно на энергетический баланс. Потом уже на него накручивается все остальное. Поэтому по умолчанию чувства насыщения и эмоции зависят от энергии, а переключение между базовыми потребностями не идет, оставляя в итоге только одну потребность: есть, по мере наступления голода. Можно представить, что так выглядит рай. Когда ничего не надо делать, еда сама падает в рот, из всех эмоций только одна актуальная. Потом он должен познать добро и зло и огрести проблемы.

По идее таблица контекстов должна превратиться в очень большую вроде черной матрицы сенсоров, которую я убрал за ее непонятной надобностью. Активация контекстов будет провоцироваться внешними воздействиями, смещая энергетический баланс, потому как для бота слова - это еда. Но она может быть полезной, а может вредной вплоть до отравы. Но так остро и буквально она будет воздействовать только на уровне безусловных рефлексов. Условные же начнутся с первых попыток выбрать контексты общения. Например при сильном голоде молить или угрожать, при несильном просить или жаловаться - это все примитивные попытки бота повлиять на собеседника, заставив его дать корма. Дальше я пока не мыслю, потому как цельной картины на уровне "взял и спаял" как у Nan нет. Если удастся сделать хотя бы насекомое, и то будет круто.

Я думаю, что такое поведение никак не относится к безусловным рефлексам, потому что подразумевает внутренние прогностические модели, аналитический модуль - чего нет у насекомых. Муха будет биться о стекло пока ее ветром не сдует - и так будут делать миллионы мух. Никогда у них не возникнет рефлекс резко не похожий на этот. А вот уже рыбы так просто не хватают крючок, про это можно найти видео подводных съемок рыбалки на уютубе. Поэтому я думаю, на уровне безусловных рефлексов мой подход допустим: усилить или ослабить предыдущий. Такая мутация намного вероятнее и в большинстве случаев оказывается достаточной. Это развитие текущего контекста действия, прямо вытекающее из схемы на конструкторе. А вот условный рефлекс позволяет переключаться с одного контекста на другой, в этом его преимущество. Но опять же, пусть это уже не шаг, а прыжок в сторону - но не какой угодно длины. Тут тоже имеет место поэтапное смещение фокуса активности. И только высшая нервная деятельность теоретически позволяет вообще игнорировать контексты произвольным выбором на основе внутренних моделей восприятия.

Когда нет реакции (заблокирована или вообще еще нет), но реагировать нужно, то  со стороны терминала тоже должны быть первичные рефлексы, на основе которых будут усложняться программы действий. В лобных долях это - первичные моторные зоны. Муха бьется об стекло - это срабатывание рефлекса улететь при условии не видимости стекла. Муха при сильных ударах о стекло (или если ее при этом бить током) может на какое-то время прекратить попытки, т.к. механизмы условных рефлексов у нее есть.

Короче, нужны сначала простейшие программы действий, типа вертеться если плохо как угорелый (это - безусловный рефлекс), т.к. те кто вертится имеют больше шансов соскочить с гиблого места. 

У меня на таком уровне тоже нет, очень многое для реализации (а не принципов) приходится допонимать. Так что мы ввязались в очень муторную и долгую историю :) Но принципы безусловных и условных рефлексов с организацией дерева ветвлений, мне кажется, вполне ты просекаешь. Если не очень, попробую выдать алгоритм принципов (а не реализации).

Оно так и получается, если понимать безусловные рефлексы как немедленное реагирование на определенную рецепторную активность. Понятно, что для перебора чего либо нужно сначала это что то создать.

Мне не очень нравится твоя идея записывать рефлексы вручную. В моем понимании нужно эмулировать эволюционный процесс. Это значит должен быть какой то простой алгоритм возникновения нового безусловного рефлекса при новых условиях. Оператор создает новые условия, запускает алгоритм, получает в ответ новую ветку, тестирует ее на соответствие желаемого - и если совсем не то, откатывает назад, меняет условия, новый пуск - и т. д. Написать легко, реализовать понятно дело совсем не просто. Но думаю должно быть именно так, потому, что такой же принцип будет и с условными рефлексами. Нейросеть должна разворачиваться сама. В начальных стадиях я не вижу смысла в импритинге потому, что например таракан рождается полностью готовым к нормальному функционированию. Его никто ничему не учит, у него как то само все размоталось/раскрутилось. Понятно, что есть соблазн просто прошить ему матрицу "как надо", но это "надо" будет с позиции человека как намного более сложноорганизованного существа. В итоге получится, что таракан шевелит усиками в виде приветствия, убегает от страха, к чему то стремится и т. д. Но в реальности это же не так. В начальной стадии проще разобраться с алгоритмом развертки. Это все равно придется делать.

Безусловными называются наследственно предопределенные рефлексы, т.е. не возникающие в ходе адаптации ко внешнему, а уже прошитые эволюционными экспериментами на протяжении миллионов лет. Т.е. нужно заранее прописать базу реагирования на основе которых особь уже сможет сама формировать условные рефлексы, т.е. реакции, которые заканчивались для нее или нормализацией жизненных параметров или их ухудшением. В последнем случае такая реакций в условиях ее вызвавших, блокируется. Нужно это очень четко и ясно себе представлять.

И со стороны моторного терминала должны быть тоже базовые безусловные рефлексы, обеспечивающие программы генерации вариантов действий когда нет реакций со стороны восприятия. Нпример, когда в каких-то условиях нет реакций потому, что их и не было или они в данных условиях были заблокированы негативом.

Такой генератор действий запускает необходимость реагировать, т.е. опасное состояние жизненных параметров или другие опасности более высокого уровня. Потом из этого детектора необходимости разовьется доминанта нерешенной проблемы.

Я думаю, правильнее сказать так: адаптация в течении жизней множества поколений. А условные рефлексы соответственно: в течении жизни одной особи. Но в обоих случаях это адаптация к изменяемым внешним условиям.

Я не представляю, как ты собираешься вручную прошивать безусловные рефлексы. Типа наорал на бота - и прошил ему активацию защитного контекста, спокойно сказал, похвалил - прошил активацию расслабленности. Допустим. А что еще? Если забудешь что то примитивно-важное, придется потом добавлять и перестраивать дерево условных рефлексов, сформированное на базе безусловных.

а если такой вариант: новая реакция связалась с рецепторами и еще не затормозила старую - в итоге они обе активируются и получается error - который активирует необходимость торможения старой реакции, что и есть "нерешенная проблема". Ее решение - заблокировать активности кроме новой.

Нет! Такого переноса в гены нет.

Я пока тоже. Методику предстоит наработать. Но это избежать нельзя. Да, можно начинать совсем с нуля, без рефлексов, но это будет еще более долгим и мучительно странным занятием. Мне потому и интересно, что получится у тебя, хотя совесть нечиста, т.к. ясно вижу тупик, но вдруг ты сделаешь чудесное открытие.

Тоже - нет. Нужно именно сначала блокировать (это потом будет механизмов прерывания старых рефлексов ориентировочным рефлексом).

Разве мутации не наследуются? Я имел в виду, что удачные мутации это как звено ветвления рефлекторной цепи. Поэтому формирование сети безусловных рефлексов можно сравнить с сетью условных с той разницей, что каждое звено это одна мутация (одна жизнь), поэтому для нее нужны поколения.

По схеме получается, что торможение всегда запаздывает, потому как сначала формируются связи от рецепторов к новому эффектору Е2 и только потом от него к тормозному нейрону, а потом еще от тормозного к старому эффектору Е1. В итоге получается, что какое то время Е1 и Е2 рефлексируют совместно на новое сочетание активностей рецепторов, что приводит к сбою. Я выдвигал уже объяснение, почему нейроны не образуют внутрислойные связи, по крайней мере в существенно меньшем количестве чем межслойные. Им без разницы к чему привязываться, они пускают связи во все стороны активности, в том числе и к ближайшему активному нейрону своего слоя, если он еще не окончательно созрел. Но параллельно натыкаются на тормозной, связываются с ним, и он тоже начинает связываться со старым активным нейроном Е1, к которому тянется Е2. Получается гонка, кто первым добежит, тот и установит свой тип связи. Тут напрашивается полезная мутация - сделать тормозной более шустрым. Если же нейрон Е1 созрел, то можно не спеша протягивать связь - еще больше увеличивая время дефектного реагирования.

Есть подозрение, что датчик новизны ситуации на самом деле просто error, возникающий в начальный момент формирования новых связей. Возникла новая рецепторная комбинация - к ней потянулся новый эффектор - произошел закономерный сбой предыдущего реагирования из за перекрытия рецептивных полей (было R1-2-3 стало R1-2-3-4), что вызвало совместное реагирование старого и нового рефлекса. Активация тормозного нейрона и блокировка старого рефлекса решило проблему. И так всегда. А раз оно всегда, на этом потом мог возникнуть более сложный процесс разруливания.

В плане мутаций - да, но не только и столько, а то, что данная особь выжила (показала свой ген правильным) и размножилась. 

В случае нашего бота у него нет зрительных сенсоров, нет всех первичных и вторичных зон т.к. все сразу начинается восприятием фраз. Поэтому всю эту работу нужно взвалить на безусловные рефлексы как со стороны восприятия, так и со стороны программ действия (варианты ответов если нет рефлексов со стороны восприятия). 

Такая схема ну никак не соответствует тому, как организуется ветвление контекстов и у меня нет с этим никаких проблем. Ну и по любому не стоит эмулировать нейроны. У меня дерево контекстов организовано как рекурсивная функция с последовательной проверкой условий срабатывания рефлексов от базовых до высших.

Я начинаю погружаться в дебри, на которые уже не хватает одной головы потому как слишком много разных мест нужно доводить до нужной функциональности. Время продвижения начинает тормозиться.

Поэтому предлагаю до июня определиться с базовой концепцией, проделать нужные убеждающие эксперименты и прийти к общей концепции, которую уже начать строить сообща по договоренным фрагментам. Т.е. нужно будет применять средство совместной разработки Git.

Где-то в инстинктах зреет надежда, что при данной функциональности вообще станет возможным отказаться от ГО и все потянет старый добрый PHP, но это довольно слабая надежда, просто высказываю то, что функциональность в выбранной абстракции взаимодействия с внешней реальностью бота оказывается точно вполне приемлемой для программной реализации. Мы уже отсекли первичные и вторичные зоны многих сенсорных систем (особенно неподъемные зрительные и тактильные), а также огромный пласт первичных зон моторных реакций. При этом главные принципы усложнения индивидуальной адаптивности оказываются в особенно выраженном, четком представительстве.

А где концепцию обсуждать?

К концу мая нужно каждому выдать имеющиеся оптимистичные результаты, просто в чате скинуть файл (мы - это ты, я и Linuxoid). Вкуриваем, обобщаем, выдаем предложения, и так итерируем пока не возникнет достаточно согласованная концепция.