Тема форума: «Бот на ГО»

У тебя получается слито в одном флаконе функционал третичной теменной и третичной лобной коры, т.е. как бы и не нужны функции лобной коры. Возможно (даже наверняка, т.к. на основе любого достижения начинались мутации любых вариаций), природа делала такие эксперименты и что-то в результате получалось.

При этом есть то, что стоит учесть.

>>теперь добавляется более приоритетный опрос о конечном результате цепочки вопрос-ответов

...

стало ли более вероятным прийти к базовой гомеостатической цели?

Чтобы оценивать результат, нужно определять цель и тогда можно сравнивать, достигается ли она данной реакцией. И цель – не просто рефлекс, для которого вообще не нужно определять цель, а только – действие. Цель выбирается, исходя из уже имеющегося опыта результатов реакций – выбирается тот опыт (свой или чужой), который достигал данной цели в данном сочетании условий.

Я это еще не реализовал, а только теоретизирую. Причем похоже все более отхожу от природной реализации или может просто сильно упрощаю.

Изначально предполагались этапы формирования: сначала забиваем базу макросенсоров (коротких фраз), потом переходим к формированию безусловных рефлексов, которые есть реакции макросенсоров из этой же базы, то есть ответные фразы. Но потом подумалось: а почему собственно нельзя просто введя фразу-вопрос + фразу ответ, просканировать их на соответствие имеющейся базе и если там нет таких макросенсоров - то завести их и сразу же завести рефлекс на их основе. То есть с позиции программиста нет никакой причины разбивать этот процесс на  этапа, можно сразу. А это значит, что нет причины делать этап формирования базы макросенсоров конечным, что получается не соответствует природной реализации. Или соответствует, если иметь в виду, что таким образом мы симулируем эволюционный процесс, появление новых мутаций. То есть бот это не один организм, а целый вид, который получается как бы бессмертным, вроде поколений ботов, и может мутировать сколько угодно. В принципе а почему бы и нет.

А дальше логично встал вопрос: одиночная реакция - тут все понятно, немедленное реагирование. Но для диалога более перспективным будет построение стратегий, отвечая на фразу, держать в уме заготовки для следующих ответов, исходя из прогнозов, которые строятся по фразам собеседника. Для этого нужно сохранять диалоги в виде цепочек вопрос-ответ. Мне попадалось определение, что цепочки рефлексов - это инстинкты. То есть инстинктивное поведение, как последовательность реагирования.

Для организации такого алгоритма нужно просто сохранять диалоги (в виде какого то количества фраз) и фиксировать конечный результат. И тогда получится организовать прогностические подвозбуждения и ветвления. Их скорей всего надо делать по принципу: если второй ответ собеседника приводит к ухудшению как и первый, значит надо менять стратегию - ветвление идет явно не в ту сторону. Причем ухудшение/улучшение - это по прежнему изменение состояние гомеостаза.

Я тоже подозреваю, что в каких то случаях действие, внешне очень похожее на осмысленное, на самом деле устроено проще. Чтобы дать уверенное определение, является ли реакция "интеллектуальной" нужно смотреть на те отделы, которые она задействовала при исполнении, и которые обязательны по определению для такого типа реагирования - а не на внешнюю похожесть.

Похоже, к концу мая у нас обоих будет что рассказать :)

Нам начинают наступать на пятки :) пока так же бессистемно как это было с "глубокими" нейросетями, но это эристическое озарение приведен к следующему качественному скачку в развитии искусственных распознающий систем.

Схема функционирования Гомункулуса

В схеме Бота реализованы функции Гомункулуса – управляющего центра отслеживания текущей ситуации и решения проблем.

Схема Гомункулуса есть, и она нормально работает, а “проблемы Гомункулуса” нет потому как она возникла от недостаточно схемотехнического понимания основы принципа: чтобы центр управления функционировал нужен не еще один цент управления, а нужна его активация по актуальным моментам происходящего. Можно было бы сказать, что тогда это не цент управления, а реакция на актуальность, если бы не было ситуации, когда решения для текущих обстоятельств нет и его нужно сформировать и тогда активируется искусственная самоакутальность – Доминанта нерешенной проблемы.

В самых простых словах сейчас очень кратко опишу суть работы Гомункулуса.

Уровень рефлексов не буду описывать, хотя там есть немало интересного.

При работе Бота есть место, где определяется состояние ухудшения или улучшения жизненных параметров. Если при этом не срабатывают уже имеющиеся компенсирующие рефлексы, то, тем самым, ситуация – новая, а значимость высокая: стало хуже или лучше. Это – условия ориентировочного рефлекса, привлекающего внимание Гомункулуса к актуальной ситуации.

При этом в оперативную память Эпизодов (цепочка эпизодической памяти) записывается этот момент в виде номера автоматизма (цепочки последовательности реагирования, включающие элементарные реакции и ID уже имеющихся цепочек автоматизмов), веса значимости ситуации, и эффекта реакции (хуже, лучше).

Сначала нужно описать Дерево понимания ситуации (модели понимания).

Во всех узлах дерева записывается единственное условие, отличающее этот узел от предыдущих, так что по такому дереву моментально происходит поиск по условиям и активация узлов ветки, отвечающей текущим условиям. Так же записывается массив тех узлов эпизодической памяти, которые возникали в момент активации узла дерева.

Это значит, что в узле дерева для данных условий накапливается опыт реагирования, причем не только свой, но и чужой. Становится легко выбирать наиболее подходящее реагирование в новых условиях, просматривая опыт, если нужно опускаясь на предшествующий уровень или даже смотря по соседним, чем-то похожим веткам (поиск по условиям в дереве мгновенный).

При успешном реагировании нового узла дерева с выбором Гомункулусом оптимальной реакции, в нем появляется ссылка на новый автоматизм, который впредь выполняется сразу при данных условиях если уже есть уверенность в результате реакции (переменная увеличивается при успешном реагировании и уменьшается при неудачах).

Если в активном узле нет еще автоматизма, Гомункулус его пробует быстро выработать из уже имеющихся в опыте других эпизодов, а если не может, активирует Доминанту нерешенной проблемы, признанную поддерживать активность Гомункулуса и рано или поздно сформировать автоматизм (в том числе подсмотрев как реагирует оператор). Доминант может быть несколько.

Эпизодическая память и Дерево записываются в просто организованные файлы и считываются из них при загрузке.

Во время сна или бездействия 1) просматриваются звенья эпизодической памяти, редуцируя малозначимые и корректируя уверенность и значимость узлов дерева, после чего 2) гасятся активные узлы дерева (по стеку их активности, которая удерживается чтобы было легче учитывать уже произошедшее в период бодрствования).

Надеюсь, что наглядно видно, как много ценной информации возникает при использовании узлов дерева, хранящих прошлый опыт в виде пережитых эпизодов. Понятно, что это – несопоставимо более эффективный способ формирования новых реакций, чем рефлексы.

Но для прогресса нужно воспитание, сначала авторитарная демонстрация того, как нужно реагировать, а потом уже инициатива Гомункулуса. Плохо то, что вместо среды это воспитание возможно только с оператором, у которого может быть много неадекватностей, т.к. он не следует жесткой логике, требуемой объективной реальностью. Но, главное, принцип вполне себе реализуем достаточно просто даже на отдельном компе (не нужны суперкомпьютеры при сделанных ограничениях в восприятии и действиях).

Становится возможным гибко дополнять функции Гомункулуса для более эффективной реализации появившихся возможностей.

При обучении оператором бота легко запутать, а если операторов будет много, как в случае с интернетными ботами в онлайне - гарантировано никакого обучения и развития не будет - только рефлексирование и алгоритмическое ветвление. Бот "замкнется в себе", не в силах понять, почему при одних и тех же условиях правильные реакции становятся не правильными, а потом наоборот. Стало быть, нужно вводить приоритет значимости обучения: первые рефлексы от оператора "родителя" - абсолютно верные и переосмыслению не подлежат. А это значит, что после стадии импринтинга закономерно напрашивается стадия постепенного выпадания в неадекват - игнорирования оценки оператора, если она не сходится с первичной оценкой от него же и тем более от кого то другого. То есть стазу же начинается построение "внутреннего мира" со всеми вытекающими. Иначе просто не возможна никакая адаптация.

По схеме гомункулуса вопросов много, самые главные - это что есть у тебя "плохо/хорошо, успешно/не успешно". У меня все просто: вышел за комфортный энергетический диапазон - плохо, вошел в него - хорошо, если выбранная стратегия приближает к диапазону комфорта - она успешна, если удаляет от него - не успешна. У тебя по идее должно быть что то подобное этому, а так же воздействия оператора должны способствовать улучшению/ухудшению/успешности/не успешности неважно каким образом: фразами или оценками. Но это лучше на схеме пальцем показывать, только не сейчас. Хочу доделать свои фантазии, чтобы был более предметный разговор.

Добавил при поиске рефлекса сканирование матрицы синонимов. То есть если не нашелся рефлекс на конкретный макросенсор, то ищутся рефлексы на его синонимы. И тут же нарисовалось: синонимов может быть несколько - и все они активируются по исходному макросенсору. Nan это описывал как рвущиеся к исполнению рефлексы, которые по идее надо контрастировать. А можно и не делать этого - кучей выпустить. Получится простейший способ формирования предложений из рефлексов в том же порядке, в каком активировались возбудившие их макросенсоры. Например есть пара рефлексов:

1. привет - здравствуй
2. как дела - нормально

В итоге ответ на фразу: "привет, как дела" выдаст: "здравствуй нормально". В каких то  случаях это прокатывает и можно так и зафиксировать. А там где нет уже контрастировать. Для этого думаю будет логично использовать свойство "кол-во повторов". Тот рефлекс, что чаще активировался с положительной оценкой на макросенсоры одной группы синонимов получает больший вес при контрастировании.

Другой момент: если при прошивке рефлексов встречается одинаковый диапазон реагирования на разные макросенсоры, то получается не оптимизированная БД рефлексов - избыточная. То есть можно вместо записи нового рефлекса добавить в БД синонимов новый макросенсор в группу, потому, что работать будет точно так же, а база рефлексов станет меньше. Тогда логически вытекает идея сделать процедуры, которые будут перетряхивать, "дефрагментировать" базы, делая поиск более быстрым. Это просится делать в специальном режиме, например "сон", "раздумья".

Из этого вырисовывается другое следствие: если слишком затянуть фазу прошивки рефлексов, то в итоге образуется нейросеть в стиле "мумба-юмба" с несколькими сотнями рефлексов на все случаи. Потому, что форматирование будет все больше и больше укрупнять группы синонимов, делая реагирование все более грубым и укрупненным. А если потом запустить формирование новой зоны более продвинутого реагирования, то новые автоматизмы просто перекроют эту базу и возьмут управление на себя. И тогда получится многоуровневая система, где отключение "лобных долей" приводит не к ступору и fatal error, а просто откатывает реагирование на более низкий уровень, как и происходит в реальной нервной системе.

Сама по себе так гармонично воплотившаяся система дерева Моделей понимания причин и следствий (с привычными моторными и ментальными автоматизмами и их наборами из прошлого опыта, с уровнями отслеживания происходящего по каждому ориентировочному рефлексу и появление возможности инициативного формирования цепочек автоматизмов) оказалась повисшей в бездействии по причине искусственного упрощения сенсорики и среды обитания: нет возможности показать пример действий и воспринять его результат (воспринять причину и следствие).

Поэтому искусственную поддержку развития придется дополнить системой обучения с Пульта и по запросу Бота. На Пульте – страница-редактор с показом текущей активной ветки дерева Моделей с необходимой информаций. В зависимости от текущего контекста Моделей и текущей ситуации можно вводить цепочку ответный действий – как первое приближение наиболее привычного автоматизма действий для дальнейшей коррекции уже самим Ботом.

Тут же можно проконтролировать, как срабатывает такое действие, автоматически задавая условия для активации данной ветки (кнопкой активировать ветку).

Это аналог того, как если бы учитель показал ученику на своем примере, как он действует в данной ситуации и как достигает заранее определенной Цели. Т.е. формирование цели и действий для ее достижения будет авторитарно-принудительным по инициативе воспитателя или по просьбе Бота подсказать.

Я не смог придумать более естественную реализацию этого узкого места в заданных граничных условиях схемотехники Бота. Но и нужна ли такая естественность в данном случае?

А вот при накоплении достаточно опыта Ботом, в том числе и перенятого опыта постановки Цели и построения новых автоматизмов, система дерева понимания уже очень неплохо организует уровни отслеживания ситуации, вплоть до творческого (открытие Доминант нерешенной проблемы).

Я сейчас пытаюсь сделать учитывание предыдущих реакций оператора, видимо это что то вроде твоего дерева. Смысл в том, что простое непосредственное реагирование на фразу оператора быстро исчерпывает себя, работая только как пары вопрос-ответ. А чтобы начать диалог нужно воспринимать вопросы оператора как цепочку связанных общим смыслом реплик, а не отдельные фразы. Это получается как бы разбитый на части макросенсор. То есть его дальнейшее укрупнение: сенсор (корни, приставки, окончания) - макросенсор (слова, фразы в одной реплике) - динамический макросенсор (слова, фразы в разных репликах). По сути "определение смысла" это все тоже непосредственное реагирование рецептор-эффектор, только в качестве рецептора теперь не отдельная "вспышка точки" на рецептивном поле, а серия вспышек в разных местах за какой то промежуток времени. И чем больше промежуток, тем глубже "смысл". То есть реакция теперь уже не мгновенная, а с запозданием, ждет пока заполнится какой то стек, и только потом уже реагирование.

При формировании условного рефлекса бота что считать предшествующим раздражителем (колокольчиком), с которым связывается существующий безусловный рефлекс и что считать самим условным рефлексом?

Допустим это новый сенсор в той же фразе оператора, а не предыдущая фраза. Например на фразу "как дела" есть рефлекс "нормально". Тогда на фразу "привет, как дела" он сработает как на отдельный сенсор "как дела", так как он его распознал во фразе. Но кроме того, сформируется новая связь между "привет" и "нормально". Теперь на слово "привет" будет реакция слово "нормально"- что как бы бессмысленно.

Логичнее будет ввести новый тип реакции бота, не словесный. У Nan это индикаторы настроения бота, в данном случае на сенсор "как дела" у бота кроме ответной фразы активируется например эмоция "доброжелательность". И она же автоматически свяжется с новым сенсором "привет". Что по сути означает активацию контекста реагирования. То есть получается, условный рефлекс это не ответная фраза?

Хотя правильнее будет сказать, что такое распознавание цепочки это уже определение контекста реагирования. То есть кроме непосредственной реакции на раздражитель активируются множество ветвлений предполагаемых цепочек дальнейших реакций, на основании прежнего опыта. И каждый последующий ответ оператора подтверждает или отменяет какую то часть из них, до тех пор, пока не останется в идеале одна цепочка. То есть например на третьем ответе оператора станет ясно, что он хочет общаться, а на первом это еще не понятно.

Это уже более продвинутое реагирование - инстинктивное, когда происходит прогноз ботом реакций оператора и параллельно запускается цепочка рефлексов в ответ на аналогичную цепочку от оператора.

Классический условный рефлекс - это та же реакция базового (безусловного или условного рефлекса), но связанная с новым стимулом, который был при базовом реагировании. Для связывания нужно получить эффект: стало лучше (если стало хуже, то базовая реакция просто блокируется в контексте этой новизны).

Т.е. в рещультате условного рефлекса тварь начинает реагировать уже на новый стимул, даже если старых стимулов нет.

Важно: тут обязательно выявляется новые признаки, которых не было раньше в контексте совершения базовой реакции.

Т.к. в природе ус.рефлекс возникает при нескольких повторениях сочетания признаков, то не любая случайная новизна, а упорно повторяющаяся становится запуском рефлекса.

То есть сначала нужно определить контекст, а потом уже искать в нем новизну. А контекст в моем понимании это определение цепочки дальнейшего реагирования. Но это не возможно сделать на первом шаге диалога, если только оператор не сказал какую то фразу однозначно определяющей контекст. А если на первый шаг диалога активировалось несколько контекстов, нужно дать ответ согласно одному из предполагаемых контекстов, дождаться от оператора ответа и посмотреть, какому из ветвлений цепочек предполагаемых реакций соответствует теперь уже три звена: вопрос оператора - ответ бота - ответ оператора.

В идеале было бы указание оператором своего контекста сразу, на первом же шаге диалога. Потому, что если не определен контекст, не получится определить новизну. Стало быть на первом шаге диалога лишь в некоторых случаях возможно формирование условного рефлекса, что как бы не здорово.

Контекст это - иерархия признаков, начиная с самых базовых. На стороне рефлекс у меня он реализован последовательной проверкой условий, от базовых и более второстепенных. На стороне Гомункулуса сделано строго - в виде дерева, каждый узел которого отличается от предыдущего на один более второстепенный признак. Первый уровень - параметры гомеостаза, второй - базовые контексты на их основе, далее - действия на Пульте, далее - отдельные слова так, что первое слово фразы становится базовым для всех последующих (сколько слов во фразе, столько последовательных вложений). Словестные контексты у меня записываются не сразу, а ктолько если базовое слово оказывается использованным несколько раз (чтобы не забивать дерево мусором).

Пример условного отрицательного рефлекса:

Но условные рефлексы можно выработать и в опытах с применением отрицательного подкрепления, например удара тока, который животное стремится избежать. Так, включение звукового стимула (определенного тона) перед направлением в глаз кролика струи воздуха начнет вызывать условный мигательный рефлекс, т. е. смыкание век (точнее говоря, мигательной перепонки). Первоначально мигание вызывает только воздушный толчок (БС), но после нескольких повторений мигание (УР) происходит в ответ на данный тон (УС) и в отсутствие действия воздуха. Это пример отрицательного УР.

Тут кролику явно становится хуже, и тем не менее рефлекс закрепляется. Думаю все же правильнее интерпретировать формирование условных рефлексов следующим образом:

есть безусловный рефлекс, возникающий на раздражитель. Если перед пусковым раздражителем стабильно, несколько раз появляется дополнительный - он становится пусковым. Стало не лучше, не хуже - просто произошла подмена пускового стимула для существующей реакции. По сути это означает простейший вариант прогнозирования ситуации. В примере с кроликом внезапный порыв ветра запускает рефлекс моргания. Но если перед порывом стабильно слышен звуковой сигнал, кролик начинает моргать на него, но по сути - он просто заранее моргает перед ожидаемым следом порывом ветра. Просто благодаря закольцовке новый раздражитель не успев погаснуть связался со старым, но так как он по времени стоит первым - он и стал пусковым. Из двух слогов сложилось слово, и реакция теперь стала на первый слог, но по сути - на слово, новый укрупненный сенсор, части которого разнесены по времени на короткий промежуток. Это объясняет такой феномен (по той же ссылке):

Допустим, что при обычной выработке УР звонок становится УС и всегда вызывает этот УР, например слюноотделение. Если затем второй УС, например свет, многократно сочетается со звонком в отсутствие пищи, то у животного образуется УР на один только свет, даже если пища никогда прямо не сочеталась с ним. Такой метод называется выработкой условного рефлекса второго порядка

Тут вообще нет никакого подкрепления, ни положительного, ни отрицательного - и тем не менее образуется УР. Образуются цепочки из раздражителей, конечный запускает рефлекс, а первый - активирует цепочку, и получается, что он запускает рефлекс.