Тема форума: «Бот на ГО»

Инициативность это – не просто выдача заготовок, а создание новых собственных заготовок там, где нет подходящей готовой для некоей новизны условий. Обязательно нужна значимая новизна, которая прогнозирует на основе опыта, что готовая сорваться заготовка не отвечает поставленной цели, потому, к примеру, что в новых условиях заготовка ухудшит состояние по ясной из прогноза причине (прогноз – очень эффективен по выборке схожих моментов эпизодической памяти, которая показывает, к чему приводит обычно данная новизна, но может быть и по Дереву восприятия с элементами той новизны). А раз так, то нужно создать такую заготовку, которая бы учла этот негативный момент. Или заготовку, которая основывается на памяти, где с такой новизной уже была найдена удачный ответ (как частный случай – м.б. лучше вообще ничего не делать).

Как видишь, нужна уже наработанная память о моментах, где новизна плоха и где хороша. Ну и алгоритмы выборки.

Нужен алгоритм обобщения выборок памяти для выбора цели, максимально учитывающей все условия.

Создание новой заготовка это – любой алгоритм, который делает предположительную заготовку для целей, которые формируются текущим состоянием бота, и это состояние возникает подчас вопреки текущей потребности гомеостаза, а оно формируется как следствие понимание смысла происходящего == целеобразующий значимости.

т.е. для того, чтобы сформировать цель, бот должен получить максимум описанной информации, и без очень нехилого опыта авторитарного обучения ее будет всегда не хватать.

Т.е. твои авторитарные научения должны не только давать достаточно случаев, на которые может опереться алгоритм обобщения, но и сразу же каждый такой авторитарный опыт формирует целеобразующую значимость, которая потом при выборке из памяти поможет выбрать наилучшую цель успешного ответа.

Детей натаскивают до 5-7 лет авторитарно и в это время они по каждому такому уроку запоминают те цели, которые решаются данным ответом. Все, что может сделать человек творчески это – как-то использовать такую память и наделать еще своих заготовок такого же качества.

Так что пахоты у нас с ботом еще очень много.

Это думаю больше вопрос терминологии. Проблема в том, что такие свойства не возникают вдруг, но путем постепенного усложнения на базе предыдущих наработок. И для таких промежуточных шагов нет терминологии, отсюда путаница.

Можно сказать, что первичное осмысливание начинается с просмотра цепочек эпизодической памяти, прошлого опыта использования рефлекса. При этом важно, чтобы кроме внешних пусковых условий фиксировалась и текущая на тот момент оценка последствий применения рефлекса, иначе просто нет смысла чего либо смотреть. Это дает возможность грубо прикинуть последствия повторного использования рефлекса и сделать выбор. А это в свою очередь означает возникновение цели - выбрать подходящий рефлекс.

Еще в отличие от рефлекса, инициативность может проявляться вообще в отсутствие раздражителей, в том числе внутренних при полной оптимуме жизненных параметров. Просто от текущего самосознания и имеющихся старых доминант проблем. Прикинь, ничего как бы не провоцирует, а мысль пошла в векторе цели какой-то доминанты.

Добавил новый тип рефлексов - базовые, которые запускаются не фразами оператора, а выходом из комфортной зоны базовых потребностей. Nan такие сразу сделал, точнее у него активация безусловного рефлекса может быть как фразой, так и внутренним состоянием. А мне чтобы не ломать алгоритмы пришлось сделать новую группу рефлексов. Они так же пишутся в виде диапазонов реагирования, чтобы можно было добавлять и уточнять реакции-фразы.

 Начало скрываемого блока

Добавил инстинкт для редактирования массива синонимов в режиме диалога, он активируется при выходе потребности "Любопытство" в зону недостатка, при условии, что нет активностей других инстинктов и действий пользователя в течении 20 сек. Процедура просматривает массив синонимов и если находит группы с малым кол-вом значений, запускает процедуру добавления нового варианта. Пример работы:

 Начало скрываемого блока

Плохо то, что инстинкты приходится делать в виде программ с ветвлениями, пока слабо представляю как их можно свести к одной процедуре, читающей данные из файла, по аналогии с обраткой рефлексов. Слишком сложно и многовариантно получается. То есть режим автосоздания новых инстинктов по аналогии с рефлексами вряд ли получится малой кровью. Но я это пока и не планирую. Была идея посмотреть, насколько похоже и глубоко можно сымитировать интеллектуальную деятельность при помощи рефлексов.

Но строго говоря, сейчас бот может только мяукать, мычать, хрюкать, вилять хвостом и т. д. - говорить он не может вообще и "думать" тем более. Хотя если напрячься, можно наверное изловчиться и сделать это достаточно убедительно хотя бы на уровне коротких диалогов. Как если бы таракану прицепили транслятор активаций его базовых потребностей в виде подходящих человечьих фраз, и он бы тогда не просто удирал от тапка, а например чертыхаясь и угрожая отомстить.

Настолько полно, что интеллект любой сложности можно прописать в виде автоматизмов, в том числе ментальных. Она сможет даже шутить, но банально. А вот нарабатывать новые автоматизмы тварь не сможет и у нее не будет доминирующих проблем.

Кстати, мне пришло в голову: а где собственно у меня реализован ориентировочный рефлекс и как определяется значимость? Оказалось, рефлекса пока что нет, но значимость есть, хотя и не явно, а вытекает автоматически из схемы построения.

Уже начиная с самого простого рефлекторного реагирования нужно отличать ситуации, когда и на что именно нужно запускать модификации рефлексов. Потому, что в противном случае особь будет их переписывать постоянно, что сведет на нет саму суть адаптации – поиска наиболее подходящего рефлекса, а не бесконечное их переписывание. Когда реагировать определяется через сенсоры «Плохо – Норма – Хорошо» по факту выхода из зоны комфорта (норма). На что реагировать определяется сенсорами «стало хуже – стало лучше» по факту ухудшения ситуации. Тот раздражитель, который привел к ухудшению и является тем, на который нужно реагировать обновлением рефлекторной базы. А как работают датчики я тебе показывал в описании бота - достаточно просто и примитивно, как и должно быть на рефлекторном уровне.

Работа этих двух систем датчиков является предпосылкой возникновения ориентировочного рефлекса, определяющим ситуацию, когда нужно прерывать текущую рефлекторную деятельность и передавать управление на более высокие уровни аналитики. Но как видим, похожие прерывания происходят уже на рефлекторном уровне и служат для организации ветвлений безусловных рефлексов. Это в очередной раз показывает, что в нервной системе ничто не возникает внезапно, но всегда на основе предыдущих наработок.

По моему, это то, что ты в старом посте этой темы назвал "более древней реализацией ориентировочного рефлекса". Я тогда не очень понял, что ты имел в виду, а сейчас получается тоже об это споткнулся.

Давай определимся. Безусловные рефлексы это – врожденные, прошитые заранее рефлексы. Они более не меняются в ходе индивидуального развития. Я говорил про условные рефлексы, для которых необходима новизна == тому новому раздражителю, который станет пусковым стимулом предшествовавшего рефлекса. Это – не ориентировочный рефлекс, а просто новизна, по которой формируется новый условный рефлекс. По нему не возникает ориентировка внимания на раздражитель для оценки приемлемости старого рефлекса и выработка нового в случае неприемлемости. Новый условный рефлекс формируется по любому. Так что хотя и есть значимость (подкрепление) и новизна условий, но функциональное назначение совершенно иное.

Тут опять путаница возникает, но уже из за искусственной реализации. Понятно, что безусловные рефлексы нельзя менять, иначе посыпятся условные, построенные на их основе. Но у меня они меняются, причем в двух вариантах: оператор перейдя в спец. режим может просто дать готовый диапазон реагирования на раздражитель, либо это будет происходить автоматически по факту реагирования (стало лучше/хуже) и с учетом прошлого опыта. Это отступление от природной реализации, но только если рассматривать бота как отдельную особь. А если представить его в этой фазе прошивки как группу поколений, собирающих успешный опыт мутаций, тогда получается другой расклад. В программной реализации можно запросто имитировать эволюционный процесс, и даже более эффективный, если заменить метод слепого тыка на определенные алгоритмы. Это даст искусственным тварям существенную фору перед нами, уже на уровне безусловно-рефлекторного реагирования. Миллионы лет эволюции на мощных компах они будут проскакивать за секунды.

У тебя это - не безусловные рефлексы (терминологию, все же не стоит перекраивать), а некие заготовки авторитарно закрепленных автоматизмов (в самом же деле в раннем возрасте обязательны такие установки и они принимаются без сомнения, безусловно). У меня тоже такая хрень есть для того, чтобы обеспечить быструю набивку авторитарного периода обучения. На основе таких заготовок чужого опыта одновременно формируются мотивационные смыслы, привязанные к отзеркаленным действиям. Какой бы ни была многословной фраза, авторитарный ответ придает всем ее словам в данном контексте один мотивационный смысл == цель.

Получается, что то что я назвал базовыми рефлексами и есть безусловные, так как они запускаются изменениями базовых потребностей и не подлежат изменению. Инстинкты тоже жёстко защиты в виде алгоритма, значит это ветвления безусловных с внешним управлением. Ответные фразы бота это уже автоматизмы, так как они динамически модифицируются.

Похоже у меня вообще не правильно построена активация рефлексов, как раз из за путаницы в терминологии. Должно быть 2 типа безусловных рефлексов:

1. активируются внутренними изменения бота, конкретно выходом из зоны комфорта базовых потребностей
2. активируются определенной ботом базовой потребностью оператора

Во втором случае бот должен научиться их определять, собирая базу фраз оператора. При этом на начальном этапе ему нужно явно указывать, какая фраза к чему относится. То есть кроме тона сообщения, нужно продублировать для оператора матрицу базовых потребностей, и чтобы при каждом сообщении он указывал одну из них.

То есть адаптация подразумевает, что оба участника процесса имеют одинаковые по функциональности нервные системы, иначе просто не получится прогнозировать реакции партнера. Текущие потребности, глобальные цели, алгоритмы формирования ответных реакций могут сильно отличаться, но "механика" процесса у обоих одинакова в том смысле, что даже если это не так, процесс адаптации все равно будет строиться на том, что это так. По этой причине мы например приписываем животным человеческие качества, а они нам свои инстинкты, из за чего возникают недоразумения.

Можно еще так сказать: нельзя построить прогностическую модель реальности не включив ее в свою внутреннюю модель и не наделив ее своими свойствами. То есть как бы мы ни старались, не получится быть объективным в прогностической оценке субъекта - всегда будут вариации "как бы я поступил на его месте". Вместо реальной объективности будет просто расширения своего Я, добавления ему новых качеств. Это приводит к неизбежным накоплениям иллюзорных погрешностей и в конечном итоге со временем к полному вылету в неадекват с неспособностью объективно воспринимать реальность, но иначе ее вообще не получится никак воспринять.

Касаемо бота: у меня эпизодические цепочки памяти фиксировались с уровнем текущей базовой потребности бота, а надо было с потребностью оператора. Для чего добавил на пульт соответствующие кнопки. У Nana они сразу были, я их сначала тоже держал, потом снес, потому как не понимал, зачем нужно настроение оператора, если достаточно тона сообщения для оценки состояния "стало лучше/хуже". Но оказывается, они нужны для правильного прогнозирования реакции оператора и в дальнейшем для более точного выбора ответного рефлекса. То есть поняв, что хочет оператор, бот получает возможность построить стратегию развития диалога - а это уже образование цели.

каждый эпизод этой памяти должен тупо записываться по каждому срабатыванию ориентировочного рефлекса и фиксировать текущую картину восприятия и связанные с ней возможности (автоматизмы). Вот тогда это станет дееспособной  прогнозирования и поиске схожего лентой.

У меня сейчас просто фиксируется каждый ответ оператора с обозначенной им текущей базовой потребностью. И когда бот лезет за рефлексом, а у него счетчик неудачных попыток стоит -2, что является порогом в 2 неудачных попытки, то он ныряет в цепочки эпизодической памяти и смотрит, что на этот же раздражитель ответил когда то оператор, при той же текущей базовой потребности. И втыкает его в линейку диапазона реагирования рефлекса как новый вариант. В следующий раз на эту ситуацию будет активен новый рефлекс и у него так же начнет отматывать счетчик в + или -. Но это все происходит в режиме обучения, становления базы рефлексов. Как это соотносится с природной реализацией пока не совсем ясно, потому как безусловные рефлексы не модифицируются. Но может это и не безусловные, или может даже это программная химера вообще не имеющая аналогов с природой.

Про ориентировочный рефлекс выше говорил - его тут может пока еще и не быть, либо он не явно присутствует. Для срабатывания рефлекса достаточно  определения сенсорами раздражителя-фразы и далее ищется рефлекс для него в линейке диапазона текущей базовой потребности. Оценка стало лучше/хуже является пусковой для поиска в цепочках памяти нового варианта и наматывания счетчика эффективности срабатывания. Она в свою очередь срабатывает только при выходе из зоны комфорта, стало быть нахождение в зоне просто активирует рефлексы, соотнесенные с этой зоной без поиска новых вариантов и счетчик у них не меняется. Раз их срабатывание не выкинуло из зоны, значит пусть так и остается. Я предполагаю, что возможно потом ширина зоны будет управляться из каких то высших слоев, тем самым делая реагирование более "нервным" или "инфантильным".

Сейчас следующим шагом думаю вернуться к самому первому варианту - ассоциативным группам. Раз оператор теперь указывает свое текущее базовое состояние-потребность, значит все его фразы находятся в одном контексте - их можно объединить в целевую группу. А далее логически вытекает, что и фразы бота, оцененные оператором положительным тоном, находятся в том же контексте. Затем можно будет поразмыслить, как эту группу разбить на более мелкие. В конечном итоге можно будет прописать настоящие условные рефлексы, активирующиеся на определение ассоциативной группы. Их можно выводить в виде коротких фраз-названий групп, как я и делал в самой первой версии бота. Там на фразу оператора активировалась не ответная смысловая фраза, а название ассоциативной группы. Типа:

• Оператор: привет, как дела?
• Бот: ответное приветствие
• Оператор: хочешь поболтать?
• Бот: принятие общения

То есть тут активируются метки-маркеры дальнейшего предполагаемого развития диалога. Бот понял, что его поприветствовали и хотят пообщаться. Собака в этом случае просто завиляла бы хвостом. Но у бота нет хвоста, поэтому он выдает многозначную контекстно-ассоциативную фразу, если нет более продвинутой цепочки реагирования, то реагирует безусловно-рефлекторно. То что сейчас бот отвечает "осмысленно" может статься ненужное и даже вредное извращение. Конечно так можно навертеть сильно похоже на человечью речь, но очевиден тупик и встанет вопрос - что делать со всей этой кучей рефлексов, когда бот действительно начнет вязать осмысленные фразы. Они явно станут лишними, и какой смысл тогда их забивать? По этой причине я их все снес, оставив только тестовые. Но практика показала - да, так тоже можно, если задача сделать прокачанного таракана, или более практично: например болтливый робот-пылесос, который может очень даже в тему отвечать.

В описании Алисы говорится, что там так же определяется через алгоритмы свертки смысловой контекст, чтобы не сводить диалог к простейшему пинг-понгу многозначных фраз.

В развитие плана (озвученного в Сообщение № 47503), многое добавилось и изменилось.

Чтобы лучше просечь, начнем с аналогии: есть система искусственного интеллекта GPT-3, которая писала в научные журналы статьи, неотличимые на первый взгляд от работы ученого (за что эти журналы порицали), построенная на предельном простом принципе. Основная функция GPT-3  - предсказывать следующее слово или его часть, ориентируясь на предшествующие. По сути, она просчитывает связи между словами и предлагает наиболее вероятную последовательность. Модель работает по принципу автодополнения — почти как функция Т9 в смартфонах. Отталкиваясь от одной или двух фраз, она может мгновенно сгенерировать текст на несколько страниц. Но эта система не имеет собственного вектора желаемого т.к. не имеет проблем своего “гомеостаза”. Поэтому все тексты или диалоги не имеют определенного смысла.

Этот принцип выходит на новое качество в случае фильтрации багажа опыта по текущим потребностям и, главное, текущей цели.

По этому механизму реализуется развитие сновидений, обсуждения, фантазирование вообще любой акт творчества. Т.е. это – и есть основа реализации произвольности там, где не подходят привычные автоматизмы. А там, где они подходят, автодополнение просто срабатывает в зависимости от условий.

Для поддержки принципа нужно определить, что такое смысл и что такое цель. В понятиях программной реализации Смысл – значимость того состояния, которое сопровождает результат реагирования. Цель – то состояние, которое желательно достичь. Т.о. Цель == смысл, записываемый при каждой активации Дерева понимания (==определенная уверенность в выборе действий того, что возможно получить, если достичь Цели).

Структура цели включает обобщенную оценку того, насколько стало лучше или хуже (Mood - настроение), ментальный автоматизм, содержащий действия, приводящие к Цели, маркер того, что Цель – гипотеза или проверена реально, а так же рейтинг для конкурентности с другими целями.

Соответственно, теперь к каждой ветке дерева привязана структура Цель.

Чтобы это заработало нужно ввести механизм понимания обобщенной цели, которая складывается из отдельных промежуточных целей составляющих фразу, для чего и пригождается заготовка Стека общего смысла (у людей 5-7 элементов смыслов, у Бота - 10).

При авторитарной набивке Дерева оператор с Пульта для каждой фразы задает ответные автоматизмы и смысл фразы (в виде Цели типа структуры Task) – как бы обещание того, что будет при выдаче этой фразы в данных условиях. При этом все слова фразы первоначально приобретают такой же смысл в этих условиях.

В периоде инициативы Бот может спросить, что означает такое-то слово и оператор может вбить для предыдущей своей фразы авторитарный смысл Task. Или оператор выдаст поясняющую фразу со словами, которые уже есть в словарном запасе Бота (их видно на странице Пульта для показа Дерева).

Если при активации Дерева текстом, превышающим длину ветки, эта ветка уже имеет смысл, то ветка заносится в Стек общего смысла, дерево заново активируется уже с прерванного места и так набираются ветки, уже имеющие смысл для того, чтобы сформировать общий результирующий смысл. Если это удается, то содержимое стека запоминается долговременно, как новый смысл текста (типа структуры generalMeaning) и ссылка на структуру прописывается в текущей эпизодической памяти. Теперь такое сочетание активных веток, точнее упрощенное сочетание корней слов в такой последовательности, уже будет узнаваться в определенном смысле и будет опыт того, что это значит и к чему приводит, как этим можно воспользоваться в виде Цели.

Пример: если уже есть смысл в однословной фразе “Привет”, то когда приходит “Привествую” и еще нет такой ветки (длина фразы>длины ветки), то часть “Привет” записывается в StackCommonSense и после неудачной активации Дерева “ствую” – эта часть просто дописывается в Дерево с рейтингом временно и с пониманием, что это не корень слова.

Если после Привет идет слово тебе – так же уже из словарного запаса со своим смыслом, то обе ветки (первая активировалась по Привет, вторая – по тебе) помещаются в StackCommonSense, выясняется общий смысл из составляющих, создается generalMeaning с этим смыслом, записывается в эпиз.память. Этот общий смысл отражает понимание==использование значения этой фразы из смыслов двух веток, запомненных в generalMeaning.

Каков смысл слова "тебе"? Как его выразить в Task, а общий смысл Привет тебе - в generalMeaning? МОЖНО :) нужно только вкурить. смысл слова "тебе" - 1) в обобщенном Mood, которое в разных ветках может быть разным от тебе лучше или хуже и 2) в виде EmotionID и 3) MentAutomatizmID совершаемого действия и 4) по анализу самой ветки LastNodeID. Все это - инфа для сопоставлений и принятия решений, дающая определенную уверенность в выборе действий (понимание).

Эпизодическая память очень удачно модифицировалась (в ней уже были элементы смысла, а теперь добавилась структура общего смысла). Теперь, в случае длинных текстов в эпизод.памяти изранится не одна активная ветка, а массив последовательно активировавшихся веток (каждая, обладающая своим промежуточным смыслом).

В целом для программной реализации стало сложнее (мягко сказано) со всем этим управляться, а в природной организации получается преимущество: там роль указателей на любой сколь угодно огромный массив (ансамбль) может играть 1 (один) нейрон, активирующий этот массив и не нужны никакие промежуточные объекты. Возможно, код можно так оптимизировать, что все эти сложности утрясутся, но пака на такое не хватает мозгов и приходится использовать то, что вышло.

То есть ты просто на начальном этапе записываешь, какое воздействие оказывает часть слова/слово/фраза на бота по условной шкале значимостей. Например значениями от -10 до +10. И это воздействие должно провоцировать ответный корректирующий рефлекс, последствия которого оцениваются по принципу "стало лучше/хуже". У меня это реализовано в виде представления базовых потребностей в виде диапазона значений с тремя зонами: пониженных, повышенных и комфортных значений. Воздействие оказывается непосредственно на базовую потребность, сдвигая ее текущий уровень. Если сдвиг произошел в зону низких значений - возникает состояние ПЛОХО, в зону повышенных - ХОРОШО, а нахождение в зоне комфорта означает КОМФОРТ. Смысл рефлекторной деятельности - не выпадать из зоны комфорта.

Понятие СТАЛО ЛУЧШЕ, СТАЛО ХУЖЕ определяется по принципу: если внешнее воздействие увеличило отрыв от зоны комфорта - стало хуже, если уменьшило - стало лучше. И это уже определяет глобальную ЦЕЛЬ всей рефлексии бота - провоцировать оператора на такие воздействия словами, чтобы они сдвигали уровень базовой потребности в нужную сторону.

Я думаю, это основные базовые принципы построения адаптационных систем:

• создать базовую потребность системы
• определить степень реагирования базовой потребности системы на внешние раздражители
• определить степень воздействия системы на внешний раздражитель

Простейшая механическая модель такой системы - маятник, который качнули и он "пытается" прийти в равновесие. Тут базовая потребность - успокоиться, внешние воздействие - толчок, ответное воздействие системы - сила инерции. В нервной системе происходит по сути тоже самое, только реализация сложнее.

А об интеллекте мы начинаем говорить тогда, когда непосредственное рефлекторное реагирование усложняется до уровня прогностического. Я таким термином обозначаю попытки спрогнозировать ответную внешнюю реакцию на рефлекс перед его выполнением. При этом принципиально ничего нового не появляется, все те же "плохо - норма - хорошо, стало лучше - стало хуже". Но добавляются промежуточные "смыслы", "цели", и "значимости" потому, что теперь реагирование происходит более чем за один шаг и нужны дополнительные маркеры для каждого шага. Глобальный смысл прежний: не выпадать из зоны комфорта, просто теперь эта зона на каждом шаге прогноза формируется отдельно, как тактическая - часть глобальной, в виде задачи попасть в определенный участок, сделать успешный шаг к глобальной зоне комфорта. А это в свою очередь определяет параметры шага прогнозирования:

• смысл - стабилизация вокруг тактической зоны комфорта
• цель - другой шаг, который предположительно приведет к улучшению состояния
• значимость - на сколько улучшает/ухудшает шаг текущее состояние

То есть проще говоря, если первичное рефлекторное реагирование это просто шаг, то интеллектуальное - перемещение на заданное расстояние множеством шагов. Вся интрига строится вокруг прогноза ответного внешнего воздействия и построения на его основе стратегий реагирования.

Получается, как ни крути, но программное создание адаптационной рефлекторной или прогностической (интеллектуальной) системы всегда означает создание некой виртуальной вселенной, оказывающей воздействие на систему. Я имею в виду, что даже наличие реального оператора все равно подразумевает прописывание каких то его воздействий на бота, придания начального смысла, значимостей его словам. Без инициализации его воздействий бот никак не будет на них реагировать.