Тема форума: «Бот на ГО»

>>Тут кролику явно становится хуже, и тем не менее рефлекс закрепляется.

Когда в глаза дуют, то они закрываются, это – избавление от негатива, т.е. стало лучше.

А вот если раньше глаза были открыты и вдруг дунули, то стало хуже. Держать глаза открытыми, когда возникло новое – появился дующий предмет нельзя, открывание глаз в таких условиях блокируется.

В общем я сделал именно так.

Если ты привычно кушаешь, когда тебе протягивают гамбургер, но вдруг с красным светом при жтом тебя бьют током, то тебе стало хуже и реакция съесть гамбургер при красном свете долза быть заблокирована.

А вот когда к тебе тянут электрошокер и ты увернулся, то вместо тока получил избавление от него, такое закрепляется.

В общем, тут условность, как назвать. Можно назвать блокировку неудачного в определенных условиях – отрицательным рефлексом, суть не изменится. Но это должна быть блокировка, а не установление новой реакции.

Занимаясь рефлексами нарисовались инстинкты, которые представляют из себя цепочки безусловных рефлексов. И думаю, если поднатужиться, можно придумать и цепочки инстинктов. Это все то же развитие безусловного реагирования. Прикол в том, что внешне это выглядит более "человечно", хотя по сути реагирование все такое же примитивное. Но инстинкты позволяют организовывать обучение в режиме диалога, что создает иллюзию "мышления бота". Как минимум можно организовывать осмысленные коротки обмены фразами. Например такой лог:

Оператор: привет, как дела?
Бот: нормально привет
Оператор: прикольно
   Лог: отредактировано ветвление рефлексов: 1
   12/1|3295/1|3290/1|3312/1|16/0|3597/1|3288/0|13/0|1795/0|3619/1
Бот: да, весело
Оператор: как настроение
   Лог: Добавлено новое ветвление рефлексов: 18
   3472/1
Бот: нормально
Оператор: в каком смысле
   Лог: отредактировано ветвление рефлексов: 1
   12/1|3295/1|3290/1|3312/1|16/0|3597/1|3288/0|13/0|1795/0|3619/1|3494/1
Бот: в обыкновенном
Оператор: ты прикалываешься
   Лог: Добавлен новый макросенсор: 3623
   Лог: Добавлен новый макросенсор: 3624
Бот: Не понимаю, напиши, как мне ответить
Оператор: да
   Лог: добавлена новая группа синонимов 745 с макросенсором 3624
   Лог: Добавлен новый рефлекс: 60
Бот: Ясно. Что значит [да]?
Оператор: ага
   Лог: Добавлен новый макросенсор: 3625
   Лог: Добавлен новый макросенсор: 3626
   Лог: в группу синонимов 745 добавлен макросенсор 3626
Бот: Ясно


Здесь активировались 2 инстинкта: первый спрашивает как реагировать на фразу "ты прикалываешься", а второй - что значит предложенный оператором вариант "да". На второй вопрос бота оператор дает значение "ага" - и оно заносится в таблицу синонимов. Теперь "да" и "ага" в одной группе. И строго говоря, боту по прежнему ничего не ясно :)

То есть инстинктивное поведение в случае с ботом - это просто программа. Так же как и безусловный рефлекс жестко зашитая в коде, но в отличие от рефлекса позволяющая вести простейшие диалоги.

Возможно следующие замечания позволят реализовать новые идеи.

Судя по логам и описанию, для каждой конкретной ситуации будет записываться конкретный ответ в виде готовой фразы. Это подразумевает бесконечное разнообразие необходимых заготовленных фраз и быстрое достижение лимита ресурсов.

Совсем другое дело, если не использовать макросенсоры, а всегда базироваться на корнях-окончаниях. Это дает возможность гибко дополнять фразу, не используя дополнительную память.

Например, для корня “как” могут быть продолжения:

как

дела | настроение | успехи | найти | суметь | т.д. причем все это – уже имеющиеся наборы из сенсора слов.

Теперь для каждого из них может быть ветвление, например, для “суметь”:

убедить | убить | порадовать | ответить | и т.д.

А для этого уровня – свои возможные продолжения. Например, для “порадовать”:

тебя | себя | того | и т.д.

Понятно, что максимальный уровень в ветке будет равен длине полной фразы. И еще понятно, что число уровней будет не таким уж большим – по числу слов в разных фразах.

Обучение происходит в строгой последовательности. Если с Пульта пришла фраза: “Как я могу тебя порадовать”, то сначала запишется слово “как”. В следующий раз слово будет распознано и может дополниться следующим и когда будет исчерпана длина фразы, то такая ветка будет активироваться уже вся моментально.

Конечно, начинать нужно не со слов, а с совокупностей возных условий, создающих контекст понимания фразы:

плохо, нормально, хорошо, игра, обучение, нет энергии, гон и т.п.

В базе дерева три узла: плохо, нормально, хорошо

Каждый из них ветвится на сочетания условий (игра, обучение, нет энергии, гон и т.п.), как оказалось – от оного до трех сочетаний достаточно. Эти сочетания – фактически эмоции (в отличие от гомеостатических контекстов значимости) – то, что Бот должен мочь произвольно активировать.

Следующий уровень – разные действия с Пульта: наказать, поощрить, накормить, успокоить, поиграть, поучить и т.п.

Для каждого предыдущего уровня узла – должны быть – все эти действия.

И только теперь пойдут уровни слов.

Вот для узлов слов оператор должен мочь задавать авторитарные жесткие автоматизмы: последовательности слов, действий, заготовленных фраз и уже имеющихся автоматизмов. Это – период авторитарного, безусловного обучения. Потом эта функция может использоваться, когда Гомункулус не знает, как ответить, но отвечать нужно и он задаст вопрос: “как я должен поступить?”.

После накопления достаточного опыта Гомункулус начнет сам формировать ответы, исходя из доступного ему опыта узлов дерева и эпизодической памяти – на основе уже ментальных автоматизмов и развивать их.

И какой рефлекс с ним свяжется? Идея с деревом очевидно более выгодна, так как позволяет на лету собирать "макросенсор" из ограниченного набора простых сенсоров. Но я не догоняю, какие реакции вешать на узлы дерева и как они в конечном итоге будут собираться в конечную реакцию-фразу бота. Мне видится 2 варианта:

• как - ?
• я - ?
• могу - ?
• тебя - ?
• порадовать - ?

А потом из этих ? каким то образом получить итоговый рефлекс. Либо так:

• как - ?
• как я - ?
• как я могу - ?
• как я могу тебя - ?
• как я могу тебя порадовать - ?

У меня при определении реакции сначала ищется пусковой макросенсор по полному совпадению фразы, потом по ее частям, потом по синонинам - и все что нашлось пытается запуститься. В итоге если есть рефлекс на слово "привет" - от он будет запускаться на все фразы где оно встречается. Это в принципе похоже на твой способ построения составного макросенсора. Но не могу понять, как ты цепляешь ответные слова-рефлексы к отдельным словам фразы - а потом получаешь итоговую фразу. На слово "как" может быть огромное число вариантов - и ты их все прописываешь?

>>не догоняю, какие реакции вешать на узлы дерева и как они в конечном итоге будут собираться в конечную реакцию-фразу бота. 

Каждый узел – структура, где есть IDавтоматизма. Автоматизм – тоже структура, в которой прошита последовательность действий. У автоматизмов – свой файл, у дерева – свой, у эпизодической памяти (структура, хранящая IDузла дерева) – тоже свой.

Активная ветка дерева со всей последовательностью уровней – и есть образ текущего момента, где видно, какие условия ее активировали и какие слова. Последовательность слов дают фразу.

По каждому действию с Пульта переактивируется дерево и в процессе - собираются фразы. Очень важно сохранять эту активность действий некоторое время (у меня раньше было 10 секунд, сейчас 2 секунды), но не оставлять постоянной. Я назвал это – “доминирующем текущим контекстом” или первичной “эмпатией”. Именно по каждому такому события и переактивируется дерево. А в промежутках Гомункулус может заниматься отложенными доминантами нерешенных проблем или просто ничего не делать (лень).

По каждой активности очень полезно на Пульте иметь картину активной ветки со всеми ее уровнями и тоже – конечную фразу, без этого очень трудно все отлаживать (не помогут точки прерывания дебаггера). И в этом же радекторе удобно проводить жесткое обучение – записывать автоматизмы по итогам активной ветки, для любого его узла.

>>На слово "как" может быть огромное число вариантов - и ты их все прописываешь?

Они прописываются по мере необходимости, а не сразу, по мере формирования дерева. Для безусловного уровня обучения полезно, чтобы ветки формировались по текущей новизне за один раз, а на период инициативы Бота – более консервативное условие, чтобы дерево не забивалось мусором. Мало того, если в узле есть счетчик частоты использования, то можно забывать почти не используемые, - пусть если нужно сформируются.

Не думаю, что в принципе можно придумать что-то более экономичное для ресурсов и эффективное.

Если прописывать реакцию только на активность ветки дерева, то ветка будет по сути тот же макросенсор. Потому как без разницы из чего он состоит - ID узлов или ID сенсоров. Но если на каждый узел вешать рефлекс, не обязательно в виде слова, но также например в виде эмоции, фрагмента слова, и сделать ветвление рефлексов зависимым от активностей узлов - тогда получим более продвинутый интерфейс. С матрицы сенсоров поступает фраза-раздражитель, она активирует ветку в дереве-распознавателе, а при последовательной активации узлов дерева возникает активация рефлекторной ветки. То есть на каждый узел дерева может быть прописано множество рефлексов, которые активируются комбинацией вышестоящих узлов, которые задают фильтр выбора. В идеальном варианте на конечный узел ветки должен активироваться итоговый рефлекс. А если нет, то надо вводить блокировки в узле или вышестоящих узлах, поправляя ветвление.

Еще более интересный вариант - попытаться формировать ответный рефлекс-фразу в виде комбинации ее обрывков, которые активируются в узлах по тому же принципу, что выше. Тут очевиден существенный выигрыш в объеме данных, необходимых для формирования рефлексов. По аналогии делать стеновые плиты разных размеров, или сделать кирпичи, и складывать из них плиты любых размеров. Если конечно удастся подобрать фрагменты рефлексов и правильно разместить их в узлах.

А если вывернуть дерево наизнанку то получим дерево прогнозов, которое можно так же ветвить, активирую рефлексы и смотреть, какие на них были пусковые стимулы. Я правильно понимаю твой фэншуй? Только я все равно не догоняю, зачем надо выдерживать активность ветки 2с.

В структуре узла дерева есть один IDактуального автоматизма – который выполняется сходу при активации последнего узла активной ветки. Но с опытом накапливается массив признаков значимой новизны и если в активном узле есть такая несвойственная ему новизна, то умолчательный автоматизм не выполняется, а сначала вызывается функция осмысления, где будут просмотрены узлы с такой новизной и неудачей. Если нашлось, то нужно выбрать более удачное продолжение для такой новизны и если не нашлось начать придумывать действие (доминанта нерешенной проблемы).

т.е. в каждом узле дерева есть int– удачность отработки умолчательного автоматизма. И int– число проверенных результатов (уверенность).

При каждой активации узла пишется новая структура эпизодической памяти с idданного узла, так что можно легко выбрать весь прошлый опыт с данными условиями.

К данному узлу, кроме умолчательного IDавтоматизма может быть привязано неограниченное число других автоматизмов – попыток совершения действия в данных условиях, своих и чужих, с результатом успешности.

Все это – очень полезная инфа для обработки. Самый успешный автоматизм становится текущим умолчательным.

Кстати, ты задавал вопрос: “как они (узлы) в конечном итоге будут собираться в конечную реакцию-фразу бота”. Это – очевидно: самый последний активный узел ветки имеет самое последнее слово и он может стать активным только тогда, когда есть все другие слова в порядке их последовательности в узлах.

На дальнейшие перспективы возникает проблема обработки очень длинных предложений и понимания смысла очень длинных текстов, чем типа занимается поясная извилина. Это пока – в тумане, но уже есть естественные версии решений – произвольное переключения активности веток с более мелкими фразами по мере прочтения большого текста и т.о. появления общего смысла (последовательности того, что показывают конечные активные узлы при таком переборе). Кроме темного леса мыслительных автоматизмов – это – далекая перспектива, которую уже нужно учитывать.

В игровых ИИ или “навыках” Яндекс-Алисы и т.п. самым актуальным является построение естественных диалогов. Использовать разного рода ветвления – гиблый для программиста путь, приводящий к предопределенным диалогам.

Но с появлением собственных жизненных параметров и сенсорики текущих условий построение диалогов становится контекстным, минимизированным по ресурсам и затратам на обучение и, главное, имеет универсальный механизм дерева контекстов понимания-реагирования.

Уровень авторитарного обучения диалогам это – не предопределенная прошивка заготовок, а результат естественного общения, когда оператор подсказывает Боту ответы для данного сочетания условий. При этом запоминаются не фразы целиком, а они раскидываются по узлам дерева так, что одно и то же слово может использоваться во множестве разных веток.

Закончил уровень авторитарного обучения и теперь можно переходить к механизмам произвольности (инициативы Бота).

Думаю, сначала ограничиться только одной темой, хорошо ее сформирую в Дереве, чтобы Бот получил достаточно опыта для сопоставлений и обобщений, и тогда начну отладку режима инициативы.

Дополнительные сведения по Дереву Понимания.

В природной реализации мозга заранее формируются образы восприятия, связанные с рефлекторными ответными действиями для данных условий. Это могут быть образы бабушек, мальчишек, самого себя и т.п. которые оказываются связанными в дереве понимания с другими образами через образы взаимодействий: мальчишка помог бабушке.

Даже до существования слов такая связь формируется при наблюдении за объектами внимания. А со словами она дополняется символьными образами – синонимами так, что подлежащее заменяет образ объектов внимания, а глаголы – образы взаимодействий между ними. Прилагательные уточняют образы, привнося дополнительные параметры условий. Если человек знает несколько языков, то у него возникают множественные словесные синонимы, но даже в одном языке есть немало полных синонимов для одного образа.

В схеме Бота нет образов, построенных на зрительных, слуховых и т.п. модальностях. Это напоминает состояние слепоглухих, которые вполне возможно обучать (существуют соответствующие школы). Все образы заменяются уже готовыми словами (от сенсора слов), действия – от сенсоров глаголов, а уточнение образов – от сенсоров прилагательных. Каждый словесный уровень Дерева понимания – одно слово (или символ или окончание). Сенсор полных синонимов позволяет заменять одно слово другим, сохраняя смысл (связанную со словом значимость в данных условиях).

Таким образом, связанные одной веткой слова в определенной фразе позволяют получить смысл целой фразы – как взаимодействия существительных через глаголы. Например, для данных условий от узла Я могут быть множество ответвлений через глаголы или прилагательные, формирующие общий смысл понимания. Для других условий эти смыслы могут быть совершенно другими.

В качестве Я самого бота выступает особая функция – центр инициативы Бота (homunculus.go), которая может произвольно активировать любые ветки Дерева, в том числе ветки со словом Я. Т.е., как это происходит и в природной реализации, самоощущение может исходить из любых образов понимания (можно легко представить себя хоть мудрым камнем у дороги), но в норма остается понимание, что это – только временно и сохраняется адекватная персонализация.

Я думаю единственный способ сохранить адекватность восприятия это сверка с реальностью, которая лучше всего делается в автоматическом, рефлекторном режиме без привлечения всяких лобных премудростей. У бота одновременно бурлят два потока: рефлекторная обработка внешних сигналов и внутренняя, через мыслительные автоматизмы, собственных активностей. Куда в итоге поведёт ветвлений в дереве понимания зависит от значимости направляющих стимулов при активации узлов дерева - эмоционального фона. Если "подкрутить" соответствующий ползунок какой либо эмоциональной составляющей можно легко улететь в астрал, а если ползунок заклинет - там и остаться навсегда. То есть проблема с адекватностью - это проблема активации/гашения эмоционального фона. В норме он должен быть сильно энергозатратным, чтобы быстро истощать нервную систему для срабатывания аварийных датчиков, которые как предохранительные клапаны сбрасывают пар и возвращают эмоциональное давление в норму. 

Тут один важный момент: перед запуском автоматизма он сначала проходит через отслеживающий режим Гомункулуса и если того ничто не возмутит (нет важной новизны, которая заставит приостановить выполнение и искать более подходящее), то автоматизма выполняется, ПРИ ЭТОМ БЛОКИРУЯ любые другие рефлексы (кроме самых базовых). т.е. нет каких-то противоречивых одновременностей в реагировании. 

Самые базовые рефлексы занимаются распознаванием текущих базовых контекстов значимости, и с ними определяется какая ветвь Дерева готова для активации. Но у Гомункулуса есть возможность произвольной переактивации веток, т.е. изменения эмоционального состояния. А подкрутить можно на Пульте только текущее состояние жизненных параметров. Если ты имеешь в виду под "подкрутить" такую произвольность то да, можно активировать совершенно неподходящие эмоции, и да, по результату Бот получит Хуже и Лучше, что позволит ему судить, была ли правильной подкрутка.

Я имел в виду, что должен быть какой то механизм, не позволяющий смешивать реальность с фантазиями. Какая то настройка, ползунок, сдвинув который можно легко выпасть в неадекват. И предположил, что таким ползунком может быть эмоциональный фон. Фантазируя бот может так возбудиться, что переключит реальный (адекватный) эмоциональный контекст на свой фантазийный и вылететь в неадекват. Стало быть должен быть механизм возврата в исходное состояние. Я предположил, что это может быть нервное истощение. Иначе бот так и останется витать в астрале.

Сам эффект не адекватного восприятия неизбежно следует из развития нервной системы до уровня прогностического анализа. Как только начинается активность внутренних моделей понимания возникает риск, что она перекроет активность старого, рефлекторного реагирования. 

Любое субъективное моделирование - неадекватно реальности потому как им управляет не реальность (а как именно выделять корреляты реальности?), а подбирается что-то новое для своего поведения, конечно, только после пробы такого поведения станет ясно, подходит ли оно для данных реальных условий.

Такой подбор должен быть прагматичным, а не быть самоцелью генерирование всякого бреда, т.е. направление мышление должно иметь определенную цель, а не быть бесцельным. Цель на уровне психики - получение состояния Хорошо (другого критерия выбора направления мышления там просто нет).

Значит у бота тоже нет никаких механизмов препятствующих выпадению в неадекват, как и у природных особей. Все определяется личными предпочтениями. Единственный способ не сойти с ума - просто не делать этого без веских оснований. 

Можно ввести такие механизмы если понадобятся в конкретных случаях.