Тема форума: «Бот на ГО»

Всё забываю спросить. Вы не думали натравить существующие LLM сети на тренировку Beast?

Для этого, правда, нужен консольный интерфейс к Beast, а в остальном там, вроде, всё не сильно сложно должно быть. Тем более, что скоро Яндекс свою LLM в облако обещает выкатить. Я, правда, с ней не работал ещё. Запросил доступ к API, но его пока не дали.

Что-то в этом есть, согласитесь, LLM отыгрывает агента, который обучает гомеостатического робота :)

Прямо весь проект изучало? Было бы интересно посмотреть на такую документацию. Какое ПО для этого использовал?

Это все равно, что натравить какую-то там сеть на воспитание ребенка.

Наработки по нейросетям можно было бы использовать для получения набора базовых рефлексов, которые мы пока забили вручную. То есть сымитировать процесс эволюции, когда методом случайного тыка подбирался нужный рефлекс. Только в этом случае эволюция заменена статистической обработкой огромных массивов данных, прошедших проверку реальным использованием - чтобы выявить простейшие рефлексы общего плана, которые можно было бы считать базовыми. И даже создать конфигурации для разных задач, типа разные виды существ с разным набором врожденных рефлексов.

Если же пытаться использовать нейросеть вместо родителя, получится примерно то, что проигрывали в фэнтезийных фильмах, когда например у робота сбилась программа, он перешел спонтанно в режим самообучения и решил изучить человека: схватил его, выпотрошил, и стал разбираться, как у него там все устроено. Или когда пришельцы похищают людей и начинают проводить над ними садисткие опыты.

То есть учитель Beast тоже должен быть "гомеостатическим", иметь аналогичную систему значимостей, иначе он его просто равнодушно "выпотрошит". А у нейросетей этого нет, там "расчлененка" произойдет "машинально". Тут видимо будет идти к тому, чтобы "однотипные" Beast учили других Beast. То есть не кошки собак, а кошки кошек, собаки собак и т. д. По сути речь о создании симуляции определенных групп социума Beast.

По факту уже на второй стадии возникают сложности. Казалось бы, чего проще: используя механизм отзеркаливания Beast копирует действия оператора, выдает их в виде ответа. Оператор соответственно поощряет или наказывает - всего и делов. Однако всякое действие оператора тут же меняет состояние Beast, кроме того оно само меняется по "естественным причинам" работы каких то внутренних систем (мы это симулировали через ритмичное изменение гомеопараметров при пульсации). И даже ответные действия Beast тоже меняют его состояние. И получается, что воспитательные действия оператора воспринимаются им в отрыве от действий Beast потому, что они в разных состояниях - а должны быть в одном, чтобы образовать причинно-следственную цепочку. В итоге связи между действием и оценкой не образуется.

Для решения проблемы пришлось вводить особый контекст обучения - игровой режим, в котором Beast как бы заторможен и не реагирует изменением состояния на действия оператора. Хотя правильнее сказать, что отходчивый. Если ученик будет обижаться на замечания учителя - обучения не будет. Но так как в начальных стадиях бессмысленного реагирования невозможно осознанно прийти к такому пониманию потому, что сознания еще нет, остается только рефлекторно активировать игровой режим. Который кроме отходчивости подразумевает еще и авторитарность: действия учителя априори правильные.

>>> (Palarm) Казалось бы, чего проще: используя механизм отзеркаливания Beast копирует действия оператора, выдает их в виде ответа. Оператор соответственно поощряет или наказывает - всего и делов. Однако всякое действие оператора тут же меняет состояние Beast, кроме того оно само меняется по "естественным причинам" работы каких то внутренних систем (мы это симулировали через ритмичное изменение гомеопараметров при пульсации).

Ну как бы да... 

Возможно, GPT4 нянька могла бы решать эти задачи, но вам тогда прийдётся мастерить из LLM полноценного агента. Есть кодовые базы типа AutoGPT, которые добавляют к LLM контекстную эпизодическую память (retrival), целеполагание и самокритику, ну и сам GPT4 из коробки решает Theory of Mind задачи лучше среднестатистического человека, то есть LLM, возможно, сможет верно вербально описать состояние гомеостатического робота и учесть это в принятии решения.

На сегодня есть масса эксперементов с агентами на базе LLM, вплоть до того, что создают целые виртуальные деревни, где живут существа с "желаниями", "целями", "эпизодической памятью", "рабочей памятью".

Вот запись жизни такой деревни (посмотри виртуальный мир, он красивый):

https://reverie.herokuapp.com/arXiv_Demo/#

Там можно посмотреть состояние каждого агента, его мысли, события в его жизни, планы, воспоминания etc.

Вот статья:

https://arxiv.org/abs/2304.03442

Вот очень хороший разбор на русском языке:

https://t.me/gonzo_ML/1481 - там длинный глубокий разбор на несколько постов.

Основная проблема в том, что GPT4 на сегодня очень дорогой инструмент. GPT4 нянька скорее всего обойдётся в несколько тысяч долларов в месяц и для доступа к ней нужна зарубежная дебетовая карта и сервер. ChatGPT в десятки раз дешевле, но не факт, что он сможет сколько нибудь адекватно симулировать гомеостатического робота (агентность). YandexGPT подойдёт разве что для уровня формирования примитивных рефлексов.

Но это сегодня так, всё меняется очень быстро.

В общем, я не утверждаю, что это правильный путь. Просто, хотел этот подход поместить в зону вашего внимания. Может в какой-то момент эти LLM c привинченной через пень колоду "агентностью" созреют до нужного вам уровня. Потому что, насколько я понимаю, людей на обучение Beast найти достаточно сложно.

>>> (Nan) Было бы интересно посмотреть на такую документацию. Какое ПО для этого использовал?

Я тебе пришлю в телегу ссылки на генерации, когда смогу восстановить результаты. Сейчас они отключили у GPT4 это функцию, потому что модель воровала приватный платный контент на сайтах. 

Я месяца два назад дал GPT4  прочитать пару твоих статей через ссылки на них, попросил его ответить на пару вопросов. Он не просто читал статьи, а шастал в них по ссылкам, то есть робот читал тексты, на которые твоя статья ссылается. Потом дал ему ссылку на github ваш и попросил объяснить мне код с учетом тех статей, которые он прочитал. Он объяснял. Не всё получалось с первого раза, технология сырая, дорогая. Пользовался я интерфейсом chat.openai.com платной версией с моделью GPT4 имеющей доступ к интернет. 

Сорри, что редко пишу. Я вас больше читаю, чем пишу. Время такое, что силы остаются только на работу.

Только если подобное решение уже было кем-то решено и есть в базе. И это не есть теория разума. Такая теория в мире буксует уже на уровне понимания связи привычной части реагирования и формирования новых реакций. А эта связь определяет все остальное, без ее особенностей говорить о целях, ощущениях, смыслах совершенно не корректно. Да, можно что угодно просто назвать целью и играть с нею, ну, как К.Анохин просто назвал мозг когнитомом, и что с того в практическом плане? 

Есть сколько угодно компьютерных игрушек с разной степенб продвинутости ИИ, но все еще нет общепринятой интегральной теории разума. Вопрос в том, насколько адекватно все эти образования следуют основным принципам развития механизмов адаптивности - главный в верификации издения.

Ознакомился. "Записи в базе и умозаключения агента идут на естественном языке, " Язык вообще не имеет первичного значения в процессах нахождения варианта реагирования. Ошибка в том, что все основано на языке все еще довлеет. Ну и как же тут формально не использовать языковую модель? Опыт - это Правила типа причина - Следствие - Эффект для личности. И это - всего лишь начальный уровень осознания - до мышления. А вот если нет подходящего опыта?... тогда и начинается мышление.

Чтобы не биться о стекло нужно начинать с построения общей теории на основе данных о природной реализации и пробовать ее воплощать в конструкцию.

Да, спасибо, любые попытки воплотить разум интересны и их нужно изучать по сути пока не наткнешься на явный тупик. 

Вот это очень интересно, особенно вопрос как самим использовать такой инструмент? Какое ПО нужно? Нам очень нужно освоить верификатор кода целого проекта.

Если уж подключать к проекту нейросети, то правильнее было бы создавать с их помощью симуляторы реальности, в которые запускать Beast и пусть он пытается там адаптируясь выживать, что означает активацию поискового, пищевого, оборонительного, агрессивного и репликационного поведения. И тогда можно было бы моделировать эволюцию, проверяя и создавая адаптивные механизмы, не тратя на это миллионы лет.

Суть проекта - не создать максимально достоверную симуляцию какого то животного, а проверить правильность компоновки и последовательность развертывания адаптационных механизмов в процессе формирования живого субъекта. Ведь главная загадка жизни и разума - не то, как это работает, а как это появилось. И тут только эксперимент, имитирующий процесс эволюции, способен дать богатый материал для осмысления, а для этого должна быть теория, объясняющая принципы построения живых самоадаптирующихся систем.

Мы пытаемся подстегнуть интерес в этом направлении, предлагая прототип такой системы, которая последовательно, по стадийно, начинает разворачиваться от простейшего рефлекторного бессмысленного реагирования к осознанному. Это не Лунтик, который вылупившись из яйца сразу способен к осознанному реагированию. В реальности такого нет. Чем сложнее животное, тем примитивнее и беспомощнее у него детеныши. И на это есть причины.

Чем ниже стадия – тем более примитивны механизмы обучения. Потому, что чем проще механизм – тем он надежнее и стабильнее результат. И если надо уверенно закрепить базовые навыки, то эффективнее это делать на более низком уровне развития более простыми механизмами. Даже если при этом образуются лишние, заблокированные в процессе обучения реакции.

На начальных стадиях 1, 2, 3 автоматически активируется игровой режим обучения, когда Beast не реагирует изменением состояния на эффект действий кнопок, иначе образуется много неадекватных автоматизмов. Но в 4 стадии добавляются более продвинутые механизмы обучения, которым уже нужен переход из одного состояния в другое при действии кнопок, что является естественной реакцией. Поэтому  игровой режим в 4 стадии активируется произвольно специальной инфо-функцией (это пока еще не реализовано). Однако если нет базовых автоматизмов, на основе которых строятся более сложные, то попытка их создать в 4 стадии в обычном режиме приведет к еще большим негативным эффектам, чем в предыдущих. Здесь уже более отчетливо проявляется правило: чем проще автоматизм, тем на более низкой стадии он должен быть создан.

В данной версии реализации живого существа Beast существенно упрощена реализация двух механизмов, по причине их не принципиальности в плане точного соответствия реальным. Достаточно просто самого результата их работы. Это:

1. Способность распознавать простейшие примитивы в стимуле
2. Способность точно воспроизводить стимул – отзеркаливать внешние действия

В реальности, детеныш не создает вербальные сенсоры сразу же в виде точных распознавателей, а формирует сначала множество ошибочных, из которых статистической обработкой выделяет наиболее вероятные, которые не обязательно 100% правильные. При этом новые сенсоры создаются с учетом уже сформированных, например, если вместо звука «а» распознался и зафиксировался сенсор «я», то уже на слоги «ма» будут формироваться сенсоры «мя». Вот почему так сложно избавиться от акцента, изучая иностранный язык.

Еще более сложная проблема в природной реализации – повторить действие. Тут мало того, что нужно корректирующими рефлексами мозжечка правильно составить последовательность действий с нужной энергичностью, что делается не с первого раза, так и сами воспроизводимые действия не точны изначально, потому как распознаватели не точны. И кроме того, успешность повтора так же не точно оценивается. То что последствия после действия стали лучше, вовсе не значит, что действие точно такое, какое должно быть – оно может быть просто похожим и примерно допустимым.

В итоге получается, что в реальности, в первую очередь по причине невозможности точно отзеркалить внешний стимул, не возможны схемы обучения, которые рассмотрены для 1, 2, 3 стадий. Это идеальные условия, которые в реальности не возможны в принципе. Именно наличие вышеописанных проблем и приводит к тому, что из всей массы вариантов реагирования на стимулы в начальных стадиях в итоге фиксируются только простейшие реакции, как наиболее легко воспроизводимые и статистически устойчивые. А мы это просто повесили на Оператора.

Однако в программной реализации нет никаких проблем точно воспроизвести стимул – и нет проблем даже на 2 стадии создать любые автоматизмы, хоть со словами, хоть с фразами и предложениями. Что изначально приводит к «химеризации» Beast. Программная реализация –  это всегда построение существа иными, не природными средствами, но для развития эффективности адаптивных механизмов используются те же, что в природе, принципы. Программное существо имеет свое право на существование, как альтернативная конструкция, по многим свойствам не похожая на реальные био-конструкции и многие возможности в программной реализации несопоставимо выше, чем в природной, как если сравнивать природный глаз и фотоаппарат.

К сожалению, для тех, кто не в теме (т.е. буквально для всех) озвученное спорно и не очевидно. Нужен личный опыт работы в этой проблематике.

Годовой отчет по теме почти готов, но задерживается, т.к. ждем публикацию итоговой статьи в журнале.

Коротко можно сказать, что модель отработана во всех основных принципиальных механизмах адаптивности, исходный код доступен полностью (он был практически во всем оптимизирован), основные шаги воспитания описаны в Инструкции.

Самым важным явилась детальная отработка циклов мышления,  и там открылись неисчерпаемые перспективы для совершенствования в виде информационных функций, но мы с Palarm решили пока не углубляться в столь глубокие детали.

Очень интересным оказался вывод о повсеместной организации основных элементов памяти в виде древовидных структур.

А в вопросе организации процессов осознания и их субъективной стороне (квалиа) закрыты все непонятки (об этом изложено в ожидаемой публикации статье и пояснительном обобщении), причем, это уже не философские догадки и предположения. а отработанные на действующем прототипе, верифицированные принципы.

Мы очень критично подошли ко всем перечисленным аспектам и результирующим обобщениям, специально стараясь фальсифицировать модели представлений, обращаясь ко все новым фактическим данным исследвоаний по теме так, чтобы максимально не вводить себя в заблуждение уверенностью, но все очень надежно складывается в ясно складывающийся пазл.

В результате появились популярные статьи про суть субъективного самоощущения, обобщением которых стала статья Суть самоощущения, хотя это не сделало понимание сути сознания более легким, но оно стало определенно возможным.

Тема мало кого интересует в настоящее время перемен и массового одурения народа... что во многом выражается в профанации среди ученых академической науки. Но "трудная проблема сознания" приоткрыта и, как и предполагал К.Анохин (по "когнитому" Анохина готово обобщение и будет опубликовано после выхода ожидаемой статьи в журнале), теория, описывающая суть явления, основывается на простых и ясных принципах.

Когда-нибудь в мире удастся преодолеть множество негативных явлений, мешающих развитию культуры и науки, люди перестанут тратить огромные ресурсы на войны и конкуренцию, и тогда интересы с мелочного хайпа и узко-практичных сторон расширятся в область фундаментальных принципов. Люди станут интересоваться в самом деле значимыми идеями, как это уже было при коммунизме, когда очень многие выписывали научные и популярные журналы.

В общем, всему свое время :)

Для углубления понимания, почему схема Beast построена именно таким образом, сделано обобщение по системе гомеостаза: как в процессе филогенеза возникли базовые состояния, базовые контексты и почему интегральный пусковой стимул удобнее представлять в виде дерева.

Для наглядности понимания создана обзорная статья "Принцип процесса осознания" (fornit.ru/67865) c демо-анимацией (fornit.ru/an-book-21)

Лаборатория схемотехники адаптивных систем  МВАП  fornit.ru/67990

Замутили телеграм-канал: https://t.me/thinking_cycles 

Отчет по системе индивидуальной адаптивности Beast за 2023 год и начало 2024-го: fornit.ru/68458

Наконец-то опубликована наша главная статья в научном журнале. Это уже пятая статья в рецензируемых журналах, все на крутые, почти эпатажные для академиков темы.

Ссылка на страницу анонса статьи: fornit.ru/68545, сама статья fornit.ru/artC (полная версия - http://intjournal.ru/wp-content/uploads/2024/07/Mezhdunarodnyj-ZHurnal-6-3.pdf).

В форме междисциплинарной популяризации написаны книги "Рефлексы" (fornit.ru/68661) и "Субъективность" (fornit.ru/68364). В процессе - книга "Бессознательное".