Тема форума: «Нейросимулятор»

автор: Palarm сообщение № 46361:

У меня было предположение, что изначально все связи тормозные, потом при активации становятся возбуждающими.

У тормозного синапса - свой медиатор, у возбуждающего - свой. Синапс не может изменить свою сущьность.

автор: Palarm сообщение № 46361:

При симуляции самообучения ведь это тоже надо заложить.

Взаимное торможение соседей в слое - очень важно.

А как ты предполагаешь определять, где какой синапс будет?
Это ведь должно происходить автоматически при созревании нейрона. Я предположил, что тип синапса формируется при созревании, и это зависит от частоты его раздражения.

соседние нейроны в слое соединены через взаимно тормозящие (точнее там вставочные тормозные нейроны) это - обязаловка. Больше тормозного влияния нет в распознавании, - принцип сита.

Если вставочные нейроны в одном слое с основными - значит они соединены не аксон с дендритом, а дендрит с дендритом? Такое разве возможно? Иначе получится, что вставочный нейрон детектирует нейрон слоя словно буфер, если будет связь аксон-дендрит.
И на что реагирует вставочный нейрон - на те же рецепторы, что основные? То есть он отличается только тем, что передает в связанный с ним нейрон тормозной нейромедиатор а не возбуждающий? Сам возбуждается как и все - но тормозит остальные?
А что тогда значит взаимное торможение? Обычный нейрон выхолит тоже тормозит тормозной такими же тормозными нейромедиаторами?

Вообщем по всему выходит, если представить схему по твоему "взаимному торможению", что нейроны "сцеплены боками" дендритами через тормозные синапсы, которые есть у обоих. Но почему тогда один из них называется тормозным, а другой нет? Чего то у меня бардак в голове...

автор: Palarm сообщение № 46367:

Нет, рассматривай вставочные нейроны как случачяно оказавшиеся доп. нейроны в слое. И они тоже созревают и генерят. Отличие - в тормозных синапсах, которые устанавливаются при ветвлении нейронов слоя к их аксону.

Для наглядности представим вертикальный слой нейронов.

Возбудился нейрон слоя (может тоже только что созрел) и начинает укрепляться тормозная связь. А, с другой стороны, дендриты тормозного нейрона ветвятся в направлении активности другого соседа в слоя и с ним устанавливается тоже связь. В идеале между двумя соседними нейронами слоя расположены два вставочных, один из которых повернут аксоном к верхнему нейрону слоя, а другой - к нижнему. И они обеспечивают взаимное торможение.

Ну, может где-то будет два повернуты к верху, а где-то ни одного.

В общем, нужно исходить из того, что боковое торможение в слое есть реально.

Shyema_lat.png

Тормозные нейроны Т1, Т2, Т3 своим отрицательным воздействием снижают суммарный вес входов у нейронов N1, N2, N3. В итоге активным остается только N2. Хотя N1 и так бы не включился, но так он уже наверняка будет заглушен. Но где тут "взаимное торможение"? Здесь только T(i) тормозят N(i) - а вот наоборот, от N(i) к T(i) никаких тормозов нет. Тоже самое во второй группе связей.

автор: nan сообщение № 46368:

один из которых повернут аксоном к верхнему нейрону слоя, а другой - к нижнему

А дендриты тормозных нейронов к чему прицеплены?

автор: Palarm сообщение № 46369:

Но где тут "взаимное торможение"?

Прочитай про латеральное торможение. Сейчас некогда искать конкртыне примеры...

Задачу с реализацией тормозного взаимовлияния в слое решил и уже реализовал. Но если предложите свой вариант, было бы интересно.

Запилил графическое отображение нейросетки пока по типу шестигранника. Потом думаю добавить еще варианты. Потом объясню, что имею в виду.

Выглядит красиво, но концепция мне пока непонятна: как выглядят сенсоры первого слоя? или они все - первого слоя? Еще вопрос: как задавать веса связей? хотя если использовать только режим самообучения, то они сами будут формироваться.

Чисто технические моменты. Ты используешь обновление страницы (а не AJAX), но тогда можно не использовать графику HTML5, а прямо рисовать клиенту как элементы страницы, с подсказками, реакцией на щелчки и т.п. в этом был бы плюс, а минус в том, что при самообучении придется перезагружать страницу и возможно блинкование.

Как ты считаешь, возможно ли такое представление в случае матриц рецепторов и эффекторов с таблицей связей, внизу, вместо вертикальных слоев со связями?

 2 главных момента, почему именно такая отрисовка мне кажется оптимальной:

 

1. рисование вертикальной/горизонтальной линейками очень плохо читабельно, так как связи перепутаны, значений весов практически не видно. В сотовой схеме все связи и все цифры весов видны. При желании можно легко масштабировать схему (я закомментил пока установку параметров, но как можешь посмотреть в коде страницы - можно очень гибко настраивать рисунок. Туда еще можно добавить настройку длины/ширины области рисования и координаты опорной точки)

2. ты сделал перекрывание связей только между 2 рецепторами, хотя на самом деле нейрон охватывает рецепторы не только сбоку, но и сверху/снизу. То есть рисунок ромашкой, где в центре аффектор, а по периметру, рецепторы - так оно и есть в реальности.

 

Этот рисунок не единственно возможный, я потом попробую добавить еще вариантов. Просто 6-гранник - оптимальная структура для максимально плотной равномерной упаковки элементов. Я думаю, именно такая решетка связей возникла бы в реальности в идеальных условиях, если бы все нейроны были строго одинаковы по свойствам и матрицу сенсоров возбуждали бы равномерным фоном.

автор: nan сообщение № 46410:

а прямо рисовать клиенту как элементы страницы, с подсказками, реакцией на щелчки и т.п.

Я планировал в будущем вообще убрать таблицы с экрана, оставив только такую сетку. Тогда можно сделать интерфейс активации рецептора щелчком по нему, смену веса ДБ-кликом по цифре и вводом в появившемся поле. Можно и смену связей сделать, например щелкнув один элемент, потом другой и выбрать пункт меню "установить связь". Я вообще поначалу думал сделать просто конструктор, где из меню выбираешь элемент (рецептор/аффектор или даже готовый блок со связями) - кидаешь его драг-дроп на экран, потом рисуешь связь. Но потом подумал: правильнее все же отталкивать от того, чтобы связи рисовать сразу и окончательно как оптимизированную решетку и менять только веса. В самом деле - зачем собственно иметь возможность устанавливать связь между любым рецептором/аффектором? Ведь нейрон в реальности все равно устанавливает связи только с близлежащими а не с любыми рецепторами. И так же не вижу особого смысла программировать создание связи по аналогии с реальностью: когда отросток нейрона тянется к ближайщему активному рецептору. Потому как в реальности думаю на 2/3 получается просто каша бестолковых связей - ведь соединение происходит в динамике, при постоянном мерцании рецепторов. Имхо: лучше (повторюсь) создать изначально идеализированную решетку связей, какой она была бы при идеальных условиях - и потом менять веса. Тем более, что решеток ведь может быть много вариантов.

Вообщем, думаю надо определиться с концептом: стоит ли переходить на такую структуру или оставить старую линейчатую.

 

автор: nan сообщение № 46410:

Ты используешь обновление страницы (а не AJAX)

Я лишь пару недель как более менее въехал в тему графики php, пришлось еще вспоминать свои старые наработки - а ты меня уже Аяксами пугаешь :) Я и с первой то дороги волочу насилу ноги :) Пока этот чертов алгоритм нарисовался - кстати зацени как я его через 2 процедуры на серваке закодил, а поначалу там такой писец был... Мне только вчера торкнуло: надо не из центра, а построчно рисовать, и не один элемент - а пару. Тогда все встало на свои места - и тут же появилась возможность использовать параметры сетки для рисования. Например вместо шестигранника подставить треугольник или квадрат - вообщем решеток может быть много и очень интересных. Думается, каждая из них будет задавать предрасположенность к определенной специализации, например выделять какие то частотные полосы.

автор: nan сообщение № 46410:

Как ты считаешь, возможно ли такое представление в случае матриц рецепторов и эффекторов с таблицей связей, внизу, вместо вертикальных слоев со связями?

Я тебе с самого начала про это толковал :). Но ты тогда меня не понял.

 

автор: nan сообщение № 46410:

как выглядят сенсоры первого слоя? или они все - первого слоя?

Сейчас да - это все первый слой. Зеленые аффекторы, красные рецепторы. Только надо их чуть бледнее показывать, а активные существенно ярче, чтобы выделялись. Или может не активные оттенками серого, а активные уже красный/зеленый. А второй слой думаю надо рисовать на другой странице. Имхо, отражать сразу все слои на одном листе не целесообразно - слишком много места займет. А вот на другой странице будет очень просто: зеленые кружки станут красными, а с ними уже свяжутся новые зеленые кружки второго слоя - по точно такой же решетке. А можно и по другой - тут кстати тоже поле для размышлений: стоит ли на всех слоях одну решетку использовать? Правда при такой компоновке (слои на отдельных страницах, а внизу решетки сделать например ссылки перехода по страницам типа: >) придется отказаться от нумерации элементов для каждого слоя, теперь номера будут "сквозные", то есть 10 рецептор на первом слое становится эффектором с тем же 10 номером. Иначе будет не понятно, с чем связаны аффекторы второго слоя. То есть мы просто переносим часть элементов (аффекторы) с предыдущего слоя на последующий и меняем им статус (на рецепторы). При это понятно, что решетка второго слоя будет существенно меньше, в данном случае в 6 раз, чем первого. И аффекторы с первого слоя в ней будут отражаться вокруг нового рецептора второго слоя.

автор: nan сообщение № 46410:

как задавать веса связей?

Изначально они все нулевые, при самообучении установятся конкретные значения. Потом можно их "подкрутить". То есть тут тоже концептуальный вопрос: стоит ли настраивать сеть перед обучением? Имхо не стоит, кроме как задав ей решетку. Фишка создаваемого нами симулятора (и его реального прототипа - природной нейросети) что тут ничего не задается изначально кроме некоторой предопределенности (решетка связей, параметры нейронов). Никто не может сказать точно, что получится при обучении - но в этом весь прикол. Это не программирование в привычном понимании, а развертывание сети. Про это я говорил в дневнике.

Можно в принципе и таблицу связей оставить на экране - но тогда ее надо формировать по числу связей в сетке и с прокруткой, чтобы места много не занимала. Можно и таблицу "сенсорный экран" оставить, для наглядности, если сложно организовать интерфейс активации рецептора кликом по элементу сетки. А вот таблицу результат лучше все же убрать - в ней нет особого смысла, ведь она отражает только активные/неактивные нейроны, которые и так хорошо видны в сетке.

PS:

если кому надо исходники - могу сюда выложить. Я закоментил форму установки параметров и запуск процедуры на серваке, так как там еще нет проверок ввода и чтобы не дербанить БД понапрасну - ведь данные сразу пишутся в нее, оттуда же и дергаются для отрисовки.

автор: Palarm сообщение № 46411:

Я лишь пару недель как более менее въехал в тему графики php, пришлось еще вспоминать свои старые наработки - а ты меня уже Аяксами пугаешь

Ты круто все схватываешь, а аякс - очень прост в реализации, у тебя есть примеры.

Очень интересно, что у тебя получится в итоге. 

Добавил тормозные связи между аффекторами (красным цветом), ведь вес синапса рассчитывается с их учетом и надо их так же жестко прописать, чтобы потом не париться с поиском что чего тормозит. Данные в той же таблице связей. И тоже при помощи новой процедуры на сервере. Как и планировал изначально - все буду там колошматить, у клиента только графика и интерфейс ввода.

Чтобы совсем по умному, надо бы аналогичные связи между рецепторами - они ведь тоже взаимно тормозятся. Но пока не буду, а то схема сильно загромоздится связями. Хотя подумалось, что выводить на экран нужно не весь слой, а его фрагмент - задавать диапазон вывода в настройках отображения. Тогда можно небольшой клочок вывести как образец (сеть ведь строго однородна, в любом месте схема одинакова, только веса разные) - и там уже можно по полной программе все перелинковать, увеличив до нужного размера масштаб отображения.

Так же думаю, нет смысла показывать в динамике формирование весов синапсов. Имхо, мерцания цифр мало информативно кроме как показать, что процесс идет. Правильнее обучение проводить без отображения, на максимальной скорости - а потом показывать сетку и графики/таблицы и т. п. - чтобы можно было поковырять логи, как там чего в какой последовательности самообучалось.

Вообщем может статься, что в итоге на экране от сети будет небольшой фрагмент и доп. служебная инфа.

автор: Palarm сообщение № 46413:

думаю, нет смысла показывать в динамике формирование весов синапсов.

Надеюсь, от цикла итерации ты не уйдешь, он оказывается достаточно важен дял обучения 1) в случае прерывания обучения после критерия окончания специализации данного нейрона (в случаен если он бы автоактивен) и 2) балансирования состояния взаимного торможения.

Конечно, можно и поступиться тем, что при постепенном визуальном показе будет видно как взаимно влияют нейроны, это - для чисто исследовательский интереса.

Я предполагаю, что прописывание тормозных связей в таблице сделает проще алгоритм расчета взаимного торможения. Ведь не надо определять, кто кого тормозит - это уже жестко определено.
Кстати придется таки действительно от простого php на js + ajax переходить, а то даже считать введенные юзером данные из поля без перегрузки страницы не выходит. Давно руки чесались web заняться, но то лень, то неохота, а теперь повод появился интригующий.