Познай самого себя: Оглавление
Насколько важно разобраться с тем, из чего сделан механизм, чтобы понимать, как он функционирует? Нужно ли углубляться вплоть до молекулярного состава?
К примеру, наручные часы могут быть сделаны из самых разных материалов. Один мастер творит их полностью из дерева. Предположим, что они попали к инопланетным исследователям и те пытаются разобраться как они работают. Начинают исследовать материал, он состоит из клеток древесины, имеющих сложнейшее строение. Начинаются обсуждения о том, как функциональность этих клеток обеспечивает работу часов.
Примерно то же самое происходит и в нейрофизиологии, занятой очень подробным, на молекулярном уровне исследованием нервных клеток - нейронов, их отростков, мест соединений между нейронами. Огромное разнообразие материалов и невероятная сложность затеняют собой главную функцию, которая может быть реализована вовсе даже не на клетках, а более надежно и стабильно, что и делают фирмы-производители нейрочипов.
Умение точно ограничить функциональность вне способов и материала реализации, называется системным подходом, т.е. важно понять, как работает механизм причин и следствий проявляемых данной системой, выделить это среди несущественного.
Впервые такое сделал Ф. Розенблатт еще в 1958 году, создав универсальный элемент нейросетей - персептрон (fornit.ru/1038), который сначала был смоделирован программно на компьютере, а позже и в виде элементов электрической схемы так, что функциональность распознавания образов на входе была независимой от способа ее реализации.
Но вскоре математически строго было показано, что схема персептрона не справляется в некоторых случаях с обучением для его специализации как распознавателя образа, а т.к. Розенблат трагически погиб и не смог ответить на критику и продолжить развитие концепции, то интерес к этому универсальному элементу пропал у исследователей, ведь мозг реально демонстрировал возможность обучения тому, чего не мог персептрон. Кроме того, отдельные элементы мозга, исследованные на молекулярном уровне, не обладали идеальностью модели персептрона, например, не требовали соблюдения точных значений проводимостей между нейронами, а в персептроне именно значениями таких проводимостей обеспечивалось распознавание поля образа на входе.
Сегодня критика персептрона уже несостоятельна и найдены все условия его эффективного функционирования (fornit.ru/6449). Но осадок неприятия остался, а достаточно влиятельных энтузиастов, продолжающих развитие идеи так и не появилось.
Реальные элементы нейросети - нейроны далеки от идеальности математического персептрона, но суть принципа они используют именно такую, причем настолько эффективно организовывая ее реализацию, что и сегодня искусственные нейросети на персептронах оказываются капризнее и менее надежны, чем мозг.
Как это организовано в мозге станет ясно вскоре в тексте. Пока заметить, что путь эволюционного совершенствования, который можно проследить, начиная с самых простых организмов с нейронами, убедительно позволяет верифицировать предположения, и этот путь породил множество системных находок, каждая из которых дала возможность нового качества управления нейросети, значительно превосходящего по возможностям, чем схема, просто состоящая из персептронов.
Чтобы наглядно продемонстрировать несущественность способа и материала реализации, сотворим аналог нейросети из необычного материала, который особенно подчеркивает такие особенности работы природной нейросети как охватывание нейрона и его отростков последовательным возбуждением или скорость передачи сигналов от нейрона к нейрону, которая в природном мозге ограничивается типично химическими процессами.
Для того, чтобы ясно представить, как работают в совокупности нервные клетки мозга, которые называются нейронами, нам нужен килограмм черного охотничьего пороха. Не обязательно покупать его, любой легко сможет вообразить, что произойдет. Это называется мысленным опытом.
На бетонной плите насыпем несколько одинаковых горок пороха (чтобы порох горел не мгновенно, добавим в него пудру древесного угля). Между ними проведем соединяющие дорожки: от каждой кучки к ближайшим другим. Те горки, которые оказались без входных дорожек, все же дополним, вытянем от них по несколько дорожек, ни с чем не соединенных. Вот как это примерно будет выглядеть:
РИСУНОК ПОРОХОВОЙ НЕЙРОСЕТИ (будет потом заменен на самодельный)
Все дорожки между кучками разрежем, чтобы они не соединялись, а были с некоторым зазором. В одни зазоры капнем парафин, в другие - воду, в третьи - ничего, пусть так и будут разомкнутыми.
Теперь подожжем одну из самых крайних дорожек, ведущих к первым кучкам. Огонь доберется и воспламенит кучки, от них по отросткам дорожек пойдут огненные импульсы, которые легко проходят через парафиновые разрывы, иногда проскакивают через ничем не закапанные промежутки и останавливаются у намоченных водой.
Вот точно так же распространяются энергетические импульсы в сети нейронов, только вместо энергии термической реакции в них перемещается энергия зарядов ионов. Но нейроны точно так же, как и пороховые кучки выгорают, разряжаются последовательно от точки превышения энергии некоторого порога (в порохе - температуры зажигания), и это волна энергии распространяется по всему телу нейрона и по всем его отросткам. А потом нужно какое-то время на то, чтобы нейрон опять зарядился и стал способен к новому разряду.
Небольшая начальная энергия зажигания уже неудержимо распространяется там, где может, и это похоже на то как унитаз сливает воду, когда после начального нажима кнопки вода уже сама хлещет неудержимым потоком. Такое явление изменения порога срабатывания называют гистерезисом. И нейроны обладают предельно возможным гистерезисом: чуть только превышен порог его зажигания, и он уже неудержимо разряжается. Пороговый элемент с такими свойствами называется регенеративным компаратором (компаратор - пороговое устройство). Все эти термины можно не запоминать, все будет понятно и без них.
Порог срабатывания может быть разным в зависимости от условий: или порох отсырел или стоит жара. В жару даже ничем не заполненные разрывы дорожек легко преодолеваются, а вода прервет горение.
Зачем нужны разрывы в дорожках? Без них все кучки - нейроны сгорели бы сразу вместе. Такое бывает и в мозге, когда из-за патологического понижения порога срабатывания-зажигания или других причин энергия шквалом проносится по всем нейронам подряд, вызывая эпилептический припадок.
Если разрывы с водой запрограммировать так, чтобы при поджигании определенных входных дорожек выгорали только определенные кучки, то получим устройство, определяющее именно заданный порядок поджога на входе. Это будет распознаватель определенного сочетания активных входных сигналов.
Все нейронные структуры являются распознавателями таких сочетаний. Их называют профилями входного возбуждения или полем рецепторов (выходы нейронов так же представляют собой рецепторы для последующих слоев нейронов). Как происходит распознавание определенного сочетания активностей на входе будет понятно чуть ниже на примере.
Первые ряды нейронов распознают простые сочетания, таким как отрезок линии (ряд входов подряд), точки (отдельные входы), пунктиры и т.п. и возбуждаются только тогда, когда на их входах возникает строго то сочетание, на которое они специализировались возбуждаться. За этим рядом следует следующий ряд, распознающий сочетания уже таких выделенных примитивов восприятия и так далее - до распознавания самых сложных образов, в том числе и того, как нужно действовать в данных условиях.
Именно огромное число слоев распознавателей и их взаимные влияния делает общую схему столь трудной для искусственной реализации. В мозге человека управлением его психикой занимаются десятки миллиардов распознавателей отдельных элементарных событий.
В отличие от нескольких дорожек в нашей мыслительной модели, каждый реальный нейрон имеет до 10 тысяч входных дорожек, которые называются дендритами и одну выходную, которая называется аксоном. Выходной аксон тянется к следующему ряду нейронов.
Все входные и выходные отростки являются неразрывным телом нейрона и, как пороховые дорожки и кучка, начиная гореть, вырабатываются все вместе с некоторой скоростью распространения энергии импульса по ним. Поэтому поджечь нейрон можно в любой точке его тела, превысив порог срабатывания, но чем ближе очаг распространения энергии к выходному отростку, тем быстрее импульс достигнет его. Исследователи так и возбуждают нейроны, вводя рядом с ними электрод и пропуская возбуждающий ток. И когда нейроны рядом срабатывают, возникает такая же реакция, как если бы в восприятии появился элемент, на распознавание которого этот нейрон рассчитан. Первым это проделал Гальвани, возбудив током лапку лягушки, которая от этого дернулась. Многих из нас "било" током и при этом непреодолимо сокращались мышцы.
Каждая входная дорожка - дендрит начинается с разрыва, называемого синапсом или синаптической щелью, который может быть проводящим энергию или непроводящим, а то и вообще повышающим порог, мешая зажиганию нейрона, т.е. тормозящим его активность. Это позволяет образовывать универсальные распознаватели входных профилей возбуждения.
АНИМАЦИЯ ДИНАМИКИ РАСПРОСТРАНЕНИЯ ИМПУЛЬСОВ В СЕТИ
На одном нейроне может быть построен распознаватель одной из цифр или букв, или любых других примитивных сочетаний зрительных, слуховых, осязательных, обонятельных и т.п. сочетаний воспринятых признаков наблюдаемого объекта внимания. Техническая реализация такого типа распознавателя называется персептроном, но природные распознаватели имеют более узкую функцию, чем идеальный по универсальности персептрон, что делает их более надежными и эффективными.
Посмотрим, как всего одна пороховая кучка с несколькими входными дорожками может распознавать изображение цифры.
РИСУНОК схема распознавания цифры, представленной полем активных входов (1)
Здесь активирующие щели (1) имеют свойство понижать температуру пламени так, чтобы только в случае активности всех таких щелей общая температура оказывалась достаточной для воспламенения нейрона. Другие же щели (0) имеют свойство вообще гасить возбуждение так, что стоит хоть одной сработать и нейрон уже не активируется. Получится, что нейрон активируется если активными окажутся только входы, совпадающие с начертанием цифры, а во всех других случаях он будет "молчать".
РИСУНОК распознавателя цифры 2 (потом будет нарисован более подходящий рисунок)
На рисунке все щели изображены рядом для того, чтобы понятнее была схема в случае с порохом, но в реальном нейроне щели могут быть разнесены как угодно далеко одна от другой, оказывая общее суммированное влияние на тело нейрона.
Так организованы распознавательные функции любых нейронов: если возбуждающие входы совпадают с элементами изображения, а остальные входы оказывают торможение, то нейрон активируется только в случае полного совпадения входного профиля возбуждения от объекта с заданной программой ожидания.
Если единственной функцией нейрона будет гашение последующего нейрона, то у него может быть даже всего один активный вход. Это используется для взаимного торможения соседних нейронов, что обеспечивает активацию только самых точно распознающих и, тем самым, уменьшаются ложные фоновые срабатывания. Такие нейроны называются вставочными, а функция взаимного торможения - латеральным торможением, что характерно вообще для всех слоев нейронов, повышая надежность и контрастность распознавания. Об этом сейчас сказано 1) для того, чтобы подчеркнуть распознавательную функцию любых нейронов, даже самых простых вставочных и 2) латеральное, взаимное торможение каждого нейрона соседними - свойство любой части нейросети и имеет важное значение, о чем не раз будет говорится.
Действие латеральных нейронов очень просто наблюдать и все с ним знакомы: когда на коже что-то чешется, то стоит почесать вокруг, как зуд уменьшается за счет торможения активностями соседних нейронов. А вот если кожу уколоть очень тоненькой иглой, то в этом месте может очень сильно зачесаться.
В реальности глаз видит цифру, написанную разным способом, разными почерками, разными наклонами и разных размеров, но результат будет один: это - цифра 3. Как такое происходит? Очень просто и, видимо, принципиально нет другого способа это сделать лучше и проще, учитывая необходимость организации универсального элемента распознавателя, а не специализированного только к данному ожидаемому виду объекта.
В природе это происходит так. В определенный период развития мозга, когда глаза уже вполне нормально передают состояние точек от сетчатки - в точности как карта изображения в компьютере: активными - точки засветки, остальные "молчат", созревает слой нейронов, который принимает те фрагменты изображения, что воздействуют на их отростки и за время формирования вида синаптической щели на них (а это происходит только на стадии созревания нейрона), возникает специализация активирующих и тормозных щелей так, что нейрон становится распознавателем того случайного сочетания активностей, что было на входе. Несколько раз в течении какого-то времени воспринимая зрительные образы, все более укрепляются и уточняются распознаватели в случае повторяющихся, совпадающих профилей, а не совпадающие все меньше влияют. Наконец, процесс формирования распознавателя данного примитива заканчивается.
Забегая вперед, этот процесс и его время - очень важны и называются критическим периодом развития данного слоя распознавателей. Когда зайдет речь о том, как лучше всего развивать ребенка, то знание этих периодов окажется чрезвычайно важным.
В конечном счете, в определённой области сосредотачиваются все возможные начертания цифры 2 с разными наклонами, толщиной и другими различиями - как следствие видения этой цифры под разными ракурсами. Теперь достаточно от всех этих распознавателей провести входы к общему нейрону, причем активности каждого их них достаточно, чтобы возбудить его, как возникает распознаватель любых начертаний цифры 2. Это - упрощенный пример. На самом деле все более сложно по многим причинам, в том числе и потому, что бывает возникает какое-то новое начертание двойки и нужно запомнить, что это - тоже 2, и, бывает, наоборот, что какие-то начертания хотя и похожи на двойку, на самом деле в данном случае ею не являются и это тоже нужно запомнить. Это проделывается очень эффективным и, кажется, тоже принципиально единственным способом, о котором будет рассказано позже - эмоциональным контекстом. Этот способ был изобретен эволюцией не сразу и представляет собой значительное улучшение, позволяющее приспосабливаться вот к таким новым ситуациям. Без него просто сочетаниями персептронов уверенное распознавание не достигается.
Мозг начинает созревать не весь сразу, а постепенно, слоями, начиная со стороны рецепторов и со стороны эффекторов (движителей). Каждый слой, созревая, на некоторое время, определяемое программой развития (у людей эти периоды наиболее продолжительны), получает возможность формировать распознаватели сочетаний активностей на их входе. Так, от зрительных рецепторов возникают простейшие сочетания линий различного наклона, точек разного диаметра, кругов и т.п. примитивов. При искусственном возбуждении нейронов этого слоя возникают образы этих фигур. Через какое-то время способность модификации распознавателей этого слоя завершается и созревает следующий слой, рецепторами которого оказываются выходы предыдущего. Теперь они фиксируют разные коллекции более сложных сочетаний. И так далее.
Демо-программа формирования распознавателей первого типа: fornit.ru/m1.
Каждый слой, созревая, дает возможность обучению его уровня возможностей распознавания, и это проявляется как критический период развития, в котором особенно легко формируются этот вид элементов восприятия. Это касается как входных распознавателей, так и моторных, где формируются примитивы действий. В определённый момент возникает особая быстрота развития умения ходить, постижения слов и речи и т.д.
В конечном счете у особи возникают коллекции тех распознавателей, с элементами которых она встречалась в критические периоды развития. Это важно в природе для того, чтобы иметь возможность адаптироваться именно к тем особенностям, которые окружают особь. Если котенку в определённый период развития не давать видеть вертикальные предметы, то у него не формируются распознаватели вертикальных линий, и он не сможет их различать, натыкаясь на вертикально стоящую швабру.
Чем больше различных видов и форм в восприятии будет зафиксировано, тем большим разнообразием заготовок мозг сможет пользоваться. Если ребенку в определенное время упорно показывать разные кучки предметов (шарики, спички, кубики, монеты) с различным количеством, то он сможет моментально сказать сколько предметов в данной кучке, не пересчитывая их. После критического периода формирования распознавателей числа предметов, научиться такому моментальному определению чрезвычайно сложно, и это не будет так быстро получаться.
У человека наиболее долгие продолжительности протекания критических периодов развития и он способен приспосабливаться к более широкому кругу ситуаций. Среди всех животных человек нарабатывает самые обширные коллекции распознавателей во время своего развития, соответствующие богатству и разнообразию окружающих его предметов, и это дает ему огромные преимущества в способности приспосабливаться.
Кроме распознавателей образов от внешних рецепторов, точно так же формируются распознаватели необходимости переключения стилей поведения или эмоциональных контекстов. Этот процесс последовательного созревания слоев начинается от специфических рецепторов отклонения от нормы - как раз участвующих в формировании упомянутых эмоциональных контекстов.
Как сделать, чтобы один и тот же входной профиль при плохом настроении поджигал одни пороховые кучки, а при хорошем - другие? Ведь когда человеку хорошо или плохо, он может совершенно по-разному реагировать на одни и те же вещи. Такое разделение реакций сделать легко. В примере с пороховыми кучками использовался только парафин в щелях - как горючий передатчик горения. Мы немного усложним щель в дорожках. В одних щелях следующую часть дорожки сможет поджигать только парафин и больше ничего, а в других - только глицерин. Как мы это сделали неважно (ну, например, перед глицерином, но не соприкасаясь, лежит немного марганцовки). И у нас есть приспособление, которое в нужный момент может подставлять во все щели или парафин, или глицерин. Когда подставлен парафин, работоспособными окажутся только те щели, которые поджигаются от парафина, а когда глицерин, то только те, у которых есть марганцовка. Тогда от одного сочетания подожжённых входов будут срабатывать разные кучки - в зависимости от того, что окажется в щелях. Этот способ изобрела природа и от него зависит какое эмоциональное состояние у нас преобладает и как мы способны реагировать в таком состоянии, а те вещества, от которых зависит один из режимов проводимости между нейронами, называются нейромедиаторами. Эта модель очень пригодится в следующем тексте.
Сегодня можно считать окончательно доказанной описанную распознавательную функцию любых нейронов: fornit.ru/6449.
Именно представление о такой организации взаимодействия нейронов в нейросети позволяет понимать все ее проявления и функции, которые усложнялись в ходе эволюции, что и будет последовательно показано с самого начала.
В принципе совершенно не существенно, использует ли нейросеть передачу сигналов в виде импульсов или это сделано постоянным током (что гораздо удобнее для аналоговых элементов), способ организации контактов между нейронами и другие технические тонкости. Можно уверенно сказать, что сегодня можно сделать нейросеть на отдельных элементах гораздо более надежную, устойчивую, более быструю и более точную, чем ее природная реализация.
Дополнительные материалы по теме: fornit.ru/lib8
Обнаружен организм с крупнейшим геномом Новокаледонский вид вилочного папоротника Tmesipteris oblanceolata, произрастающий в Новой Каледонии, имеет геном размером 160,45 гигапары, что более чем в 50 раз превышает размер генома человека. | Тематическая статья: Тема осмысления |
Рецензия: Рецензия на книгу Дубынина В.А. Мозг и его потребности. От питания до признания | Топик ТК: Интервью с Константином Анохиным |
| ||||||||||||