н. в. позпн
МОДЕЛИРОВАНИЕ
НЕЙРОННЫХ СТРУКТУР
ИЗДАТЕЛЬСТВО «ПАУКА»
ГЛАВНАЯ РЕДАКЦИИ
ФИЗИКО-МАТЕМАТИЧЕСКОП ЛИТЕРАТУРЫ
МОСКВА 1970
6Ф0.1
П 47
УДК 519.95
Моделирование нейронных структур. Н. В. П о з п н, Главная редакция физико-математической литературы изд-ва «Наука», М.» 1970, 264 стр.
В книге излагаются результаты теоретических исследований механизмов управляющих процессов в нервной системе. Она отражает современные-представления обинформацпонных преобразованиях, происходящих в отдельных участках мозга: начиная с основного элемента — нервной клетки — и кончая моделями отделов, выполняющих сложные функции.
Большая часть книги посвящена исследованиям нейронных соединений, которые можно рассматривать как достаточно типичные «блочные» узлы сложных нейронных структур. Анализируется работа однородных нейронных слоев с латеральными связями. Приводятся нейронные схемы, реализующие функции непрерывной логики. Возможность логических схем сопоставлять сигналы в терминах «больше», «меньше», «равно» приводит к синтезу сетей, способных классифицировать ансамбли непрерывных сигналов. При исследовании динамических характеристик нейронных образований дан анализ переходных процессов в сетях с латеральными связями и обоснована модель нейронной переключающей цепи.
В качестве примера модели функционально целого участка мозга описывается структура слуховой системы млекопитающих и излагаются принципы происходящих в ней информационных преобразований. В конце работы дается описание гипотетического механизма поиска и проторения путей в нейронной структуре.
Большое внимание уделено в книге рассмотрению и анализу нейрофизиологических данных, которые кладутся в основу моделирования.
Табл. 1. Илл. 83. Библ. 204 назв.
3-14 231-69
ОГЛАВЛЕНИЕ
Предисловие............................................. 6
Глава I. Нейрон.......................................... И
1.1.	Краткие сведения из физиологии................ 12
1.2.	Два механизма	работы нейрона................ 15
1.3.	Моделирование	процесса генерации.............. 16
Приближенное уравнение генерации (16). Разные режимы работы нейрона (18) Генерирующий узел модели нейрона (23)
1.4.	Модели нейрона с дендритами.................. 26
О процессах в дендритах (26). Структура подготавливающего узла (29). Импульсный и аналоговый режимы (30). Модель с одним входом (30). Модель с двумя входами. Импульсный режим (32). Модель с двумя входами. Ана-логоеый режим (3'1).
1.5.	Идеализированные характеристики	нейрона	...	39
Глава II. Нейронные слои	с	латеральными	связями	41
2.1.	Определения............................. 43
2.2.	Преобразование фронта возбуждения в нейронном слое «с вычитанием».......................... 45
Реакция на прямоугольный сигнал (51). Реакция на колоколообразный сигнал (54)
2.3.	Особенности работы нейронных слоев с «взвешенным вычитанием» и «шунтированием»................. 59
2.4.	Качество операции обострения................. 62
2.5.	Выводы....................................... 68
Глава ПК Нейронные схемы непрерывной логики	70
3.1.	Операции, выполняемые одним нейроном......... 72
3.2.	Некоторые правила построения многонейронных
схем.......................................... 75
3.3.	Функции: mod, max, min....................... 76
3.4.	Функция равенства: eqv ...................... 80
3.5.	Примеры других функций....................... 83
3.6.	Избирательные нейронные схемы................ 85
3.7.	Условные функции и операции.................. 92
лава IV. Нейронные классифицирующие структуры 97
4.1.	Исходные положения............................... 99
Классификация на основе качественных оценок (99). Сочетание качественных и количественных оценок (100)
4.2.	Однослойные	классификаторы.................... 101
4.3.	Иерархичное	описание формы.................... 107
4.4.	Опознание формы с помощью многоступенного анализа............................................. 111
Метод опознания (111). Модель многослойной сети, опознающей форму решетчатой функции (113)
4.5.	Принципы построения многослойного классификатора ............................................... 117
Возможности метода (117). Структура многослойного классификатора (119)
4.6.	О геометрическом представлении классификации 123
Мера расстояния между классами (12^). Алгоритм подсчета расстояния (126). Дискретная модель пространства классов (128).
4.7.	Заключительные замечания . . . ................. 128
лава V. Динамические свойства простых нейронных соединений............................................... 131
5.1.	Переходные явления в нейронной сети с латеральными связями........................................ 132
Роль инерционности тормозных связей (134). Роль адаптации нейронов (135). поведение одиночных нейронов в разных слоях модели (136). О природе суммарного ответа (138). Некоторые выводы (138).
5.2.	Краткие нейрофизиологические данные о ритмической активности..................................... 139
Сердечный ганглий беспозвоночных (140). Дыхательный центр теплокровных животных (140). Другие системы ритмической активности (142). Обсуждение (142).
5.3.	Модели нейронных соединений с ритмической активностью ............................................. 144
Генераторы периодической последовательности импульсов (144). О генерации пачек импульсов (145). «Мультивибратор» на двух адаптирующихся нейронах (145). Трсхпейронный «мультивибратор». (147). Нейронный автоматический переключатель (коммутатор) (156).
лава VI. Моделирование слуховой системы.................. 158
6.1.	Краткие анатомо-морфологические сведения . . .	159
6.2.	Преобразование информации о частоте звукового
сигнала......................................... 162
Анализ физиологических данных о часготной избирательности и времеигой селективчосги слуховой системы (162). Механизм синфазного суммирования (165). Повышение избирательности нейронными слоями о латеральными связями (166). Общая картина преобразования пн-формации о частоте (168). Интерпретация некоторых пси-
хофизических параметров — дифференциальный порог по частоте и критическая полоса частот (170). О двух путях с разной инерционностью (172).
6.3.	Преобразование информации об интенсивности звукового сигнала. Гипотеза «интенсивность — место».................................................... 173
Сведения из физиологии о работе кортиева органа и спирального ганглия (174). Модельные представления о работе рецепторов и нейронов первого уровня (175). Структура нейронной сети, преобразующей интенсивность в место (176).
6.4.	Пространственная картина преобразования информации о частоте и интенсивности................... 180
6.5.	Сопоставление свойств модели с данными электрофизиологии ....................................... 184
Преобразование информации о частоте (184). Преобразование информации об интенсивности (186). Данные о переходных явлениях (187).
6.6.	Некоторые черты избирательного устройства, использующего свойства слуховой системы............. 190
Высокая частотная избирательность при недобротных фильтрах (190). Время установления ответа (192). Оценка по критерию А/л с «Ал. 1С (193). Реакция устройства па двухчастотные (двухтоновые) сигналы (194).
6.7.	Заключение..................................... 195
Глава VII. Гипотетический механизм поиска и проторения путей в нейронной сети............................ 197
7.1.	Механизм поиска................................ 201
7.2.	Механизм проторения путей...................... 205
7.3.	О параллельном поиске.......................... 211
Глава VIII. Методологические {вопросы моделирования нейронных структур..................................... 214
8.1,	Предмет исследования........................... 216
8.2.	«Черный ящик» и модель нейронной	сети........	221
8.3.	О предпосылках и первых шагах	моделирования 224
8.4.	Метод моделирования ........................... 229
8.5.	О некоторых свойствах объекта	изучения . . .	232
Непрерывность и дискретность (233). Детерминизм и случайность (236) . . .
8.6.	Конечная цель и промежуточные результаты . . .	242
Приложение	1.	Электрическая схема модели	нейрона	244
Приложение 2. Таблица операций двузначной и не-
прерывной логики.................. 246
Литература.............................................. 248
ПРЕДИСЛОВИЕ
На каждом этапе развития человеческого общества люди создавали модели, воспроизводящие действие отдельных органов либо отдельные функции живого организма. Естественно, что модели эти были разной сложности, что логика создания некоторых из них уводила исследователей в такие глубины специализации, что исчезала очевидная связь между предметом данного исследования и моделируемым явлением. Но этот путь в определенной степени всегда использовался людьми в прошлом, используется теперь и, безусловно, в еще больших масштабах будет использоваться в будущем.
Как и тысячи лет назад, побудительная сила — причина технического и научного прогресса,— связана с возникновением у общества новых потребностей. На заре человеческого развития это были потребности в простейших орудиях. Затем наряду с созданием мощных источников энергии и многочисленных приводов стала возникать необходимость управлять ими и моделировать функции живого организма при совершении повторяющейся несложной последовательности действий (первые регуляторы, первые автоматы). В наше время проблема изыскания средств, способных уменьшить затраты людьми мускульной энергии, по своей актуальности уступает место проблеме уменьшения трудностей, связанных с переработкой громадных потоков информации [1]. На одно из первых мест выступает потребность в методах эффективной переработки информации, на основе которых можно было бы создавать автоматические системы или алгоритмы управления, обеспечивающие развитие контролируемой с их помощью совокупности процессов в направлении
поставленной цели, к тому же в сложных, непредвиденным образом изменяющихся условиях. В связи с разработкой таких алгоритмов и систем стало применяться понятие самоорганизации.
Итак, к числу сегодняшних исследовательских задач относится изучение эффективных способов переработки информации, изыскание гибких методов управления, выявление принципов самоорганизации. Но именно этими терминами но наблюдению исследователей можно определять те методы, те принципы, которые лежат в основе поведения живых организмов. Именно этими терминами характеризуют черты взаимодействия живого организма с окружающей средой, если представить организм как своеобразную «автоматическую систему». Поэтому понятно стремление выяснить принципы управления, методы информационных преобразований, используемые в живой природе. Пожалуй, наиболее специфическая черта настоящего этапа исследований этих задач в том, что исследователям уже недостаточно устанавливать внешнее сходство между функционированием живого организма и какой-либо (созданной или только конструируемой) автоматической системой. Требуется непосредственное понимание существа управляющих процессов, происходящих в организмах. Задача ставится так: надо выяснить принципы управления, используемые организмами, и применять их в автоматах. Но не рано ли браться за подобные задачи? Оказывается, что большие успехи в биологии и вычислительной технике позволяют уже сейчас рассчитывать на решение ряда задач такого типа. Известные, а иногда малоизвестные открытия последних лет, сделанные в биологии, позволяют моделировать информационную структуру генетического кода, моделировать механизмы тонких процессов, которые происходят в мозгу животных и человека, наконец, позволяют очень близко подойти к моделированию самого процесса, именуемого жизнью.
В этой книге предпринята попытка отразить результаты ряда работ, относящихся лишь к одной из этих проблем к исследованию и моделированию информационных процессов в нервной системе, точнее, в ее сравнительно простых элементах и в некоторых из наиболее изученных ее отделов.
Итак, в этой книге излагаются, по существу, избрание вопросы моделирования нейронных структур. Книга [аписана по результатам исследований, проводившихся руппой моделирования управляющих процессов в ней-онных структурах в Институте проблем управления автоматики и телемеханики) в 1962—1967 гг. Эти резуль-аты опубликованы в совместных статьях автора с со-рудниками группы Д. И. Кирвелисом, И. А. Любинским, А. Милютиной, С. В. Полянским, Г. А. Шараевым, О. А. Шульпиным, В. П. Яхно.
При изложении материала автор стремился придер-киваться принципа: от простого — к более сложному.
В главе I описываются процессы в основном элементе [ейронных структур — нейроне. В этой главе приводятся ведения из физиологии и даются модельные представления » нервной клетке. Поскольку еще распространен взгляд ta нейрон, как на двоичный элемент, то значительная [асть этой главы (§§ 1.1—1.4), по существу, направлена ia обоснование современных представлений о нервной клетке как об аналоговом элементе. Однако для понимания зсего последующего достаточно знать лишь общие свойства модели нейрона. Поэтому читателю, не слишком ин-гересующемуся упомянутыми обоснованиями, можно посоветовать ограничиться прочтением в главе I лишь последнего параграфа 1.5.
В главе II изучаются свойства однородных нейронных соединений с латеральными связями, которые, по-видимому, представляют весьма характерный вид соединений цля разных отделов мозга. Основное отличие этой части работы состоит в том, что анализируется роль латеральных связей разной протяженности, когда боковые воздействия могут передаваться не только близким, но и дальним «соседям» данного нейрона. Такой подход позволил сформулировать условия разных операций, производимых однородной структурой над областью возбуждения: операций расширения, обострения (сужения) и выделения краев.
В главе III рассматриваются схемы из нейроподобных элементов, выполняющих операции непрерывной логики. Здесь среди новых результатов можно указать обоснование логической функции равенства непрерывных величин.
Приводится нейронная схема, реализующая эту функцию, и описывается основанный на ней класс схем, названных избирательными схемами.
В главе IV предлагается новый способ классификации совокупностей непрерывных величин (или формы однозначных кривых, если эти величины — ее ординаты) в терминах непрерывной логики: «больше», «меньше», «равно». Приводятся алгоритм и модели нейронных структур для опознания и для классификации ансамблей сигналов; дается описание пространства классов и обсуждается один из вариантов метрики этого пространства.
В главе V анализируются переходные процессы в однородной структуре с латеральными связями, а также изучается работа автоколебательных нейронных соединений. В частности, дается схема многонейронной цепи (произвольной протяженности), элементы которой, возбуждаясь поочередно, генерируют пачки импульсов. Скорость пробегания такой волны возбуждения может изменяться в широких пределах.
В главе VI излагаются физиологические сведения и модельные представления о работе нейронных структур слуховой системы. Анализу подлежат главным образом принципы переработки информации о частоте и интенсивности звукового сигнала. Материал этой главы является в этой книге единственным примером, когда модельные представления распространяются на значительную часть отдела мозга, представляющего функционально цельную систему.
В главе VII обсуждаются возможные механизмы поиска и проторения путей в нейронных структурах. В связи со скудностью конкретных нейрофизиологических данных об этих механизмах, выдвигаемые на этот счет гипотезы наиболее абстрактны. Однако разработка механизмов поиска и проторения путей представляется актуальной, поскольку эти явления, по-видимому, представляют основу процесса приспособления к изменяющимся условиям, т. е. основу построения поведения живого существа.
В главе VIII, последней, изложены сведения методологического характера. При обсуждении новых проблем всегда возникают дискуссии о методах ведения работ, об априорных взглядах на эффективность того или иного
подхода к очередному этапу изысканий, о задачах, которые при этом должны найти разрешение, и т. д. Моделирование нейронных структур как направление исследований переживает стадию становления со всеми присущими ей особенностями. В .этой связи сочтено целесообразным обсудить вопросы, связанные с определением предмета, метода и целей исследований, а также воззрения на некоторые свойства изучаемого объекта, оказывающие влияние на методику работы.
Исследования по моделированию нейронных структур, которые положены в основу книги, проводились в тесном общении нашей группы с рядом физиологических лабораторий. Многократные обсуждения проблемы с коллегами-физиологами, полученные от них разъяснения и истолкования физиологических данных, послужили неоценимой помощью в работе. Пользуясь этим случаем, приношу глубокую благодарность участникам обсуждения нейрофизиологических проблем, и прежде всего Г. В. Гершуни, Я. А. Альтману, Е. А. Радионовой (Институт физиологии им. Павлова АН СССР), Ю. И. Аршавскому, М. Б. Бер-кинблиту (вначале сотрудникам Института биологической физики АН СССР, а затем — Института проблем передачи информации АН СССР), Е. Н. Соколову (Московский университет), В. Г. Самсоновой и И. А. Шевелеву (Институт высшей нервной деятельности и нейрофизиологии АН СССР). В дискуссиях о продуктивности ряда модельных представлений полезные советы были высказаны М. А. Айзерманом, М. М. Бонгардом, Н. А. Дубровским, М. С. Смирновым, М. Л. Цетлиным|, Я. 3. Цыпкиным. Важные замечания сделаны при прочтении рукописи М. Б. Беркинблитом, Г. В. Гершуни, В. С. Гурфинкелем, Е. Н. Соколовым, С. В. Фоминым и при обсуждении отдельных ее глав Г. С. Гургенидзе, В. Ю. КнеллеромиЮ. Б. Молчановым. Автор выражает им свою искреннюю признательность.
ГЛАВА I
НЕЙРОН
В этой главе будут кратко рассмотрены свойства нервной клетки и обоснованы модельные представления о ее работе. По современным физиологическим воззрениям нервная клетка, или нейрон, представляет основной функциональный элемент нервной системы; его роль состоит в переработке поступающей на него информации и передачи результатов другим нейронам. Моделированию нейрона посвящено большое количество работ, которые можно разделить на две группы. В первой группе работ, предтечей которых можно назвать известное исследование Мак-Каллока и Питтса [37], нейрон — называемый часто формальным нейроном — выступает как двоичный элемент и рассматривается как основа для построения сетей, реализующих функции двузначной логики. В другой группе работ сигналы нервных клеток стали рассматриваться как непрерывные величины, а сам нейрон — как преобразователь непрерывных величин, т. е. аналоговый элемент (см., например, [7—11]). Развиваемый в этих последних исследованиях подход является, с нашей точки зрения, более общим и более соответствующим тем данным о физиологии нервной клетки, которые существуют в настоящее время.
Эта глава, которая основана на работах, проведенных совместно И. А. Любинским и автором [10], и в которой приняты во внимание указанные выше исследования аналоговых свойств нейрона, имеет целью более или менее систематическое изложение следующих вопросов.
Во-первых, приводятся краткие сведения из физиологии нейрона, которые представляют основу для создания модельных представлений. Поскольку живая нервная
клетка, помимо непосредственного участия в работе нервной системы, вовлечена также в другие жизненно важные процессы, связанные с метаболизмом, то речь пойдет лишь о тех ее свойствах, которые определяют принципы информационных преобразований в нейроне. Во-вторых, дается приближенное математическое описание процессов в теле клетки, создающее, по нашему мнению, предпосылки для моделирования нейронов разного типа. В-третьих, обсуждаются современные гипотезы о роли дендритов нервной клетки и описываются некоторые варианты моделей нейрона с дендритами. В конце главы предпринята наизбеж-ная попытка формализовать представления о нейроне, заменив его совокупностью идеализированных характеристик того элемента, который будет использоваться для моделирования нейронных структур в последующих главах книги.
1.1.	Краткие сведения ш физиологии
Нейрон состоит из тела клетки — сомы, множества отростков — дендритов и одного выходного отростка — аксона. На дендритах и соме расположены синапсы — окончания аксонов других нейронов. В нормальном состоянии среда внутри клетки имеет некоторый потенциал покоя Uo (от —60 до —80 мв у млекопитающих), который повышается (деполяризация) или понижается (гиперполяризация) при изменении проводимости оболочки клетки — мембраны. Изменение проводимости участков мембраны происходит в результате активации синапсов входными импульсами, приходящими по аксонам от других нейронов. Поскольку каждый аксон может оканчиваться на клетке большим количеством синапсов, приход по нему входного импульса будем называть синаптическим залпом. Активация каждого синапса выражается в выделении в синаптическую щель (зазор между синаптической бляшкой и субсинаптической мембраной клетки) специального вещества — медиатора, меняющего проводимость субсинаптической мембраны для разных типов ионов по-разному. Через этот участок мембраны между внутренней и внешней средой клетки протекает импульс тока деполяризации или гиперполяризации (в зависимости от типа синапса), кото
рый повышает или соответственно понижает внутриклеточный потенциал на величину А {7. Амплитуда этого импульса характеризует интенсивность воздействия на нейрон и определяется количеством возбужденных синапсов, а также размером и расположением каждого из* них (т. е. «весом» синапса — его вкладом в изменение потенциала; в процессе жизнедеятельности организма веса синапсов могут изменяться, чем обусловливается, по-видимому, способность нейронной сети к обучению). Измерение внутриклеточного потенциала А17 в сторону деполяризации называют возбуждающим постсинаптическим потенциалом (ВИСИ), в сторону гиперполяризации — тормозным постсинаптическим потенциалом (ТПСП), а соответствующие синапсы — возбуждающими и тормозными [2—4]. Если при деполяризации превышен некоторый критический уровень — уровень возбуждения, возникает регенеративный процесс (рис. 1), приводящий к резкому повышению внутреннего потенциала и затем резкому его спаду (спад может происходить ниже потенциала покоя; это явление называют следовой гиперполяризацией: U2 или U2 на рис. 1, а). Таким образом, клетка генерирует выходной импульс С7ВЫХ, называемый пиковым потенциалом, или потенциалом действия или спайком, который распространяется по аксону. Генерация пикового потенциала может также происходить самопроизвольно вследствие медленного повышения внутриклеточного потенциала при длительном молчании нейрона, например, из-за самопроизвольного выделения медиатора. Такая специфика работы некоторых нервных клеток относится к группе явлений, объединяемых под общим названием спонтанной активности нейронов (подробнее см. главу V).
Порогом нейрона С7П называют величину, на которую нужно изменить мембранный потенциал, чтобы вызвать генерацию выходного импульса. В результате многочисленных физиологических экспериментов установлено, что порог клетки в момент возникновения выходного импульса резко возрастает, и в течение некоторого времени Т (приблизительно равного длительности импульса) клетка не может быть повторно возбуждена при любой интенсивности входных сигналов. Период невозбудимости клетки называют периодом абсолютной рефрактерности. Затем
наступает период относительной рефрактерности, в течение которого порог (£7П или Un на рис. 1, а) возвращается к своей первоначальной величине. Изменение порога
Рис. 1. Схематическое изображение процессов в нейроне при генерации импульсов:
а) импульс 1 создает подпороговое изменение потенциала; импульс 2 вызывает генерацию пикового потенциала; б) амплитуда импульса 4 больше амплитуды импульса <3, но недостаточна для возбуждения нейрона в период относительной рефрактерности.
клетки после окончания импульса происходит вследствие наложения двух процессов: повышения уровня возбуждения Ur и следовой гиперполяризации С72 (рис. 1, а), вре-
меннье параметры которых в общем случае различны. Рис. 1, б иллюстрирует случай, когда импульсы деполяризующего тока /д, созданные входными залпами, следуют с интервалом, меньшим периода относительной рефрак-терности. Порог меняется по кривой ?7П. Как видно из рисунка, несмотря на то, что амплитуда 4-го импульса больше чем 3-го, генерация не возникает.
1.2.	Два механизма работы нейрона
Рассматривая нейрон как функциональный элемент нервной системы, осуществляющий, во-первых, переработку поступающей нервной информации, и, во-вторых, дальнейшую передачу переработанной информации, целесообразно выделять два механизма, соответствующих этим двум этапам работы нейрона.
Удобно начать со второго этапа; в его основе лежит механизм генерации клеткой потенциала действия (спайка). Моделированию этого механизма посвящен следующий параграф.
Генерации спайка предшествует подготовительный этап, состоящий во взаимодействии внутри нейрона реакций от многих входных сигналов и передаче пришедших воздействий от синапсов к соме клетки. Этот этап завершается надпороговой деполяризацией сомы (точнее аксонного холмика, обладающего самым низким порогом). Есть основания считать, что важнейшую роль играют взаимодействия, происходящие в дендритах клетки; по-видимому, именно они определяют закон информационных преобразований в нейроне, т. е. функцию связи выходного сигнала с входными. Механизм внутриклеточного взаимодействия входных сигналов, составляющий основу процесса подготовки генерации импульсов, изучен еще мало. Относящиеся к нему физиологические сведения, а также модельные представления, изложены в параграфе 1.4.
Итак, переработку информации в нейроне можно условно разделить на два процесса: генерацию выходных импульсов (спайков) и процесс подготовки генерации. И соответствии с этим структурную схему модели нейрона можно представить состоящей из двух узлов — подготавливающего узла и генерирующего узла [10].
1.3.	Моделирование процесса генерации
Приближенное уравнение генерации. Изменение порога во времени представляет собой разность между уровнем возбуждения и следовой гиперполяризацией в каждый момент времени (соответственно U1 и С72или #2 на рис. 1, а). Аппроксимируя временное зависимости величин Ux и С72 экспонентами и полагая для простоты, что постоянные времени этих экспонент равны, можно записать зависимость порога клетки Un от времени в виде
ип = ип (0) + Ее ‘ \	(1)
где Un (0) — порог клетки в состоянии покоя (по окончании переходных процессов, вызванных генерацией импульса); Е — величина порога клетки в момент начала периода относительной рефрактерности (f = 0 на рис. 1), который принят за начало отсчета; — постоянная времени рефрактерности *), Un (0) представляет собой разность между уровнем возбуждения в состоянии покоя и потенциалом покоя UQ. Предлагаемая аппроксимация изменения порога позволяет составить простое уравнение для определения момента генерации импульса в нейроне. В выражении для Un (t) изменения потенциала за счет следовой гиперполяризации приведены к эквивалентному увеличению порога. Условие генерации импульса будет состоять поэтому в повышении внутреннего потенциала за счет возбуждающего воздействия на величину АС/ от уровня потенциала покоя Uo (AU здесь имеет тот же смысл, что и ВПСП в физиологической литературе), равную Uu (£), т. е. уравнение для определения момента генерации импульса в принятых обозначениях будет
АС7 (0 = Un (t).	(2)
*) В ряде работ период относительной рефрактерности описывают функцией, принимающей бесконечное значение в точке t = 0
CZn= Un (<>)/(!
Однако для моделирования удобнее пользоваться изложенной выше картиной, счптая клетку невозбудимой во время генерации импульса и полагая экспоненциальное снижение порога от конечного (хотя и большого) значения в момент окончания импульса.
Для аналитической записи подпороговых изменений потенциала используем эквивалентную схему мембраны
(рис. 2), приведенную Экклсом [2]. Будем рассматривать ДС7 как изменение напряжения на эквивалентной емкости мембраны С при протекании через мембрану деполяризующего тока /д. Из рассмотрения схемы рис. 2 получим следующее уравнение для АС7:
(3)
Рис. 2. Эквива-
лентная схема
где т2 = RUC — постоянная времени мем- мембраны.
браны, 7?м — эквивалентное сопротивле-
ние мембраны. Решение уравнения (3) при начальном усло-
вии At/ (0) = О имеет вид
Д£7(<) = -^е (х)е *^dx. о
(4)
Для вычисления А [7 (t) необходимо задаться формой импульса /д (0 *).
Воспользуемся следующим приближенным решением: допуская независимость деполяризующего тока от величины мембранного потенциала клетки (так как At/<^t/0) и полагая, что удаление частиц медиатора происходит по экспоненциальному закону, определим /д (t) выражением
/д (0 = 10е~‘\	(5)
где Zo — величина тока в момент выброса порции медиа.
*) В некоторых работах [2] процесс активизации синапса (т. е. возникновения импульса /д) имитируют подключением постоянного сопротивления параллельно эквивалентной емкости мембраны (см. рис. 2). По-видимому, более точно этот процесс можно воспроизвести, представив, что в схеме рис. 2 подключается изменяющееся во времени сопротивление R (t): в момент подключения оно обладает некоторой конечной величиной, но с течением врецфйи увеличивается до бесконечности. Такой подход позволил бы описать «распад» медиатора, не меняя эквивалентной схемы. По введение сопротивлении /? (/) в виде функции времени значительно усложняет решение
тора, т3 — постоянная времени действия медиатора. Подставляя (5) в (4), получим
qvSj	<6)
Равные режимы работы нейрона. Для конкретной записи уравнения (2), кроме знания общих выражений для Un (t) и At7 (t) (при АС7 < С7П), необходимо учитывать специфику процесса подготовки генерации пикового потенциала в различных режимах работы нейрона. Из микро-электродных исследований известны три основных режима работы клеток:
а)	генерация серии выходных импульсов в ответ на одиночный входной импульс,
б)	генерация выходного импульса на каждый входной импульс,
в)	ответ одним импульсом на несколько входных импульсов.
Режим генерации серии импульсов на один входной, по-видимому, имеет место тогда, когда каждый синаптический «залп» создает импульс деполяризующего тока большой длительности, в несколько раз превосходящей длительность выходного импульса и процесса подготовки его генерации. Рассмотрим случай, когда импульсы тока не накладываются, и выясним условия возникновения /-го импульса в серии (рис. 3, а). Изменение потенциала АС7., обусловливающее генерацию i-ro импульса в серии, описывается выражением (6), если вместо IQ ввести Ц 2 — величину деполяризующего тока в момент окончания (/ — 1)-го импульса, а вместо t подставить A/f — интервал времени между (I — 1)-м и г-м импульсами. Ограничиваясь линейными членами разложения ехр (—А/./т3) и ехр (А/./т2) в степенной ряд (А/./т3<^ 1, Д/./т2<^ 1), преобразуем (6) к виду *)
♦) Учет квадратичных членов дает выражение
1.3]
моделирование процесса генерации
19
Величина определяется по формуле (5). Подставляя в (2) величину АС7-, определяемую выражением (7), и выражение Uu (t) из (4), получим уравнение для интервалов At между импульсами
-1-he Mi - Un (0) + Ее^>.	(8)
При помощи (8) можно рассчитать также количество импульсов в серии. Анализ уравнения (8) показывает, что
Рис. 3. Схема процессов в ыейропе:
а) генерация серии импульсов в ответ на один входной; б) генерация одного импульса в ответ на серию входных.
режим генерации серии импульсов возможен при т3^>т1э причем количество импульсов в серии не зависит от т2.
Режим работы нейрона, при котором на каждый входной импульс возникает один выходной, можно рассматривать как частный случай рассмотренного режима. Он будет иметь место, когда At одного порядка с т3, что возможно при т3 » тх. Как следует из (8), второй импульс
в ответе на одиночный «залп» при этих условиях не возникает.
Явление, происходящее в клетке при наложении следующих один за другим импульсов ДС7 (т. е. ВПСП) или импульсов деполяризующего тока /д (см. ниже), получило в физиологии название временной суммации. Наиболее часто временная суммация проявляется в таком режиме работы клетки, когда один выходной импульс приходится на несколько входных. Представим, что интенсивность синаптической бомбардировки в этом случае мала, так что в ответ на входные импульсы возникают только подпороговые изменения потенциала ДГ7. Однако если к моменту прихода следующего (г + 1)-го входного импульса значение ДС7 от предыдущего i-го импульса не достигло нуля, происходит накопление приращений потенциала. В итоге последовательность подпороговых входных воздействий может вызвать генерацию выходного импульса (рис. 3, б). Величина ДС7 (£) в режиме временной суммации напряжений представляет собой сумму подпороговых изменений потенциала ДС7р возникающих в моменты времени t. прихода i-го входного импульса
п
(9)
Здесь п — количество входных импульсов, пришедших за интервал времени от до t (/х — момент прихода первого импульса), 6t. = t — tt — время существования ДUi до момента t (/. = ^ — 1/Гх (/ — 1), где Fr — частота входных импульсов). Вычисляя ДСЛ (6/J на основании (6) и пользуясь формулой суммы геометрической прогрессии, получим после подстановки в (9) следующее выражение для ДС7 (t):
Подставляя (10) в (2), можно определить момент t генерации выходного импульса, а следовательно, и отношение частоты выходных импульсов к частоте входных (так называемый коэффициент давления, равный F/F^.
В этом режиме, в отличие от предыдущего, ДС7 (0 зависит от т2, поэтому коэффициент деления будет функцией трех постоянных времени т1? т2 и т3.
При повышении интенсивности или частоты синаптической бомбардировки может наступить момент, когда следующий входной импульс будет приходить раньше, чем окончится импульс деполяризующего тока, возникший от предыдущего входного импульса. В этом случае можно говорить о временной суммации токов. Если это явление имеет место при продолжительной входной импульсации, то деполяризующий ток достигает некоторого установившегося значения /д, которое определяет частоту генерации выходных импульсов. При этом между выходной F и входной Fr частотами возможны различные соотношения: отношение Р/Рг может быть больше и меньше единицы, в зависимости от интенсивности входного воздействия и свойств клетки.
Представляет большой интерес вычислить зависимость выходной частоты F от величины постоянного тока деполяризации 7д на основе уравнения генерации (2). Левую часть этого уравнения получим, решая уравнение (4) при /д = /д = const
Гд=Лм(1	(И)
Подставив в (2) выражение (И) и правую часть в виде (1), затем заменив t на Д^, получим трансцендентное уравнение относительно Д£ — интервала времени между импульсами *).
7д Ям (1 -	) - Un (0) +	.	(12)
*) В ряде случаев целесообразен упрощенный расчет зависимости F (7Д), в основе которого лежит приближенная запись
А/
MJ(/)	/д (х) clx ,	(4а)
о
полученная из (4) при условии: Д/<^то, е~st Т2 ~	1, т. е.
Уравнение (12) позволяет вычислить зависимость F (/д) при помощи соотношения
F = 1/(Д/ + Т),
где Т — период абсолютной рефрактерности. Пример зависимости F (/д) приведен на рис. 4 для клетки, близкой по параметрам к мотонейрону (£7П (0) = 8-10“3 в,
Рис. 4. Расчетная зависимость выходной частоты нейрона F от тока деполяризации 7Д.
Кривая 2 представляет растянутый начальный участок кривой 1.
E/Un (0) = 10, С = 5-10“9 ф, RM = 10е ом). Пороговое значение тока определяется из уравнения (12) при Д Г —> оо:
(^д)пор ~ Uп (0)/7?м .
при выполнении указанного условия нейрон осуществляет чистое интегрирование деполяризующего тока.
Для вычисления F (/д), подставив (4а) и (1) в (2), получим несколько более простое, чем (12), уравнение для Д/:
А д/= (/н (о) -;-д'/т'.	(12а)
Расчет но этому уравнению дает проходящую через начало координат кривую F (/д) с более линейным начальным участком.
Примененная аппроксимация кривой изменения порога не учитывает явления адаптации. Адаптацией принято называть гораздо более медленное, чем в период относительной рефрактерности, увеличение порога при возбуждении клетки медленно меняющимися или постоянными во времени раздражителями. В результате этого мгновенная частота выходных импульсов через некоторое время постепенно снижается, достигая установившегося значения, меньшего частоты в начале ответа.
Проведенный анализ показывает, что разные режимы работы нейрона могут быть сопоставлены с различными соотношениями двух параметров клетки: постоянной времени рефрактерности и постоянной времени «распада» медиатора т3, определяющей длительность деполяризующего тока.
Как следует из предыдущего, эти два параметра влияют на зависимость выходного сигнала от входного. Соотношения между и т3 представляют интересный аспект для классификации многообразия нейронов, передающих информацию в импульсной форме, применительно к задачам моделирования. На основе проведенного анализа можно выделить три группы нейронов, для которых а) т3 >> Tj, б) т3 т15 в) т3 << rv
Нейроны группы «а» могут вырабатывать серию выходных импульсов на один входной. Большая постоянная времени распада медиатора характерна для так называемых промежуточных нейронов, в частности, клеток Реншоу [2, 5, 6]. Пейроны группы «б» в основном отвечают одним выходным импульсом на один входной; к ним относятся, например, мотонейроны [2]. Нейроны группы «в» работают в режиме деления частоты.
Генерирующий у. ел модели нейрона. Генерирующий узел модели нейрона должен выдавать импульсы через интервалы времени Л£, определяемые уравнением (2). Для его реализации необходим интегрирующий элемент и пороговое устройство, в качестве которого принципиально может быть использован любой управляемый по частоте генератор [7—11], находящийся в заторможенном режиме. Рассмотрим пример, в котором используется запертый блокинг-генератор (рис. 5). Напряжение запирания снимается с сопротивления 7?п и моделирует порог Un (0)
в состоянии покоя. Напряжение на конденсаторе С имитирует подпороговые изменения потенциала АС/.
При анализе эквивалентной схемы рис. 2 в качестве деполяризующего воздействия рассматривается ток 7Д. Однако в модели удобнее иметь дело с сигналом в виде
Рис. 5. Принципиальная схема генерирующего узла.
напряжения и зависимость АС/ (7д) при моделировании заменить зависимостью A Щ C/s) , где U l—управляющее напряжение. Для этого вместо эквивалентной схемы рис. 2 можно использовать интегрирующую ЛС-цепь (сопротивление R и емкость С на рис. 5). В самом деле, если входное напряжение этой /СС-цепи U = /?м7д, то напряжение на выходе равно
At/ =	(13)
При RC = т2 выражение (13) совпадает с (И) для постоянного по величине воздействия. Если U^ =	—£/т),
напряжение на выходе /?С-цепи будет
А£7 = <е 'lRC
U ( I I I/ t )
(14)
что при RC = т2 и т = т3 совпадает с зависимостью (6) для случая, когда /д меняется во времени по экспоненте (5).
Итак, напряжение Ux заряжает конденсатор С через сопротивление R. Если по окончании входного импульса напряжение на конденсаторе не достигает порога, последующий разряд конденсатора осуществляется через R с постоянной времени мембраны сомы т2. Если напряжение на С достигает Un (рис. 6, а), происходит блокинг-процесс, образующий на соответствующей обмотке трансформатора выходной импульс С/ВЫх. Во время блокинг-процесса конденсатор С быстро перезаряжается до положительного напряжения Е. После окончания этого процесса/герез сопротивления 7?р и R начинается разряд С, который ими
тирует период относительной рефрактерности и описывается выражением (1).
Если на вход генерирующего узла подано постоянное (рис. 6, б) напряжение = U, генерируется непрерывная последовательность импульсов, частота которых тем выше, чем больше величина U. Вид зависимости выходной
а)	6)
Рис. 6. Схема процессов в модели нейрона:
а) генерация импульса в ответ на каждый входной; б) генерация импульсов при постоянном входном воздействии.
частоты от входного напряжения определяется параметрами схемы. Для некоторых практических задач целесообразно отступить от расчетной кривой рис. 4, достигая наибольшей протяженности линейного участка. (Экспериментальные характеристики модели нейрона см. в Приложении 1).
Выходные импульсы модели имеют форму, близкую к прямоугольной. При моделировании свойств нейрона, относящихся к переработке им информации, важно концентрировать внимание на условиях образования импульсов, но при этом нет необходимости точно воспроизводить форму, амплитуду и длительность выходных импульсов, вырабатываемых реальным нейроном. Этот вывод вытекает
из представления роли выходного импульса как переносчика сигнала по принципу «да — нет», т. е. как средства возбуждения синапса, расходующего при этом стандартное количество медиатора. В модели роль входного импульса — обеспечить импульс напряжения заряжающий конденсатор, эквивалентный соме клетки следующего нейрона. Для этого могут быть использованы импульсы разной формы, из которых наиболее удобна прямоугольная.
Следует указать, что в тех случаях, когда генерирующий узел модели нагружается на большое число входов других моделей нейронов (а также в некоторых специальных режимах работы), может потребоваться увеличение мощности выхода. Тогда в генерирующий узел дополнительно включается выходной каскад усиления мощности (см. Приложение 1).
1.4.	’Модели нейрона с дендритами
О процессах в дендритах. По современным воззрениям физиологов импульс, прошедший на любой синапс, приводит в конечном счете к изменению потенциала сомы на некоторую величину, зависящую от ряда факторов. Согласно распространенной гипотезе передача синаптического воздействия с дендритов происходит только «электротонически»: после срабатывания синапса в прилегающем участке дендрита возникает ВПСП (возбуждающий постсинаптический потенциал), который распространяется с затуханием по дендриту к соме [12]. Изменение потенциала сомы в этом случае определяют следующие два фактора:
а)	мощность возбуждения — фактор, определяющий величину поляризующего тока, протекающего через субсинаптическую мембрану (зависит от размеров возбужденного синапса);
б)	длина и диаметр дендрита, связывающего данный синапс с сомой,— факторы, определяющие затухание и изменение формы ВПСП.
Если рассматривать дендрит как длинную линию, то его эквивалентную схему можно представить в виде последовательности цепочек интегрирующего типа [13],
в которых элементыRnC определяются указанными параметрами дендрита. Таким образом, в каждом элементе длины дендрита имеется накопитель — емкость прилегающей мембраны. Поэтому, помимо основного накопителя-емкости мембраны сомы, о которой речь шла в параграфе 1.3, можно выделять другие накопители, соответствующие участкам дендритов.
Участок дендрита, не имеющий синапсов и ветвлений, по которому распространяется ВПСП, целесообразно имитировать одной интегрирующей /?С-цепочкой. Возбуждение i-ro синапса, отделенного от сомы участком дендрита, удобно представлять как возникновение импульса напряжения (см. параграф 1.3) на входе ЛС-цепи. Для описания выхода этой цепи нужно знание передаточной функции, которая при нормированной амплитуде входного импульса должна учитывать оба упомянутых выше фактора «а» и «б». Передаточная функция 7?С-цепи определяет, таким образом, обобщенный вес /-го входа. В ряде случаев такую цепь удобно характеризовать коэффициентом передачи постоянной составляющей и постоянными времени заряда т,з и разряда т .
Известно, что сеть дендритов чрезвычайно разветвлена. Однако о той роли, которую выполняют дендриты, еще очень мало объективных данных; место этих данных пока свободно для гипотез. Представляется естественным считать, что в точках ветвления дендритов сигналы, идущие от синапсов к соме по двум различным веточкам, могут взаимодействовать, что приводит к усилению или ослаблению распространяющегося сцгнала. Кроме того, на пути от синапса до точки ветвления каждый из сигналов значительно преобразуется по амплитуде и временным характеристикам благодаря коэффициенту к. и накопительным свойствам пройденного участка дендрита. Вследствие этого дендритное дерево может выполнять сложные функциональные преобразования входных сигналов в выходной сигнал.
Возможности дендритного дерева как функционального преобразователя значительно возрастают, если принять развиваемую в последнее время новую гипотезу работы дендритов [14, 15]. Сущность гипотезы сводится к трем утверждениям. Первое: пиковый потенциал или спайк
может возникать не только в соме, но и в любом сколь угодно тонком дендрите. Показывается, что чем тоньше дендрит, тем больше изменение в нем потенциала (при срабатывании одинаковых синапсов) и тем легче выполняются условия возникновения спайка. Второе: распространение спайка происходит по дендриту без затухания до места резкого расширения, в частности, точки ветвления. Третье: спайк может преодолеть точку ветвления и продолжить распространение к соме или, наоборот, затухнуть, в зависимости от состояния других веточек, сходящихся в этой точке. Если другие веточки находятся также в возбужденном состоянии или по крайней мере несколько деполяризованы, то создаются условия для прохождения незатухающего импульса через место ветвления. В противном случае спайк гаснет (мембрана не возбуждается), создавая импульс типа ВПСП, который «электротонически» (с затуханием) распространяется к соме, внося свой вклад в повышение ее потенциала. Чем дальше к соме продвинулся спайк, тем больше этот вклад. Таким образом, возбуждение'некоторого числа одинаково удаленных синапсов равной мощности при различных конфигурациях дендритного дерева может привести к различным изменениям потенциала сомы. На основании изложенного можно ввести еще один фактор, определяющий зависимость изменения потенциала клетки от приходящих воздействий:
в)	архитектоника дендритов и расположение синапсов на них.
Сформулированные три фактора, влияющие на изменение потенциала при активации синапсов, определяют свойство нейрона, которое можно назвать пространственным взаимодействием входных сигналов. Пространственное взаимодействие является, по-видимому, свойством более общим, чем свойство пространственной суммации, которым принято характеризовать нейроны, рассматриваемые без учета роли дендритов.
Резюмируя сказанное, следует подчеркнуть, что учет взаимодействий входных сигналов в дендритных ветвлениях позволяет предположить наличие у нейрона способности выполнять широкий класс операций над входными сигналами. «Спайковая» гипотеза работы дендритов еще более расширяет возможности нейрона.
Следующая из этой теории роль ветвлений (бифуркаций) дендритов позволяет предположить в этих точках нелинейные процессы. Развивая модельные представления, будем считать возможным наличие в местах ветвлений существенных нелинейностей.
Структура подготавливающего узла. В модели нейрона процессы преобразования и взаимодействия входных сигналов в дендритах нервной клетки моделируются входным
I_________________________________I
п
Рис. 7. Структурная схема модели.
П — подготавливающий узел, Г — генерирующий узел.
узлом, названным в параграфе 1.2 подготавливающим узлом П. На узел П поступают последовательности однополярных импульсов. Взаимодействуя в узле П, эти входные последовательности образуют в точке S (см. рис. 8) напряжение C7S (аналог деполяризующего тока 7Д), управляющее генерирующим узлом Г. Каждая входная цепь отличается коэффициентом передачи постоянной составляющей к. и постоянной времени т..
В структурной схеме узла П на рис. 7 указаны простейшие примеры возможных соединений входных цепей: воздействия цепей 1 п 2 суммируются на входе генерирующего узла; цепь 4 воздействует на цепь 5, изменяя передаточную функцию этой цепи. В следующих разделах пРедпринята попытка проанализировать возможные
функциональные зависимости между выходом узла П (или всей модели нейрона) и входами при разных соединениях входных цепей.
Импульсный и аналоговый режимы. Исследование работы модели нервной клетки при различных частотах следования входных импульсов показало, что для более четкого описания свойств нейрона удобно ввести понятия
Рис. 8. Принципиальная схема модели с одним входом.
импульсного и аналогового режимов его работы. При импульсном режиме работы входные воздействия создают импульсы поляризующего тока или внутриклеточного напряжения, которые не накладываются друг на друга; явление временной суммации отсутствует. При аналоговом режиме работы происходит наложение этих импульсов. Выходная частота нейрона в этом режиме (в отличие от импульсного) связана непрерывной функциональной зависимостью с интенсивностью возбуждения.
Модель с одним входом. Рассмотрим специфику импульсного и аналогового режимов работы на примере модели с одним входом (рис. 8). Узел П моделируется одной интегрирующей цепочкой, обладающей в общем случае различными постоянными времени заряда и разряда благодаря диоду Д. Последнее обстоятельство не только удобно для ряда технических приложений, но имеет и физиологическую аналогию, так как импульсы тока деполяризации и импульсы ВПСП имеют обычно неодинаковые фазы нарастания и спада. Как уже отмечалось, в качестве выходных (входных) импульсов модели целесообразно ис
пользовать импульсы прямоугольной формы стандартной амплитуды и длительности.
В рассматриваемой модели характер режима работы при выбранной частоте входных импульсов будет зависеть от постоянных времени перезаряда конденсатора (\ во входной цепи, а также конденсатора С в генерирующем узле. Напомним, что напряжение на С\ имитирует импульс деполяризующего тока, а подпороговое напряжение на С имитирует изменение внутриклеточного потенциала — Д{7. В импульсном режиме конденсатор С должен разрядиться к моменту прихода следующего импульса. В аналоговом режиме происходит наложение импульсов напряжения либо только на конденсаторе С, либо на обоих конденсаторах С и СР В зависимости от этого можно проводить аналогию с моделированием соответственно временной суммации импульсов внутриклеточного потенциала или импульсов поляризующего тока (см. параграф 1.3). При наличии многих входов часть из них может находиться в аналоговом, а часть в импульсном режимах, т. е. могут наблюдаться смешанные режимы работы нейрона.
В случае аналогового режима работы среднее значение напряжения на конденсаторе Сг — Uct будет функцией частоты длительности и амплитуды Ur входных импульсов. При равенстве постоянных времени заряда и разряда С\ (диод Д зашунтирован) эта функция будет линейной:	__
С/с, =	(15)
При выборе соответствующих постоянных времени разряда Сг (аналога т3) и постоянной времени разряда С (аналога тх; см. параграф 1.3) схема рис. 8 позволяет в импульсном режиме моделировать различные типы нервных клеток. Если под выходной частотой F понимать среднюю частоту следования выходных импульсов (импульсы могут следовать пачками), то модель с одним входом может в импульсном режиме производить операции умножения и деления входной частоты F на постоянный коэффициент 116]. В аналоговом режиме работы эти операции будут выполняться, если используется линейный участок характеристики генерирующего узла
Е = *1г7с1.	(16)
Итак, в обоих режимах работы модели с одним входом зависимость выходной частоты от входной выражается формулой
F = kl\,	(17)
где к может быть больше, меньше или равно единице.
Модель с двумя входами. Импульсный режим. Построенная модель нейрона позволила выдвинуть гипотезы о функциональных преобразованиях, выполняемых нейро-
Рис. 9. Принципиальная схема подготавливающего ^узла для модели с двумя входами.
ном над сигналами, поступающими одновременно на несколько входов. К сожалению, постановка соответствующего физиологического эксперимента достаточно трудна. Рассмотрим работу модели с двумя входами (рис. 9). Узел П
содержит две интегрирующие /?С-цепи. Частоты следования входных импульсов — Fr и
F2. [Модель может выполнять следующие три операции над частотами и F2: сложение, умножение и вычитание с весовым коэффициентом.
а)	Сложение. Для выполнения операции сложения диод Д (см. рис. 9) не нужен; параметры входных цепей могут быть одинаковыми, причем возможно, чтобы Сх = = С2 = 0. Если импульсы, приходящие на каждый из входов, создают короткие надпороговые импульсы на С (см. схему генерирующего узла на рис. 8), то выходная частота будет близка к сумме входных частот,
F ~ Л + F2,
(18)
при условии, что вероятность наложения импульсов, пришедших по разным входам, мала, что справедливо в импульсном режиме работы.
б)	Умножение. Параметры входных цепей выбираются таким образом, что постоянные времени заряда конденсаторов Сх и С2 могут быть примерно одинаковы, но по-
стоянные времени разряда отличаются (т2(Раэ) 4> Ti(pa:<)) благодаря диоду Д. Токи разряда обоих конденсаторов, и i2, суммируются, образуя на С импульсное результирующее напряжение ДС7. Коэффициенты передачи обеих входных цепей выбраны так, чтобы сигналы по каждому
1/F1
* vvwvvvvvr^
Un	—	.
u* IF—,/f>—41

Рис. 10. Эпюры напряжений в модели с двумя входами при выполнении операции умножения.
входу в отдельности и {72 (Рис- 10, айв) создавали на С лишь подпороговые импульсы напряжения Д{7Х С7П и Д£72 Un (рис. 10, б и г). Поэтому условия генерации ДС7 > Un (см. параграф 2.3) могут выполняться только при наложении импульсов, созданных обеими входными цепями. На рис. 10, д результирующий сигнал Д С7 условно показан сохраняющим свой вид и при Д{7 С7П, т. е. как бы при неработающем блокпнг-генераторе. Выходные импульсы генерируются пачками (рис. 10, е).
Средняя частота F выходных импульсов пропорциональна произведению входных частот Fr и F2, поскольку
2 Н. В. Позин
на каждый растянутый импульс (или на период) последовательности с F2 приходится некоторое число kFi импульсов из последовательности с Fu образующих выходные импульсы с частотой F:
F = кРгР2.	(19а)
Коэффициент пропорциональности к равен полезной части Д£2 длительности экспоненциальных импульсов пРи наложении на которую сигналов \U1 обеспечивается надпороговое значение ДС7. Итак,
к = М2,	^-ДЛ2^2.	(196)
Интервал Д^2 приблизительно определяет высшую возможную частоту F2, при которой будет выполняться операция умножения.
Подобный в принципе способ умножения частот предложен для вычислительных машин, обрабатывающих информацию в частотно-импульсной форме [17].
в) Вычитание с весовым коэффициентом. В этом случае на второй вход, образующий растянутые импульсы, приходят тормозные импульсы (в схеме с р — п — р триодом — положительные). Они нейтрализуют действие части возбуждающих импульсов, приходящих по первому входу. Амплитуды импульсов в обеих последовательностях могут быть выбраны так, что генерирующий узел будет запускаться только теми возбуждающими импульсами, которые приходят при отсутствии тормозных. Легко убедиться, что зависимость выходной частоты от входных частот имеет вид
F = Fr - FvF2\t2.	(20)
Эта операция названа «вычитанием с весовым коэффициентом».
В работе [16], по-видимому, наблюдались описанные выше процессы для частотного случая, когда запуск генерирующего узла обусловлен наложением амплитуд подпороговых импульсов, имеющих одинаковую длительность. К сожалению, в этой работе нет анализа процессов взаимодействия сигналов на входе генерирующего узла, определяющих зависимость выходной частоты от входных.
Модель с двумя входами. Аналоговый режим. Рассмотрим способы выполнения моделью в аналоговом режиме
операций сложения, вычитания, умножения и «вычитания с весом» частот двух импульсных последовательностей (так же, как и раньше, рассматривается простейший слу-чай___случай периодических импульсных последователь-
ностей больших длительностей).
а)	Сложение и вычитание. Каждый вход аналоговой модели представляется цепочкой с накопителем, на котором устанавливается напряжение с постоянной составляющей, пропорциональной частоте входных импульсов. Сложение или^вычитание двух (или больше) напряжений или соответствующих токов на накопителях дает результирующее напряжение С7е, пропорциональное сумме или разности входных частот. При линейной зависимости выходной частоты F от управляющего напряжения т. е. F = kUv, получим следующие зависимости F от входных частот Fr и F2:
F = k(k1F1 + k2F2)	(21)
или
F = к (k1F1 - W.	(22)
Коэффициенты могут варьироваться при конструировании модели в широких пределах, в частности, возможно к 1.
б)	Умножение. Для получения произведения двух частот в аналоговом режиме узел П содержит два накопителя, Сг и С2, соединенных через диод Д, как показано на рис. 11, а. При подаче на входы двух последовательностей однополярных импульсов с частотами Fr и F2 на конденсаторах Сг и С2 установятся напряжения UCl и t/C2, которые (см. стр. 31) будут равны
Uct = U^F^	(23)
UCl == U2t2F2 = k^F^.	(24)
Здесь Uг — амплитуда импульсов частоты Ft в точке 1. Если R2 Д', то амплитуда импульсов иг первой последовательности в т(йке 1 будет равна напряжению UC2, образованному импульсами с частотой F2, т. е.
Ui=TlC2 = k2F2.	(25)
Подставив (25) в (23),’ получим, что напряжение Т7С1
пропорционально произведению входных частот С/Г1 = А:Л.ад = А:зад.	(26)
Генерирующий узел Г преобразует напряжение U% = = UCl в частоту F выходных импульсов. Если узел Г имеет
а)
Рис. 11. Принципиальные схемы узла П модели с двумя входами для выполнения операции умножения в аналоговом режиме.
линейную характеристику, то выходная частота будет пропорциональна произведению входных частот
F = kFJ2.	(27)
На рис. 11, б изображен другой вариант схемы узла П. Для повышения точности выполнения операции умножения добавляется диод Д2 и третий вход (с 7?3), на который подаются те же импульсы, что и на первый вход, но противоположной полярности. Диод Д устраняет нелинейность характеристики, связанную с разрядом Сх на С2 в промежутках между импульсами. Дополнительный вход с R3 служит для компенсации тока, заряжающего С2 во время присутствия импульса на первом входе. Экспериментальные зависимости приведены на рис. 12.
в)	Вычитание с весовым коэффициентом имеет место при подаче на второй вход тормозных импульсов при одновременном подведении к конденсатору С2 постоянного напряжения подпора U той же полярности, что и возбуждающие импульсы (рис. 13).
Имеем
UC2 = U1=U-k2F2/	}
в ~ F Cl — U^t^Fi — kiFy — k3F1F2l }	(28)
F = ktUs = kob\ - kFtF2.	)
На рис. 14 приведены данные эксперимента.
г)	Шунтирование. В аналоговом режиме работы возможен еще один тип взаимодействия возбуждающего и
Рис. 12. Экспериментальные зависимости]^ от F1 и Fz для модели, выполняющей операцию «умножения».
Рис. 13. Принципиальная схема узла П модели с двумя входами для выполнения операции «вычитания с весом».
тормозного входов, который будем называть-шунтированием. В этом случае тормозное воздействие можно пред
ставить создающим дополнительную цепь, отводящую (шунтирующую) ток возбуждения. Имеются физиологические работы, в которых такой процесс обосновывается
Рис. 14. Экспериментальные зависимости от F± и F2 для модели, выполняющей операцию «вычитание с весом».
18, 19L Математическая запись взаимодействия разноименных входов при шунтировании имеет вид
(29)
Очевидно, что возможности модели по одновременному выполнению различных сочетаний этих операций достаточ-ю широки. При этом не приходится сомневаться, что войства живого нейрона, определяющие его функцию в работе нервной сети, значительно богаче тех, которые t настоящее время моделируются.
1.5. Идеализированные характеристики нейрона
В этом параграфе подведем итог нашим представлениям о свойствах модели нейрона в статике, т. е. в условиях, когда входные сигналы не изменяются достаточно долгое время, чтобы можно было говорить об установившемся выходном сигнале.
В соответствии с изложенным будем различать два этапа преобразования сигнала в нейроне. Первый из них отражает дендритное преобразование входных сигналов /?(1) ••• Лю в некоторый результирующий параметр, характеризующий степень возбуждения нейрона. Обозначим этот параметр р. В живой клетке параметр р эквивалентен поляризующему току (§ 1.3); в электрической модели — результирующему напряжению в точке S (§ 1.4). Второй этап отражает работу генерирующего узла — это преобразование параметра р в выходной сигнал F — аналог частоты разрядов (частоты следования выходных импульсов) нейрона.
Первый этап преобразования может характеризоваться разными зависимостями р = р (/г(1) ... F^))\ возможность некоторых из них указывалась в предыдущем параграфе; в следующих главах этой книги при анализе работы моделей нейронных сетей наиболее часто используется операция алгебраического сложения входных воздействий нейрона,
к
Р ~	»	(30)
г =1
где i — номер входа, к — общее число входов, среди которых возбуждающие входы имеют коэффициенты передачи или «веса» 0, а тормозные $т <С 0. Кроме этого, в отдельных случаях используется предположение о том, что Два разноименных входа — возбуждающий и тормозный —-могут взаимодействовать по принципу «вычитания с весом»
Р ~ 5в^(1) ( 1 ‘ stF(2) ) и «шунтирования»
р = yBf(l>
1 + K-rF (;)
(31)
(32)
Рис. 15. Характеристика преобразования параметра возбуждения р в выходной сигнал F модели нейрона.
Характеристику второго этапа преобразования, т. е. зависимость F от р, исходя из электрофизиологических данных [4, 20] будем приближенно представлять состоящей из линейного участка (рис. 15) и участка полного насыщения. Полагаем, что в условных единицах изменение сигнала на выходе каждого нейрона происходит от 0 до 1. Для математической записи .зависимости F от р введем ограничивающую
функцию L, описывающую насыщение:
( 0 при £ <С 0 ] В при 0<Ь<1	(33)
1 при £	1 .
Тогда = ЦР}-	(34)
Приведенные выражения не предполагают порога в характеристике нейрона. При необходимости порог легко
вводится начальным тормозным возд ействием( пунктир на рис. 15). На рис. 16 показано схемное обозначение нейрона.
Разные режимы работы нейронов, характеризуемые выражениями (30) — (32), определяют разный характер работы нейрон-
Рис. 16. Схемное обозначение нейрона.
Стрелками указаны возбуждающие входы, кружками — тормозные.
ных структур, образованных из таких элементов. Это
различие будет показано при анализе работы однородных нейронных слоев с латеральными связями в следующей главе.
ГЛАВА II
НЕЙРОННЫЕ СЛОИ С ЛАТЕРАЛЬНЫМИ СВЯЗЯМИ
* Огромные количества элементов в сложных образованиях нервной системы, запутанность и многочисленность связей между элементами исключают в настоящее время возможность выявить в физиологических и морфологических исследованиях точную структуру связей — нарисовать достаточно подробно реальную схему сложного нейронного образования. Однако экспериментальный материал о поведении отдельных клеток на разных уровнях нервной системы позволяет в ряде случаев делать достаточно общие предположения о характере связей между клетками и строить на их основе математические или физические модели нейронных структур.
Такой подход наиболее целесообразен тогда, когда имеются основания допускать однородность исследуемого участка нервной системы. Продуктивность представлений об однородности некоторых нейронных структур и нейроподобных образований (типа сердечной мышцы) была отмечена рядом исследователей (Винер, Розенблют, Гельфанд, Цетлин и др. [28, 29]). Представления об однородности с нашей точки зрения могут быть с успехом распространены на некоторые более или менее стабильные по функциональной организации участки нервной системы, предназначенные для обработки параллельно идущего по многим волокнам и в среднем однородного потока информации. Вероятно, к числу таких участков нервной системы можно отнести некоторые периферические отделы анализаторных систем.
Нейронные образования представляют собой либо сложным образом изогнутые поверхности со многими извилинами, либо трехмерные структуры, не имеющие явно выраженного слоистого строения. Однако при создании однородных моделей будем представлять эти структуры состоящими из плоских слоев, образованных одинаковыми
по своим свойствам элементами, которые благодаря организации межнейронных связей взаимодействуют по закону, специфичному для каждого слоя. Построенную таким образом модель можно исследовать так же, как живой объект. Критерием правдоподобия будет степень совпадения ее реакций и реакций живого объекта на входные сигналы при совпадении основных функций, которые по исходной гипотезе должны выполнять исследуемый участок нервной системы и его модель.
В этой главе исследуются свойства нейронных структур с латеральными (боковыми в пределах слоя) возбуждающими и тормозными связями между элементами. Изучение физиологических и морфологических данных показывает, что такой характер связей является весьма общей закономерностью для многих участков нервной системы и, возможно, одним из основных принципов, по которому4 строится нервная сеть. Латеральное торможение было впервые обнаружено Хартлайном в сетчатке глаза мечехвоста, имеющего фасеточное строение. Хартлайну удалось показать [21], что при возбуждении одного элемента соседние с ним элементы тормозятся, причем степень тормозного воздействия монотонно убывает с увеличением расстояния. В последние годы явление торможения одних элементов нейронной сети и возбуждения других при реакции на различные раздражители неоднократно наблюдалось многими исследователями [22—25] не только на периферии, но и на верхних уровнях нервной системы. Например, на слуховой системе млекопитающих проведен целый ряд исследований, в которых выявлены зоны возбуждения и торможения одиночных элементов кохлеарных ядер [124, 138], заднего двухолмия [92] и т. д.
Задача этой главы состоит в том, чтобы выяснить некоторые закономерности преобразования параллельного потока информации, проходящего через нейронный слой с латеральными связями. Анализируется работа однородных слоев нескольких типов, нейроны которых отличаются способами взаимодействия разноименных сигналов (вычитание, шунтирование и «вычитание с весом»), при разном распределении весов связей (т. е. при разных функциях связи) и различных видах преобразуемого информационного потока.
Исследованию нейронных слоев с латеральными связями посвящен ряд работ [30—35]. По типу латеральных связей рассматриваемые в них нейронные слои можно разделить на две группы: слои с «прямыми» связями (например, когда коллатерали одного аксона возбуждают нейрон и тормозят его соседей) и с «возвратными» связями (когда с выхода одного возбуждающего нейрона торможение передается на входы соседних тоже возбуждающих нейронов).
В этой книге нейронные слои с «возвратными» связями не рассматриваются. Анализу подлежит только работа слоев с «прямыми» латеральными связями. Данная глава основана на работах, проведенных автором совместно с Любинским и Яхно [35, 36].
2.1. Определения
Для простоты анализа будем рассматривать только разрез плоского слоя — т. е. одномерный нейронный слой. Предполагается, что тормозное воздействие осуществляется с помощью находящихся в слое специальных тормозных нейронов *). Будем разделять в дальнейшем возбуждающие и тормозные нейроны и называть их В-нейронами и Т-нейронами. Принцип организации -связей между нейронами одномерного слоя поясняет рис. 17**). Для наглядности нейроны В и Т сгруппированы в особые «подслои», которые вместе образуют слой с прямыми латеральными связями.
Возможны разные методы исследований нейронных слоев с латеральными связями: построение физических
*) Это соответствует современным представлениям о природе возбуждения и торможения как результате деятельности двух различных по своим функциям аппаратов, строение которых, однако, мыслится разными авторами по разному [3, 26, 27, 57].
**) Заметим, что с морфологической точки зрения в таком слое есть «обратные связи», так как сигналы передаются с выходов одних нейронов на входы других. Однако согласно принятому определению это слой, где передаются лишь прямые воздействия, поскольку в пределах слоя сигналы идут от тормозных (Т-нейро-нов) к возбуждающим нейронам, и нет пути с выходов В-нейро-новслоя на вход В-нейронов того же слоя. Этот пример показывает недостаточность чисто морфологических данных.
моделей, изучение дискретных или непрерывных матема-ических моделей. Исследование непрерывных моделей
а)
б)
Рис. 17. Структура одномерного’слоя [^«прямыми» латеральными связями:
а) дискретная модель, представляющая пример организации связей между В-нейропами и Т-нейронами (заштрихованы); б) непрерывная модель, в которой показано проекционное поле В-нейрона (и — 1)-го слоя, расположенного в точке Линиями В и Т изображены слои В- и Т-нейронов; RB, RTB, RBT и RT — радиусы эффективного действия межнейронных связей.
позволяет получить общие качественные оценки работы злоя, которые будут являться руководством при построе
нии дискретных математических и физических моделей. В многослойной модели представим нейронные слои в виде одномерных сред (на рис. 17, б под номерами (п — 1) и п), координаты нейронов, в которых принимают континуум значений. Закон взаимодействия нейронных слоев будем характеризовать функцией связи, задающей распределение весов входов нейронов слоя п, в зависимости от расстояния между центром проекционного поля, образованного на n-м слое нейроном (п — 1)-гослоя, и нейроном с координатой х в n-м слое. Для слоев, содержащих В-нейроны и Т-нейроны, необходимо задать, следовательно, три функции связи: .s'B {х, £) — между В-нейронами (п — 1)-го и n-го слоев, $вт (х, £) — между В-нейронами (п — 1)-го и Т-нейронами n-го слоев, $тв (х, £) между Т-нейронами и В-нейронами n-го слоя. Поскольку слой принят однородным, функции связи не зависят от х и % и имеют аргументом модуль разности jx — £|, т. е. являются четными функциями. Назовем фронтом возбуждения п-го слоя Fn (х) — эпюру распределения вдоль оси х частот разрядов возбуждающих нейронов. Фронт возбуждения (п — 1)-го слоя Fn l (х) представляет входной сигнал для м-го слоя. Амплитудой фронта возбуждения в точке х будем называть частоту импульсации нейрона с координатой х.
Нейронные слои, составленные из элементов, у которых разноименные входы взаимодействуют в соответствии с формулами (30) — (32) первой главы, для краткости будем называть «слоем с вычитанием», «слоем с взвешенным вычитанием» и «слоем с шунтированием». В следующем параграфе будет подробно исследована работа «слоя с вычитанием». Специфике, свойственной слоям «с взвешенным вычитанием» и «шунтированием», посвящен параграф 2.3.
2.2. Преобразование фронта возбуждения в нейррнном слое «с вычитанием»
Преобразования фронта возбуждения в слое с «прямыми» латеральными связями изучались несколькими авторами 130—34]. В этих работах рассматривалась реакция слоя на сигналы, ширина фронта которых I значительно превосходит радиус действия тормозных связей Rт (т. е. Z/7?T 1).
При таком ограничении нейронный слой будет осуществлять двойное дифференцирование фронта возбуждения по координате, если выбрана специальная форма функции
Fn М	\Fn(z>
Рис. 18. Преобразования фронта возбуждения в модели нейронного слоя:
Fn-\ (*) — входной фронт, Fn (х) — выходной фронт, Еп (х) и 1п (х) соответственно возбуждающее и тормозное результирующее воздействия; а) обострение, б) расширение, в) выделение краев входного сигнала.
связи. В настоящей главе исследуется поведение нейронного слоя в более общем случае, т. е. при разных отношениях l/R^. Оказывается, что, кроме выделения краев возбужденной области нейронный слой может выполнять две другие операции — обострять (сужать; см. рис. 18, а) или, наоборот, расширять входной фронт возбуждения. Прежде чем пояснить физический смысл этих операций, рассмотрим зависимость выходного фронта возбуждения и-го слоя Fn (х) от входного фронта Fn-1 (х).
В слое «с вычитанием» выражение для Fn (х), с учетом формулы (30) первой главы, будет иметь вид
f с
Fn(x) = L{ \
(-’со
—	Fn-^pBT (п — £)«тв (х — Т]) d^dri ].	(1)
- 00 -00	J
Из (1) следует, что в статике, при условии, что Т-нейроны работают на линейных участках характеристик, вместо $вт и $тв можно ввести одну общую тормозную функцию связи
оо
sT(x— Jj) = ^sBT(n — l)sTB(x — T])^n.	(2)
—oo
Тогда Fn(x) представим как разность двух результирующих воздействий
Fn (х) = Еп (х) — 1п (х),	(3)
где Еп(х) — результирующее возбуждающее воздействие
Еп(х)=	(4)
-ОО
а 1п(х) — результирующее тормозное воздействие
/п(х)= $ Fn^(l)sr(x-l)dl.	(5)
-00
Иногда выходной фронт возбуждения удобно представлять в виде *)
( ]
Fn(x)--L{ \ Рпл(1) s (x-l)dl у ,	(6)
) в дальнейшем в этой главе, оперируя с выражениями Fn(x), мы не будем использовать ограничивающую функцию L, полагая, то режим работы нейронов соответствует линейным участкам их характеристик (см. рис. 15).
где s (х — £) — общая функция связи двух нейронных слоев
$ (х — £) = 8В (х — g) — sT (х — £) .	(7)
Представления о результирующих воздействиях Еп (я)
и 1п (х) полезны для пояснения природы операций обострения, расширения и выделения краев фронта возбуж-
дения. Эти операции удобно трактовать как результат вычитания воздействий Еп (х) и 1п (х) разной конфигурации, что показано на рис. 18. Как следует из выражений (4) и (5), на характер преобразования в нейронном слое, т. е. на получение той или иной операции, влияет, во-первых, тип и параметры функций связи и, во-вторых, вид входного сигнала, т. е. конфигурация входного фронта возбуждения. Перейдем к выяснению условий выполнения указанных операций.
Будем рассматривать поведение слоев с латеральными связями при нескольких типах возбуждающих и тормозных функций связи, изображенных на рис. 19. Функции связи $в (х — £) и $т (х — £) могут быть монотонными или немонотонными функциями расстояния jx — £|, т. е. достигать максимальных значений при jx — £| = 0 либо при J# — £| =/= 0. В общем случае каждую функцию связи удобно характеризовать максимальным значением 5° (наибольшей «силой» или «весом» связи), радиусом действия R, а также мощностью связи Р, представляющей площадь, ограниченную кривой функции связи
(8)
Параметры возбуждающей и тормозной функции обозначим соответственно индексами: sB, Rb, Рв и $?, 7?т, Рт. При монотонных $в (х — £) и ят (х — £) результирующая функция связи $ (х — £) (см. (7)) может быть немонотонна о о
и в зависимости от соотношения между $в и $т может создавать зону возбуждения в центре или по краям проекционного поля (см. «а» и «б» на рис. 19). На рис. 19, в изображена одна из возможных линейных аппроксимаций функции связи рис. 19, а. При достаточно малых радиусах
действия функцию связи можно представлять д-функцией. На рис. 19, г и д возбуждающие связи представлены d-функциями, а тормозные — соответственно немонотонной и монотонной функциями от \х — £|. Результирующая
0)	г)	д)
Рис. 19. Примеры функций связи.
Пунктиром показаны результирующие функции связи; и sj — максимальные «веса» входов.
функция связи на рис. 19, д монотонна на интервале (О, оо).
Из многих возможных видов входных сигналов рассмотрим два, которые, на наш взгляд, можно считать своего рода стандартными сигналами при анализе слоев с латеральными связями: прямоугольный и колоколообразный симметричные фронты возбуждения. Первый представим в виде
где 21 — эффективная ширина фронта возбуждения. К этому типу сигналов можно отнести и трапециевидные сигналы, у которых ширина спадающих участков (краев) мала по сравнению с эффективной шириной. Второй тип сигнала задается выражением
Fn-i(x) = Fn_1(0)exp^--.	(10)
Характер операции, выполняемой нейронным слоем, выясняется с помощью критериев, выбор которых во многом зависит от формы входного сигнала и типа связей. Если входной фронт возбуждения Fn i (х) представляет монотонную функцию от |я|,— примерами служат сигналы вида (9) и (10),— о характере операции удобно судить по знаку второй производной выходного фронта Fn (х) в точке х = 0. В этой точке выходной фронт при обострении имеет максимум, а при выделении краев — минимум. Отсюда в первом случае Fn (0) < 0, во втором Fn(0) >0. Общее выражение Fn (х) получим, дифференцируя (6) по х.
оо К(Х)= J	(11)
—ОО
При заданных параметрах функции связи величина Fn (0) зависит от ширины 21 входного сигнала. Особый интерес представляет значение Z, при котором Fn (0) меняет знак. Это значение ширины входного фронта возбуждения будем называть критической шириной /ир.
Использование знака Fn(0) в качестве критерия преобразования не всегда возможно, так как при некоторых функциях связи (например, типа рис. 19, в) вторая производная входного фронта возбуждения обращается в нуль в нескольких точках или даже на целом интервале значений I. Применение указанного критерия привело бы к неоднозначности в определении операции (и величины /кр). В таких случаях критерием характера преобразования может служить непосредственное сопоставление амплитуд входного и выходного фронта возбуждения в характерных точках х = 0 и х = хк =]= 0 (см. рис. 18): Fn (0) Fn (х^) при обострении и Fn (0) Fn (хк) при выделении краев.
Реакция на прямоугольный сигнал. Рассмотрим несколько примеров нейронных слоев с разной организацией связей. При прямоугольном сигнале вида (9) величина ' Fn (0) на основании (И) равна
i
F"n (0) = ( s" (I) Fn-i (0) dl = 2s' (I) Fn^ (0).	(12)
-z
Поэтому знак Fn (0) будет определяться знаком первой производной результирующей функции связи в точке 1 = 1:
Sg {Fn (0)} = Sg {s' (I)}.	(13)
Для определения величины ZKp из (12) получаем уравнение
/ (Z) = 0,	(14)
решение которого показывает, что ZKp равна удвоенной координате экстремума результирующей функции связи.
Уравнение (14) позволяет получить зависимость ZKp от отношения l/RT и параметров функции связи Рт/Рв и $в/$?. Располагая этой зависимостью, можно разбить плоскость (Z//?T, Рт/Рв) на области, в которых выполняются перечисленные выше операции: обострения, расширения и выделения краев. На рис. 20, а это разбиение показано для функций связи типа рис. 19, а, заданных экспоненциальными зависимостями от расстояния, на рис. 20, б — для функций связи типа рис. 19, в, являющихся линейной аппроксимацией функций связи на рис. 19, а *).
В обоих вариантах рассмотренного примера результирующая функция связи представляла собой немонотонную функцию с минимумом в точке |х — £| =/= 0. Из проведенного анализа следует, что характерной особенностью таких слоев является существование критической ширины сигнала ZKp, т. е. способность слоя выполнять разные операции
*) В этом случае F' (0) = 0 на целом интервале значений, и для определения характера преобразования необходимо непосредственно сопоставлять амплитуды Fn (0) и Fn (х^).
Рис. 20. Области выполнения разных операций слоем с «вычитанием» при прямоугольном сигнале.
Ai — область обострения (косая штриховка), At — область выделения кра ев (горизонтальная штриховка), Аз — область расширения. Цифрами обозначены: 1 — кривая для /Кр, 2 — кривая для предельной ширины сигнала, при которой амплитуда в точке х — 0 отличается от нуля, 3 — прямая Рт/Рв = = sj/sg, левее которой з (х — £) > 0, что означает расширение сигнала; 4 — прямая, ограничивающая справа область значений Рт/Рв, в которой амплитуда в
очке х = х^. отлична от нуля. Сплошными линиями показаны кривые при
so . о п г	0,0 л п,
Т SB = пунктирными при S^/Sj, = 0,2э.
при входных сигналах разной ширины. Для иллюстрации этого интересного свойства нейронных слоев на дискретной модели слоя были вычислены эпюры выходных фронтов возбуждения при нескольких значениях ширины
Рис. 21. Пример постепенного перехода от операции обострения к операции выделения краев.
Цифры на оси абсцисс обозначают координаты нейронов в дискретной модели слоя; сплошными линиями показаны выходные фронты возбуждения, пунктирными — входные.
входного сигнала. Функция связи в дискретной модели представляет собой функцию целочисленного аргумента, ординаты которой совпадают с ординатами функции связи непрерывной модели. Эпюры выходных фронтов возбуждения для слоя с функциями связи типа рис. 19, в показаны на рис. 21. Из этого рисунка видно, что при малой ширине входного фронта (когда I < /кр) нейронный слой производит операцию обострения, а при расширении фронта с некоторого значения ширины (I > /кр) начинается выделение краев *).
*) Заметим, что ширину фронта следует определять по некоторому отличному от пуля уровню возбуждения. При введении количе-отвенных оценок в параграфе 2.4 этот уровень взят равным 0,35 от максимальной амплитуды фронта.
Легко убедиться в том, что при функциях связи типа рис. 19, б (зона торможения находится в центре проекционного поля) поведение слоя будет обратным только что описанному случаю: выделение краев при I <С ZKp, обострения при I > ZKp.
Если нейронный слой имеет функции связи типа рис. 19, д, то из (13) следует, что слой может выполнять только один тип операции — выделение краев.
Рассмотренные примеры позволяют сделать вывод, что для того, чтобы при прямоугольном сигнале существовала критическая ширина /кр, результирующая функция связи должна быть немонотонной на интервале (0, оо).
Реакция на колоколообразный сигнал. Как было указано выше, для определения характера операции необходимо выяснить знак второй производной либо непосредственно сопоставлением амплитуд определить, минимум или максимум имеет место в середине выходного фронта возбуждения (х = 0). Рассмотрим результирующую функцию связи, у которой в центре проекционного поля находится зона возбуждения, т. е. $ (£) > 0 при | < г и $ (£)	0
при £ > г, где г — значение £, при котором $ (£) = 0 (см., например, рис. 19, а).
Покажем, что в этом случае, когда в центре проекционного поля находится зона возбуждения и результирующая функция связи монотонна при £ <С г, слой с вычитанием не может выделять края колоколообразного сигнала, т. е. что при любых х выполняется неравенство
Fn (0) > Fn (х).
(15)
Убедимся сначала в том, что неравенство (15) выполняется, если выполнено неравенство
-^->1,	(16)
е(х)	v
где
е (х) = Е (х)/Е (0) и i (х) = I (х)/1 (0)
— нормированные результирующие тормозное и возбуждающее воздействия. В самом деле, переписав неравенство
(16) В виде
-Цх) + 7(0)	—Е(х) + /Г(0)
/(0)	" Е.
и учитывая, что Е (0) I (0) (поскольку F (0) > 0) и Е (0) > Е (х) (в силу монотонности s (£) при g < г), получим следующее неравенство, равносильное (16):
Z(x)-Z(0)>£(x)--7?(0),
из которого на основании выражения (6) для Fn (х) получим
Fn(0)>Fn(x).
Для доказательства неравенства (16) преобразуем выражение (6) для Fn (х), в которое подставлено Fn 1 (х) из (10), следующим образом:
Л>(*) =
оо
^©.ехр[-<£+«:]^ = о
оо
= 2 ехр	(£) exp (- ch dg =
О
= 2 exp	J Si (g) exp ch j d£ -
о
— 2 exp (—	^s2 (£) exp ch dg,
где r — значение g, при котором 5 (g) = 0, a и s2 определяются выражениями
(s (£) при £<r;
I 0 при £> r;
0 при B<^r, — s(g) при
Обозначив
Е (х) = 2 ехр (—	(£) ехр (—	ch d%,
О
/ (х) = 2 ехр (- J s2 (£) ехр (- ch dt>, О
1 (17)
перепишем выражение для Fn (х) в виде
Fn(x) = £(x)-Z(r).	(18)
С помощью выражений (4) и (5) можно убедиться, что Ё (х) и I (х) отличаются от Е (х) и I (х) на одну и ту же функцию (р (х):
Е (х) = Ё (х) 4- ф (х), I (х) г I (х) ср (х).
Из (18) ясно, что неравенство (15) равносильно неравенству
i (г) е (х),	(19)
где
i (х) - I (х)/1 (0); е (х) - Ё (х)?Е (0).
/ 2гЕ \
В силу монотонности ch (-^1 из (17) получим неравенства
Е(х) < Е (0)2 ch ехр (- -f) , /(.г)>/(0)2с11(^-ехр(--^),
откуда
Е (х)	1(х)
Е (0)	I (0)
и, следовательно, г(х) е(х).
Таким образом, доказательство неравенства (15) означает, что выделение краев колоколообразного сигнала невоз
можно, если в центре проекционного поля находится зона возбуждения *). Следовательно, входной сигнал будет обостряться либо расширяться. О том, какое из этих преобразований происходит, удобно судить по изменению кривизны Сп нормированного выходного фронта возбуждения Fn (x)/Fn (0) в точке х = 0 по сравнению с кривизной Cn-i нормированного входного фронта Fll-1 (x)/Fn_A (0) в этой же точке **). Кривизна функции, заданной в виде у = f (х), вычисляется по формуле
у"
[t -I- (?/')’1П/2 	(2°)
Величину Сп определим, подставив в (20) y=Fn (x)/Fn (0), величину Сп-! — подставив у = Fn^ (x)/Fn-! (0). Если входные сигналы симметричны (функция Fn-r (х) — четная) и Fn-i (0) = 0, изменение кривизны АС = Сп — Сп^ равно:
F'nWfn J0)-^0)^(0)
F n-i (0) — 7'\ (0)
Поскольку кривые Fn (x) и Fn^ (x) в точке я = 0 выпуклы, величины Fn (0) и Fn_} (0) — отрицательны. Следовательно, при обострении АС <4 0, а при расширении АС > 0. При колоколообразном входном сигнале для АС получим выражение
АС- -	.	(22)
$ s(5)^n-iK)^
Ширину сигнала, при которой кривизна выходного фронта возбуждения не меняется, обозначим Zo. Величина Zo
*) Этим же методом легко показать, что выделение краев невозможно п в том случае, когда в центре проекционного поля находится зона торможения.
**) Кроме колоколообразного сигнала, этот критерий может хЫть применен ко всем сигналам, описываемым строго монотонной Функцией в окрестности точки х = 0.
определяется из уравнения
;(23)
Очевидно, что АС 0 при I Zo, т. е. в этом случае происходит расширение, и АС 0 при I Zo, что соответ-ствует обострению. В качестве примера на рис. 22 показано разбиение плоскости (Z//?T, PJPB) на области обострения (Лх) и расширения (43) при функциях связи
Рис. 22. Области выполнения разных операций слоем «с вычитанием» при колоколообразном сигнале.
Обозначения областей те же, что на рис. 21. Цифрами обозначены: 1 — кривая для предельной ширины сигнала, при которой амплитуда в точке х = 0 отлична от нуля, 2 — кривая для 10. Сплошными линиями показаны кривые при = 0,5 пунктирными при &J/sb ~ 0,25.
типа рис. 19, а, заданных экспоненциальными зависимостями от квадрата расстояния.
Проведенный анализ показывает, что в слое, построенном из элементов, производящих вычитание тормозных воздействий из возбуждающих, характер выполняемой операции зависит как от вида сигнала, так и от типа результирующей функции связи. Существенными свойст
вами результирующей функции связи являются, во-первых, расположения зон возбуждения и торможения в проекционном поле, во-вторых, характер изменения силы связи (веса входа) с увеличением расстояния от центра проекционного поля (монотонный или немонотонный).
2.3.	Особенности работы нейронных слоев с «взвешенным вычитанием» и «шунтированием»
Два типа взаимодействия возбуждающих и тормозных связей, названные «взвешенным вычитанием» и «шунтированием», определены в параграфе 1.5 для простого случая — нейрона с двумя входами. В общем случае, когда у нейрона много входов, возможны разные способы определения этих взаимодействий и, следовательно, разные способы построения моделей слоев.
Один из способов состоит в том, чтобы учитывать влияния всех возбуждающих входов на каждый тормозной вход. Если на возбуждающий и тормозной входы нейрона п-го слоя пришли разноименные сигналы из разных точек (м — 1)-го слоя, например, возбуждающий сигнал из точки а тормозной из точки т], то взаимное влияние возбуждающего и тормозного входов обозначим функцией a (g, т]). В силу предполагаемой однородности структуры функция а (5, Л)» так же как и функция связи, зависит не от значений ? и т], а лишь от модуля разности £ — ц. С помощью а (5 — 1]) можно записать выходной фронт возбуждения для нейронного слоя с «взвешенным вычитанием» в виде
{оо
sB(x—%) Fn-t (£)<% —
—оо
ОО	ч
— sT (х — g) а (х — т|) Fn-1 (I) Fn-! (Т]) Jg С?Т] .
—оо	J
Аналогичным образом можно определить выходной сигнал и Для слоя с «шунтированием». Однако анализ нейронных слоев с «взвешенным вычитанием» и «шунтированием» при Учете взаимного влияния всех тормозных и возбуждающих входов оказывается очень громоздким. Поэтому в работе
[36] выбран более простой способ определения взаимодействий между входами в нейронах с «взвешенным вычитанием» и «шунтированием» разноименных сигналов.
В этом втором случае предполагается, что в каждом нейроне взаимодействуют не отдельные входы, а результирующие возбуждающие Еп (х) и тормозные 1п (х) воздействия (4) и (5). При таком предположении функция а (£ — ц) представляет собой постоянный коэффициент, который обозначим через а. Для слоя «с взвешенным вычитанием» Fn (х) будет иметь вид
Fn (х) = L {Еп (х) [1 - aln (х)]}.	(24)
Аналогично для слоя с шунтированием можем записать:
Fn (х) = L {Еп (х): [1 + aln (*)]}.	(25)
В этом параграфе предполагается выяснить условия выполнения операций обострения и выделения краев в слоях «с взвешенным вычитанием» и «с шунтированием» и сопоставить поведение этих слоев с поведением слоя «с вычитанием» при различных функциях связи.
Так же как и при исследовании слоя «с вычитанием» (см. § 2.2), для нахождения условий выполнения разных операций будем использовать в качестве критерия знак второй производной выходного фронта возбуждения в точке х = 0. Величины Fn (0) для слоев «с взвешенным вычитанием» и «с шунтированием» определим, дифференцируя по х (24) и (25). Знак Fn (0) для обоих слоев определяется выражением
sg {f: (0» - Sg {‘-"т Уд+1] - < (0)}.	(26)
где минус в квадратных скобках относится к слою «с взве’ шенным вычитанием», плюс — к слою «с шунтированием»;
е (х) = Е (х)/Е (0) и i (х) = I (х)/1 (0) — нормированные результирующие воздействия.
Исследуя так же, как в слое «с вычитанием», знак Fn (0), можно показать, что при прямоугольном входном сигнале все три разновидности моделей слоя («с вычитанием», «взвешенным вычитанием» и «шунтированием»)
качественно ведут себя одинаково. Отличие состоит лишь в том, что величина ZKp в тех случаях, когда она существует, зависит от амплитуды входного фронта возбуждения.
При колоколообразном входном сигнале слои «с вычитанием» и «шунтированием» также ведут себя одинаково: слой «с шунтированием» выделяет края только в том случае,
Рис. 23. Области выполнения разных операций слоем «с взвешенным вычитанием».
Обозначения областей те же, что на рис. 21. Цифрами обозначены: 1 — кривая для ZKp (сплошная линия при a Fn_l (0)= 1, пунктирная при aF.^ (0) = 0,5); 2 — прямая, ограничивающая сверху область обострения (Дс< 0).
когда радиус действия возбуждающих связей RB больше радиуса действия тормозных RT. Однако в слое «с взвешенным вычитанием» отличие состоит в том, что выделение краев возможно при любых типах функции связи. Действительно, величина разности (1/aZ (0) — 1) в выражении (26) может быть за счет увеличения а сделана как угодно малой, поэтому при любом соотношении между
(0) и itl (0) величина Fn (0) может быть положительной. На рис. 23 показано разбиение плоскости (Z/2?T, Р ) на области обострения (Л^, выделения краев (Л2) и расширения (Л3) при колоколообразной форме входного фронта возбуждения для слоя «с взвешенным вычитанием» с функ-
днями связи типа рис. 19, г. Разделение областей расширения и обострения сигнала, так же как для слоя «с вычитанием», производится по знаку изменения кривизны АС, которое в этом случае определяется выражением
АС = еп (0)
^п-1 (0) fn-l(°)
(27)
о
а/п (0)
(так же как в выражении (26), минус в знаменателе второго слагаемого относится к слою «с взвешенным вычитанием» плюс к слою «с шунтированием»).
Интересно отметить, что исследование выражения (27) показывает, что, в отличие от слоя «с вычитанием», в слоях «с шунтированием» и «взвешенным вычитанием» обострение колоколообразного сигнала возможно *) только при немонотонных тормозных функциях связи (а не результирующих, как в слое «с вычитанием»).
2.4.	Качество операции обострения
До сих пор изучались условия выполнения операций, производимых нейронным слоем с «прямыми» латеральными связями; при этом к ачество выполнения этих операций не оценивалось. Между тем сигналы одной ширины могут обостряться лучше, другой — хуже. При выделении краев может оказаться, что выходной фронт возбуждения слишком размыт либо слишком смещен относительно входного фронта. Кроме этого, для разных по ширине входных сигналов различной будет амплитуда фронта на выходе слоя, что также может сказаться на работе нейронной структуры. Все это обусловливает потребность в оценке качества выполнения операций. В этом параграфе будет рассмотрено качество выполнения только одной операции — обострения — для случая входного фронта возбуждения прямоугольной формы.
Качество этой операции будем характеризовать степенью обострения Q, которую определим как величину
♦) Доказательство отрицательности F* (0) при /?в < /?т в слое «с шунтированием» проводится аналогично подобному доказательству для слоя «с вычитанием» (см. параграф 2.2).
Рис. 24. К определению качества обострения Q (пояснения в тексте).
отношения ширины 2Zn_1 входного фронта возбуждения к ширине 21п выходного фронта Fn *)•
Q =	(28)
п
Рассмотрим два примера организации нейронного слоя «с вычитанием», в которых функции связи аппроксимированы отрезками прямых (рис. 24, а и б — вверху). Допустим также, что фронт результирующего тормозного воздействия 1п (х) имеет плоский участок (см. пунктир на рис. 18, а), половина ширины которого больше 1п_х. Для выбранных функций связи это условие заведомо выполняется, если ширина входного сигнала Zn-i и такие параметры слоя, как /?п и /?т, удовлетворяют неравенству ^и-1	7?т	7?в.
Сделанные допущения существенно упрощают вычислительные операции и позволяют в то же время проиллюстрировать основные качественные закономерности. В приведенных ниже выкладках опущены следующие операции. Пользуясь для входного фронта возбуждения выражением (9), по формуле (6) определяем выражение для выходного фронта Fn (я). По этому выражению находим ширину фронта и, следовательно, коэффициент обострения Q, а также амплитуду в середине фронта Fn(0). Ниже приводятся непосредственно выражения для Q и Fn (0), в которых применено обозначение 1пх = I*
Для нейронного слоя с функциями связи, типа изображенных на рис. 24, а, получим:
1(0),
(30)
*) Ширину фронтов возбуждения нейронных слоев будем определять по уровню O,35Fn (0).
где Р И у — функции от l/RB и $?/$£,
( 1 * 3 1 Т?;при/<7?в	r=2L_L
1 при I > 7?в J .’2
Для слоя с функциями связи такими, как на рис. 24, б:
( 1
при Z < 7?в, _1_ < Дг. _ {
1
В последнем случае амплитуда выходного фронта в точке х = 0 также определяется выражением (30), но в котором
I f . z \2
Р = j 1 — р ~ 1 при I < 7?в [	1	при /?в < I
/ s° т = 2— — Т Лв
Степень обострения Q в общем случае зависит от трех переменных, Z//?B, R?/RB и Рт/Рв; однако в нашем случае благодаря условиям, обеспечивающим плоский участок в тормозном воздействии /п (я), величина Q в (29) и (31) является функцией только двух переменных, l/RB и s\/sB. Соответствующие графики приведены на рис. 24.
3 Н. В. Позин
Из этих графиков следует, что определенные сочетания значений Z/7?B и $?/$£ приводят к максимальному обострению, которое будем обозначать QM, причем в некоторых случаях QM = о° (QM = оо на рис. 24, а при £/sB = 1, на рис. 24, б при s^/sB 0,5).
Однако теоретическая величина максимального обострения не может быть обеспечена реальным слоем, поскольку при Q -> QM амплитуда выходного фронта стремится к нулю, т. е. Fn (0) -> 0. Физически это означает, что результирующее торможение 1п (х) отсекает от Еп (х) вершину, высота которой стремится к нулю (см. рис. 18, а). Ясно, что для реализации Q = QM потребовались бы нейроны с бесконечным усилением. Поскольку «коэффициенты усиления» нейронов (т. е. величины Рв), конечны, то максимально достижимые величины обострения меньше QM. Обозначим степень обострения, максимально достижимую при конкретном усилении в нейронах, как (?мд. Поскольку нас в дальнейшем будет интересовать работа многослойной структуры, естественно потребовать от нейронов каждого слоя такого усиления, которое обеспечит равенство входной и выходной амплитуд фронта возбуждения слоя. При таком условии зависимость (?мд от 1/Нв можно получить с помощью совместного рассмотрения зависимостей от $?/$в двух величин: степени обострения Q и мощности возбуждающей функции связи, необходимой для компенсации ослабления сигнала на слое, т. е. для выполнения равенства Fn i (0) =	Назовем это значение
мощности возбуждающей функции связи нормирующей мощностью (Рв)н. Из (30) следует, что
[₽-?! = 1/(Л0н.
На рис. 24, в и г зависимости 1/(Рв)н от $?/$в нанесены штрих-пунктирными линиями. Выбирая одну из этих зависимостей (для заданной ширины сигнала Z*) и задавшись для конкретности значением 1/Рв, определяем сначала ту величину отношения ($?/$в)*, при которой амплитуда выходного фронта возбуждения равна амплитуде входного. После этого, исходя из определенной таким образом величины ($?/$в)*, находим по соответствующей кривой
Q (St|sb» 1*/Лв) значение коэффициента (?*, которое и будет представлять максимально достижимую степень обострения,1 т. е. Q* = (?мд. Зависимости (2МД от l/RB построены на рис. 25. Сопоставляя между собой эти зависимости для прямоугольной (рис. 25, а) и треугольной
Рис. 25. Кривые для максимально достижимо]! степени обострения QM .
(рис. 25, б) возбуждающей функции связи, , можно заметить, что в первом случае достижимы большие, чем во втором,величины Q. Однако обострение в первом случае производится очень неравномерно: слой с прямоугольной возбуждающей функцией связи более «избирателен» к сигналам определенной ширины, а именно I = RB. Так, например, при Рв = 10 отклонении величины l/RB на 10% от оптимальной приводит к снижению (?мд почти в два раза в слое с прямоугольной и всего примерно на 4% в слое с треугольной возбуждающей функцией связи.
68
нейронные слои с .латеральными связями
[ГЛ.II
2.5.	Выводы
1.	Анализ работы моделей нейронного слоя с «прямыми» латеральными связями показал, что в общехМ случае вид преобразования входного фронта возбуждения, т. е. характер выполняемой операции, зависит от следующих факторов:
а)	От способа взаимодействия (вычитание, «вычитание с весом» или «шунтирование») возбуждающих и тормозных входных сигналов в элементах — моделях нейронов,— из которых построен нейронный слой.
б)	От способа организации нейронного слоя — закона распределения «весов» связей между нейронами, названного функцией связи, и параметров этого распределения. Наиболее существенными свойствами закона распределения весов являются его монотонность или немотонность (наличие максимума не в центре проекционного поля).
в)	От формы и параметров — ширины и амплитуды — входного фронта возбуждения.
2. Различные сочетания перечисленных факторов могут привести к принципиально различным формам поведения нейронных слоев. Большой интерес, в частности, представляет слой, в котором характер выполняемой им операции критичен к ширине входного фронта; при ширине меньше критической имеет место операция обострения, при ширине больше критической — операция выде ления краев. Такое поведение слоя имеет место:
а)	при фронте возбуждения, близком по форме к прямоугольному, независимо от способа взаимодействия разноименных входных сигналов в элементе слоя, если результирующая функция связи немонотонна;
б)	при колоколообразном фронте возбуждения в слое «с взвешенным вычитанием», если тормозная функция связи немонотонна.
В других рассмотренных случаях нейронный слой может выполнять только одну операцию. Например, слой из элементов, в которых происходит вычитание или шунтирование разноименных сигналов, может только обострять колоколообразный фронт. Нейронный слой с монотонной тормозной функцией связи и весьма узкой возбуждающей функцией (например, возбуждающая связь только
на один нейрон) при прямоугольном фронте возбуждения может выполнять только операцию выделения краев.
3.	При изучении качества операции обострения выяснено что для нейронного слоя с латеральными связями существует оптимальная ширина входного фронта возбуждения, при которой обострение происходит наилучшим образом, т. е. степень обострения максимальна. Оптимальная ширина зависит от типа и параметров функции связи.
4.	На одном нейронном слое в идеальном случае — при неограниченной мощности возбуждающей функции связи, или, другими словами, при неограниченном коэффициенте усиления нейронов, образующих слой,— может быть достигнута сколь угодно большая степень обострения. При ограниченной мощности возбуждающей функции связи для достижения требуемой степени обострения может понадобиться многослойная структура последовательно соединенных нейронных слоев с латеральными связями.
Необходимо обратить внимание на то, что степень обострения дополнительно ограничивается нестабильностью работы элементов — нейронов, образующих слой. Анализ обострения с учетом нестабильности элементов, вышедший за рамки этой небольшой книги, выполнен И. А. Любинским и В. П. Яхно и частично изложен в работе [36].
5.	Следствием положений, сформулированных в пунктах 3 и 4, является такой вывод: для получения наилучшего обострения в многослойной структуре радиусы действия связей должны уменьшаться при переходе к более высоким слоям. Уменьшение радиусов на каждом слое зависит от степени обострения в предыдущем слое.
Однородные слои из элементов с латеральными связями представляют, вероятно, достаточно универсальный узел для построения нейронных структур. Модельные представления о работе таких слоев уже используются и, без сомнения, будут в дальнейшем использоваться при разработке механизмов действия самых разных отделов нервной системы. В этой книге результаты анализа слоев с латеральными связями применены для моделирования слуховой системы в главе VI.
ГЛАВА HI
НЕЙРОННЫЕ СХЕМЫ НЕПРЕРЫВНОЙ ЛОГИКИ
В этой главе речь пойдет о нейронных схемах, которые позволяют выполнять логические операции с непрерывными величинами. Отрасль знаний, изучающая логику взаимодействия непрерывных величин, находится, по-видимому, в самом начале своего развития. Еще нельзя говорить о существовании целостного математического аппарата непрерывной логики. Имеются лишь представления о некоторых операциях над непрерывными величинами, например, таких, как выделение большей или меньшей из двух величин, которые стали называть функциями непрерывной логики. Проводя параллель с двузначной и многозначной логикой, эту логику иногда называют бесконечнозначной. Чем объясняются попытки применить логику непрерывных величин к описанию работы ней-роннйх сетей? Известно, что имеется целый ряд исследований, в которых работа нейроподобных сетей описывается с помощью аппарата двузначной математической логики (Мак-Каллок и Питтс [37], Клини [38], Нейман [39] и многие другие). Приложение аппарата двухзначной логики к описанию работы нейронных сетей основано на моделировании нейрона дискретным пороговым элементом.
Вместе с тем накопление физиологических сведений о работе нервных клеток утверждает представление о нейроне как об аналоговом элементе. Данные электрофизиологии о функционировании отдельных участков нервной системы — анализаторных, двигательных, ассоциативных — выявляют недостаточность попыток представить работу соединений нейронов с помощью двузначной логики. В этих условиях происходят и, конечно, будут происходить в дальнейшем поиски математического аппарата, пригодного для описания механизма работы нейронных структур, вначале хотя бы простейших.
Работы, посвященные непрерывной логике, стали появляться лишь в последние годы (Шефер [40], Мак-Нотон [41], Гинзбург [42, 43]). В начале 60-х годов было обращено внимание на то, что непрерывная логика применима к описанию действия моделей нейронных соединений на аналоговых элементах (Мюллер^ Мартин, Путцрат [44]). В связи с неожиданно открывшейся областью применения непрерывной логики ее стали называть также нейронной логикой (Дашек и др. [45]). В указанных работах проводился анализ действия и рассматривалась возможность применения схем из нейроподобных элементов, выделяющих меньший или больший из входных сигналов. После этого была введена функция равенства двух величин [46], описаны нейронные схемы условных операций с непрерывными величинами [53], показана применимость логической схемы функции равенства для создания моделей избирательных нейронных соединений [47].
В этой главе предпринята попытка систематизировать представления о логических функциях непрерывных величин, используя геометрическую интерпретацию, и указать способы построения моделей нейронных соединений, позволяющих получить модуль разности двух сигналов, выбрать из многих сигналов меньший или больший, выделить равные сигналы, и ряд других, реализующих более сложные функции. В «нейронной» логике дока нет установившихся взглядов на основные операции и не разработаны методы синтеза логических схем. Использование некоторых представлений, в частности, таблиц соответствия двузначной логики, оказывается в отдельных случаях полезным. Работа логических схем описывается здесь без учета временных зависимостей входных сигналов, т. е. излагается статика явлений. Конечно, это несомненная идеализация процессов, но рассмотрение динамики логических соотношений выходит за рамки данной книги.
Возможность выполнения функций непрерывной логики в нейронных соединениях определяется свойствами нейрона. В моделях логических нейронных схем будем использовать искусственный нейрон, обладающий лишь частью свойств, указанных в параграфе 1.5. В частности, ри аналитическом описании работы логических схем удем учитывать насыщения нейронов, на входе которых
преобладают возбуждающие воздействия, полагая, что все возбужденные нейроны работают на линейных участках своих характеристик. Такое допущение позволит избежать обращения к ограничивающей функции L (£) и упростит ’записи логических операций. В этой главе будем применять обозначения: х — входные, у — выходные величины. Перейдем к перечню операций, выполняемых одним нейроном, которые представляют собой простейшие операции, используемые в схемах непрерывной логики.
3.1.	Операции, выполняемые одним нейроном
Нейрон с возбуждающими входами (s > 0). Нейрон с одним возбуждающим входом (рис. 26, а) выполняет простейшую операцию — линейное преобразование входной величины с коэффициентом $:
у = sx.
Допустим существование нейрона, самопроизвольно (спонтанно) генерирующего постоянный по величине сигнал (рис. 26, б), например, равный единице (генератор 7). Соединив его выход с предыдущим нейроном, получим генератор константы:
у = s = с.
Нейрон с двумя возбуждающими входами выполняет операцию сложения двух величин: у =	+ s2x2.
Нейрон с возбуждающим ($ ^> 0) и тормозящим (я 0) входами. В первой главе указывалось, что выходные сигналы всех нейронов рассматриваются как величины одного—положительного— знака. Возбуждающие и тормозные воздействия отличаются лишь знаками коэффициентов преобразования (весовых коэффициентов) соответствующих входов. Взаимодействие сигналов, пришедших на возбуждающий и тормозной входы, приведет к отличному от нуля выходному сигналу нейрона только при условии, что преобладает возбуждающее воздействие. Вследствие этого операцию, выполняемую нейроном в случае двух разноименных входов, будем представлять как операцию
условного вычитания возбуждающего и тормозного воздействий *), т. е.
(	— S2^21 ^1*^1 ^^^2^21
у = SlXl -- S2X2 - | 0	,
которых подключен гене-
я*---у -зх
о}
Нейрон с двумя входами — возбуждающим = 1 и тормозным $2 = к первому из ратор 7, а ко второму величина х (рис. 26, д), выполняет операцию
у — 1 — sx — A {sr}, которую назовем операцией дополнения. (Заметим, что Шефер [40] вводит для непрерывной логики операцию отрицания у = —х, которая ставится в соответствие операции х («не») двузначной логики. По нашим представлениям в нейронной логике нет отрицательных сигналов. В этом случае аналогом операции х должна быть операция дополнения, которая предлагалась Мак-Нотоном [41].
Возможны случаи, когда «вес» тормозного входа настолько велик (или диапазоны изменения разноименных сигналов находятся в таком соотношении), что нейрон заперт при любом из возможных значений сигнала на возбуждающем входе, если сигн; чен от нуля. Для рис. 26, е эа рон с запрещающим входом,
Рис. 26. Схемы простейших операций:
а) линейное преобразование, б) генерация константы, в) сложение двух воздействий, г) условное вычитание, д) операция дополнения, е) операция запрета (veto); запрещающий вход обозначен зачерненным кружком.
л на тормозном входе отли-) условие означает, что ней-который обозначим как 5,
4fmQ ,2 Ирп 33,1,10,1 логических операций мы отказались от использования ограничивающей функции L.
заперт при всех возможных значениях если х2 =f= 0. В таких случаях тормозной вход выполняет операцию запрета (veto). Запрещающий тормозной вход будем изображать зачерненным кружком (рис. 26, е). Операция
Рис. 27. Геометрические представления операций с двумя переменными:
а) плоскость, представляющая операцию суммирования при st = з, = 1; б) то же при з, =	== 0,5; в) плоскость,
представляющая операцию вычитания при st = з2 = 1. Справа даны проекции горизонтальных срезов.
запрета будет использована в классифицирующих нейронных схемах, описанных в главе IV.
Геометрическое представление операций. Геометрическое представление таких операций с двумя переменными
х и х2, как сложение и условное вычитание, есть, очевидно, плоскости в трехмерном пространстве х1ч х2, у, проходящие через начало координат. Коэффициенты и s2 («веса синапсов») определяет наклон плоскостей. При $ = s2 = 1 плоскости пересекают единичный куб в трех угловых точках (рис. 27, а). Если в этих операциях одну или обе входные величины заменить на дополнения, например, хг на 1 — xt, или всю операцию заменить на дополняющую, то получим восемь операций, для которых плоскости будут повернуты по-разному. Замена одной переменной на дополнение означает поворот картины на 90°, при суммировании — в направлении той оси, по которой откладывается эта переменная, при вычитании — в обратном направлении. При замене обеих переменных на дополнения, картина меняется так, как если бы начало координат перенести в точку: xt = 1, х2 = 1. Дополнение ко всей операции равносильно перемене местами верхнего и нижнего единичных квадратов —- оснований куба.
3.2.	Некоторые правила построения многонейронных схем
Прежде чем перейти к многонейронным схемам логических функций, выясним некоторые правила синтеза таких схем по аналитическому описанию логической функции. Функции непрерывной логики представляются аналитически в виде алгебраического полинома, связывающего непрерывные величины знаками суммирования, вычитания — если заведомо известно, что изменение знака разности невозможно — и условного вычитания. Например,
У	[ (#i +	+ . . .	(^п-1 + хп) + (1 — ^П+1) ].
Применение в алгебраической записи скобок — круглых, квадратных и т. д. — обозначает количество и последовательность операций. Круглые скобки означают выполнение заключенных в них операций на одном нейроне. вадратные скобки подразумевают наличие специального ирона, оперирующего с выходами тех нейронов, которые реализуют операции в круглых скобках и т. д.
Правила раскрытия скобок, т. е. минимизации логических схем, в непрерывной логике не изучены. Могут быть указаны лишь частные случаи. Так, если в разветвленной сети имеется нейрон с двумя (или более) возбуждающими воздействиями и s2x2, подсоединенный с «весом» s3 к следующему нейрону, то первый нейрон может быть изъят при подключении хг и х2 непосредственно ко второму «с весами» s1^3 и s2s3 (с учетом знаков). Отсюда следует, что суммирование многих величин сводится к одной операции на одном нейроне. В нашем примере естественно представить
(А + *г) + • • • + (^п-1 + Хп) = х,
п
X — 2 хг-г=1 Тогда
у - 1 - [х+ (1 -^Хп+1)].
Формально такой полином реализуется трехнейронной схемой. Простейший анализ схемы показывает, что при работе нейронов на линейном участке характеристик (О rrn+i 1) имеем операцию условного вычитания, реализуемую одним нейроном:
У = хп+1 "" х-
Однако такое упрощение полинома с операциями вычитания и реализующей его схемы, как в этом примере, возможно далеко не всегда. Примеры будут рассмотрены в следующем параграфе.
3.3.	Функции: mod, max, min
В этом параграфе рассмотрим работу нейронных схем, реализующих простые логические функции, такие, как получение модуля разности двух величин, а также выделение из них максимальной и минимальной величины. Формальным поводом к объединению этих функций является хотя бы то, что представляющая эти функции по-
верхность образована двумя пересекающимися плоскостями.	„
Модуль разности. Алгебраическая запись этой функции имеет следуюищй вид (для сокращения записи здесь и далее значения весовых коэффициентов берем равными единице, т. е. s = 1):
у = I хг — х21,	.
1^1 — ^1= [(*1— ^2) +	J
Реализующая ее схема имеет три нейрона (рис. 28). Выражение (1) представляет хорошую иллюстрацию случая,
Рис. 28. «Модуль разности»:
о) схема, б) обозначение, в) и г) — геометрическая интерпретация.
огда нельзя открывать скобок в правой части логического л™ния’ Т‘ е’ в пРеДелах представлений непрерывной иик)1КИ схема не поддается дальнейшей минимизации. Функ-ным <обоз1ЛЬ Разности>> Целесообразно выделить специаль-
78
нейронные схемы непрерывной логики [гл. тп
Выбор максимальной величины. Алгебраическую запись функций выбора большей из двух непрерывных величин,
<?)
0)
	х2	У
0	0	0
0	/	/
/	0	/
'Г	/'	/’
<н>)
Рис. 29. Функция i/ = max(xi, х2):
а) трехнейронная схема, б) ив) — двухнейронные схемы, г) представляющая поверхность, б) проекции горизонтальных срезов, е) обозначение, ж) таблица дизъюнкции.
которую будем обозначать у = шах (хп х2), обычно приводят в виде
max (х1(х2) =[(а+а:2) +	— я-2| ]•	(2)
Используя выражение (1), представим
max ^2) = l^i +	+ (#1 —#2) + (x2 ~#i)L (2a)
Ж)
Рис. 30. Функция у = min (zlt хг): а) трехнейронная схема, б) и в)— двухнейронные схемы, г) представляющая поверхность, д) проекции горизонтальных срезов, е) обозначение, ж) таблица конъюнкции.
реализуется трехнейронной схемой рис. 29, а. Однако представив эту запись в виде
max (zlt XJ __ {ki + (я2_._Х1)] 4. [х% _i_
легко убедиться, что оба выражения, заключенные в квадратные скобки, описывают одну и ту же логическую функцию max (х1? х2), т. е.
max (лг1т х2) = х2 +	— х2) = хх + (лг2 хх).	(25)
Такая запись позволяет уменьшить число нейронов в схеме до двух (рис. 29, б, в). Представляющая поверхность функции max (xlt х2) показана на рис. 29, г. Если хг и х2 приобретают значения 0 и 1, нейронная схема выполняет операцию дизъюнкции («или») двузначной логики (см. таблицу соответствия на рис. 29, ж).
Выбор минимальной величины. Логическую функцию выбора меныпей из двух величин хг и х2 обозначим у = min (xx, х2). Ее алгебраические записи:
min(x1,x2) = -|-[(x1 + x2) — pi — x2|],	(3)
min pi, xj — -i- pi H- x2 — pi — x2) — p2 — Xi) ], (3a)
min (л:1? x2) = хг-— (хг — x2) = x2 — (x2 — x±).	(36)
На рис. 30 изображены трехнейронная схема, формально соответствующая выражению (За), и две минимизированные двухнейронные схемы, воспроизводящие запись (36). Представляющая поверхность функции min (xlt х2) образована двумя пересекающимися плоскостями выпуклостью вверх. Если xt и х2 имеют значения 0 и 1, схема дает операцию конъюнкции («и») двухзначной логики.
3.4.	Функция равенства: eqv
К простым функциям нейронной логики наряду с функциями выбора меньшей и выбора большей отнесем также функцию равенства, т. е. выбора равных величин (которая введена в работе [46] и называлась идеальным совпадением или фильтрацией). При двух независимых переменных это означает, что функция у отлична от нуля и пропорциональна аргументу только тогда, когда аргументы хх и х2 равны между собой. Функцию равенства обозначим eqv (хп х2).
Нейронная схема, реализующая функцию eqv (хп изображена на рис. 31, я. Заметим, что эта схема аналогич-
Рис. 31. Функция у = eqv (х1, хг): а) и б) — геометрическая интерпретация, в) нейронная схема, г) обозначение, д) схема равенства трех величин.
на трехнейронной схеме рис. 30, а, производящей выбор меньшей из двух величин, с тем главным отличием, что на выходной нейрон тормозные воздействия поступают с достаточно большим весом. Выясним смысл этого условия.
Очевидно, что функция равенства будет реализована наиболее точно, если тормозные входы на выходном нейроне выполняют операцию запрета, т. е. s2 = S. Алгебраическая запись работы схемы рис. 31, в есть
У = [$3 (*i 4- *г) — «1*2 | *1 — *21 ] •	(4)
В идеальном случае, т. е. при S = $2 —> ©о и конечном значении $3
j=eqv(I1,.l!) = (	(5)
I О, Х± =f= Х%.
На практике условием выполнения функции равенства будет
(®)
чем лучше выполняется условие, тем точнее реализуется функция. Интересно изменение геометрической картины работы схемы рис. 31 при усилении этого неравенства. С ростом торможения сужается диапазон значений входных сигналов, при котором выходной сигнал у отличен от нуля. В единичном кубе (см. рис. 31,а) плоскости, образующие представляющую поверхность, будут смыкаться (как створки раковины), пересекая основание уже не по осям хх и х2 (как на рис. 30), а по’двум линиям, x% и я2", имеющим уравнения
S1S2 — S3 „	" S1S2 + «3
— -----i--Xi, Xv -— -------- Xi.
S1S2 + S3	S1S2 —S3
При ^$2	$3 обе эти линии будут сливаться в одну —
диагональ единичного квадрата основания, а представляющая поверхность выродится в линию, идущую из начала координат единичного куба. Таким образом, если наличие сигнала на любом из тормозных входов полностью запирает выходной нейрон, поэтому выходной сигнал у возможен только при х1 = х2. Удобно выбирать $3 = 1/2. В этом случае у = х при х± = х2 = х, т. е. при равенстве независимых переменных функция равна аргументу; представляющая поверхность вырождается в диагональ единичного куба.
Если сигналом по одному из входов управлять принудительно, то схема идеального совпадения станет перестраиваемым фильтром. В параграфе 3.6 рассмотрены свойства некоторых избирательных нейронных схем, базирующихся на схеме функции равенства.
3.5.	Примеры других функций
Дополнительные функции. Операция дополнения, примененная к аргументам, позволяет получить дополнительные функции нейронной логики. Так, замена одной или обеих входных переменных в функциях max (х^ х2) и min (xj, х2) на дополняющие величины приводит к четырем функциям, которые аналогичны (а при использовании лишь двух значений переменных, 0 и 1,— тождественны) таким функциям двузначной логики, как «импликация», «запрет», «штрих Шеффера» и «стрелка Пирса» (см. приложение 2). В единичном кубе эти и им подобные функции изображаются представляющими поверхностями, такими же, как для исходных функций, но повернутыми на 90° (при введении дополнения по одной из переменных) или на 180°. Так, функция равенства в разных сочетаниях с операцией дополнения будет геометрически интерпретироваться диагональю единичного куба, построенной из разных вершин.
Замена всей функции в целом на дополнение приводит к перевертыванию представляющей поверхности. Очевидно, что с помощью операции дополнения функции тах (яр х2) и min (xltx2) переводятся одна в другую, т. е.
max (zlt х2) = 1 — min [(1 — rq), (1 — я2)1-	(7)
Примеры сложных функции. Под сложной понимается функция, являющаяся сочетанием нескольких (двух и более) простых логических функций. Большой интерес представляют сочетания функций eqv (хх, х2), тах(хх, х2) и min (xlt х2\ Соединения схемы функции равенства со схемами выбора большей и меньшей приведут к реализации функций, изображаемых в единичном кубе лома-ыми линиями, с точками перелома, например, в сере-
Две схемы функции равенства реализуют функцию, устанавливающую совпадение трех величин. Схема рис. 31, д имеет три входа, на один из которых подана постоянная величина. Эта схема фиксирует равенство двух
Рис. 32. Пример более сложной функции — аналога функции «исключенное или»:
а) логическая таблица, б) схема, в) и г) — геометрическая интерпретация.
изменяющихся величин третьей постоянной; ее выходной сигнал у = х при условии х = хг = х2 = с. Геометрическое изображение этой функции есть точка на диагонали куба.
В качестве последнего примера рассмотрим две функции, алгебраические выражения которых есть
у = max {min [(1 —^i), х2] , min [^, 1— (я2)]},	(8)
у = max {min [(1	(1 —я2)], тГп(д;1, х2)}.	(9)
Схема и геометрическое изображение первой из них приведены на рис. 32. Если .т, и х2 принимают значения 0 и 1,
величина функции совпадает со значениями в таблице соответствий для «исключенного или» (рис. 32, а). Если аргументами будут 0 и 1, вторая функция переходит в функцию двузначной логики «равнозначность». Ее представляющая поверхность отличается от изображенной на рис. 32, в поворотом на 90°.
3.6.	Избирательные нейронные схемы
На основе трехнейронной схемы рис. 31, осуществляющей логическую функцию равенства, можно образовать избирательные схемы, которые позволяют полу-
чать выходные сигналы не только в случае, когда одно из
входных воздействий равно определенной величине, установленной по другому входу, но и когда оно находится в определенном диапазоне значений.
Рассмотрим схему на рис. 33. Логическая функция равенства (5) выполняется этой схемой при условии (6). Если зафиксировать воздействие по од-
ному из входов, например, Рис. 33. Пример избирательной #2, т. е. положить х2 =	схемы.
то зависимость выходного
сигнала у от сигнала Xj. = х в этом случае будет: у =-- s3x при х ~ с и у = 0 для всех других значений х. Эту зависимость иллюстрирует рис. 34, а, на котором совмещены выходные сигналы схемы для двух фиксированных значений х2, равных q и с2. Но для построения избирательных схем представляет интерес случай, когда сильное неравенство (6) заменяется более слабым,
5g.
ели весовые коэффициенты подчиняются этому неравен-етву, то функция (5), строго говоря, не будет выполнять-’ поскольку выходной сигнал у отличен от нуля не толь-точке х = с„ но и в некоторой окрестности этой точки,
где х и с хотя и не равны, но близки по значениям. Этот случай иллюстрируется графиком у (х) на рис. 34, б при двух значениях задающего воздействия: q и с2. Понятно, что зона существования сигнала у тем шире, чем слабее неравенство, связывающее весовые коэффициенты. Из сказанного ясно, что если зафиксировать воздействие по одному из входов, то трехнейронная схема рис. 33 будет выполнять роль фильтра, обеспечивающего наличие выходного сигнала у при изменении воздействия по второму входу в определенном диапазоне значений, определяемом соотношением входных коэффициентов нейронов.
Выходной сигнал у схемы рис. 33 отличен от нуля при условии s3x^> \х — с 1^*52 и достигает максимума у = s3x в точке х = с. Значение х = с назовем квазирезо-нансным значением входного сигнала. Зависимость у (х) близка к симметричной относительно точки квазирезонанса. Избирательность полученного «фильтра» зависит от величин весовых чем ^$2 больше $3.
Рис. 34. Зависимости выходного сигнала схемы рис. 34 от входного х = =xY при фиксированных значениях Х2 = CY И Х2 = С2’. a) S1S2 83; б) s^2 > ?з.
коэффициентов и тем выше,
Определяя пропускаемый диапазон входных сигналов \х по уровню 0,7 (рис. 34, б), получим следующий критерий избирательности (или добротности) «фильтра»
° 2	2
*1*2 — S3^ 5 *1 *2
3 S3
с
Ах
Если неравенство	усиливается то диапазон Дх
стягивается в точку сового коэффициента угольника на рис. 34, б (пунктир), и если вершина выходит за пределы 1,— она срезается.
Представляет ^интерес получить избирательную схему, пропускающую определенный диапазон входных сигналов без каких-либо искажений их величин. Для этого в предыдущую схему достаточно ввести такое дополнительное тормозное воздействие, которое защищало бы выходной нейрон от влияния управляющего сигнала х2 = с при некотором диапазоне изменения
и Q оо. Увеличение ве-приводит к вытягиванию тре-
Рис. 35. Избирательная схема, пропускающая диапазон Ьх значений входного сигнала х = х± без искажений.
х2 управляет положением полосы пропускания на оси х; х3 управляет шириной полосы пропускания 6х.
входного сигнала х^ причем в
таком диапазоне, в котором сигналы х1 и х2 отличаются Друг от друга в заданных пределах. С этой целью два симметричных нейрона, образующих разности входного сигнала хг и управляющего х2, должны быть подвергнуты торможению на определенную величину. Такая схема изображена на рис. 35. Дополнительный сигнал х3 осуществляет торможение через входы, (имеющие весовые коэффициенты $4. Величина постоянного воздействия’’ х3 выбирается так, чтобы обеспечить требуемый уровень торможения h = я?3$4. Величину h можно трактовать как порог чувствительности соответствующих нейронов. Схема Рис. 35 обладает свойствами полосового «фильтра». Зависимость у (%, с, h) следующая:
У^
S3X-2- [5! |я— с[ — h] S2, при [^11^—с|—/i]52^>0,
$3# о
, при Si | X — С | < fe,
, при S3 X [$! |х — с| — h]s2.
На рис. 36 показан вид передаточной функции к (х) такого «фильтра»:
*(*) = -J- •
Характерные точки этой функции, ограничивающие
Рис. 36. Вид передаточной функции схемы рис. 35.
диапазон пропускаемых сигналов, определяются из следующих формул:
•S’bS’iC -|“ W*
S1 *2 — Л’З ’
л_ $1
Если &х обозначает общую полосу пропускания «фильтра», определяемую ио уровню 0,7 его характеристики, то 8х назовем тот диапазон входных сигналов, которые пропускаются без искажений. Тогда
6х = d — b = 2—= 2 — х3.
Si	S1
Существует возможность изменять крутизну спадающих участков передаточной функции (см. рис. 36), что означало бы, например, сближение точек а и 6, а также d и е. С этой целью необходимо увеличивать коэффициенты торможения $2 выходного нейрона. Очевидно, что при -> оо
все пропускаемые сигналы будут проходить без искажений, т. е. полосы Дх и бх окажутся совмещенными, и передаточная функция на рис. 36 приобретет вид прямоугольника.
Итак, на схему рис. 36 подается три сигнала, из которых хх = х — входной сигнал, а х2 и х3 можно назвать сигналами, управляющими параметрами избирательной схемы. Сигнал х2 управляет положением диапазона входных сигналов, пропускаемых «фильтром». Изменением х2 можно перемещать полосу пропускания по оси х. Сигнал х3 определяет величину торможения h и управляет шириной полосы пропускания. Если х3 = 0 (h = 0), диапазон 6х сигналов, проходящих без искажений, стягивается в точку и схема рис. 35 превращается в схему рис. 33, передаточная характеристика которой изображена пунктирной кривой на рис. 36.
Схема рис. 35 рассматривалась как симметричная, у которой обе половины при изменении параметров управляются одинаково; при необходимости можно осуществлять более избирательное управление схемой, изменяя параметры какой-либо половины передаточной функции относительно точки симметрии. Например, раздельное торможение каждого из двух «управляющих» нейронов в схеме рис. 35 позволит расширять полосу пропускания в одну или другую сторону от точки х2 = с.
Эксперимент. На аналоговой вычислительной машине Кирвелисом [46] проведена экспериментальная проверка работы избирательной схемы рис. 33. Модель каждого нейрона содержала два усилителя (рис. 37), первый из которых работает как сумматор с нелинейностью, второй — инвертор для получения «возбуждающих» сигналов. Характеристика нейрона линейна в интервале от v до 100 вольт. Зависимость выходного сигнала избирательной схемы от хх снималась для четырех фиксированных значений х2. Па рис. 38 приведены данные работы модели при srs‘2 = Ю. Увеличение этих коэффициентов позволяет значительно повысить избирательные свойства схемы.
С(^ Рассмотренные в этом параграфе модели нейронных ппе^ИПеНИ^’ обладающие избирательными свойствами, дставляют собою, конечно, искусственные схемы. Су-
90 НЕЙРОННЫЕ СХЕМЫ НЕПРЕРЫВНОЙ ЛОГИКИ [ГЛ. III ществование именно таких схем не доказано ни морфологически, ни физиологически, хотя внешне схожие структуры обнаружены в морфологических работах, в частности,
Рис. 37. Моделирование нейрона на аналоговой вычислительной машине:
а) схема на двух операционных усилителях; б) характеристика модели нейрона.
посвященных изучению зрительной коры млекопитающих [26]. Что же касается электрофизиологических исследований, то известны определенные данные, которые указывают на наличие в нервных сетях нейронов, «отвечаю
щих» только при определенных соотношениях стимулов, к тому же перестраиваемых в процессе обучения [48]. Таким образом, речь идет о проявлении нервной сетью
Рис. 38. Экспериментальные данные работы изби-рательноисхемы рис. 34 при фиксированных значениях ^2=25, 50, 75 и 100 в\ ^=10, s% = l,s8=l.
фильтрующих свойств, поддающихся перестройке. В настоящее время;механизмы подобных фильтраций неизвестны. Полученные результаты могут быть использованы Ри разработке соответствующих гипотез.
3.7.	Условные функции и операции
В параграфах 3.3 и 3.4 рассмотрены нейронные схемы, реализующие основные функции непрерывной логики. Выполнение этих функций происходит на всем диапазоне значений их аргументов — от 0 до 1 — без каких-либо дополнительных ограничений. Однако встречаются случаи, когда выполнение логической функции (или даже вычислительных операций, которые указаны в главе 1) связано с осуществлением некоторого условия. В частности, таким условием может быть недопустимость по какой-то причине реализации определенной функции на части интервала изхменения ее аргументов. Понятно, что перечислить или предусмотреть все возможные условия такого рода невозможно, да и не нужно. По-видимому, имеет смысл ввести понятия условной логической функции и условной вычислительной операции и привести из практики построения моделей нейронных сетей наиболее типичные примеры реализующих их схем.
Назовем условными логическими функциями и условными вычислительными операциями такие действия, которые происходят только в случае выполнения определенного соотношения между заданными величинами (сигналами), причем последние могут входить в число аргументов указанных функций и операций или не быть таковыми. Рассмотрим типичную схему рис. 39, а, в которой выходной сигнал у пропорционален входному х3 при выполнении определенного соотношения между сигналами хх и х2, а именно, при хг "> х2. Входная величина может представлять функцию (безусловную) непрерывной логики либо результат вычислительных операций.
Примеры условных логических функций. Для осуществления условных логических функций применяется указанная в параграфе 4.1 операция запрета, использующая тормозной вход с большим весом $ = S. Если в схеме рис. 39, а вместо х3 сигналом, поданным на вход управляемого нейрона, станет xt или х2, то схема будет выполнять функции «условный максимум» или «условный минимум». Иногда удобно представлять, что эти функции содержат качественную оценку соотношения между двумя аналоговыми величинами хг и х2, т. е. указывают, ка
кая величина больше (меньше), в сочетании с количественной характеристикой большей (меньшей) величины.
Функция «условный максимум» ( х±, при хг х2, тах^^)- | 0, прй Ti<Xs реализуется двухнейронной схемой рис. 39, б, использующей операцию «запрет». Выходной сигнал схемы
Рис. 39. Схемы условных функций:
а) общая схема, б) схема функций «условный максимум», в) схема функции «условный минимум».
равен у = хх только при условии хг х2. Если это условие нарушено и xY <С х2, то верхний нейрон полностью запирает нижний, обращая выходной сигнал в нуль.
В схеме рис. 39, в выход пропорционален у = х2 только при условии хх х2, обращаясь в нуль при х2.
Таким образом, эта схема выполняет функцию «условный минимум»
( х2 при х* ^х2, ! о 1ф„ It<Xi
Анализ логической схемы рис. 31, выполняющей функцию равенства двух величин eqv {х±, х2) показывает, что она может быть представлена как синтез двух схем, осуществляющих функцию выделения условного минимума. олее ясно это видно из рис. 40, на котором две схемы,
выделяющие условный минимум и объединенные одним общим выходным нейроном, образуют развернутую схему функции равенства.
Условные вычислительные операции, В первой главе
указаны принципы выполнения на моделях нейронов от-
дельных математических операций, в том числе сложения
Рис. 40. Схема функции равенства, образованная из двух схем функции «условный минимум».
и умножения входных величин. Очевидна возможность сочетания этих вычислительных операций с логическими операциями. Если результаты работы участка нейронной сети, выполняющего определенные вычисления, контролируются логической нейронной сетью, разрешающей или запрещающей передачу полученных количественных результатов, то можно говорить об условных вычислительных операциях. На рис. 41 изображена схема, в которой передача на выход математической операции ф (х1?..., хп) возможна только при выполнении логического условия ф (х1т ..., хп), например, в виде системы неравенств между величинами
..., хп. Условную вычислитель-
ную операцию обозначим
ф	хп)/^ fo, х„).
При построении моделей нейронных сетей нередко требуется операция условного сложения. Эту операцию выполняют схемы рис. 42. Легко убедиться,что на рис. 42, б приведен минимизированный вариант схемы условного сложения
У = (т, -|- х.1)(х1 > Хг).
Естественно предположить, что находящийся еще в стадии становления формальный аппарат, получивший название непрерывной логики и пригодный для анализа и синтеза логических схем, окажется полезным при исследовании механизмов выделения нервной сетью определенных признаков из общего информационного потока.
Рис. 41. Блок-схема условных вычислительных операций.
Рис. 42. Схемы операции условного сложения двух величин:
а) неминимизированная, б) минимизированная схема.
По-видимому, при решении самых разных задач живому организму свойственно определять «больше», «меньше» и выбирать максимальную или минимальную из анализируемых непрерывных величин. Получение на моделях нейронов функции равенства отображает способность сети к отбору достаточно узких диапазонов признаков, изменяемых в процессе обучения. Иными словами, выявление функций «нейронной логики» и разработка методов синтеза сетей, реализующих эти функции, направлены на исследования механизмов переработки информации в нервной системе организма.
Основной элемент «нейронной логики» — нейрон — наделен в настоящее время только свойствами суммирования и вычитания. Есть основания наделять его также и другими свойствами (глава I). Расширение набора элементарных операций может изменить характер и увеличить возможность аппарата, привлекаемого для описания нейронных сетей.
ГЛАВА IV
НЕЙРОННЫЕ КЛАССИФИЦИРУЮЩИЕ СТРУКТУРЫ
«Нерпиая система получает от органов чувств только информацию о различиях, об отношениях между стимулами и не более того».
Грей Уолтер. Живой мозг. [49]).
В этой главе мы затрагиваем небольшую часть общей проблемы узнавания — речь идет о классификации наборов или ансамблей непрерывных величин.
Проблема узнавания, как она поставлена в основополагающих работах (Розенблатта [501, Айзермана, Бра-вермана, Розоноэра [51], Бонгарда [52] и других авторов), состоит в выявлении общих принципов классификации объектов и создании узнающих устройств или программ. Решение этой проблемы связано с попытками воспроизвести основные свойства анализаторных систем или даже функции целого мозга. Здесь же мы будем обсуждать ча-
стные вопросы, относящиеся, по нашему представлению, к отдельным механизмам работы нейронных структур.
Задача классификации ансамблей сигналов, вероятно, относится к числу задач, которые постоянно решаются нервной системой. По всей видимости, принцип классификации принадлежит к основным принципам, по которым осуществляется не только восприятие, но и акты запоминания и управления в живом организме. Такой взгляд побуждает к изучению моделей нейронных структур, способных производить классификацию ансамблей непрерывных сигналов. Первой, известной автору, работой ЛИЭТ0М напРавлении была уже цитированная работа [44] к 10ллеР, Мартин, Путцрат), в которой изложен подход опознанию формы некоторой кривой посредством оп-деленпл мест положения точек максимумов и мини-юв. Позже были выполнены работы Кирвелиса,
П. в. Позпн
Полянского и автора 153—551, в которых описание совокупности непрерывных величин (или описание формы огибающей кривой, если величины расположены вдоль одной оси) производится с помощью неравенств, связывающих компоненты совокупности. В этой главе дается изложение подхода к опознанию и классификации ансамблей непрерывных сигналов, основанного на их описании посредством неравенств, и приводятся нейронные схемы и алгоритмы классификации.
Современные физиологические данные позволяют предполагать существование нейронных структур, выполняющих опознавание и классификацию ансамблей непрерывных сигналов, пространственно распределенных и по ступающих на эти структуры по нервным волокнам от соответствующих клеток сенсорных систем и других отделов мозга. Каждый сигнал нервной клетки рассматривается как непрерывная величина, которая представляет определенный параметр, характеризующий последовательность нервных импульсов, например, число импульсов за некоторый временной интервал. На классифицирующую нейронную сеть в отдельные мохменты времени приходят ансамбли непрерывных величин, отображающие некоторое явление или какую-либо ситуацию. Задача сети — отнести пришедшую совокупность сигналов к определенному классу. В этой работе рассмотрена только статика процесса, т. е. тот этап классификации, который происходит за время, в течение которого отношения между поступившими сигналами существенно не изменяются.
В основу предполагаемого механизма классификации кладется гипотеза о том, что сигналы, поступающие на классифицирующую сеть, образованы в результате специальной переработки информации. Сущность этой переработки состоит в том, что признаки, отличающие ансамбли сигналов разных классов, образуются не абсолютными величинами, а соотношениями компонент этих ансамблей. В таком случае пропорциональное изменение всех компонент не изменяет класса, к которому будет отнесен ансамбль сигналов. Но изменение соотношений между любыми из компонент относит весь ансамбль к другому классу.
4.1.	Исходные положения
Классификация на основе качественных оценок. Представим, что имеются наборы — ансамбли, совокупности — непрерывных величин; каждый из наборов содер-
жит одно и то же число компонент, которые пронумерованы в некотором порядке. Наборы отличаются друг от
ДРУга-
Представим далее, что это отличие состоит в том, что соотношение между двумя (или более) компонентами одного
набора отличаются от такого же соотношения одноименных, т. е. имеющих тот же номер компонент другого набора. Иными словами, каждый ансамбль сигналов характерен не абсолютными значениями входящих в него величин, а соотношениями между ними.
В таком случае возможен способ классификации подобных ансамблей с помощью сугубо качественных оценок: «больше», «меньше», «равно», по которым выясняются соотношения между компонентами для каждого ансамбля.
Используя схемные элементы, выпол-
Рис. 43. Схема двухнейронной классифицирующей ячейки.
няющие простые операции, описанные в предыдущей главе, можно синтезировать сеть, которая будет анализировать сложную комбинацию многих входных сигналов по их взаи-
моотношениям, выраженным в терминах «больше», «меньше», «равно». Иными словами, можно построить нейронную сеть, представляющую собой классификатор, который классифицирует сочетания многих непрерывных величин по ряду логических или качественных свойств. Появление сигнала на определенном выходе классификатора указывает наличие совокупности входных величин данного класса, характеризуемого определенными качественными соотношениями.
Схему из двух нейронов (рис. 43) можно рассматривать как простейший классификатор наборов сигналов хх и х2 По взаимоотношениям между ними. Сигнал //1 па выходе левого нейрона будет только в случае хх х2, а сигнал
— при Xj <
Более сложный классификатор сочетаний двух сигналов показан на рис. 44. По сравнению с предыдущим, здесь введены дополнительно три выходных нейрона. Выходные нейроны имеют возбуждающие входы, к которым
подключены входные сигналы хх и х2 и входы типа «зап-
рет» от верхних двух рис. 43. Легко видеть,
Рис. 44. Классификатор двух сигналов.
нейронов, соединенных по схеме что выходной сигнал ух будет только при хг <^‘х2, сигнал у2 — при хг - х2, уз — при хг х2. Изображенные пунктиром запрещающие связи от среднего к соседним нейронам нужны для того, чтобы в случае хх — х2 был только сигнал у2. Без этих связей при хг = х2 сигналы были бы на всех трех выходах.
Сочетание качественных и количественных оценок. В рассмотренных примерах речь до сих пор шла о наличии или отсутствии выходного сигнала у,
указывающего на определенное соотношение входных воздействий, безотносительно к их абсо-
лютным величинам. Между тем в этих схемах выходной сигнал не просто указывает, что набор входных сигналов
характерен определенным соотношением, но и дает количественную оценку этого соотношения. Например, для схемы рис. 43 сигнал уг не только служит признаком того, что xt х2, но и указывает, на сколько одна величина больше другой, так как
Z/i Xi —
у2 = х2 xv
В схеме рис. 45 (см. ниже) выходные сигналы формируются по другому принципу. В этой схеме жирными линиями изображены собирающие шины или «дендриты», которые обеспечивают выходным нейронам возбуждающее воздействие, пропорциональное сумме входных сигналов. Благодаря сложению входных сигналов на
«дендритах» выходных нейронов сигнал на каждом выходе такого классификатора можно записать как условную сумму:
У1 = *1 -И ^|х,<х2 , Уз =	+ Х2|ж^.г, ,
Уз = Х1 + Х2|Я1>х, .
Получение количественных оценок может производиться по различным правилам. Такими оценками могут служить усредненные показатели набора входных сигналов (как в предыдущем примере) или более сложные показатели, получение которых сопряжено с добавочным анализом совокупности входных величин, например, по перепаду между максимальной и минимальной компонентами и т. д. В подробном перечислении способов образования количественных оценок вряд ли есть смысл, поскольку в каждом случае этот способ может диктоваться конкретными обстоятельствами.
Важно подчеркнуть, что если ансамбли входных непрерывных сигналов относятся к тому или иному классу на основе качественного анализа (анализа логических признаков), то количественная оценка, заключенная в величине выходного сигнала классификатора, служит дополнительным признаком анализируемого ансамбля сигналов. Этот признак может в свою очередь служить основой более детальной классификации в пределах уже определенного класса. Поэтому сочетание анализа, основанного на качественных оценках, с количественной характеристикой входного набора величин расширяет возможности классификации ансамблей непрерывных сигналов.
4.2.	Однослойные классификаторы
Пространственно распределенный ансамбль непрерывных сигналов можно представить в виде набора ор-а ”ат некоторой однозначной функции целочисленного ментыеНТа яЛЯ этого Достаточно пронумеровать все эле-
ансамбля и принять их за ординаты этой функции,
расположение которых определено произведенной нумерацией. Такую функцию будем называть решетчатой функцией (РФ), а ее ординаты — компонентами РФ или просто компонентами.
Отношения между компонентами характеризуют форму РФ. Поэтому под опознаванием ситуации, скрытой в отношениях компонент, будем понимать опознавание формы ансамбля непрерывных величин или формы решетчатой функции.
РФ можно рассматривать так же и как способ задания некоторой непрерывной однозначной функции, являющейся ее огибающей. В этом смысле задача опознавания формы ансамблей непрерывных сигналов может быть отождествлена с задачей опознавания формы однозначных кривых.
В настоящем параграфе рассмотрим пути приближенного описания формы РФ совокупностью неравенств, устанавливающей соотношения между компонентами РФ. Возможны разные способы образования совокупностей таких неравенств.
Классификатор, контролирующий соотношения соседних компонент решетчатой функции. Самый очевидный способ задания соотношений между компонентами состоит в установлении совокупности неравенств, связывающих соседние компоненты. В качестве примера возьмем ансамбль из 10 непрерывных сигналов, представленный на рис. 45, а, в виде решетчатой функции X (п) = {xi}, i = 1, 2,..., п = 10. Соотношения соседних компонент этой РФ запишем следующим образом:
Xi х2 < х3 > х4 хъ, х6 < х1 ^8 = ^9	*ю-
На рис. 45, б изображена нейронная схема, которая контролирует выполнение указанных соотношений. Входной частью схемы является ряд нейронов, составленный из одинаковых ячеек. Ячейка представляет собой пару нейронов, образующих простейший классификатор рис. 43. Каждая ячейка контролирует соотношение (больше или меньше) двух сигналов — соседних компонент РФ. Входной ряд нейронов в известной степени универсален, поскольку участвует при выделении ансамблей сигналов, относящихся к разным классам. Но непосредственное
Рис. 45. Пример однослойного классификатора, контролирующего соотношения соседних компонентов.
а) Ансамбль входных сигналов в виде решетчатой функции „	— Ы)’» кривая 1 — огибающая этой РФ, кривые 2 и з <»т-
осятся к тому же классу (имеют ту же форму), что и кривая еппй 7сйРрнная схсма классификатора, содержащая входной и ?/7ИЗйаб°Ра двУхнейронных ячеек и выходные нейроны I, 11
*' Выходной нейрон IV иллюстрирует объединение трех классов в один.
выделение конкретного класса производится специально подключаемыми выходными нейронами (обозначенными на рис. 45, б римскими цифрами). Специфика каждого класса отображается в схеме классификатора системой запрещающих связей от тех нейронов входных ячеек, которые выдают сигнал при нарушении заданного соотношения между двумя входными величинами. Иными словами, введение запрещающей связи от левого или правого нейрона (или от обоих нейронов) ячейки определяется знаком неравенства (или равенства), связывающим соседние компоненты РФ.
Итак, правила построения однослойного классификатора, производящего выбор только по соотношениям соседних компонент предъявленного ансамбля, состоят в следующем.
а)	Между каждыми двумя входами, на которые поступают сигналы, требующие сопоставления в терминах «больше», «меньше», «равно», включаются в общем случае два нейрона, выполняющие условные вычитания:
11 , i 11	•
б)	На выходной нейрон, сигнализирующий об отнесении ансамбля к данному классу, подаются запрещающие связи:
от нейрона xt — xi+1, если требуется выделить условие i	t j
от нейрона xi+1 — xtl если требуется выделить условие Xt xi+1,
от обоих нейронов, выполняющих xt xi+1, Хц± — Xi, если требуется выделить условие xt ~ xi+1.
Понятно, что для выделения каждого нового класса сигналов надо добавлять новый выходной нейрон, соединенный с входными нейронами согласно правилу (б). Выходной нейрон может быть спонтанно генерирующим (генератором константы); тогда его роль состоит лишь в том, чтобы сигнализировать появление совокупности входных величин данного класса, не добавляя никакой количественной характеристики этой совокупности. В другом случае выходной нейрон обладает «дендритами», которые дают возможность суммировать воздействия и получить количественную характеристику выделенного ан
самбля сигналов. В зависимости от того, что берется за количественную характеристику, средний уровень входных сигналов или степень выраженности (достоверности) конкретного ансамбля, представляющего данный класс, на «дендритах» суммируются либо сигналы, пришедшие на входы классификатора, либо воздействия с выхода нейронов первого ряда.
На рис. 45, а огибающая решетчатой функции, взятой в качестве примера, обозначена как кривая 1. Легко убедиться, что приведенные выше неравенства не нарушаются, если кривая вытягивается (2) или с ж и-мается (5) по оси интенсивностей, или сдвигается налево (Г) и направо (Г) в пределах примерно 4- AZ/2 — половины интервала между двумя компонентами РФ. Во всех этих случаях на выходной нейрон I не подается ни одного запрещающего воздействия. Если нарушится хотя бы одно из условий, т. е. изменится знак неравенства двух соседних компонент, выходной нейрон будет заторможен. В общем случае выделение кривых той же формы, но сдвинутых на б/ (0,5AZ < 6Z < 1,5AZ), производится специальными выходными нейронами — на рис. 45, б нейроны II и III служат для узнавания исходной кривой, сдвинутой на 6Z влево и вправо. Если по условию задачи сдвинутые на 6Z кривые должны относиться к одному
классу, то такое условие легко реализуется суммирующим выходным нейроном IV. Этот нейрон дает «обобщенную» информацию о наличии кривой определенного типа, а нейроны /, II и III указывают ее более точную локализацию.
Рассмотренный тип классификатора обладает своими достоинствами и недостатками. Его достоинство в чрезвычайной простоте и гибкости,— например, в нем легко увеличивать число классов выделяемых ансамблей. К недостаткам может быть отнесена невысокая точность оп-
ределения формы входных ансамблей, поскольку система неравенств, связывающих соседние компоненты, не накладывает ограничений на соотношения разнесенных компонент. Например, для решетчатой функции рис. 45, а ничего не известно о соотношении компонент х3 и х8. "сли ввести условие х3> х8, то потребуется дополни-ьныи нейрон, дающий запирающее воздействие
х2—х3 и обозначенный 3, 8. В схеме рис. 45, б сигнал выходного нейрона I имеет вид
10
У\ ~ S SiTi I *1 <	< А-з > V, > х5, Л'в < л-7 < .V, = Л'„ > д>0, А’з > Л'л*
i=l
Если продолжить введение дополнительных нейронов, связывающих разнесенные компоненты, можно при необходимости добиться выполнения определенных соотношений между всеми компонентами ансамбля.
Классификатор, контролирующий все соотношения между компонентами. Нетрудно видеть, что для ансамбля из п компонент можно составить п (п — 1)/2 неравенств, связывающих каждую компоненту с каждой. В схемном ^воплощении должно быть п (п — 1)/2 входных ячеек, контролирующих выполнение этих неравенств. На рис. 46 приведена схема такого классификатора для случая га = 4. Ячейки из двух нейронов (на рис. 46 не имеющих номеров) образуют тот основной нейронный слой, в котором происходит анализ пришедших сигналов. Выходные нейроны подключаются (как и в предыдущем примере) с помощью запрещающих связей к ячейкам входного слоя. Очевидно, что не следует подключать выходные нейроны ко всем ячейкам, поскольку тогда было бы образовано много избыточных связей. Нужны связи только от тех входных нейронов, которые контролируют выполнение неравенств, определяющих данный класс.
Можно убедиться, что существует п — 1 независимых неравенств, связывающих взаимоотношения всех п компонент ансамбля, которые образуют многочленное упорядоченное неравенство. (В таком неравенстве все члены связаны каким-либо одним знаком, т. е. расположены «по ранжиру»). Именно эти п — 1 неравенства определяют каждый класс однослойного классификатора. Всего может быть п! таких классов.
Рассмотрим пример. Пусть на входы классификатора поступают ансамбли из п = 4 сигналов. Множество таких ансамблей может быть разбито на п! = 24 класса. (Для этого в схему рис. 46 должно быть введено 24 выходных нейрона.) Каждый класс определяется выполнением всего
п — 1 — 3 неравенств. Для случая = 6, х2 — 3, х3 = 8, Х4 = 5 три неравенства х2 xt, xt <С xt, хг х3 образуют многочленное упорядоченное неравенство х2 < х<
xt <Z выполнение которого означает отнесение
///z /, если ^г‘	 х{'
Рис. 46. Пример однослойного классификатора, контролирующего соотношения между всеми компонентами входной решетчатой функции.
ансамбля сигналов к одному (из п\ = 24) конкретному классу. Выполняющий эту процедуру нейрон на рис. 46 обозначен цифрой II.
4.3.	Иерархичное описание формы
Если сигналы, образующие некоторый ансамбль, пронумерованы в определенном порядке, т. е. представлены в виде решетчатой функции (РФ), то описание взаимоотношений сигналов с помощью неравенств, по существу, является одним из способов описания формы РФ. Описа-
Рис. 47. Решетчатая функция
Х(4) --{3, И, 6, 7}.
ние ансамбля сигналов, которое рассматривалось в предыдущем параграфе, даже при учете всех п — 1 незави симых неравенств между компонентами, дает все-таки грубое, приближенное описание формы РФ. Будем называть совокупность п — 1 независимых неравенств, связывающих компоненты РФ, основным приближенным описанием формы решетчатой функции. Эту совокупность неравенств будем представлять в виде упорядоченного неравенства и называть его основным неравенством. Условимся записывать компоненты в упорядоченном неравенстве в порядке их возрастания. Для X (4) из рис. 47 основное неравенство есть
«2-Д Х3	<27 4	«2?2 •
Рассмотрим возможности уточнения описания формы РФ. Для этого образуем из исходной функции разности между соседними по величине компонентами. В рассматриваемом примере
= Х3 — %! = 3,
Дх2 = Xi — х3 = 1,
Дх3 = х2 — Xi = 4.
Полученные разности представляют количественную характеристику основного неравенства и содержат информацию о более тонких отношениях между компонентами РФ. Эта дополнительная информация может быть представлена в виде нового, упорядоченного неравенства, связывающего все полученные разности*). Назовем его неравенством первого порядка. Система из двух упорядоченных неравенств — основного и первого порядка — является более точным описанием формы исходной решетчатой функции X (п).
Разности Дх. можно рассматривать как компоненты новой решетчатой функции ДХ (п — 1) с числом компо
*) Предполагается, что псе разности А^, г = 1, 2, ..., п — 1, различны по величине. Дальше показано, каким образом устраняется это ограничение.
нент на единицу меньше. Для АХ (п — 1) также можно образовать разности между соседними по величине компонентами, которые будут разностями второго порядка Д2#. исходной функции X (п), и для них составить упорядоченное неравенство, еще более уточняющее форму X (п). Принципиально можно продолжить уточнение описания формы РФ добавлением неравенств более высоких порядков, до тех пор, пока не будет получено неравенство, состоящее только из двух элементов. Полным описанием формы РФ будет совокупность всех упорядоченных неравенств — от основного до неравенства п — 2 порядка. Для функции X (4), взятой в качестве примера, полным описанием формы является следующая система неравенств:
“Г з	*^2 >
Ах2 <С Azj < Ах3, А2х2 < А2х1т
где
= х3 —	А2^ = Axj — Ах2,
Дх2 = Х4 — х3, А2х2 = Ах3 — Azp Ах3 = Х2 — Х4,
Описание формы в виде системы строгих неравенств применимо только к ограниченному классу РФ, у которых компоненты и разности всех порядков различны по величине. Чтобы построить описание формы, пригодное для любых РФ, необходимо его формулировать в терминах, позволяющих учитывать возможность равенства компонент. Это можно сделать, дополнив термины «больше», «меньше» термином «равно». Описание формы в этих терминах проиллюстрируем вторым примером.
Пусть дана функция X (5) = {3, 11, 3, 7, 2}. Полным описанием ее формы будет система
х5 хг = х3 Xi <Z х2, Ая2 <f Axx Ая3 = Ах4, А% < А2^ < А2х2, А3^ < A3Z2,
ние ансамбля сигналов, которое рассматривалось в предыдущем параграфе, даже при учете всех п — 1 незави
симых неравенств между компонентами, дает все-таки грубое, приближенное описание формы РФ. Будем называть совокупность п — 1 независимых неравенств, связывающих компоненты РФ, основным приближенным описанием формы решетчатой функции. Эту совокупность неравенств будем пред-а t ставлять в виде упорядоченного нера-I венства и называть его основным нера-Till венством. Условимся записывать ком
хI
Рис. 47. Решетчатая функция Х(4)--{3,11, 6, 7}.
поненты в упорядоченном неравенстве в порядке их возрастания. Для X (4) из рис. 47 основное неравенство есть

Х3 Х4 <С ^2-
Рассмотрим возможности уточнения описания формы РФ. Для этого образуем из исходной функции разности между соседними по величине компонентами. В рассматриваемом примере
А^ = х3 —	= 3,
Ах2 = х± — х3 = 1,
Ах3 = х2 —	= 4.
Полученные разности представляют количественную характеристику основного неравенства и содержат информацию о более тонких отношениях между компонентами РФ. Эта дополнительная информация может быть представлена в виде нового, упорядоченного неравенства, связывающего все полученные разности*). Назовем его неравенством первого порядка. Система из двух упорядоченных неравенств — основного и первого порядка — является более точным описанием формы исходной решетчатой функции X (п).
Разности Ах. можно рассматривать как компоненты новой решетчатой функции АХ (п — 1) с числом компо
*) Предполагается, что псе разности А^, г = 1, 2, ..., п — 1, различны по величине. Дальше показано, каким об разом устраняется это ограничение.
нент на единицу меньше. Для ДХ (п — 1) также можно образовать разности между соседними по величине компонентами, которые будут разностями второго порядка Д2х. исходной функции X (я), и для них составить упорядоченное неравенство, еще более уточняющее форму X (п). Принципиально можно продолжить уточнение описания формы РФ добавлением неравенств более высоких порядков, до тех пор, пока не будет получено неравенство, состоящее только из двух элементов. Полным описанием формы РФ будет совокупность всех упорядоченных неравенств — от основного до неравенства п — 2 порядка. Для функции X (4), взятой в качестве примера, полным описанием формы является следующая система неравенств:
^з <
< A2#i,
Д*^2
Д2х2
Х4 *^2 т
Дх3,
где
= х3 — х1? Д2хх = Дхх — Дх2,
Дх2 =	— х3, Д2£2 = Дх3 — Дхр
ДиС3 —— «с2
Описание формы в виде системы строгих неравенств применимо только к ограниченному классу РФ, у которых компоненты и разности всех порядков различны по величине. Чтобы построить описание формы, пригодное для любых РФ, необходимо его формулировать в терминах, позволяющих учитывать возможность равенства компонент. Это можно сделать, дополнив термины «больше», «меньше» термином «равно». Описание формы в этих терминах проиллюстрируем вторым примером.
Пусть дана функция X (5) = {3, И, 3, 7, 2}. Полным описанием ее формы будет система
•Г 5	*^1   ^3	*^2)
Дх2 <z д^ <; Дх3 = д^4, Д2х3 <г Д2^ < Д2х2, Д3^ < дзх2,
где
Д^ =- хх — #5,	А2^ =	Azj	—	Ля2,	A3£t	=	A2xt	—	Л2^,
Дх2 = x3 — xlt	A2x2 =	Ax3	—	Aj*1?	A3x2	=	A2x2	—	A2^.
Ax3 = x<i — x3,	Д2.г3 =	Axi	—	Ax3,
Am = x2 — X4,
Таким образом, используя термины «больше», «меньше» и «равно», можно получить описание формы РФ независимо от того, имеются у них равные компоненты и разности всех порядков или нет.
Описание в терминах «больше», «меньше», «равно» жестко фиксирует отношения между равными компонентами РФ при сравнительно больших допущениях на изменения остальных компонент. Поэтому даже небольшое изменение компоненты, связанной с другими знаком (=), приводит к изменению описания РФ, в то время как гораздо большее изменение компоненты, связанной с другими знаком «) или (», не изменяет описания формы РФ. Такую неоднородность реакции на локальную деформацию формы необходимо учитывать при применении описания формы к решению задач опознавания.
Возможно иное описание формы, более устойчивое к небольшим изменениям отношений между компонентами РФ, основанное на использовании терминов «больше или равно», «меньше пли равно».
Для РФ с несколькими равными компонентами запись упорядоченного нестрогого неравенства в этих терминах неоднозначна, так как порядок следования равных компонент в таком неравенстве может быть любым. Чтобы исключить возможную неоднозначность описания, условимся записывать равные компоненты упорядоченного нестрогого неравенства в порядке возрастания их индексов в исходной РФ. Полное описание формы в терминах «больше или равно», «меньше или равно» для функции X (5) из предыдущего примера представляет систему неравенств
х5 < ХХ < Т3 < Х2 ,
Дх2 A^i Д.т3 Д.Г4
Д2*г3 <С Д2А С’ Д2х2»
Д3^ Д3^2 •
Преимуществом такого описания является единство его структуры независимо от наличия или. отсутствия у РФ равных компонент. Кроме того, для описания в терминах «больше или равно», «меньше или равно» допустимые изменения величин, не приводящие к изменению описания, распределены более равномерно между всеми компонентами по сравнению с описанием в терминах «больше», «меньше» и «равно».
Итак, последовательность шагов описания формы ансамбля непрерывных величин или решетчатой функции состоит в следующем:
записывается упорядоченное неравенство для компонент решетчатой функции — основное неравенство;
вычисляются разности 1-го порядка, т. е. разности между соседними по величине компонентами;
записывается упорядоченное неравенство для разностей 1-го порядка — неравенство 1-го порядка;
вычисляются разности 2-го порядка;
записывается упорядоченное неравенство 2-го порядка ит. д., в общем случае — до (п — 2)-го порядка для ансамбля из п непрерывных величин.
Полным описанием формы является^система упорядоченных неравенств от основного неравенства до, в общем случае, неравенства (п — 2)-го порядка.
4Л. Опознание формы с помощью многоступенного анализа
Метод опознания. Метод основан на изложенном описании формы РФ. В основе метода лежит сопоставление описания формы произвольной РФ с описанием эталонной формы.
Описание эталонной формы РФ удобно выполнить способом, несколько отличным от изложенного: вместо записи упорядоченного неравенства всякий раз записывается (фиксируется) необходимая перестановка компонент РФ и разностей всех порядков в последовательности, соответствующей их расположению в упорядоченном неравенстве, т. е. «по ранжиру».
Например, если за эталон формы взять форму функции
(5)	из предыдущего примера, то запись основной
112 НЕЙРОННЫЕ КЛАССИФИЦИРУЮЩИЕ СТРУКТУРЫ [гл. IV
I перестановки (заменяющей основное неравенство) будет
/ Хо Л хз Х\ Х2 \	I
\	Х2	1 х5 ' *
Здесь Xi обозначены компоненты новой преобразованной РФ, которая получена в результате перестановки «по ранжиру». Преобразование X (5) в X* (5) показано на рис. 48. Полное описание формы РФ теперь представит собой систему перестановок для компонент и разностей всех порядков. В нашем примере полное описание формы X (5) есть следующая система перестановок:
По
<2*1	х 3	х4	Х2
*	♦	♦	*•
Х>2	Х$	Хд	Х$
( &х2 Дх3 Д#4
Хх2 Дт3 Д.Г4
п2 =-- (Д2х.3
\Д2*1
Д2тх Д2х2
Д2^ Д2#3

Д3^
Д3^1
Д3гс2
Д3т2
Описание формы решетчатых функций системой перестановок позволяет получить простой алгоритм опознавания. Процесс опознавания состоит из следующих этапов:
1.	Эталонная форма задается системой перестановок
По, Пи П2, ..., Пп_2.
2.	Компоненты опознаваемой функции X (п) подвергаются основной перестановке По.
3.	Полученная в результате этой перестановки функция X* (/г) подвергается испытаниям на выполнение условия неубывающего расположения ее компонент.
Если это условие не выполняется, опознаваемая функция не принадлежит к классу, заданному эталонной формой.
I Если условие выполнено, констатируется факт грубого приближения опознаваемой функции к эталонной форме й происходит дальнейшее уточнение формы.
। 4. Вычисляются разности 1-го порядка.
5. Эти разности подвергаются перестановке 1-го порядка Пх.
«2у ЗС* И
Рис. 48. Преобразование решетчатой функции .Y (5) — {3, И, 3, 7, 2} в новую функцию Х*(5) = {,2, 3, 3, 7, 11}, в которой компоненты расположены «но ранжиру».
6. Полученная функция ДХ* (п — 1) испытывается на выполнение условия упорядоченного расположения компонент и т. д.
Процедура опознавания формы X (п) представлена схемой рис. 49. Такой алгоритм легко реализуется на вычислительных машинах.
Модель многослойной сети, опознающей форму решетчатом функции. Для опознавания ансамбля сигналов по изложенному методу модель нейронной сети должна прежде
всего обладать возможностью проведения логического анализа пространственного распределения сигналов посредством проверки соотношений между их величинами в определенной последовательности. Кроме того, она

/. при Ах?*Ах?
О, при Ах? >Ах!
' ^приА^х^А^х?, 0, при А п'2х? >А п'2х^
Рис. 49. Алгоритм опознания формы произвольной решетчатой функции X (н):
П — перестановка, II — испытание па выполнение условия неубывающего расположения величин, В — вычисление разностей.
должна производить вычислительные операции для определения разностей между соседними по величине сигналами и т. д.
Рассмотрим нейронную цепочку на рис. 50, а. Эта цепочка построена из звеньев сравнения двух величин и опознает РФ, компоненты которых образуют неубывающую последовательность. Действительно, если входные сигналы подчинены условию х. Xj-ц, то только в этом
у 4j опознание iiPit многоСтупенном лйлпизй ns I
(Ьучае иа выходах всех левых нейронов сравнивающих звеньев будет отсутствовать возбуждение, а на выходе незаторможенного, спонтанно генерирующего нейрона образуется сигнал у = 1, констатирующий упорядоченное
Рис. 50. Нейронные цепочки (два варианта), совмещающие функции контроля за упорядоченностью входных величин и образование разностей между соседними сигналами.
расположение компонент РФ. При этом сигналы на выходах правых нейронов сравнивающих звеньев будут Равны разностям между соседними компонентами РФ.
Схема на рис. 50, а представляет один из вариантов модели нейронной цепочки, совмещающей функции контроля за упорядоченностью входных величин и образования разностей между соседними сигналами. Другой
вариант схемы, решающий те же задачи, показан на рис. 50, б. Для выполнения функции контроля здесь использованы спонтанно генерирующие нейроны, имеющие тормозной вход типа «запрет».

х. х. х.
I/, если х** х?г [ZJ если xf * x*f (Ах2 Axf Ах3 \d<2rz* J<z^* AxJ
Ах2
\1,если Ах** Ах-0, если Ах(*>Ах.
1,еслиА2х?*А2хГ, р	‘	/+/
0,еслиА2х^А2х.^
Рис. 51. Многослойная нейронная сеть, опознающая решетчатые функции X (п — 4) определенной формы, которая описывается системой неравенств 1) хх < х3 <
#4	^2, 2) Дхг A^i Ах3, 3) A2jt2 % А2^. Для
примера эта форма задана эталонной функцией
X (4) = {3, 11, 6, 7}.



Решетчатая функция произвольной формы однозначно преобразуется соответствующей перестановкой в РФ с расположением компонент «по ранжиру». Преобразование произвольной решетчатой функции X (п) в упорядоченную X* (п) на языке построения схем означает коммутацию входов по правилу, задаваемому перестанов
кой П. Следовательно, коммутация входных сигналов и проверка упорядоченности расположения величин переставленных компонент составляют основную роль каждого слоя опознающей схемы.
На рис. 51 приведен пример многослойной опознающей сети. Входы каждого слоя коммутируются в соответствии с перестановками По, Пп ..., Пп^2, которые заданы формой эталонной решетчатой функции. Контроль за упорядоченным («по ранжиру») расположением переком-мутированных сигналов в каждом слое осуществляется нейронной цепочкой, типа изображенной на рис. 50, а. В этих же цепочках образуются разности, служащие входными сигналами для следующего слоя. Схема рис. 51 представляет модель нейронной сети, полностью реализующей алгоритм опознания формы для Х(4) из нашего примера.
4.5. Принципы построения многослойного классификатора
В параграфе 4.2 рассмотрены однослойные классификаторы, в которых анализ ансамбля непрерывных сигналов исчерпывался определением неравенств только между самими величинами этих сигналов. В параграфах 4.3 и 4.4 применен многоступенчатый анализ, при котором учитываются соотношения не только между компонентами, но и между разностями первого и более высоких порядков. Однако особенности многоступенного анализа изучались на примере опознавателя, т. е. такого простого классификатора, который делит ансамбли входных сигналов на две группы: на те, которые принадлежат к данному классу (на который настроен опознаватель), и на все остальные, к нему не относящиеся.
В этом параграфе речь пойдет о работе многослойных классификаторов, которые в принципе могут делить множество входных ансамблей на то число классов, которое определено теоретическими возможностями метода многоступенного анализа этих ансамблей, основанного на ие-рархичном описании формы решетчатых функций.
Возможности метода. Иерархичное описание форм решетчатых функций позволяет теоретически довольно тонко
различать эти формы. Прежде чем оценить число разли* чимых форм, договоримся о терминологии.
Классом ансамблей входных сигналов (или классом форм решетчатой функции) назовем множество совокупностей непрерывных величин, которые описываются одним и тем же основным неравенством. При п сигналах (или входах классификатора) число NQ разных классов будет, очевидно, равно
No = п\	(1)
В каждом классе будем различать подклассы первого порядка, к которым отнесем множество ансамблей непрерывных сигналов или множество форм РФ, которые описываются не только одним основным неравенством, но и одним неравенством 1-го порядка. Число Nx подклассов первого порядка в каждом классе равно
ДЧ = (и - 1)!
(2)
Аналогично, каждый подкласс (/ — 1)-го порядка будем делить на подклассы /-го порядка. Исходя из структуры многослойного опознавателя, легко заключить, что число Ni подклассов /-го порядка указывает число различимых форм на /-м уровне классификации. Оно определяется перестановками соответствующих разностей. Поскольку исходный ансамбль или решетчатая функция имеют п компонент, то на /-м уровне опознавателя число разностей /-го порядка равно п — i. Перестановки из п — /и есть количество различимых форм f-го уровня или число подклассов /-го порядка в каждом подклассе (/ — 1)-го порядка, т. е.
= (п-/)!
(3)
Поскольку в многослойном классификаторе с п входами, как и в таком же опознавателе, может быть максимум п — 2 слоев, то количество потенциально различимых форм с помощью п — 2 уровней классификации или, другими словами, общее число подклассов
высшего (п — 2)-го порядка будет составлять число N:
п- 2	п
АГ = П = г-Э	г=2
Общее число подклассов высшего порядка весьма велико. Так, например, для п = 6 получаем N = 24 883 200. Это свидетельствует о высокой потенциальной точности многослойной классификации.
Структура многослойного классификатора. Как можно представить устройство классификатора, разделяющего множества ансамблей непрерывных сигналов на N классов или форм РФ? Возможны разные пути для его построения. По-видимому, все они укрупненно делятся на две группы: построение классификаторов, настраивающихся на ансамбль входных сигналов некоторого класса, и построение классификаторов с жесткой схемой, т. е. с неизменными соединениями, приводящими к N выходам. Подробное описание вариантов не входит в задачу и не допускается объемом данной книги. Ограничимся рассмотрением возможных принципов построения классификаторов.
Чтобы пояснить работу настраивающегося классификатора, вернемся к схеме опознавателя на рис. 51. Ранее указывалось, что настройка такого опознавателя на выбранный класс сигналов (или РФ эталонной формы) происходит с помощью определенной коммутации выходов предыдущего и входов последующего слоев. Коммутация имеет целью расположение «по ранжиру» компонент, а затем и соответствующих разностей этих компонент некоего эталонного, образцового ансамбля, т. е. ансамбля сигналов, наверняка принадлежащего к выбранному классу. Если предположить существование такого опознавателя как технического устройства, то подобная коммутация может производиться вручную.
Представим, что процесс коммутации автоматизирован, т. е. что имеется система переключателей, способная
автоматически устанавливать все возможные соединения *). Понятно, что общее число комбинаций всех связей может быть весьма велико. Здесь мы не будем анализировать возможные методы поиска той системы связей, которая обеспечивает настройку схемы на данный класс сигналов. Укажем лишь, что наличие послойного контроля расположения входных величин позволяет и поиск требуемой системы связей осуществлять послойно.
Если теперь предъявлен произвольный ансамбль сигналов, то автоматическая система переключателей остановит поиск нужных связей в каждом слое, лишь произведя «ранжировку» входных величин. Своевременную остановку обеспечат логические нейронные цепочки (см. рис. 50), осуществляющие контроль за упорядоченным расположением величин на входах каждого слоя. Итак, нейронная схема автоматически настроена на пришедший ансамбль входных сигналов. Но к какому классу относится этот ансамбль? Ответ заключен в системе соединений, достигнутых в процессе коммутации. Можно представить разного типа устройства, считывающие этот ответ путем опроса состояния связей. Нетрудно представить опрашивающее устройство, переводящее найденную комбинацию связей в дискретный код. Методы дешифровки таких кодов хорошо известны. Ответ, указывающий номер класса, к которому отнесен ансамбль входных сигналов, в таком классификаторе будет получен на соответствующем выходе дешифратора. Таков в обших чертах способ построения классификатора, настраивающегося в процессе поиска системы связей.
♦) Рассуждая о возможных механизмах взаимодействия нейронов, выдвигая относящиеся к этому гипотезы идем более, изучая воз можные следствия этих гипотез, вряд ли можно удержаться в рамках сугубо физиологических представлений. Ясно, что определенные этапы этих рассуждений могут показаться чрезмерно «техническими». Но, по мнению автора, это не только не вредно, но и необходимо, во-первых, потому, что к целям моделирования (см. главу VIII) относится,в частности,изучение процессов,которые подсказаны работой нервной системы, но могут и не быть тождественны протекающим в ней процессам, а, во-вторых, потому, что современные знания о работе нервной системы даютещ» слишком мало оснований для определения границ допустимости тех или иных гипотетических механизмов ее работы.
Перейдем к классификаторам более жесткой конструкции. Простейший путь — это использование нескольких (по числу определяемых классов) жестко настроенных опознавателей. Входные сигналы поступают на их объединенные входы, вызывая возбуждение лишь одного выходного элемента. Ясно, что при большом числе классов подобное решение будет весьма громоздким. Поэтому рассмотрим подробнее структуру многослойного классификатора с элементами самонастройки, которая
приводит к сравнительно простому схемному решению, экономному по числу используемых элементов (искусственных нейронов).
Предварительно ознакомимся с нейронной схемой, способной выстраивать «по ранжиру» компоненты любой совокупности непрерывных величин. Эта схема состоит из ячеек, представляющих объединение двух логических схем: схемы функции min (х1т х2), выделяющей меньшую из двух входных величин, и схемы функции max (rr2, х2); см. параграф 3.3. Па рис. 52, а и б показаны соединение нейронов и обозначение такой ячейки. Полная схема «ранжировки» на пять входных сигналов изображена на рис. 53. Такую схему удобно применить в многослойном
классификаторе.
Рассмотрим структуру классификатора на рис. 54. Каждый слой (кроме основного, —«нулевого») включает три блока: П — преобразователь^ так обозначим рассмот-
ренную выше схему, преобразующую произвольный набор величин в упорядоченную решетчатую функцию, В — блок вычитания, образующий разности соседних по величине компонент РФ, К — собственно классифи-
цирующий слой, выделяющий подклассы i-го порядка. Каждый блок К представляет однослойный классифика-
тор, контролирующий все соотношения между сигналами,
приходящими на данный слой. Его схема аналогична схеме рис. 46. Понятно, что основной уровень Ко, производящий деление ансамблей входных сигналов на основные
классы, не нуждается в блоках П и В, поскольку здесь классификации подлежат собственно компоненты РФ,
а не их разности. Ясно также, что роль блока П во всех последующих слоях — обеспечить упорядоченную РФ, что-ы вычитающий блок В мог выделить разности соседних

У‘ Уы а)	Я
Рис. 52. Нейронная ячейка, переставляющая входные сигналы так, что на левом выходе всегда появляется меныпий из входных сигналов, па нравом — больший:
а) схема, б) обоипчечие.
а)	6)
Рис. 53. Схема преобразователя, выполняющего перестановку компонент произвольной решетчатой функции «по ранжиру» в возраста ющем порядке (а). В качестве примера показано преобразование исходной функции, у которой компоненты расположены в противоположном (убывающем) порядке (б).
по величине компонент. Остается добавить, что признаком выделения ансамбля входных сигналов, относящегося к подклассу самого высокого порядка, является наличие совокупности сигналов с выходов блоков К в с е х уровней классификации. Иными словами, самое
Рис. 54. Блок-схема классификатора.
малое подмножество ансамблей входных сигналов, которое может быть выделено классификатором, или, что то же, решетчатая функция определенной форм ы, характеризуется: номером основного класса, номером подкласса 1-го порядка и т. д. вплоть до номера подкласса высшего (п — 2)-го порядка. На рис. 54, чтобы не загромождать схему, не показаны результирующие нейроны, объединяющие выходы всех блоков К. Между тем включение таких нейронов должно производиться аналогично включению выходных нейронов на рис. 46 с тем, однако, отличием, что комбинации запрещающих связей подходят не от одного, а от всех блоков К многослойного классификатора.
4.6. О геометрическом представлении классификации
Решетчатую функцию с п компонентами можно представить в виде точки в n-мерном пространстве. Множество РФ, удовлетворяющих конкретному основному неравенству, будет занимать в этом пространстве область; границы области определяются возможными изменениями величин компонент, не нарушающих основного неравенства. Назовем эти области областями классов или просто классами. В соответствии с изложенным выше п-мерное пространство делится на и! таких областей. Будем это
пространство называть пространством классов или пространством форм (подмножество решетчатых функций, удовлетворяющих, кроме основного неравенства, еще и некоторому неравенству 1-го порядка, будет занимать часть области класса, которые представляет подкласс 1-го
Рис. 55. Геометрическое представление пространства классов при числе входных сигналов п — 3.
Жирными линиями разделены области классов, тонкими — подклассов 1-го порядка.
порядка. Подклассы 1-го порядка делятся на подклассы 2-го порядка и т. д.).
Рассмотрим пространство классов при п = 3. Если диапазон изменения каждой компоненты решетчатой функции ограничен интервалом Он-1, то пространство представляет единичный куб (рис. 55). Область каждого класса в этом случае образует треугольную пирамиду с вершиной в начале координат. Каждая область класса
подразделяется на две области подклассов 1-го порядка, также в виде треугольных пирамид, но с меньшей пло-шадыо основания (см. тонкие линии на рис. 55). На полях рис. 55 даны обозначения подклассов в виде систем неравенств и стрелками указаны соответствующие им области единичного куба.
Перейдем к рассмотрению взаимного расположения классов и оценке разделяющего их расстояния. Расстояние между классами зависит от различия между теми основными неравенствами, которыми описываются эти классы. Ближайшими или соседними будут те классы, основные неравенства которых имеют минимальные различия между собой. Надо выбрать единицу измерения для оценки различия между основными неравенствами. .
Мера расстояния между классами. Наименьшее различие между двумя многочисленными неравенствами заключается в противоположности знака, связывающего две компоненты, соседние по величине. В основном неравенстве имеется п — 1 пар соседних по величине компонент. Следовательно, для любого основного неравенства существует п — 1 других неравенств, минимально отличающихся от исходного, а в пространстве классов для каждого класса существует п — 1 соседних. (Аналогично подклассы 1-го порядка расположены внутри классов таким образом, что каждый из них имеет п — 2 соседей и т. д. Подклассы самого высокого (п — 2)-го порядка имеют только одного соседа в рамках предыдущего подкласса (п — 3)-го порядка.)
Перемена знака между двумя соседними членами основного неравенства, например, замена ... х. Xj ^... на ... Xj х ... означает транспозицию (перемену мест) соседних по величине компонент решетчатой функции или ансамбля непрерывных величин. Транспозиция соседних по величине компонент является удобной мерой расстояния между классами ансамблей непрерывных величин. Расстояние между двумя классами в этом случае равно минимальному числу транспозиций соседних по величине компонент, преобразующих решетчатую функцию одного класса в решетчатую функцию другого класса. (Аналогично, расстояние между двумя подклассами «’Го порядка, входящими в один подкласс (к — 1)-го
порядка,равно минимальному числу транспозиций соседних по величине разностей Л-го порядка, переводящих один подкласс в другой.)
Алгоритм подсчета расстояния. Для вычисления расстояния между классами воспользуемся следующим приемом. Поставим в соответствие каждому основному упорядоченному неравенству из п членов первые п чисел натурального ряда таким образом, что наименьшей компоненте будет соответствовать число 1, второй по величине компоненте — число 2 и т. д. Например, неравенству х3 <2 х2 xi xY поставим в соответствие числа: 1, 2, 3, 4. Затем расположим эти числа в том порядке, в каком расположены компоненты исходной решетчатой функции (т. е. в соответствии с индексами компонент). В нашем примере исходной функции X (4) = {х1? х2, х3, xi} будет соответствовать запись: 4, 2, 1, 3. Полученный таким образом ряд чисел можно рассматривать как n-значный номер класса, к которому принадлежит данная решетчатая функция. Сопоставляя разные номера, нетрудно подсчитать минимальное число отличающих их транспозиций (непорядков их номеров) или, что то же, расстояние между классами.
Итак, расстояние d между двумя классами равно минимальному числу транспозиций — попарных перестановок соседних чисел натурального ряда, входящих в номер vt одного из классов, для получения номера v2 другого класса. Подсчет этого числа удобно делать так: сопоставляются две первые цифры в обоих номерах и фиксируется одна транспозиция, если в одном номере эти цифры образуют возрастающую, а в другом убывающую последовательности; так же сопоставляются первые и третьи, затем первые и четвертые цифры в обоих номерах и т. д.;
аналогично проверяются все остальные пары: вторые и третьи, вторые и четвертые..., третьи и четвертые и т. д.;
все транспозиции, обнаруженные в результате прове-»	п (п — 1)
рочнои процедуры из ——- шагов, суммируются.
Полученная сумма указывает расстояние между двумя классами J(v.,v2). Например, если v, = 1243, v.> == «= 4132, то d (vx, va) = 3.
Рис. 56. Дискретная модель классификации решетчатых функций при п — 4;
а) пространство классов, б) пространство подклассов 1-го порядка, е) пространство подклассов 2-го порядка.
Выбранный способ измерения расстояния между классами удовлетворяет аксиомам метрики:
с/ (Vi,V{) = 0 ,
d (Vi.Vj) <1 (Vj.Vi), d (Vi,Vj) < d (vi,vk) + d (v/f.Vj).
Дискретная модель пространства классов. Возможность оценивать расстояния между классами позволяет воспользоваться иными геометрическими представлениями — дискретной моделью пространства классов. В дискретной модели каждый класс решетчатых функций или ансамблей с п компонентами обозначим кружком с вписанным в него n-значным номером, присвоенным этому классу. Соединяя кружки линиями, можно разными способами изображать взаимное расположение классов. (Это же относится к представлению подклассов любого порядка в пределах подкласса более высокого порядка.) Дискретная модель позволяет, в частности, наглядно изобразить пространство классов для ансамблей сигналов при п = 4 (рис. 56).
Введение метрики в пространстве классов открывает новые возможности анализа процесса изменения формы решетчатой функции. Эти процессы могут описываться некоторыми траекториями в пространстве классов, анализ которых представляет интересный аспект изучения динамики многокомпонентных процессов.
4.7. Заключительные замечания
Изложение гипотетических механизмов опознания и классификации ансамблей непрерывных сигналов, по существу, сделано в предположении, что выполняющие эти функции нейронные структуры полностью сформированы. При современном уровне физиологических знаний еще трудно судить о путях образования классифицирующих структур. Среди электрофизиологических работ имеются работы, указывающие на наследственное формирование аппарата, выделяющего определенные признаки, например, признаки зрительного изображения [156]. Вместе с тем ясно, что в этих работах речь идет об опознании
сравнительно простых признаков. Существуют представления психофизиологического характера, согласно которым способность животного опознавать сложные ситуации вырабатывается в процессе обучения. Где проходит граница между этими механизмами (морфологическая и функциональная) пока не известно. Можно высказать лишь предположение, что если существуют в нервной системе структуры, подобные рассмотренным в этой главе, то легко представить в процессе обучения эволюцию межнейронных соединений, приводящую с течением времени к образованию вполне сложившегося классификатора из «полуфабрикатов» в виде генетически сформированных нейронных цепочек, звенья которых способны сопоставлять хотя бы два сигнала в терминах «больше», «меньше». Детали процесса образования связей, в общем виде широко постулируемого в нейрофизиологии, пока еще тоже изучены недостаточно. Но для обдумывания гипотез о механизме классификации на столь общем уровне в принципе безразлично, каким образом заканчивается формирование нейронной структуры — за счет направленного «прорастания» связей или за счет изменения синаптических «весов», приводящего к усилению нужных связей и отмиранию ненужных.
Описанный метод классификации обладает рядом специфических черт. Во-первых, метод основан на применении качественных оценок непрерывных величин в терминах «больше», «меньше», «равно». Использование таких оценок обусловлено предположением о непрерывно-логических свойствах нейронных сетей. Во-вторых, характерная черта метода состоит в его многоступенчатости, которая дает возможность последовательного повышения точности опознавания. Известная из физиологии разная локализация ответов на простые и более сложные стимулы [156, 157] делает вероятным предположение о следующей иерархии: нижние уровни опознающей сети выделяют образ в грубом приближении, а верхние — ответственны за его более точную идентификацию.
Говоря о возможности практического. применения классификации совокупностей непрерывных величин, следует подчеркнуть, что иерархичность метода позволяет выбирать необходимую точность опознавания формы РФ
5 Н. В. Поэин
в зависимости от допустимых деформаций, вызываемых действием помех. Кроме того, из-за погрешностей реальных сравнивающих элементов и убывания абсолютных значений разностей с ростом их порядка полное опознавание формы на всех п — 1 уровнях получить не всегда возможно. Но уже опознавание формы, выполняемое на двух и трех уровнях, может в некоторых случаях оказаться вполне достаточным по точности. По-видимому, ряд задач, возникающих на практике, может быть сведён к распознаванию с заданной степенью точности совокупности величин или формы однозначных кривых, определенных на конечном и неизменном интервале. Иными словами, такая процедура может рассматриваться как отнесение к одному классу функций типа
<р(В) = М>(В) +
(заданных на фиксированном интервале значений |) независимо от величин q и q.
г Л Л В Л V___________________
ДИН АМИЧЕСКИЕ свойства простых НЕЙРОННЫХ СОЕДИНЕНИЙ
Процессы в нервной системе организма, находящегося в состоянии активной деятельности, характеризуются высокой степенью изменчивости. Эта изменчивость проявляется и при энцефалографических записях, и при регистрации суммарной электрической активности многих нейронов, и, что самое существенное, она проявляется в изменениях во времени степени возбуждения отдельных нервных клеток. Изменения активности нейронов отражают временные закономерности переработки информации. Ограничиваясь сведениями, полученными при регистрации активности одиночных нейронов, укажем, что в этих экспериментах чаще всего выделяют несколько типов динамических процессов.
Среди реакций нервных элементов на тестовые сигналы выделяют процесс адаптации, главным образом для рецепторных элементов. В работе нервных клеток выделяют режимы: топический. которому соответствует ответ нейрона в течение всего времени действия постоянного стимула, и фазический, т. е. кратковременный ответ. Среди фазических ответов различают «оп»-ответы — реакции нейрона на начало действия стимула, и «offo-ответы — реакции на его окончание.
Нередко наблюдается ритмическая активность, нервных клеток. Различают два режима ритмической активности: равномерная генерация импульсов и генерация импульсов периодически повторяющимися пачками или сериями.
Понятно, что упомянутые режимы работы нервных клеток не исчерпывают многообразия динамических процессов в нервных элементах. Речь идет лишь о некоторых типах активности нейронов, наиболее часто регистрируемых в физиологических экспериментах. При оценке их типичности необходимо принимать во внимание методические
особенности значительной части современных экспериментальных работ, в которых тестовыми сигналами чаще всего являются импульсы (света, звука и др.) весьма простой конфигурации. Переход со временем к более сложным программам экспериментов даст, безусловно, новые сведения о типах динамических процессов.
В этой главе очень кратко рассматриваются качественные характеристики динамических процессов в моделях отдельных, с нашей точки зрения, достаточно типичных нейронных структур. Во-первых, анализируются переходные процессы в нейронных слоях с латеральными связями (параграф 5.1). На основе чисто качественного анализа показывается, что наблюдаемые в электрофизиологии реакции нейронов типа «оп» и «off» могут быть следствием специальной организации связей в нейронной структуре из примерно одинаковых элементов [56], а не свойством особых нервных клеток. Во-вторых, предпринята попытка выяснения механизмов ритмической активности. С этой целью рассмотрены соответствующие физиологические наблюдения и модели нейронных соединений, в которых может возникать периодическая генерация импульсов (параграфы 5.2 и 5.3).
5.1. Переходные явления в нейронной сети с латеральными связями
Статическая картина работы нейронного слоя с латеральными связями рассмотрена в главе II. В настоящем параграфе речь пойдет о качественном описании переходных явлений на выходе многослойной структуры после возникновения или исчезновения входного фронта возбуждения. Как показано в главе II, в зависимости от организации связей нейронный слой может выполнять разные операции над фронтом возбуждения: обострение, расширение, выделение краев. Для изучения переходных процессов в нейронных слоях ограничимся рассмотрением лишь одного случая: представим, что слои выполняют операцию обострения. Будем учитывать два типа факторов, обусловливающих изменения во времени выходного фронта возбуждения: инерционность нейронов и их способность к адаптации.
Представим многослойную сеть, составленную из нескольких слоев с латеральными связями, из которых на
Рис ^7 тт*
’ '• л переходным процессам в нейронном слое с латеральными связями.
пачалс~пеп<н?л1г0Й *ронт В0збуждения слоя F, (х, t) — выходной фронт з2 ® (сплошная	пР°ЦСССа (пунктирная линия) и в установившемся режиме
линия). Значения «весов» входов даны вверху, где отдельно показаны тормозной и возбуждающий нейроны слоя.
нейв п Ь2. Предположим, что в слое Ll нет тормозных 6vnpH0B И латеРальные связи отсутствуют. Более того, t мо- ВНачале с™ь, что фронт возбуждения на выходе его с^ет возникатьмгновенно, т. е. сразу устанавливается ционарное значение без каких-либо переходных
явлений. Эта небольшая идеализация понадобилась лишь для того, чтобы сделать более простым дальнейший анализ переходных явлений в вышележащих нейронных слоях. Все верхние слои, начиная с Л2, содержат не только возбуждающие, но и тормозные нейроны и обладают латеральными связями. Напомним, что введение в нейронный слой специальных тормозных Т-нейронов, осуществляющих передачу латерального тормозного воздействия, отражает современный взгляд на возбуждение и торможение как результат действия двух различных аппаратов [2]. Биологами выдвинуты разные представления о механизмах торможения [2, 3, 27, 57]. В этом параграфе, как и в главе II, принято, что торможение осуществляют особые тормозные клетки — Т-нейроны. Необходимо указать, что точное знание структуры тормозного аппарата для задачи, поставленной в этом параграфе, не существенно; важно лишь предположение, что возбуждающие и тормозные пути имеют различную инерционность.
Роль инерционности тормозных связей. Представим, что под действием некоего стимула на выходе возник фронт возбуждения Fr (х) — огибающая значений частот следования импульсов на выходе В-нейронов слоя расположенных вдоль оси х. Будем вначале считать Fx (х) неизменным во времени. Выясним реакцию F2 (х, /) следующего слоя Ь2, для которого Fr (.г) представляет входной фронт возбуждения. В установившемся режиме происходит обострение пришедшего фронта возбуждения. Для анализа переходных процессов в нейронной сети необходимо учитывать инерционность латеральных связей и прежде всего тормозных связей — за счет дополнительной «синаптической задержки» в Т-нейронах. Из-за инерционности тормозных связей пришедший на Ь2 фронт возбуждения успеет вызвать активность В-нейронов слоя до начала действия латерального торможения. Поэтому в начальный период выходной фронт возбуждения F2 (х, t) будет широким (для рассматриваемого примера сети близким *) по ширине к F\ (т); см. пунктир на рис. 57). Таким
*) Чем шире радиус действия возбуждающих связей, тем сильнее отличается но ширине (в сторону увеличения) выходной фронт возбуждения /’2 (.г, J), возникающий в н а ч а л ь н ы й момент времени па слое £з, от входного Fi (т).
образом, вначале сужения возбужденной области не происходит. По прошествии времени, достаточного для возбуждения Т-нейронов слоя Z/2, возникнет фронт торможения который подавит активность В-нейронов всюду, кроме сравнительно узкой области вблизи максимума фронта возбуждения (сплошная линия на рис. 57).
Роль адаптации нейронов. В нейрофизиологии адаптацию нервных клеток чаще всего понимают как постепенное уменьшение величины реакции клетки (при действии постоянного стимула). Яснее всего адаптация проявляется в работе рецепторных клеток. В этом случае ее трактуют как следствие таких свойств самой клетки, которые обеспечивают наибольшую активность рецептора в начале раздражения. Термином адаптация определяют также поведение центральных нейронов, плавно изменяющих характер ответа во время действия постоянного стимула. Но здесь труднее определять причины этого явления и во
всех случаях разделять следующие возможности: является ли адаптация нейрона свойством отдельной клетки или соединения нервных клеток. Отмечая некоторую нечеткость этого понятия, будем (в соответствии с более распространенными представлениями) трактовать адаптацию как относительно медленное изменение чувствительности (или входных коэффициентов) нейрона в сторону понижения (загрубления) при продолжительном возбуждающем воздействии и в сторону повышения — при тормозном.
Выше предположено, что в слое Lr не происходит переходных процессов, связанных с инерционностью латерального торможения, поскольку нет необходимых для этого связей. Но вследствие адаптации нейронов здесь могут происходить переходные явления после изменения сти-мУла, которые естественно представить как, например, небольшое уменьшение фронта возбуждения на L± спустя некоторое время после его возникновения.
Латеральное торможение и адаптация, вообще говоря, не исчерпывают возможных причин изменения во времени Фронта возбуждения нейронных слоев при постоянном ^ходном стимуле. Дополнительным фактором могут явить-нохПе₽еХОДНЫе пР°Цессы в слое рецепторов и в связан-осн ° НИМИ первичном преобразователе, каким является овная мембрана в слуховом анализаторе. (Некоторые
соображения, относящиеся к этому вопросу, см. в параграфе 6.5). Но подробное рассмотрение этих явлений выходит за круг задач данной книги. Возвращаясь к адаптации нейронов, можно утверждать, что удельный вес ее среди других составляющих переходного процесса должен быть особенно велик на нижнем нейронном уровне (в нашем примере Z/J, если он действительно не содержит тормозных латеральных связей. (Можно указать по крайней мере один такой пример — спиральный ганглий в слуховой системе; см. главу VI).
Итак, учитывая два фактора, влияющих на временнь е характеристики ответов нервных клеток,— инерционность тормозных связей и адаптацию,— попытаемся выяснить реакции нейронов на разных уровнях многослойной структуры с латеральными связями.
Поведение одиночных нейронов в разных слоях модели. Рассмотрим вначале реакцию на включение стимула. Попавшие в зону возбуждения нейроны слоя будут отвечать в течение всего времени действия входного сигнала, при этом частота импульсов в ответе постепенно будет снижаться на некоторую величину вследствие повышения порогов элементов в результате адаптации. Воспользуемся физиологической терминологией. Напомним, что нервные клетки, которые дают реакцию, т. е. отвечают в течение всего времени действия стимула, принято называть нейронами, имеющими тонический или отражательный тип ответа. Нервные клетки, которые отвечают лишь при изменении стимула, называют нейронами с фазическим типом ответа. Фазические ответы разделяют на «оп»-ответы (реакция на включение стимула) и «ofb-ответы (реакция на выключение).
Итак, у нейронов слоя Lr в нашем примере будет тонический, или отражательный, тип ответа.
На слое Л2 значительная часть В-нейронов (расположенных по краям фронта F2 (х, t) на рис. 57) возбуждается на короткое время, определяемое инерционностью тормозных связей, осуществляющих операцию обострения. Эти нейроны имеют фазический тип ответов, конкретно «оп»-ответы, поскольку они отвечают на включение. В-нейроны, расположенные вблизи точки максимального возбуждения, после включения тормозных связей окажутся несколько
приторможенными, но их ответ будет иметь тонический характер. Все Т-нейроны слоя Л2, на вход которых пришло возбуждающее воздействие, также будут отвечать в течение всего времени действия входного сигнала, т. е. тонически, несколько снижая частоту импульсов в ответе в результате адаптации. Итак, поведение нейронов слоя Ь2 будет отличаться от слоя появлением «оп»-ответов.
На следующих слоях структуры (на рис. 57 не показаны), организованных аналогично Л2, процент нейронов, отвечающих тонически, уменьшится, поскольку так работают только нейроны, расположенные в еще более сузившейся области возбуждения. Все остальные нейроны слоя — и возбуждающие, и тормозные — будут отвечать на включение сигнала, т. е. будут иметь «оп»-ответы.
Итак, в многослойной модели, выполняющей функцию обострения, доля нейронов с тоническими ответами уменьшается, а с фазическими — увеличивается при переходе от низшего слоя к высшему. В следующей главе указаны физиологические данные, относящиеся к работе нейронных структур слуховой системы, которые согласуются с этими модельными представлениями (см. параграф 6.5).
Процессы, происходящие при выключении стимула, во многом аналогичны процессам при включении. В момент прекращения действия входного сигнала латеральное торможение снимается. При этом те В-нейроны, которые были полностью заторможены в период действия стимула, должны выдать ответ на выключение («off»-ответ). Причина появления «о£Ь>-ответов состоит в том, что за время присутствия на входах этих нейронов тормозного воздействия их чувствительность повысилась из-за адаптации. Длительность ответов будет определяться временем, необходимым для возвращения чувствительности к нормальному значению. Что же касается тех В-нейронов, которые отвечали тонически, то они будут иметь в силу той же причины пониженную чувствительность и не дадут ответа на выключение.
Из сказанного следует, что образование возбужденной о ласти Fx (х) в разных участках — по оси х — нижнего ?оя пРиведет к тому, что на верхних слоях одни и те о'е нейроны будут вести себя по-разному, в зависимости их положения относительно максимально возбужденной
Представляет интерес кратко ознакомиться с данными о функционировании некоторых систем, которым свойственна ритмическая активность.
Сердечный ганглий беспозвоночных. В сердце или сердечном ганглии многих беспозвоночных, в частности ракообразных, физиологами обнаружены ритмично возбуждающиеся клетки, весьма схожие с клетками центральной нервной системы. В работах [61, 62] достаточно подробно исследованы и описаны структура и свойства сердечного ганглия ракообразных.
Число нейронов сердечного ганглия беспозвоночных невелико (у ракообразных от 6 до 15) и для каждого вида довольно постоянно. У омара их всего 9, из них 5 больших и 4 малых. Большинство клеток многополярны (малые всегда многополярны). Большие клетки (диаметром до 200 микрон) окружены сплетением из ветвей двух ускоряющих и одного тормозного аксонов дорсального нерва, идущего из центральной нервной системы. Окончания больших клеток подходят к сердечным мышцам. Малые клетки по размеру вдвое меньше и лишены сплетений регуляторных волокон.
Внеклеточные записи потенциалов действия этих нейронов представляют собой пачки, следующие с частотой сердцебиений. Сердечный ганглий омара является примером системы с внутренним ритмом, который порождается его собственными пейсмекерами (водителями ритма).
В роли пейсмекеров выступают здесь чаще всего малые клетки ганглия. Есть предположения, что механизмом сердцебиения у омара управляют пары нейронов. Такая избыточность, возможно, служит для получения большей мощности и надежности импульсных посылок, чем это обеспечивает один пейсмекер. Роль активного пейсмекера выполняет клетка, имеющая более высокий ритм. Она осуществляет запуск крупных клеток. Обратных связей с больших клеток на малые пока не обнаружено. Между мелкими нейронами существуют реципрокные отношения.
Дыхательный центр теплокровных животных. К дыхательному центру относят систему нейронов, расположенных в продолговатом мозге и распределенных среди
клеток ретикулярной формации. На основании экспериментальных данных [63] предполагают, что в дыхательном центре существуют две взаимодействующие зоны (латеральная и медиальная), содержащие нейроны, различающиеся по характеру активности и организации связей. В латеральной зоне расположены нейроны, работающие ритмическими залпами, синхронными с фазами дыхания: так называемые инспираторные нейроны работают синхронно с фазой вдоха, а экспираторные — с фазой выдоха.
Рядом экспериментов установлено, что существует взаимная зависимость в работе этих нейронов [64]— как возбуждающая, так и тормозная. Обнаружено, что ритмическая активность нейронов сохраняется при устранении афферентных дыхательных путей. Основываясь на этих данных, физиологи высказывают мнение о возможности формирования ритмики дыхания в системе нейронов латеральной зоны.
О том, как возникает ритмика, какие причины вызывают залповую активность, установившегося мнения не существует. На этот счет выдвинут ряд гипотез [65]. Высказывались, например, предположения о том, что инспираторным нейронам присуще свойство непрерывной спонтанной активности. Ритмика дыхания обусловлена торможением непрерывной активности инспираторных нейронов экспираторными нейронами, которые возбуждаются извне. По другим представлениям инспираторные и экспираторные нейроны работает спонтанно ритмическими залпами. Внутри системы предполагаются синхронизирующие связи. Между обеими группами нейронов должны существовать реципрокные взаимодействия. Конкретные факты за и против этой точки зрения отсутствуют.
Все большее распространение получает гипотеза [66], по которой существование в продолговатом мозге нейронов, работающих спонтанно, вообще отрицается. Предполагается, что существуют две системы (цепи) дыхательных нейронов — инспираторная и экспираторная, которые находятся в реципрокных отношениях. Когда созда-тся условия для возбуждения одного из нейронов, и в м возникает генерация, то запускается вся цепь. При
этом другая цепь не должна оказывать тормозного влияния. Работу начавшей генерировать цепи ограничивает изменение внутреннего состояния клеток, выражающееся в росте порога нейронов во время развития «залпа». Снижение частоты импульсов с ростом порога приводит к освобождению нейронов другой группы от тормозного влияния первой. В результате начинается генерация нейронов второй цепи, что влечет за собой торможение первой — так образуются «залпы».
Наконец, в работе [67] авторы предлагают разбить все дыхательные нейроны продолговатого мозга на семь подтипов, образующих каждый функциональную группу. Возникновение ритмических «залпов» и ритмика смены вдоха выдохом обеспечивается взаимодействием этих функциональных групп. Авторы предполагают, во-первых, что активность работы одной из групп возникает под действием работающих нейронов другой группы, во-вторых, что прекращение активности нейронов одной из групп есть результат тормозного действия активных нейронов другой группы и, в-третьих, что система дыхательных нейронов всегда активна и никогда не молчит. Нарушения ритмики дыхания могут быть результатом изменений в активности определенных функциональных групп, а не всей-популяции нейронов.
Другие системы ритмической активности. В физиологической литературе есть данные об исследовании ритмической активности других участков нервной системы, главным образом беспозвоночных. Периодической активностью нейронов обусловлены и ритмика плавательных сокращений медузы, и плавательных сокращений пиявки [68]. Ритмическая «залповая» активность наблюдается в летательном аппарате саранчи [69]. Ритмической активностью нейронов спинного мозга управляется работа лимфатических сердец амфибий и рыб. Повторяющиеся последовательности нервных импульсов управляют попеременной работой реципрокно иннервирующих мышц сгибателей и разгибателей конечностей у самых разных живых существ.
Обсуждение. Механизмы периодической генерации нервных импульсов еще окончательно не исследованы, но имеющиеся физиологические данные и гипотезы
позволяют усмотреть две группы явлений в нейронных структурах с ритмической активностью.
Одна из них характерна тем, что источником периодической последовательности импульсов является спонтанно генерирующий нейрон — пейсмекер. Нередко пейсме-кером является нейрон без синапсов; в этом случае генерация обусловлена исключительно внутриклеточными процессами, приводящими к волнообразным изменениям потенциала внутри нейрона. Выходные импульсы пейс-мекера в одних случаях следуют с более или менее равномерными интервалами, в других случаях — пачками. Называя активность такого нейрона спонтанной генерацией, нельзя представлять дело так, что параметры последовательности, например, частота следования импульсов или пачек, и даже сам факт генерации, вовсе не зависят от внешних условий. На самом деле эта зависимость есть, но она может осуществляться не посредством нервных воздействий (т. е. не от других участков нервной системы), а совсем иными путями. Управляющими факторами могут оказаться температурные изменения, гуморальная регуляция, метаболические процессы. Ряд таких примеров указал автору Е. Н. Соколов, в частности, им указана работа [70], в которой прослежена зависимость ритмической активности спонтанно генерирующих нейронов от температуры окружающей среды.
К другой группе отнесем нейронные структуры, в которых ритмическая активность является результатом взаимодействия нейронов. Вероятно, именно к этой группе следует прежде всего отнести те нейронные образования, способные к периодической генерации пачек импульсов, среди которых обнаруживают клетки, находящиеся в реципрокных отношениях. Подобные структуры] целесообразно рассмотреть как нейронные соединения, в которых есть условия для возникновения автоколебательных процессов. Естественно предполагать, что автоколе-ательные соединения нейронов могут управляться со стороны других отделов нервной системы с целью изменения параметров генерируемой последовательности импуль-ов’ например, частоты следования пачек импульсов, ча-оты следования импульсов внутри пачки и длительности
5.3. Модели нейронных соединений с ритмической активностью
Генераторы периодической последовательности импульсов. При моделировании спонтанно генерирующий нейрон можно представить как элемент с положительной обратной связью, предположив внешнюю обратную связь в виде коллатерали аксона, образующей возбуждающий синапс на соме того же нейрона. Из общей теории автоколебаний известно, что усилительный элемент
Рис. 58. К генерации равномерной последовательности импульсов:
а) «спонтанно» генерирующий нейрон с положительной обратной связью, б) цепочка генерирующих нейронов, в) определение по характеристикам частот генерации каждым нейроном цепочки.
с положительной обратной связью обладает способностью самовозбуждения, если достаточен общий коэффициент усиления замкнутой цепи. В рассматриваемом случае возможность генерации импульсов будет зависеть от того, достаточен ли «вес синапса», т. е. модуль передаточной функции |$| того входа модели нейрона, на который подана обратная связь. Очевидно, что если «вес» достаточен, то генерация в такой модели (рис. 58, а) будет про-
исходить только с одной-единственной частотой следования импульсов, а именно, равной частоте насыщения нейрона. В замкнутой цепочке из нескольких возбуждающих друг друга нейронов (рис. 58, б), у которых отличаются «веса» входов (рис. 58, в), все нейроны будут генерировать импульсы с разными частотами. Ясно, что устойчивая работа схемы определится насыщением того нейрона (назовем его «определяющим»), у которого наибольший входной коэффициент (на рис. 58 наибольшая крутизна характеристики у нейрона 1). В такой цепочке возможно управление частотой генерации в некоторых пределах. Если принудительно (извне) возбуждать или тормозить нейрон, следующий в цепочке за «определяю
щим», то можно одновременно изменять частоту всех нейронов, кроме «определяющего». (На рис. 58, б показано тормозное управляющее воздействие F на нейрон 2). Пределы изменения частоты каждого нейрона обусловлены: верхний предел — насыщением этого нейрона, нижний предел — уходом «определяющего» нейрона из зоны на-
сыщения.
О генерации пачек импульсов. Простейший способ получить пачки импульсов состоит в том, что выход ней-
рона, генерирующего ритмичную импульсную последовательность, подводится к другому нейрону, отвечающему пачкой на каждый входной импульс (см. главу I). В этом случае при изменении частоты задающих импульсов длительность лачек остается неизменной.
Представляет интерес рассмотреть нейронные автоколебательные схемы, в которых взаимодействие между элементами происходит посредством пачек импульсов. Вследствие этого генерация пачек является их органическим свойством, и изменение частоты следования связано с изменением других параметров пачек, в том числе длительности.
«Мультивибратор» на двух адаптирующихся нейронах. Если провести аналогию с работой известного в технике мультивибратора (основанного на применении дифференцирующих цепей), то для построения сходного по принципу работы нейронного генератора пачек импуль-ВГ?наД°бились бы элементы с изменяющимся во времени оэФфициентом передачи, т. е. адаптирующиеся нейроны.
Нейрон с адаптацией (см. параграф 5.1) может быть образован из обычного нейрона добавлением инерционной отрицательной обратной связи (имитирующей возвратную коллатераль, образующую тормозной синапс на том же нейроне). Временная зависимость выходного сигнала нейрона, который назван адаптирующимся, в ответ на измененение входного воздействия, показана на рис. 59, а.
Рис. 59. а) Пример временных изменений входного FBX и выходного /^BbIX сигналов адаптирующегося нейрона; б) схема генератора пачек импульсов на двух нейронах, каждый из которых охвачен инерционной отрицательной обратной связью для получения свойств адаптации.
На рис. 59, б изображена схема соединения двух нейронов, образующих генератор пачек импульсов. Частота чередования пачек зависит от величины F. Такой схемой Райс [71], а затем Хармон [72, 73] моделировали работу пары нейронов, находящихся в реципрокных отношениях и способных попеременно генерировать пачки импульсов для управления периодическими сокращениями мышц. В указанных работах воспроизводился, в частности, нейронный механизм формирования воздействий на сгибатель и разгибатель в летательном аппарате саранчи. Весьма близкая (по структуре) схема была применена Павли-дисом [74,75] также для имитации источника нервного управления мышцами.
Испытания генератора*), структура которого соответствует схеме рис. 59, б, наряду со многими его достоинст
*) Проведенные Шульпиным и Колоколовым.
вами выявили одну черту, которая в некоторых случаях является недостатком, а именно невысокую управляемость: при изменении величины управляющего сигнала F частота генерации пачек импульсов изменяется незначительно.
Трехнейронный «мультивибратор». Мы переходим к рассмотрению нейронных схем, генерирующих пачки им
пульсов, характерная черта которых состоит в том, что по единому принципу могут быть построены автоколебательные соединения практически с любым числом элементов, т. е. могут быть построены «цепочки» из возбуждаемых поочередно элементов, имеющие произвольную длину. Ниже будет дан анализ работы многонейронной автоколебательной схемы, в котором основное внимание уделено ее у п р а в л я е-
б)
Рис. 60. Два изображения схемы трехнейронного генератора пачек импульсов.
мости, т. е. способности изменять частоту генерации пачек импульсов (или скорость пробегания «волны» возбуждения) под влиянием внешнего управляющего воздействия.
Самым простым генератором рассматриваемого типа (т. е. «распределенным» генератором) является трехэлементная схема рис. 60 *). В этой схеме нейроны по очереди генерируют пачки (серии) импульсов. Для управления
0	) Трехнейронная (рис. 60) и многонейронные (рис. 65) схемы
коло*0 Н ^°Г‘° Же типа были в ИАТ разработаны Шульпиным и Коло-слело^4 .]• Такие схемы привлекли внимание также и других ис-нмн-БВаТеЛеЙ’ Трехнейронную схему независимо синтезировал Ду-чатй арковск”й [77]. Во время подготовки настоящей книги к пению 110явилась статья Клинга и Шекели [78], посвященная описа-анализу работы таких же схем.
частотой генерации пачек на все три нейрона подается внешнее возбуждающее воздействие F.
Нейроны связаны между собой одинаковыми тормозными связями. Динамические свойства нейронов можно характеризовать некоторой постоянной времени. Никаких обратных связей, охватывающих непосредственно отдельные нейроны, здесь нет; иными словами, в схеме использованы неадаптирующиеся элементы.
Качественную картину взаимодействия элементов трехнейронного «мультивибратора» представим следующим образом. Допустим такое исходное положение, при котором все нейроны находятся в одинаковом, частично возбужденном состоянии под влиянием внешнего возбуждения F и взаимного торможения. Предположим далее, что на одном из нейронов, пусть это будет нейрон 7, по каким-либо причинам произошло изменение выходной величины — частоты следования импульсов, например, в сторону увеличения. Благодаря инерционности элементов постепенно будет нарастать торможение нейрона 3. В свою очередь это повлечет постепенное (и в общем случае — с задержкой во времени) растормаживание, т. е. повышение возбуждения нейрона 2, за этим последует нарастающее торможение нейрона 1 и т. д. При соответствующих «весах» тормозных связей тот элемент схемы, на который в данный момент приходится наибольшее торможение, будет на определенное время полностью прекращать генерацию импульсов. Волна активности в виде серии (пачки) импульсов будет обегать поочередно нейроны; на рис. 60, а это будет происходить по часовой стрелке.
На рис. 61 построены экспериментальные зависимости длительности пачек Д£, периода Т и частоты / их следования от управляющего воздействия F для трехнейронного «мультивибратора».
Теоретический анализ такой автоколебательной системы, элементы которой (нейроны) обладают инерционностью с постоянной времени *) т и статической характе
*) В данном случае инерционность нейрона будем характеризовать одной постоянной времени, отождествив ее с постоянной времени суммации входных сигналов.
ристикой вход-выход, имеющей пропорциональный участок и насыщение, как на рис. 15, представляет задачу, решение которой аналитическими методами по-видимому, не является простым. Поэтому нами избран следующий путь: получить решение для двух крайних случаев,
в которых используются вырожденные статические характеристики нейронов, и с помощью этих решений оценить работу описанной схемы. В одном из крайних случаев статическая характеристика нейрона представляется линейной без насыщения, в другом случае, наоборот, эта характеристика берется ступенчатой, т.е. релейного типа.
Рассмотрение этих двух случаев требует предварительного уточнения представлений о происходящих в нейроне преобразованиях, а также введения необходимых обозначений. На
Рис. 61. Экспериментальные зависимости длительности пачек А/ периода Т и частоты /их следования от управляющего воздействия F.
помним (гл. I), что преобразования в нейроне Удобно разбивать на два этапа: преобразование
входного сигнала FBX на
ьм входе в изменение мембранного потенциала р, а затем преобразование р в выходной сигнал FBbIx. Статические коэффициенты этих преобразований будем обозначать соответственно л* и 5**, так что
п
р = 2 Si F; ^вых—$ Р,
где п — число входов. Понятно, что по-прежнему сохраняется соотношение	поскольку S* .$** = —
результирующий коэффициент передачи нейрона по данному входу, или «вес» этого входа.
Статические коэффициенты st будем полагать всегда постоянными. Образование двух указанных выше крайних случаев — представление статической характеристики нейрона линейной либо ступенчатой — будем осуществлять за счет коэффициента s**: в первом случае я** = = const, во втором — s** — .<?**(р), как у релейного элемента.
Теперь выясним динамическую характеристику нейрона. Естественно считать, что инерционность свойственна первому этапу преобразования в нейроне, при котором происходит накопление входных воздействий (временная суммация). Рассматривая в этой работе нейрон как инерционное звено 1-го порядка, получим следующее дифференциальное уравнение, описывающее его динамические свойства:
2	=
Решение дает искомую характеристику

— Г	1 Г П 4-
т Р(0) + О	i—1
(1)
Итак, переходим к анализу первого случая, который отличается линейной статической характеристикой нейрона (рис. 62, а). На рис. 62, б приведена временная диаграмма работы трехнейронной схемы рис. 60. На этой диаграмме введены следующие обозначения мембранного потенциала для трех моментов времени:
Pi(^2	^г) — — ^2*, Р1(М =—
и обозначено: t0,	t2— следующие друг за другом мо-
менты возбуждения первого, второго и третьего нейронов, а Т2 — время перекрытия генерируемых ими пачек импульсов. Пользуясь этими обозначениями, составим
Рис. 62. Временная диаграмма работы трехнейронного генератора пачек импульсов (б) при линейной неограниченной статической характеристике нейронов (а); пояснения в тексте.
систему уравнений для процессов в первом нейроне на основе выражения (1):
♦
FsB (1 — е ') = Av
_ Т,—Т2	_ Т|—т2 \
— А2е т +Fsb(1— е * ) = О,
_Тг	s* ~ —	—
Аге * + Fs*(l— e~ ')-~e ' \ F^(t)e ' dt = 0,
tv
T,	T1\ s* _T,t.+T2	(_£(
Ate T + Fs‘(l-e x) ~^~e~ x ^F^\t)e~dt = I tt
= — ^3’
?2	_ 7’г\	T2 2	t—tz
— A3e T + Fs’(l-e x)-^Le~~ \ F^\t)e~dt =
(2)
где обозначено: — временной сдвиг между пачками импульсов-на выходах двух соседних нейронов, F2^(t) и /?2(2) (0 “ выходной сигнал второго нейрона, имеющий разные выражения в разные временные интервалы: в интервале времени tr t tr 4- 1\\
F$\t)=FsBs**[l
в интервале времени t2 t t2 + Т2:
. J -t-ti — F-s**’-sB -sT\ 1 — e r
t-t.
~— -e
Tt	Т2
Если обозначить ех = e~ = д?2; б’т-s** 8Т и исключить неизвестные Лп Л2, А3, то система уравнений (2) приводится к виду
1 — XtX2 = $г — Х2 — Х2 In ;
1— Xi = 8тгг [1 — хх — Xj In — (8Т — а:1) In х2 +	>
In’^ + C'
(3)
Анализ показывает, что необходимое условие возникновения автоколебаний состоит в выполнении неравенства |sT| >1 (когда значения хг и х2 лежат в допустимых пределах: 0,1). С ростом веса тормозных связей sT величина перекрытия пачек импульсов с выходов двух соседних нейронов монотонно убывает до нуля. Существенно, что в уравнениях (3) отсутствует внешнее возбуждение F\ это указывает на то, что параметры колебательного процесса в этом случае не зависят от управляющего воздействия, а определяются лишь инерционностью и весом тормозных связей.
Второй случай — ступенчатая характеристика нейрона (рис. 63, а). Временная диаграмма изменений потенциала p(t) нейронов трехнейронной схемы приведена на рис. 63, б. Все кривые на этой диаграмме являются экспонентами. Для значений мембранного потенциала первого нейрона в разные моменты времени введем обозначения
Pi(^i) = ^15 Pi(^2 + ^2) — “ ^2>
где Аг и А2— максимальное и минимальное значения потенциала, и составим систему уравнений:
Tt	(	_ Ti\
Дре т	— е X/ = AV
t^pe х — (FHs* — F$в/\1 — е х / = — А2,
(4)
_ т'~т*	(	_ Т—ТД
—‘ Л2е	х	е х ) = &р,
где Др— порог, FH — частота насыщения нейрона. После введения обозначений
_ Т|	Т2
е т = хг; е — х2
и исключения неизвестных Аг и А2 найдем зависимости X1(F), x2(F), T^F) и T2(F):
_ 1 г 1
X1~ 2 [q(1- Q) ~
T^-rin Ш____1-
___!____i?_i-
Q(i-Q) J
Q(i-Q)-1
T2 —— x InX 1 Г 1
I2
1
1
2 Lq (1 - Q)
Q(1 —Q) 1
12
— 1
(5)
где
F -*b — bp
Анализ показывает, что при соблюдении условий
О ЛГ1 1,
О 1
интервал изменения управляющего воздействия F опре
деляется неравенствами
Др < Psi < FHs* + Др.
На рис. 64 показано изменение хх, х2, Т± и Т2 в зависимости от F. Этот рисунок позволяет заключить, что частота следования пачек (обратно пропорциональная 7\) имеет максимум в середине указанного интервала изменений F
и стремится к нулю на его концах. Величина перекрытия пачек Т2 двух соседних нейронов возрастает с ростом F.
Вернемся к исходной задаче, в которой статическая характеристика нейрона содержит линейный участок и участок насыщения (рис. 15). Представим, что в этом случае
Рис. 63. Временная диаграмма работы трехнейронпого генератора пачек импульсов (б) при ступенчатой статической характеристике нейронов (л); пояснения в тексте.
Др означает координату излома в статической характеристике, при котором нейрон насыщается и генерирует наибольшую частоту. Если внешнее воздействие F таково, что внутренний потенциал не достигает зоны насыщения, т. е. р Др, то работа трехнейронной схемы будет отвечать условию первого из рассмотренных крайних случаев, и частота генерируемых ею пачек не будет зависеть от воздействия F. С увеличением управляющего воздействия, когда внутренний потенциал нейронов достигнет области насыщения, т. е. р Ар, параметры колебательного процесса, в частности, частота следования пачек, будут зависеть от F. По мере увеличения F эти зависимости будут приближаться к тем, которые имеют место при ступенчатой характеристике нейрона.
Нейронный автоматический переключатель (коммутатор). Задача этого раздела — показать способ построения длинной нейронной цепи, по которой может пробегать волна возбуждения, образуя последовательно на выходах
нейронов пачки импульсов. Скорость пробегания волны в такой цепи может регулироваться управляющим воздействием от других нейронных структур. Для построения нейронной цепи с указанными свойствами, которую можно было бы назвать нейронным автоматическим переключателем (или коммутатором) , воспользуемся принципом действия трехнейронного «мультивибратора», который сам по себе представляет трехзвенную цепочку (рис. 60, б).
Схемный анализ показал, что построение многозвенной переключающей цепи возможно по крайней мере при соблюдении следующего правила: каждый нейрон тормозит все остальные нейроны цепи, за исключением одного,

Рис. 64. Зависимость параметров автоколебательного процесса от управляющего воздействия /'’для трехнейронного «мультивибратора» при ступенчатой характеристике нейронов.
следующего за данным в направлении движения волны. Легко убедиться, что это правило выполняется и в трехнейронном «мультивибраторе».
На рис. 65 в качестве примера приведена схема пятизвенного генератора — автоматического переключателя «на пять положений». Направление пробегания волны соответствует порядку нумерации нейронов. Пачки импуль-
сов, генерируемые последовательно нейронами цепи, в общем случае перекрываются. Степень перекрытия регулируется выбором параметров — инерционности и коэффициентов передачи (входных коэффициентов) нейронов. Экспериментальному исследованию подвергалась восьмизвенная автоколебательная цепь, показавшая устойчивую работу и хорошую управляемость по частоте следования пачек импульсов, т. е. по скорости пробегания волны, примерно в 70 раз.
Рис. 65. Схема нейронного автоматического переключателя.
Итак, рассмотрено несколько способов образования моделей самовозбуждающихся соединений нейронов. Ритмическая активность участков нервной системы играет важную роль не только в отправлении ряда жизненно важных функций (вспомним дыхательный центр, сердечный ганглий), но и в организации сложных форм поведения организма. Такие суждения в более или менее явной форме высказываются во многих физиологических работах (см., например [79,49]). Быть может, крайним выражением подобных взглядов покажется излагаемая в главе VII гипотеза о том, что ритмическая генерация пачек отражает действие механизма поиска пути между нервными Центрами. Но, так или иначе, внимание, которое вызывает это явление, оправдывает разработку модельных представлений о принципах работы нейронных соединений, обладающих способностью периодически генерировать пачки импульсов.
ГЛАВА VI
МОДЕЛИРОВАНИЕ СЛУХОВОЙ СИСТЕМЫ
В этой главе излагаются модельные представления о преобразованиях афферентного потока информации в отделах нервной системы, относящихся к звуковому анализатору.
Процесс преобразования в нейронных сетях информации о звуковых сигналах можно разделить по крайней мере на два условных этапа: переработка (перекодирование) информации к виду, пригодному для дальнейшего распознавания, и собственно распознавание, т. е. отнесение полученного сигнала к одному из классов сигналов. В нервных образованиях, лежащих ниже слуховой проекционной зоны коры головного мозга, по-видимому, в основном происходит первый этап переработки информации. Механизм именно этого этапа исследуется в настоящей главе.
Рассматривается главным образом статика процесса, т. е. выясняется реакция системы па продолжительные однотонные звуковые сигналы, которые можно характеризовать лишь интенсивностью и частотой. Исключения составляют небольшие разделы в конце параграфа 6.5» где упоминаются сведения из электрофизиологии, относящиеся к включению и выключению звуковых сигналов, и в конце параграфа 6.6, в котором выясняется реакция модели на двухчастотный сигнал.
Эта глава основана на работах [88—90, 1411, выполненных автором совместно с И. А. Любинским, Г. А. Шараевым и В. П. Яхно при большой помощи со стороны Г. В. Гершуни в части систематизации и истолкования физиологических данных.
6.1.	Краткие анатомо-морфологические сведения
Основные отделы слуховой системы высших млекопитающих изображены на схеме рис. 66, а. Звуковые колебания от наружного уха 1 через барабанную перепонку 2 и систему косточек 3 среднего уха воздействуют на мембрану овального окна 4, создавая колебания в жидкости 5 и на основной (базилярной) мембране 6 слуховой улитки 7. Слуховая улитка представляет собой свернутую в спираль коническую трубку, которая на рис. 66, а изображена для наглядности в раскрученном виде. Основная мембрана расположена внутри этой трубки вдоль длины, расширяясь от базального конца улитки, где находится овальное окно, к апикальному. Мембрана прикреплена к стенкам улитки по всему периметру, за исключением апикального конца, у которого существует зазор — геликотремав. Протяженность основной мембраны у человека около 30 мм.
К основной мембране на всем ее протяжении прикреплен кортиев орган, несущий в себе волосковые клетки 9 — рецепторы органа слуха. Рецепторы расположены рядами вдоль мембраны; при этом число рядов меньше у основания улитки, т. е. базального конца (для человека три ряда) и больше у вершины, или апикального конца (пять рядов).
Механические свойства основной мембраны таковы, что ее упругость изменяется вдоль длины, и область максимальных колебаний перемещается по длине при изменении частоты звукового сигнала. При этом перемещается и область возбужденных рецепторов, так что расстояние от геликотремы до максимально возбужденной области волосковых клеток пропорционально логарифму частоты звукового сигнала. Благодаря этому свойству происходит первый этап преобразования звуковой информации: частота сигнала преобразуется в место наибольшей деформации мембраны [80]. Такой характер преобразования получил в литературе по физиологии слуха название «принципа места».
Па рецепторах оканчиваются входные отростки (по-видимому, типа дендритов) нейронов, составляющих самое первое нейронное образование слуховой системы — спиральный ганглий 10. Нейроны спирального ганглия, по тому, как они связаны с рецепторами, делятся на
6)
Рис. 66. Структурная схема 'слуховой системы (пояснения в тексте):
а) основные нейронные уровни (количества клеток на каждом уровне указаны для человека), б) участок основной мембраны с рецепторами, а также с «радиальными» и «спиральными» волокнами.
ортонейроны и спиронейроны. Ортонейрон посредством «радиальных» волокон 11 связан с несколькими единицами волосковых клеток. Спиронейрон имеет протяженное «спиральное» волокно 12 (рис. 66, б), которое тянется вдоль мембраны на 2—3 мм и может контактировать с большим количеством волосковых клеток (на 1 мм длины мембраны расположено около 80 клеток). По-видимому, спиронейрон собирает информацию с довольно большого участка мембраны, в отличие от ортонейронов, получающих воздействие чуть ли ни с одной точки мембраны. Спиральный ганглий (у человека примерно 30 тыс. нервных клеток) связан со следующим нейронным образованием — или уровнем — кохлеарными ядрами 13 (90 тыс. клеток) продолговатого мозга при помощи слухового нерва. В слуховой нерв входят как восходящие (афферентные) волокна, передающие информацию в центральные отделы, так и нисходящие (эфферентные) волокна, которые служат для обратного воздействия центральных отделов на нейроны спирального ганглия и рецепторные клетки. В этой работе нас интересуют только афферентные пути.
Следующими основными уровнями, в которых происходит преобразование афферентного потока информации, являются: заднее двухолмие 14 (400 тыс. клеток), медиальное коленчатое тело 15 (360 тыс. клеток) и слуховая кора 16 (отдел коры головного мозга, ответственный за слух, примерно 10 млн. клеток). Перечисленные нейронные уровни названы основными потому, что на них переключается (т. е. имеет синаптические контакты) подавляющее большинство афферентных волокон. Необходимо заметить, что такая схема упрощена. Во-первых, в ней опущен ряд промежуточных уровней, на которых переключается только часть афферентных волокон, в частности, не указаны ядра нейронов, ответственные за биноуральные эффекты. Во-вторых, в каждом из перечисленных уровней может быть морфологически выделено несколько различных по строению подуровней. Наконец, в-третьих, не указано, что небольшая часть афферентных волокон минует некоторые уровни и имеет поэтому меньшее число переключений от спирального ганглия до слуховой зоны коры. Подробные сведения о структуре звукового анализатора можно найти, например, в работах [81—83]. в Н. В. Позин
6.2.	Преобразование информации о частоте звукового сигнала
Анализ физиологических данных о частотной избирательности и временной селективности слуховой системы. Преобразование частоты звукового сигнала в «место», осуществляемое основной мембраной, имеет существенную особенность: основная мембрана обладает очень низкой добротностью. В данном случае добротность характеризует отношение частоты звукового сигнала чистого тона к протяженности зоны наибольшего возбуждения мембраны. Поскольку протяженность участка мембраны может быть выражена в единицах частоты, то ее добротность, как и добротность любого резонансного элемента, может быть выражена числом, которое по результатам ряда измерений близко к единице [80]. В силу низкой добротности мембраны область возбужденных рецепторных клеток даже при длительном сигнале одной частоты *) достаточно широка. По данным [84], полученным на кошке, область возбуждения охватывает на частотах 0,1 кгц, 1 кгц, 4 кгц и 16 кгц (при интенсивности 40 дб над порогом слышимости) соответственно 36%, 25%, 20%, 10% всех волосковых клеток. Значительное перекрытие возбуждаемых -областей, казалось бы, делает невозможным различие близких по частоте сигналов. Однако результаты психофизических измерений дифференциальных порогов по частоте показывают, что слуховая система обладает способностью с высокой степенью точности различать однотоновые звуковые сигналы. Для человека дифференциальный порог равен 0,5% на частотах выше 500 гц [85], т. е. например, на частоте 1000 гц человек замечает изменение частоты на 5 гц.
Если представить обладающий подобной избирательностью фильтр в виде резонансного контура, то добротность последнего должна быть порядка 200. Итак, приведенные сведения говорят о том, что, несмотря на низкую добротность первичного преобразователя звуковых колебаний — основной мембраны, слуховая система в це-
) Будем называть его далее однотоновым сигналом.
лом характеризуется достаточно высокой избирательностью.
Большой интерес представляют иного рода данные, характеризующие длительность сигнала, достаточную для того, чтобы он был проанализирован в слуховой системе. Низкая добротность мембраны, которая на первый взгляд может быть расценена как «недостаток» этого преобразователя, представляет очень ценное свойство, обеспечивающее малую инерционность звукового анализатора. Исследование реакций слуховой системы на короткие однотоновые сигналы показало, что для возникновения ощущения высоты достаточно всего нескольких колебаний основной мембраны. Так, на частоте 1000 гц звук приобретает высотную окраску при 5—10 колебаниях мембраны [86]. Следует отметить, что дифференциальный порог на коротких сигналах повышается и достигает своей статической величины через время, равное на частоте 1000 гц нескольким десяткам мсек (по данным разных авторов 40—100 мсек [87]).
Отобранные здесь данные, несмотря на то, что они не отличаются абсолютной стабильностью, поскольку представляют в основном результаты психофизических измерений, тем не менее отражают определенные тенденции в организации слуховой системы. Предварительный анализ этих сведений позволяет назвать следующие ее черты.
1.	Слуховая система обладает высокой избирательностью — малым дифференциальным порогом Д/ — по частоте (см. стр. 170).
2.	Высокая избирательность системы в целом сочетается с весьма низкой добротностью входного преобразователя — основной мембраны.
3.	Слуховая система обладает способностью анализировать сигналы малой длительности Д/. Это время значительно меньше, чем можно было бы ожидать, исходя из частотной избирательности системы в целом.
В основу последнего утверждения положено допущение о том, что длительность kt сигналов, анализируемых слуховой системой, можно сравнивать по порядку величины с временем установления ответа на выходе резонансной технической системы, а частотную избирательность w с полосой пропускания входного фильтра техниче
ской системы. Приняв это допущение, сопоставим свойства слуховой и технической системы. Время установления ответа в линейной резонансной системе определяется, как известно, величиной, обратной полосе пропускания. Для рассмотренных данных из психофизического эксперимента, когда Д/ = 5 гц, в технической системе было бы получено время установления kt = 200 мсек, превышающее указанную выше длительность сигналов, анализируемых в слуховой системе.
4.	Из предыдущего пункта следует, что если сопоставить работу слуховой и резонансной технической систем, то можно убедиться в преимуществе первой из них по критерию kt kf.
Анализ физиологических данных, совмещенный с попытками сопоставить работу слуховой и технической резонансной систем, приводит к представлениям о том, что преобразование сигналов в слуховой системе происходит по принципам, отличным от тех, которые привычны в технике. В этом параграфе речь пойдет о механизмах частотной избирательности слуховой системы. Учитывая низкую добротность основной мембраны, естественно считать, что высокая избирательность является следствием работы нейронных структур. Предположено [88—90, 94], что существует два нервных механизма, выполняющих эту задачу.
Первый из них, названный механизмом синфазного суммирования на «спиральных» волокнах, действует между слоем рецепторных клеток и первым нейронным уровнем — спиральным ганглием. Необходимость существования механизма повышения частотной избирательности, основанного на взаимодействии рецепторов и входных волокон нейронов (который можно назвать также механизмом предварительного обострения), обусловлена рядом физиологических и морфологических данных. Известны электрофизиологические эксперименты по определению частотной избирательности нейронов спирального ганглия. Обработка результатов этих экспериментов с учетом установленной добротности основной мембраны определенно указывает на повышение (в сравнении с характеристиками мембраны) избирательных свойств нейронов первого уровня [91]. Для выяснения механизма этого явле
ния немалую роль играют морфологические сведения об организации связей в спиральном ганглии. По данным морфологии [82] между нейронами спирального ганглия нет боковых связей (нейроны представляют собой биполяры, т. е. клетки с одним входным и одним выходным волокном без ветвлений), что не дает оснований предполагать латеральное взаимодействие между нейронами этого уровня.
Второй механизм повышения частотной избирательности состоит, по-видимому, в том, что на лежащих выше уровнях слуховой системы происходит обострение области возбужденных нейронов нейронными слоями с латеральными связями [92].
Механизм синфазного суммирования. Этот механизм основан на дисперсных свойствах основной мембраны — зависимости скорости распространения бегущих вдоль мембраны волн от частоты вызвавшего их звукового колебания. На рис. 66, б схематически изображен участок основной мембраны с прилегающими к ней волосковыми клетками, связанными со «спиральными» волокнами 12 тех нейронов первого уровня, которые получили название спиронейро-нов. По мере распространения бегущей волны последовательно возбуждаются волосковые клетки, вызывая деполяризацию контактирующих с ними участков «спиральных» волокон. Импульс деполяризующего тока, возникающий при возбуждении каждой волосковой клетки, распространяется по «спиральному» волокну с некоторой постоянной скоростью, определяемой диаметром волокна. Результат суммирования импульсов отдельных волосковых клеток зависит от соотношения между скоростью движения бегущей волны V(x, f) и скоростью распространения импульса деполяризующего тока VQ.
Скорость V(x,f) убывает с ростом х — расстояния от базального конца мембраны (рис. 67). Для каждой частоты/ на мембране найдется такая точка х*, где V(x*, /*) = — Ио- На основании данных Бекеши [80] в работе [94] показано, что скорости V(x, f) и Vo совпадают вблизи точки максимума колебаний мембраны (например, хг или х2 на рис. 67). В тех «спиральных» волокнах, которые расположены вблизи этой точки, импульсы волосковых клеток в силу указанного равенства скоростей суммируются (это суммирование названо синфазным суммированием) и эффек
тивность их воздействия на спиронейрон увеличивается. Отсюда следует, что спиронейроны, на волокнах которых имеет место совпадение V(x, j) и VQ, будут возбуждены сильнее, чем те нейроны, у которых V(x, f)=/= Vo- Из сказанного можно заключить, что наличие синфазного суммирования приведет к обострению частотнопороговых
Рис. 67» Зависимости а) скорости V (х, f) движения бегущей волны, б) амплитуды А (х, /) колебаний основной мембраны от расстояния х вдоль мембраны для двух значений частоты / звукового сигнала.
кривых спиронейронов по сравнению с частотнопороговыми кривыми волосковых клеток. Другими словами, механизм синфазного суммирования сужает диапазон частот, при которых возбуждается спиронейрон. Это эквивалентно сужению в спиральном ганглии области возбуждения, возникшей на уровне рецепторных клеток при действии однотонного звукового сигнала. Количественные оценки, проведенные в [94], показывают, что на частоте 1000 гц можно ожидать повышения частотной избирательности или, что то же, сужения (обострения) возбужденной области на первом нейронном уровне в 7—10 раз.
Повышение избирательности нейронными слоями с латеральными связями. Предполагается, что в слуховой системе существует многослойная структура из нейрон
ных слоев с латеральными связями, которая осуществляет последовательно многократное обострение фронта возбуждения, образованного на выходе спирального ганглия. Работа обостряющей структуры подробно описана в главе II. Напомним лишь, что для эффективной работы обостряющего слоя радиус тормозных связей должен быть согласован с наибольшей шириной входного фронта возбуждения. Поэтому в многослойной структуре для многократного эффективного обострения нейронные слои должны быть организованы по-разному: в каждом более высоком слое радиусы связей будут уже, чем в предыдущем, поскольку на верхний слой приходят обостренные сигналы.
Предположение о том, что высокая частотная избирательность слуховой системы обусловлена работой нейронной сети с латеральным торможением,— не является новым. Оно было выдвинуто Ликлайдером и Хиггинсом в 1951 г. [95] и затем обращало на себя внимание ряда авторов [19, 96]. Однако эта гипотеза не получила распространения и широкого практического применения, видимо, из-за того, что исследовалась всякий раз слишком упрощенная модель, в которой латеральное торможение распространялось только на один соседний элемент в каждую сторону. В указанных работах из-за узкого радиуса действия связей и из-за специального подбора функции связи слой выполнял операцию, близкую к двойному дифференцированию входного фронта возбуждения по координате. При такой организации связей многослойная структура не дает существенного выигрыша в степени обострения по сравнению с одним слоем: рост степени обострения ограничен небольшим пределом (порядка 10), который достигается практически на втором или третьем слое [97]. Этот предел существенно снижается при учете нестабильности нейронов.
В отличие от этого, в настоящей работе имеется в виду, что слуховая система содержит нейронные слои с тормозными латеральными связями, радиус действия которых выбран одного порядка с шириной фронта возбуждения (в соответствии с рекомендациями главы II). Построение сети из многих слоев, радиус связей в которых изменяется от уровня к уровню, позволяет получить теоретически
любое обострение. Ограничение в степени обострения возникает только за счет нестабильности элементов сети.
Общая картина преобразования информации о частоте. Основываясь на двух описанных механизмах обострения, общую картину процесса преобразования информации о частоте можно представить следующим образом. Приходящий звуковой сигнал, вызывая колебания основной мембраны, возбуждает широкую область в слое рецепторных клеток. На первом нейронном уровне — спиральном ганглии — при этом возрастает активность нейронов: ортонейронов и спиронейронов. Оба типа нейронов возбуждаются вследствие активации волосковых клеток из-за деформации мембраны. Но отличие состоит в том, что спиронейрон «собирает» воздействия с большего участка мембраны, которые затем упорядочиваются механизмом синфазного суммирования. Изучение процессов в дендритах дает основание предполагать, что радиальные волокна также содержат механизм, повышающий частотную избирательность ортонейронов. Тем не менее, более естественным сейчас представляется точка зрения, по которой частотная избирательность (острота частотнопороговой кривой) спиронейронов благодаря синфазному суммированию выше, чем у ортонейронов.
Итак, среди нейронов первого уровня можно предположить два типа нейронов, резко отличных по остроте частотнопороговых кривых. Частотная избирательность одних, вероятно, ортонейронов, может непосредственно определяться добротностью мембраны и быть близкой к избирательности рецепторов, а избирательность других, по-видимому, спиронейронов, может быть выше в 7—10 раз. Допустим, что именно более избирательные элементы спирального ганглия образуют основу — первый слой Ll (рис. 68) в многослойной нейронной структуре, осуществляющей дальнейшее повышение частотной избирательности слуховой системы. Это повышение избирательности происходит в результате обострения фронта возбуждения, поступающего с Z1? в слоях с латеральными связями.
Представим, что не только рецепторы, но и нейроны всех более высоких уровней расположены упорядоченно вдоль оси х\ координата х нейрона, определяющего мак
симум фронта возбуждения, зависит от частоты звукового сигнала по логарифмическому закону. В таком упорядоченном расположении нейронов отражено одно из основных модельных представлений, согласно которому информация о частоте звукового сигнала передается местом возбуждения нейронов в каждом из слоев анализатора. Начиная со второго уровня Ь2 нейронные слои имеют
Рис. 68. Последовательное обострение фронта возбуждения в модели многослойной нейронной сети; пояснения в тексте.
латеральные тормозные связи. На рис. 68 первый слой с латеральными связями Л2 схематично показан в виде двух цепочек нейронов, из которых нижняя содержит Т-ней-роны, а верхняя — В-нейроны. Слои L3 и организованы так же, отличаясь лишь меньшими радиусами связей. Степень возбуждения нейронов (там, где они изображены) обозначается их зачернением, кроме того, по оси ординат откладывается амплитуда F(x) фронта возбуждения В-нейронов каждого слоя. На рис. 68 показан случай, когда на слое L2 область возбуждения Т-нейронов по ширине такая же, как фронт возбуждения FL(x) слоя Lr. В то же время F2(x) уже, чем F^x). Процесс обострения продолжается на более высоких уровнях.
На верхнем слое модели (в нашем примере £4) одночастотный звуковой сигнал вызовет возбуждение весьма узкой области нейронов (может быть, даже одного нейрона), положение которой указывает частоту звукового сигнала. Обратим внимание на то, что согласно изложенным представлениям степень возбуждения нейронов на верхнем слое нейронной сети не несет информации о частоте звукового сигнала — важно лишь, возбуждены соответствующие нейроны или нет.
Интерпретация некоторых психофизических параметров — дифференциальный порог по частоте и критическая полоса частот. Если в ответ на определенный однотоновый звуковой сигнал на верхнем слое обостряющей сети возбуждается всегда одна и та же узкая область нейронов, то можно предположить, что именно эта область или группа нейронов определяет ощущение частоты (одной из компонент высоты) звука. Естественно представить, что ширина этой области характеризует такой параметр как частотную избирательность системы. Перемещение возбужденной области на величину порядка ее ширины должно приводить к ощущению другой частоты звука. Напомним, что используемое в психофизических измерениях понятие дифференциального порога по частоте отражает способность испытуемого различать минимальные изменения частоты сигнала, т. е. отличать предъявляемые последовательно однотоновые сигналы близких частот. Следовательно, два термина: технический—частотная избирательность и психофизический— дифференциальный порог по частоте употребляются здесь как синонимы. Объективным фактором, определяющим величину дифференциального порога по частоте, на основе модельных представлений можно считать ширину нейронной области на верхнем слое обостряющей сети, возбужденной в ответ на однотоновый звуковой сигнал.
До сих пор мы рассматривали преобразование в слуховой системе информации о частоте однотонов о-г о входного сигнала. Но изложенные выше модельные представления дают возможность проанализировать некоторые свойства системы, если па ее вход подан сигнал с двумя частотными компонентами. Такой анализ поможет выяснению природы другой важной характеристи
ки __ способности разделять частоты двух одновременно поданных однотоновых сигналов. Будем называть ее разрешающей способностью системы.
Представляется очевидным, что разрешающая способность любой избирательной системы определяется полосой пропускания входных фильтров. Если принять изложенную выше картину преобразования информации о частоте, то в рецепторном аппарате слуховой системы можно представить существование двух типов «фильтров»: широкополосных, моделирующих преобразование сигнала мембраной и волосковыми клетками, соединенными с радиальными волокнами, иузкополос-н ы х, моделирующих механизм синфазного суммирования. Чтобы решить, какие из этих входных «фильтров» могут определять разрешающую способность по частоте, укажем следующие данные. Психофизические исследования [98] реакции слуховой системы на двухтоновый звуковой сигнал, т. е. состоящий из двух присутствующих одновременно синусоидальных колебаний, показали, что разрешающая способность системы по порядку величины совпадает с критической полосой*) (по данным [85] критическая полоса равна 160 гц на 1000 гц). Далее, расчеты, выполненные в [94], показывают, что если допустить наличие гипотетических входных «фильтров», то именно полоса пропускания более узкополосных из них будет по порядку величины совпадать с критической полосой. Из такого сопоставления следует предположить, что
*) Критическая полоса частот есть психофизический параметр, характеризующий восприятие мпогочастотного звукового сигнала. В многочисленных психофизиологических экспериментах показано, что особенности восприятия органом слуха звуков сложного спектрального состава (таких как шум, модуляции частотная и амплитудная и т.д.) существенно зависят от того, входят ли спектральные компоненты в некоторую определенную полосу частот или нет. Ширина этой полосы названа критической.
Один из основных экспериментов, в котором проявляется критическая полоса, состоит в следующем. Определяется зависимость порога восприятия сигнала типа «полосового белого шума» от ширины его полосы. Оказывается, что с расширением полосы частот шума ппи°Г еГ° ЯОСПРИЯТИЯ уменьшается лишь до некоторого предела; Р дальнейшем расширении полосы порог не меняется. Величина °сы’ ПРИ к°торой порог перестает изменяться, и есть критическая полоса частот [85].
и разрешающая способность по частоте Д/р и критическая полоса частот Д/кр определяются одним и тем же фактором — полосой пропускания более узкополосного из входных «фильтров». Таким образом, исходя из модельных представлений, критическую полосу частот Д/Кр предлагается рассматривать как полосу пропускания «фильтра», который образуется в результате действия механизма синфазного суммирования. (О реакции модели слуховой системы на сигнал с двумя частотными компонентами см. параграф 6.6.)
О двух путях с разной инерционностью. Различие в полосе пропускания «фильтров», моделирующих рецепторный аппарат, определяет различие во времени установления сигнала на их выходах. Время установления на выходе узкополосных фильтров должно быть во столько же раз больше времени установления на выходе широкополосных, во сколько раз уже их полоса пропускания. Существование элементов с разными временами установления реакций наблюдалось при микроэлектродных исследованиях ответов нейронов слуховой системы на сигналы разной длительности, в которых обнаружено два типа элементов: быстро суммирующие и медленно суммирующие [99, 100].
Вследствие наличия разных инерционностей на входе слуховой системы переработка информации о коротком и продолжительном сигналах может происходить двумя различными путями. Такая гипотеза на основании психофизических и электрофизиологических экспериментов была выдвинута в работе [101]. На вопрос, как взаимодействуют эти информационные каналы и в решении каких этапов задачи опознания звуковых сигналов они преимущественно участвуют, дадут ответ лишь дальнейшие физиологические и модельные исследования. В настоящее время можно выдвигать лишь некоторые предположения.
Естественно считать, что инерционные пути (которые согласно изложенной гипотезе начинаются узкополосными «фильтрами», моделирующими спиронейроны и связанные с ними рецепторы) служат целям возможно более точного частотного анализа звуковых сигналов. Есть основания предполагать, что малоинерционные каналы (берущие свое начало от широкополосных «фильтров»,
какими можно представлять ортонейроны, связанные радиальными волокнами с волосковыми клетками) служат для «массированной» передачи информации практически одновременно с весьма протяженного участка мембраны (может быть, даже со всей мембраны), все элементы которого деформируются почти одновременно при резких изменениях звуковых воздействий. Этот параллельный поток информации, компоненты которого возникают почти в одно время, содержит, вероятно, сведения о быстрых изменениях на входе слуховой системы. Существенно, что передаче этого потока (несущего, скажем, информацию о начале входного импульса, заполненного звуковой частотой) сопутствует явление так называемой синхронизации ответов нервных клеток в тех нейронных образованиях, которые участвуют в этой передаче. Явление синхронизации обнаружено в исследованиях Гершуни и его сотрудников [101, 134] и получило интересное модельное истолкование в работе Шевелева [60]. Механизм синхронизации усиливает эффект одновременности прихода залпа нервных импульсов, способствуя, по-видимому, более четкой фиксации момента изменений, происшедших в звуковом сигнале, и облегчая тем самым выделение этой информации на фоне помех (не только внешних, но и внутренних).
6.3.	Преобразование информации об интенсивности звукового сигнала. Гипотеза «интенсивность — место»
Анализируя возможный механизм кодирования информации об интенсивности звукового сигнала, автор и И. А. Любинский предположили, что в этом случае, по аналогии с переработкой информации о частоте, также может действовать «принцип места» [88]. Согласно такому предположению интенсивность сигнала отображается на определенном нейронном уровне в координату возбужденных нейронов *). Если принять эту гипотезу, то и тогда между преобразованиями информации о частоте и об
*) Подобная гипотеза независимо высказана Е. Н. Соколовым для истолкования ряда явлений в зрительном анализаторе. Результаты обсуждения этого вопроса с Е. II. Соколовым и Д. И. Кирве-лисом опубликованы в [103].
интенсивности останутся существенные различия. Главное из них состоит в том, что преобразование частоты в место осуществляется на самом входе системы с помощью специально приспособленного входного преобразователя — основной мембраны. Для преобразования информации об интенсивности существование подобного входного преобразователя не было доказано — хотя в некоторых работах высказывались соображения, позволяющие допустить его наличие в менее явном, чем для частоты, проявлении [102]. Основная роль в выполнении преобразования «интенсивность — место» должна, по-видимому, принадлежать специально организованной нейронной сети. Заметим, что принцип места применительно к преобразованию интенсивности трактуется шире, чем в физиологических работах, устанавливающих представительство отдельных органов (и даже их частей) в верхних отделах нервной системы. В нашем случае принцип места понимается как способ переработки афферентного потока информации, при котором количественные характеристики внешнего воздействия преобразуются нейронной сетью на определенном этапе в координаты области нейронов, находящихся в возбужденном состоянии.
Сведения из физиологии о работе кортиева органа и спирального ганглия. Для выяснения механизма начального этапа преобразования «интенсивность — место» рассмотрим подробнее работу кортиева органа и спирального ганглия. Нейроны спирального ганглия разделяются по величинам порогов чувствительности ко входному сигналу на несколько групп. Ряд авторов высказывает предположение, что это различие в порогах объясняется тем, что нейроны спирального ганглия осуществляют иннервацию различных групп рецепторов. Волосковые клетки в кортиевом органе расположены рядами, протянувшимися вдоль мембраны. По данным Лоренто-де-Но [81] кортиев орган кошки содержит один ряд внутренних волосковых клеток преимущественно с радиальной иннервацией и несколько (три в базальной и пять в апикальной части) рядов наружных клеток со спиральной иннервацией. Внутренние волосковые клетки расположены ближе к костному выступу, где деформация мембраны минимальна. Предполагается, что указанным двум группам
рецепторов — внутренним и наружным волосковым клеткам — соответствует первое, наиболее грубое разделение нейронов спирального ганглия на высокопороговые, иннервирующие внутренние волосковые клетки, и низкопороговые, иннервирующие наружные волосковые клетки [102, 104, 105]. Результаты более поздних исследований позволили предположить, что низкопороговые нейроны
Рис. 69. Схематическое изображение расположения рецепторов вдоль мембраны.
в свою очередь разделяются на несколько групп. Энгст-рем [106] считает, что самые низкие пороги имеют нейроны, иннервирующие наружные волосковые клетки первого ряда, расположенные в местах наибольшей деформации мембраны в поперечном направлении. Из сказанного вытекает связь между величиной порога и положением рецепторной клетки по ширине основной мембраны. Подтверждение этому находим в данных Ка-цуки с соавторами [107]: наибольшее различие волокон слухового нерва по порогам наблюдается в области низких частот, где мембрана гораздо шире,чем в области высоких частот, где число рецепторных рядов возрастает до пяти.
Модельные представления о работе рецепторов и нейронов первого уровня. На основании приведенных данных в модели принято, что пороги рецепторов (слой Lo на рис. 69) монотонно возрастают от ряда к ряду вследствие разного положения их на мембране. Клетки первого ряда у = 1 имеют самый низкий порог, четвертого J/ = 4 — самый высокий*). Рассмотрим в слое Ло один столбец для
» ПРОСТОТЫ полагаем, что число рядов равно четырем вдоль и мембраны и у клеток одного ряда (у = const) порог одинаков, вдоль^ос СЛучае может быть задана функция распределения порога
произвольного х. Постепенное повышение интенсивности звукового сигнала приводит сначала к возбуждению наиболее чувствительного в этом столбце рецептора первого ряда, затем будет возрастать активность рецепторной клетки из второго ряда и т. д. При этом надо иметь в виду, что вследствие низкой добротности мембраны каждый звуковой сигнал, даже сигнал чистого тона, вовлекает в работу отнюдь не один столбец в слое Lo, а целую область клеток, занимающую некоторый интервал по оси х.
Будем считать, что клетки первого нейронного уровня — слоя Lr (и всех вышележащих слоев модели) одинаковы, т. е. имеют одинаковые характеристики «вход — выход». Из морфологических исследований спирального ганглия известно [82], что его нейроны являются биполярами (один вход и один выход); это позволяет считать, что на первом нейронном уровне Lr нет латеральных связей. Структуру связей между слоями Lo и Lr можно организовать таким образом, чтобы увеличение порогов к входному сигналу от ряда к ряду, предполагаемое для клеток слоя Lo, сохранилось и для нейронов слоя Ьг. Тогда общая картина активности нейронов слоя Lr будет подобна картине возбуждения рецепторных клеток в Lo, хотя количество клеток в столбцах Lr может быть больше, чем в слое Lo.
Расположение элементов слоя LQ и вдоль оси у в порядке возрастания их порогов является уже, по существу, проявлением «принципа места». Однако, кроме места возбужденного элемента, интенсивность на этих уровнях кодируется также степенью возбуждения элементов (рецепторов на LQ и нейронов на Lt) и их числом в возбужденной области. На более высоких уровнях картина будет меняться, так что степень возбуждения нейронов будет играть все меньшую роль и интенсивность сигнала будет все более определяться координатой возбужденной области по оси у, которую будем называть далее осью интенсивностей.
Структура нейронной сети, преобразующей интенсивность в место. Механизм работы нейронной сети, осуществляющей преобразование «интенсивность — место», можно представить, исходя из свойств нейронных слоев с латеральными связями. На рис. 70 приведена схема много
слойной нейронной структуры, состоящей из одномерных слоев. Сигнал с интенсивностью А воздействует на нервные элементы — рецепторы, образующие нижний слой LQ. Рецепторы различаются по чувствительностии расположены
Рис. 70. Модель нейронной сети, преобразующей интенсивность А сигнала в координату у максимума фронта возбуждения (пояснения в тексте).
вдоль оси г/<°) (по ширине мембраны) в порядке возрастания порогов (Лп). Характеристики всех нейронов, образующих слои Л4, одинаковы (рис. 70). Первый нейронный слой предполагается не содержащим латеральных связей. Все более высокие слои имеют симметричные латеральные связи и их структура подобна структуре слоя, изображенного на рис. 17; слой Л2 схематично показан па рис. 70 в виде двух цепочек: Т-нейронов (снизу) в
В-нейронов. По оси ординат отложены эпюры фронтов возбуждения слоев Л2 — Л4.
По мере увеличения интенсивности А входного сигнала будет возрастать активность сначала первого рецептора в слое Lo, затем при достижении необходимого порогового значения (Лп2 на рис. 71) к нему присоединится второй рецептор и т. д. Поскольку схема предполагает прямые
Рис. 71. Пример распределения порогов рецепторов и нейронов первого уровня Lr по интенсивности сигнала (вдоль оси интенсивности).
связи рецепторов с нейронами первого уровня, то картина последовательного возбуждения нейронов на Lr будет подобна картине возбуждения рецепторов. Следовательно, на первом нейронном уровне модели интенсивность отображается тремя факторами: а) степенью возбуждения отдельных нейронов, б) числом возбужденных нейронов и в) «местом», т. е. координатой последнего из возбужденных нейронов. Задача остальной части сети — исключить факторы а) и б) и развить преобразование «интенсивность — место».
Первый этап этого преобразования состоит в растяжении на слое L2 возбуждающего воздействия от L± вдоль оси г/<2) пропорционально интенсивности А или некоторой ее функции, например, log А. Представим, что соединение нейронов и L2 характеризуется значительной дивергенцией, т. е. каждый нейрон слоя Lx связан со многими
нейронами слоя Л2, образуя на Ь2 свое проекционное поле. В общем случае проекционные поля на Ь2 перекрываются. Выбором функции связи между нейронами L± и нейронами L2 можно добиться довольно плавного расширения области нейронов слоя L2, на которые приходит возбуждающее воздействие, при увеличении интенсивности А*). Когда интенсивность достигает максимума, происходит насыщение всех четырех нейронов L± и воздействие поступает на все В-нейроны Ь2. На рис. 70 область возбуждающего воздействия на В-нейроны при некотором значении А условно показана пунктиром.
Но задача растяжения не является конечной в этом преобразовании. Наибольшую информацию об интенсивности несет край растянутой области возбуждающего воздействия. Этот край перемещается при изменении интенсивности. Выделение края происходит благодаря действию латеральных тормозных связей, которые подавляют возбуждение в середине той области на Ь2, на которую пришло возбуждение с Lr. В результате этой операции на Л2 будет выделен такой фронт возбуждения F2(y), положение максимума которого есть функция интенсивности.
Следующая задача — сделать этот фронт возбуждения достаточно узким — это задача обострения (аналогичная преобразованию информации о частоте), которую и выполняют слои L3 и Л4 (см. рис. 70).
Итак, на верхнем слое системы каждому значению интенсивности входного сигнала соответствует узкая область возбужденных нейронов, ширина которой определяет избирательность системы по интенсивности. Зависимость
*) Здесь обсуждается возможность преобразования «интенсивность — место» в сети из нейронов, обладающих одинаковыми характеристиками (помимо рецепторов) и симмметричными связями. Такой вариант структуры представляется более «физиологичным». Между тем для построения технических устройств может оказаться целесообразным введение упорядоченного вдоль оси у изменения порогов элементов во всех слоях, участвующих в этом преобразовании, что сделает задачу технически еще более легко реализуемой. В работе [103] описан такой вариант преобразующей сети, в котором предусмотрено воздействие на нейроны нарастающего вдоль оси у торможения по коллатералям от спонтанно генерирующего нейрона. Закон изменения тормозного воздействия задается распределением вдоль этой оси весов тормозящих синапсов.
координаты этой области от интенсивности определяется рядом факторов, в том числе видом функций связи между слоями, степенью перекрытия проекционных полей и распределением порогов рецепторов (а следовательно, и нейронов слоя Lx) к входному сигналу. Моделирование системы на аналоговой машине показало, что выбор порогов рецепторов, удовлетворяющих соотношению ^пгМпх = ^пз^п2 = Лп4Мм, позволяет легко получить зависимость у^=у(А), близкую к логарифмической.
Укажем важную особенность поведения нейронов на разных уровнях описанной системы: если на первом уровне информация об интенсивности кодируется активностью, числом и местом положения возбужденных нейронов, то на верхнем уровне интенсивность определяется главным образом их местом расположения. При этом степень возбуждения не имеет решающего значения. Отсюда следует, что на верхнем слое нейроны в принципе могут работать в режиме «да — нет».
6.4.	Пространственная картина преобразования информации о частоте и интенсивности
В этом разделе объединим рассмотренные раньше одномерные слоистые структуры в пространственную картину. Представим ее в виде пирамиды (рис. 72), образованной расположенными друг над другом слоями, в которых направление х есть ось частот, а направление у — ось интенсивностей. В основании пирамиды лежит слой Lo— аналог кортиева органа. На Lo образуется фронт возбуждения, поступающий затем на верхние слои пирамиды. Параллель между этими слоями и отделами слуховой системы (см. рис. 66, а) можно провести лишь приблизительно; верхний слой, возможно, соответствует заднему двухолмию или медиальному коленчатому телу. Связи между нейронами слоев пирамиды организованы так, чтобы по оси у выполнялось преобразование «интенсивность— место», а по оси х — «частота — место».
Проследим изменение конфигурации возбужденной области по мере продвижения фронта возбуждения от слоя к слою. Обратимся к рис. 73, на котором возбужденные нейроны на каждом слое изображены заштрихованными
кружками. Степень возбуждения нейрона характеризуется зачернением (чем выше частота разрядов нейрона, тем сильнее зачернен кружочек). На рисунке показан случай, когда на входе действуют два продолжительных однотонных звуковых сигнала, отличающиеся интенсивностью и
Рис. 72. Пространственное изображение модели нейронной сети слуховой системы (на мембрану подано два однотоновых сигнала, отличающихся частотой и интенсивностью).
частотой. Как видно из рисунка, по мере перехода к более высоким слоям возбужденные области сужаются вдоль оси х. Вдоль оси у происходит растяжение возбужденной области (тем сильнее, чем больше интенсивность входного сигнала) и выделение ее края.
Суть основной гипотезы, развиваемой в настоящей работе, состоит, следовательно, в том, что в слуховом
Рис. 73. Конфигурации возбужденных областей на разных уровнях модели (для двух однотоновых сигналов разной частоты и интенсивности).
анализаторе предполагается существование нейронного слоя, в котором «принцип места» выражен с наибольшей полнотой: и частота и интенсивность продолжительного звукового сигнала однозначно (в пределах нечувствительности различения) определяются местом положения в этом слое небольшой области возбужденных нейронов. Модель нейронной сети, производящей первичную обработку информации, выполняет своего рода фокусировку фронта возбуждения: преобразует обширную область, возбужденную на первых уровнях, в узкую область на верхнем уровне. Координаты этой области (которая может состоять из нескольких или даже одного нейрона) полностью заключают в себе информацию об интенсивности и частоте звукового сигнала. Очевидно, что при такой организации сети степень возбуждения нейронов верхнего слоя пирамиды не играет существенной роли. На рис. 73 двум сигналам с разными интенсивностями и частотами на верхнем слое соответствуют два возбужденных нейрона с разными координатами хгуг и я2у2.
Чтобы обеспечить описанное преобразование возбужденных областей на слоях пирамиды, связи между нейронами должны быть организованы так, как описано в главе II. На слое L2 для преобразования «интенсивность — место» радиус 7?т тормозных связей вдоль оси у должен быть меньше 7?в, а для операции обострения вдоль оси х—R т должен быть больше 7?в. Можно представить на слое Ь2 зону действия возбуждающих связей в виде эллипса, большая полуось которого направлена вдоль оси у, а зону действия тормозных связей — в виде эллипса с большой полуосью, расположенной вдоль оси х. На вышележащих слоях L3 и Л4 обострение выполняется по обеим осям, поэтому зоны действия возбуждающих и тормозных связей могут быть представлены, например, концентрическими окружностями. На слое £4 радиусы связей меньше, чем на слое L3, поскольку слой Л4 имеет дело с более узкими фронтами возбуждения.
Необходимо заметить, что независимое преобразование двух одновременно поданных сигналов, как это показано на рис. 73, возможно только при достаточном раз несении их по частоте (см. стр. 194).
6.5.	Сопоставление свойств модели с данными электрофизиологии
Физиологическая обоснованность модели участка нервной сети зиждется на комплексе данных морфологии, электрофизиологии и психофизиологии. Часть сведений, главным образом морфологических и психофизических, используемых для начального обоснования модельных представлений, была изложена в предыдущих параграфах. Но основные электрофизиологические данные сочтено целесообразным в очень сжатом виде изложить отдельно, сопоставляя их со свойствами модели.
Преобразование информации о частоте. Это преобразование, описанное в параграфе 6.2, подразумевает расположение нейронов на каждом нейронном уровне в порядке возрастания их квазирезонансных частот. Первичное преобразование частоты сигнала в место активации основной мембраны детально изучено Бекеши [80,93, 109]. Распространение «принципа места» на работу нейронных уровней слуховой системы стало возможным в результате целого ряда электрофизиологических экспериментов, проводившихся по двум методикам: исследования .суммарных электрических ответов от нейронных ядер и исследования ответов одиночных нейронов на разных уровнях.
В настоящее время можно назвать ряд работ, в том числе основанных на изучении ответов отдельных клеток, которые непосредственно указывают наличие на всех нейронных уровнях слуховой системы таких участков, в пределах которых наблюдается упорядоченное расположение нейронов по их квазирезонансным частотам. Зависимость места наибольших ответов нервных элементов от частоты звукового сигнала в физиологии называют тонотопической локализацией. Тонотопическая локализация изучена на таких нейронных уровнях, как спиральный ганглий [110—112], кохлеарные ядра [111, ИЗ], трапецевидное тело [114], заднее двухолмие [115, 116], медиальное коленчатое тело [117, 118] и проекционная зона коры [119—121]. Эти исследования дают основание на каждом слое модели представить нейроны распо-
доменными вдоль одной из осей координат в порядке возрастания их квазирезонансных частот.
Большой интерес представляет сопоставление свойств отдельных нейронов по уровням, т. е. выяснение характера изменения частотнопороговых кривых нейронов при переходе от одного нейронного уровня к другому. Электрофизиологические исследования определенно указывают тенденцию сужения частотнопороговых кривых нейронов при переходе от нижних уровней к верхним [1111. Необходимо указать, что наблюдение на верхних нейронных уровнях некоторой части клеток с «недобротными», т. е. довольно пологими частотными характеристиками не представляется странным даже с точки зрения развитых модельных представлений. Напомним, что в модели нейронного слоя с латеральными связями содержатся не только возбуждающие В-нейроны, но и тормозные Т-нейроны. Сам по себе механизм латерального торможения подразумевает различие частотнопороговых характеристик этих нейронов: очевидно, что характеристики Т-нейро-нов каждого слоя всегда будут более пологими. Но эти соображения, конечно, не исчерпывают возможных причин различий частотнопороговых кривых, которые могут встретиться в эксперименте.
В этой связи надо заметить, что не следует представлять дело таким образом, что описанная в этой главе модель преобразования информации о частоте и интенсивности, даже если она не противоречит действительности, может исчерпывать все функции нервных образований слуховой системы от спирального ганглия до коленчатого тела. Конечно, нет. Доля явлений, которые на сегодня можно пытаться как-то истолковывать, к сожалению, невелика.
Достаточно указать на то, что в одном только нерв-ном образовании, принадлежащем слуховой системе и называемом задним двухолмием (задняя сторона четверохолмия), значительная часть клеток относится к части сети, ответственной за биноуральный слух, о котором в рамках этой книги вообще нет речи. Можно указать и иные процессы (из числа уже наблюдаемых), которые выходят за границы изложенной статической картины, в частности, исследуемую Г. В. Гершуни работу афферент
ных путей, различающихся своим быстродействием, и некоторые другие [122]. Все это говорит о том, что сопоставление данных электрофизиологии со свойствами модели должно быть достаточно осторожным.
Преобразование информации об интенсивности. Это преобразование, изложенное в параграфе 6.3, указывает характерные свойства элементов модели: начиная со слоя Л2, зависимости степени возбуждения нейронов (особенно В-нейронов) от интенсивности стимула должны быть немотонными, а области возбуждения становятся все более узкими при переходе к более высоким слоям. В период разработки модели (1964 г.) еще не было достаточно прямых электрофизиологических сведений, относящихся к этой гипотезе. Однако сопоставление уже известных в то время данных электрофизиологии о динамическом диапазоне ответов слухового нерва (25 дб) [123, 124] с психофизическими результатами измерений общего динамического диапазона сигналов, воспринимаемых слуховой системой (100—120 дб) свидетельствовало против кодирования интенсивности на верхних нейронных уровнях степенью возбуждения нейронов. Начиная с 1965 г. стали появляться сведения, указывающие на сужение динамического диапазона нейронов при переходе к верхним отделам слуховой системы. Из экспериментальных данных работы [125] следует, что на уровне кохлеарных ядер имеются нейроны, характеристика которых при изменении интенсивности имеет колоколообразный вид; диапазон между интенсивностями отключения и пороговой равен примерно 20 дб. На уровне слуховой коры наблюдаются нейроны с диапазоном 1—2 дб. Необходимо указать, что гипотеза об упорядоченном расположении нейронов по величинам порогов к звуковому сигналу в настоящее время не имеет физиологического подтверждения.
Обратим теперь внимание на то, что сделанное в модели предположение о наличии двух типов элементов, В-нейронов и Т-нейронов, подразумевает для каждого типа разные зависимости степени возбуждения нейрона от интенсивности звукового сигнала. Из параграфа 6.3 следует, что Т-нейроны на слое L2 имеют монотонные характеристики: нейрон начинает отвечать при некоторой пороговой интенсивности, затем частота разрядов растет с
ростом интенсивности, и, наконец, происходит насыщение. При дальнейшем росте интенсивности частота разрядов не меняется. У В-нейронов характеристики немонотонны: частота разрядов нейрона сначала растет с ростом интенсивности звукового сигнала, затем начинает убывать и, наконец, нейрон перестает отвечать вовсе.
Отмеченные особенности ответов нейронов наблюдаются в электрофизиологических экспериментах на втором нейронном уровне — кохлеарных ядрах [126].
На более высоких слоях модели различие указанных характеристик В-нейронов и Т-нейронов состоит, очевидно, в том, что первые более растянуты, чем вторые. Такое различие наблюдается во всех работах (в которых изучались ответы одиночных нейронов), как при изменениях частоты, так и интенсивности звукового сигнала, в том числе в цитированных выше работах.
Данные о переходных явлениях. Большое количество физиологических наблюдений относится к поведению отдельных клеток нейронных ядер слуховой системы в период переходных процессов.
Переходные процессы в многослойной сети с латеральным торможением рассмотрены в параграфе 5.1. Поскольку модель слуховой системы образована нейронными слоями с латеральными связями, то к ней относится и изложенная картина реакций нейронов во время переходных процессов. Представляет интерес сопоставить следующие из параграфа 5.1 свойства нейронов в переходные периоды на разных уровнях многослойной структуры с электрофизиологическими наблюдениями.
Согласно модельным представлениям о слуховой системе слой Lx (см. рис. 72) является аналогом спирального ганглия. Поскольку по морфологическим сведениям нейроны этого уровня есть биполяры, то сделанное в параграфе 5.1 допущение об относительной стабильности во времени фронта возбуждения нижнего уровня многослойной структуры из-за отсутствия в нем латеральных связей может быть распространено на слой слуховой системы. Временные изменения фронта возбуждения на этом уровне (после включения постоянного стимула) будут, по-видимому, определяться другими двумя факторами: переходными явлениями в основной мембране и
адаптацией нейронов. Действительно, фронт возбуждения первого нейронного уровня обусловлен деформацией основной мембраны улитки. Вследствие малой добротности мембрана обладает большим быстродействием, и поэтому в момент включения входного сигнала область деформации мембраны, отражающая характер спектра сигнала, будет несколько шире, чем в установившемся режиме. Это предположение подтверждается исследованием зависимости от времени микрофонного потенциала в разных участках улитки. Как следует из работы [127], по изменениям микрофонного потенциала можно судить об изменениях бегущей волны вдоль мембраны. В работе [128] показано, что микрофонные потенциалы в период переходного процесса возникают в гораздо большей области по длине основной мембраны, чем в установившемся режиме. О сужении области деформации мембраны в установившемся режиме свидетельствуют также результаты исследования механической модели мембраны [129]. На основании сказанного можно сделать вывод, что по мере установления колебаний на мембране ширина возбужденной области будет несколько уменьшаться, главным образом по краям.
Вслед за переходными явлениями за счет деформации мембраны следуют изменения фронта возбуждения за счет адаптации нейронов. В силу указанных морфологических особенностей первого нейронного уровня слуховой системы очевидно, что удельный вес адаптации среди других составляющих переходного процесса должен быть здесь особенно велик. Это соображение согласуется с данными работы Дэвиса [130], которая посвящена адаптационным свойствам слухового нерва и содержит существенные количественные оценки.
Вероятное наличие в ответах нейронов спирального ганглия временных изменений за счет адаптации и переходных явлений в мембране в общем не изменяет представлений о сравнительной (с другими уровнями) стабильности этих ответов во времени. Такой взгляд позволяет ожидать преобладания у нейронов первого уровня тонических (отражательных) ответов. Именно такие ответы основной массы нейронов спирального ганглия наблюдались в ряде работ (см., например [131]).
Слой £2 и более высокие уровни модели слуховой системы, по выдвинутым предположениям, обладают латеральными связями. Для работы таких структур характерно наличие нейронов с фазическим типом ответа. Свойственная этим структурам общая закономерность изменения соотношений между количеством нейронов с разными типами ответов, как следует из параграфа 5.1, состоит в том, что процент «отражательных» нейронов уменьшается, а «фазических» возрастает при переходе к более высоким слоям.
Тенденция увеличения в процентном отношении числа нейронов, дающих «оп»-ответы, на более высоких уровнях слуховой системы отмечена в ряде работ (Кацуки [107, 132], Гершуни [101, 133]). Один из результатов анализа переходных процессов в модели с латеральным торможением состоит в том, что «оИ»-ответ является следствием растормаживания нейрона; если такое представление справедливо, то не следует ожидать «off»-ответов от «отражательных» нейронов, т. е. находящихся в возбужденном состоянии. В этой связи можно указать экспериментальные данные (Кианг и Сандел [135, 136]), подтверждающие такие свойства нейронов с «off»-ответами.
Наконец, проведенный в параграфе 5.1 анализ показал, что важное свойство модели сети с латеральным торможением состоит в том, что тип ответа отдельных нейронов — отражательный или фазический — определяется не особыми параметрами клетки, а условиями ее работы, т. е. ее положением относительно области максимального возбуждения нейронного слоя. Проверка этого вывода была бы возможна, если бы в электрофизиологическом эксперименте удалось перемещать область возбуждения, контролируя характер ответа конкретного нейрона. Слуховая система представляет для этого удобный объект, поскольку в ряде случаев перемещение области возбуждения достижимо с помощью изменения параметров звукового сигнала. В электрофизиологических работах (Герштейн и Кианг [137], Радионова [138]) удалось показать, что изменение частоты сигнала действительно может приводить к изменению типа ответа нервной клетки.
6. Некоторые черты избирательного устройства, пользующего свойства слуховой системы
Исходя из модельных представлений, характеризую-IX передачу и переработку информации в звуковом ализаторе живого организма, попытаемся установить тя бы некоторые черты аналогичного технического уст-йства.
Высокая частотная избирательность при недобротных гльтрах. Входную часть избирательного устройства едставим набором большого числа фильтров в виде низ-добротных резонансных контуров с сильно перекрыва-цимися полосами пропускания (рис. 74). Если бы мы делировали только основную мембрану *), то следова-бы добротность контуров выбирать равной добротно-ст мембраны. Этот вариант можно было бы истолковать ким образом, что каждый фильтр моделирует работу цептора — волосковой клетки. Однако материал пара-афа 6. 2 дает основание считать, что в силу линейности ераций, лежащих в основе механизма синфазного сум-:рования, преобразования звукового сигнала, происхо-щие на пути от овального окна до выхода спирального локна, будут эквивалентны преобразованию сигнала в лосовом фильтре с добротностью выше добротности мем-аны. Фильтр, которым можно моделировать работу ирального волокна, будет обладать более узкой поло-й пропускания, чем фильтр, моделирующий просто ра-ту волосковой клетки. Количественные оценки, прове-яные в работе [94], показывают, что за счет механизма нфазного суммирования сужение полосы пропускания жет происходить в 7—10 раз. Выбирая эти более узко-лосные фильтры, будем тем самым моделировать одно-еменно работу мембраны и механизм синфазного сум-[рования, что, по-видимому, можно рассматривать как Мелирование функций спиронейронов. (Более широко-лосные фильтры, моделирующие рецепторы или даже ироны первого уровня с низкой избирательностью, горые мы склонны отождествить с ортонейронами, гавлены за рамками этого гипотетического устройства.)
*) О моделировании основной мембраны см., например, работу
Фильтры расположены в порядке возрастания резонансных частот и осуществляют поэтому, так же как и основная мембрана, преобразование «частота — место».
mz, iZl I I I I । kiTN I i i Г шшшиишш, sin^ Т17Г1ТП ТП nriTnj
Рис. 74. Блок-схема избирательного устройства, содержащего входные фильтры (с сильно перекрывающимися полосами пропускания) и сеть элементов с латеральными связями:
а) входные фильтры и их характеристика; б) сеть с латеральным торможением и пример выходного сигнала сети с одномерным слоем выходных элементов, *ОТ°Р°М интенсивность передастся степенью их возбуждения; в) двумерный и м Й ВЬ1ХОД_НЫХ элементов для представления интенсивности в виде координаты у места возбуждения. Биения отобразятся как перемещения возбужденной точки вдоль оси интенсивностей у.
Сигналы на выходе фильтров образуют широкий фронт возбуждения. Ширина фронта Дгг определена шириной полосы пропускания входных фильтров Д/ф. Максимум фронта находится в месте расположения контура с
резонансной частотой, совпадающей с частотой пришедшего однотонового сигнала. Вслед за фильтрами в устройство включается сеть из элементов с латеральными связями, которая выполняет операцию обострения фронта возбуждения и служит для повышения частотной избирательности устройства. Эта сеть может быть многослойной. На верхнем ее слое образуется узкая область возбужденных выходных элементов, место положения которой определяет частоту однотонового входного сигнала, а ширина Дял.с — частотную избирательность устройства. Повышение избирательности, происходящее благодаря этой сети за счет латерального взаимодействия, равно коэффициенту обострения
Таким образом, структура с латеральным торможени-ем позволяет в принципе построить многоканальное частотное устройство (например, типа спектрального анализатора) с высокой избирательностью, применяя широкополосные фильтры, например, в виде низкодобротных резонансных контуров*). Если сопоставить это устройство с обычным, без сети элементов с латеральными связями, то полоса его входных фильтров Д/ф, обеспечивающая ту же избирательность, должна быть уже в Q раз: Д/ф = = а/ф/<2.
Время установления ответа. Остановимся теперь на другой существенной характеристике устройства — времени установления выходного сигнала. Известно, что при подаче на вход контура сигнала резонансной частоты амплитуда колебаний в нем будет устанавливаться по экспоненте с постоянной времени определяемой затуханием контура. Временем установления принято считать интер-
*) Способ построения частотного телемеханического устройства с малодобротными входными фильтрами обсуждался в работе [140]. Предложенное повышение избирательности за счет вычитания сигналов (после детектирования) по соседним каналам, по существу, означает применение латерального торможения, но так же как и в работах [95—97], с самым малым «радиусом» связей (см. параграф 6.2).
вал времени, в течение которого параметр достигает зна-чения, отличающегося от установившегося (т. е. от значения сигнала при t= оо) на некоторую величину 6 (в относительных единицах обычно 6 принимается равной 0,1). Время установления Д£ сигнала на выходе контура будет равно
Д£ хк In (1 /д).
Добавление многослойной обостряющей структуры приведет к увеличению времени установления. Это происходит даже в случае безынерционных элементов, поскольку выходной сигнал представляет разность двух воздействий Еп(х) и 1п(х) (см. главу II) и время установления в этом случае будет определяться не моментом Д£ установления сигнала на выходе фильтра, а моментом Д^л.с.1 когда указанная разность достигнет (1— 6) от величины своего установившегося значения (подробнее см. [141]). Величина Д£л.с. определится выражением
Д^л.с = Tfeln(K/d),
где К — результирующий «коэффициент усиления» многослойной структуры. Напомним, что в главе II мы называли «коэффициентом усиления» слоя с латеральными связями величину Рв, т. е. мощность возбуждающей функции связи этого слоя; см. параграф 2.4, а также 2.8. В многослойной структуре, состоящей из п слоев, результирующий «коэффициент усиления» К есть произведение
п
А’ = П (Ав) г-2=1
Оценка по критерию Д^.с.-Д^1.с.« Из изложенною следует, что в рассматриваемом избирательном устройстве благодаря добавлению сети элементов с латеральными связями мы несколько проигрываем во времени установления выходного сигнала (Д£л.с. > Д0> но выигрываем в частотной избирательности (Дхл.с. <С Дя)« Представляет интерес оценить возможности устройства по комплексному критерию Агл.с. • Дял.с,. Для этого надо принять во внимание, что ширина фронта возбуждения элементов Vi 7 Н. В. Позин
на верхнем слое сети Дхл.с. (см. рис. 74) обратно пропорциональна степени обострения (см. главу II) и, значит, такому параметру сети с латеральными связями, как ее результирующий «коэффициент усиления» К. Следовательно, произведение Д^л.с. • Д^л.с., пропорциональное при больших коэффициентах К отношению 1п К/К, стремится к нулю с ростом К.
Необходимо подчеркнуть, что этот результат справедлив в идеализированном случае, а именно в многослойной структуре из стабильных и безынерционных элементов. В реальной структуре нестабильность элементов ограничивает достижимую степень обострения, а инерционность элементов дополнительно увеличивает время установления, так что произведение Дхл.с.* Д^л.с. с ростом К стремится к величине, отличной от нуля.
Реакция устройства на двухчастотные (двухтоновые) сигналы. Представим, что на вход устройства поступает двухтоновый сигнал, содержащий колебания с частотами /х и /2. Выходная реакция будет зависеть от того, насколько различаются эти частоты. Если частоты различаются настолько, что области, возбужденные на нижнем слое сети с латеральными связями, не перекрываются, то сеть успешно справится с анализом сигнала и на ее верхнем слое возникнут две возбужденные области, определяющая каждая частоту и интенсивность колебаний, составляющих входной сигнал. По мере сближения частот колебаний фронты возбуждения на первом слое начнут перекрываться. В конечном счете это приведет к исчезновению провала в суммарном фронте возбуждения (см. кривую 3 на рис. 74), отделяющего один максимум от другого. В таком случае сеть с латеральными связями не сможет разделить входной фронт возбуждения на два, и на верхнем слое возникнет одна возбужденная область. Исчезновение провала будет происходить при разности частот колебаний двухтонового сигнала Д — /2, близкой к полосе пропускания Д/ф входных фильтров. Полоса частот Д/ф и определяет разрешающую способность устройства к двухтоновому сигналу.
Итак, при разности частот |Д — /2| Д/ф устройство разделяет компоненты сигнала, при |/х — /2| <Z Д/ф на верхнем слое сети образуется одна общая область воз
бужденных выходных элементов. Вследствие биений, которые возникнут в последнем случае из-за попадания двух частот в полосу одного фильтра, будет изменяться интенсивность возбуждения этой области.
Представим теперь, что рассматриваемое устройство настолько приближено к модели слуховой системы (параграф 6.4), что выходной слой сети с латеральными связями сделан плоским; при этом координатами возбужденной области элементов по одной оси является функция частоты (я), а по другой — функция интенсивности (у) входного сигнала (рис. 74, в). Очевидно, что при наличии биений возбужденная область на этом слое будет перемещаться с разностной частотой вдоль оси у. Такую реакцию устройства представляется интересным сопоставить с результатами психофизических экспериментов, согласно которым двухтоновый сигнал, компоненты которого сближены менее, чем на критическую полосу частот, воспринимаются не как два разных по высоте тона, а как некоторый единый звуковой образ с меняющейся при изменении разности частот окраской [142].
6.7. Заключение
Модель нейронной сети звукового анализатора представляет собой пример системы с параллельной переработкой информации: звуковой сигнал как бы развертывается мембраной в некий пространственный образ, передаваемый по каналу связи — аналогу слухового нерва — на нейронные слои, которые производят его анализ. При воздействии звукового сигнала оказывается активированной большая часть элементов первых уровней, однако по мере продвижения фронта возбуждения, вызванного сигналом, вверх по слоям модели доля возбужденных элементов в общем числе элементов слоя падает. Происходит своеобразная фокусировка размытой возбужденной области, возникающей на выходе рецепторного аппарата, в достаточно узкую группу возбужденных нейронов на верхнем уровне.
В качестве основного принципа переработки афферентного потока информации в слуховой системе принимается «принцип места», который понимается как преобразо-® Н. В. Позин
вание количественных характеристик продолжительного звукового сигнала — частоты и интенсивности — в координаты узкой области нейронов, находящихся в возбужденном состоянии. Относительные размеры области определяют дифференциальные пороги системы. Это преобразование может быть выполнено многослойной структурой, состоящей из однородных нейронных слоев с прямыми латеральными связями.
Анализ современных электрофизиологических данных показал, что основные наблюдаемые закономерности поведения одиночных нервных клеток на разных уровнях слуховой системы не противоречат принципам работы модели.
По-видимому, специфика слуховой системы состоит прежде всего в низкой добротности мембраны, которая на один-два порядка ниже добротности резонансных элементов, используемых в технике. Благодаря этому свойству первичного преобразователя сокращается длительность переходных процессов и возрастает быстродействие системы. Связанная с низкой добротностью неточность в определении частоты устраняется нейронными слоями с латеральными связями. Возможно, что благодаря именно этим свойствам слуховая система способна проводить анализ быстро изменяющихся звуковых сигналов и прежде всего речи. Очень важно, что в модели инерционность слоев с латеральными связями может быть сделана весьма малой.
В заключение необходимо заметить, что несмотря на отсутствие противоречий между характерными чертами работы модели и физиологическими сведениями, последние нельзя, конечно, рассматривать как прямые, подтверждающие модель экспериментальные данные. Учитывая сложность проблемы, изложенную гипотезу о работе нейронной сети слуховой системы следует рассматривать как правдоподобное предположение, не исключающее иных модельных представлений, в которые, возможно, также будут укладываться данные физиологии.
ГЛАВА VII
ГИПОТЕТИЧЕСКИЙ МЕХАНИЗМ ПОИСКА
И ПРОТОРЕНИЯ ПУТЕЙ В НЕЙРОННОЙ СЕТИ *)
Употребление понятия «поиск» применительно к деятельности живого существа достаточно привычно. Нередко в таких случаях речь идет о характеристике весьма сложных актов психической активности. Вместе с тем расчленения этого процесса для подробного анализа очень трудны. Разные формы поиска, характеризующие взаимодействие организма с внешней средой, определяются необходимостью нахождения разнообразных новых форм реакций на окружающую среду. Именно новых, так как старые, если они не забыты, не нуждаются в отыскании. В самом общем виде можно указать на две очевидные области деятельности живого существа, которым присущ поиск: мышечное управление и, конечно, разные формы мышления.
Поиск в мышечном управлении проявляется тогда, когда человек или животное учится новому движению. Известно, что новое движение получается не сразу. Из множества мышц и большого числа сочетаний разной степени их напряжения вначале велика вероятность выбора неверной комбинации; затем в процессе поиска находится нужная.
Труднее привести пример, хотя бы столь же общий, как предыдущий, из области мышления. Анализируя ход рассуждений,— собственный или собеседника,— мы иногда можем отметить, что происходил перебор (в простейшем случае) каких-либо вариантов. Нередко выбор определенных понятий происходит более эффективным — мы говорим «эвристическим»— способом, когда вероятный процесс поиска неожиданно (неожиданно для нас, анализирующих процесс, но не знающих его закономер-
*) Основное содержание этой главы ранее было изложено в [14(5].
8*
198
механизм поиска и проторения путей
[гл. vil
ностей) претерпевает скачок от оперирования понятиями одного типа к понятиям совсем другого рода.
При всей необычайной сложности явления многие, и автор в их числе, разделяют убеждение, что в основе не известного пока процесса поиска в нервной системе лежат определенные, «конечной сложности» механизмы нейронных переключений. Неоднозначность, недостаточная Четкость даже функциональных проявлений этого процесса предопределяет неизбежную абстрактность в настоящее время попыток моделирования механизмов нейронных взаимодействий, сопутствующих поиску.
В этой главе изложены результаты рассмотрения следующей абстрактной задачи: используя известные сведения о нейронах и нейронных взаимодействиях, попытаться рассмотреть гипотетический механизм поиска и проторения путей между двумя центрами в однородном нейронном слое, точнее, в модели этого слоя. Поводом к началу поиска в этой сети служит возбуждение одного из входных нейронов слоя, полученное от рецепторов, принимающих сигналы из внешней среды. Собственно поиск понимается как процесс отыскивания среди выходных нейронов слоя такого, который связан с эффектором, способным компенсировать или устранять воздействие внешней среды. После нахождения нейрона, способствующего указанной цели, поиск прекращается. Однако сам акт компенсации внешнего воздействия на этом не оканчивается. Для его продолжения и выполнения нужно образование устойчивой связи между отделами, принимающими входные (афферентные) и выдающими выходные (эфферентные) сигналы. Таким образом, нужно не только отыскание, но и закрепление или проторение указанной связи. Способы осуществления этой второй части процесса — проторения — могут оказывать большое влияние на механизм выполнения первой части — поиска. Например, в соответствии с современными представлениями первичное замыкание и последующее закрепление цепи условного рефлекса происходит на разных уровнях; последнее — на более низком [143]. Это относится к достаточно ^продолжительным явлениям. Но само первичное замыкание, по-видимому, требует образования связей на этом же уровне, причем эти связи, возможно,
действуют относительно недолго до закрепления рефлекторной дуги между нижележащими центрами.
В этой главе рассмотрен случай, когда^обе’части процесса, поиск и проторение, реализуются на одной и той же модели нейронного слоя.'
Для изложения гипотезы о механизме поиска и проторения путей в нейронной сети понадобится представление
Рис. 75. Примеры временной [зависимости выходных воздействий нейронов переключателя при двух скоростях V1 > V2 распространения волны.
о нейронной цепи, по которой с разной скоростью могут пробегать волны возбуждения.
В параграфе 5.3 описан способ образования цепи нейронов, которые последовательно генерируют пачки импульсов. Эти пачки во времени могут перекрываться, если следующий нейрон начинает генерировать раньше, чем закончил предыдущий. Определим выходной сигнал нейрона — «мгновенную» частоту F(t) следования импульсов — как величину, обратную межимпульсным интервалам. На рис. 75 приведены примеры временных диаграмм изменения частот импульсов в пачке для трех нейронов Цепочки. Используем обозначения: Д£ — длительность
пачки, Т — временной сдвиг пачек, создаваемых соседними нейронами. V — назовем скоростью пробегания волны, которая измеряется числом нейронов за единицу времени. Чрезвычайно важной является способность цепочки изменять скорость V прохождения волны. Временные диаграммы на рис. 75 соответствуют двум значениям скорости Vi > V2.
Нейронная цепочка, по которой проходит волна возбуждения, вызывающая в кажом нейроне генерацию пачки
Рис. 76. Условное изображение нейронного переключателя.
импульсов, была названа нейронным переключателем. В переключателе сложной организации распространение волны может начаться с любого промежуточного звена и может быть направлено либо в одну либо в другую сторону. Иными словами, работать может только часть переключателя. На рис. 76 приведено обозначение нейронного переключателя. Выбор звена, с которого начинается распространение волны, определяется местом приложения внешнего воздействия (Вх). В зависимости от организации переключателя продолжительность пачки на выходе каждого его элемента может по-разному изменяться при изменении скорости переключения; в примерах на рис. 75 длительность пачек обратно пропорциональна скорости. Форма распределения частот следования импульсов в пачке также зависит от организации переключателя; для простоты дальнейшего анализа модели нейронной сети удобно предполагать прямоугольную форму этого распределения (см. пунктир на рис. 75).
7.1. Механизм поиска	•
Рассмотрим плоский нейронный слой, в котором нейроны расположены правильными рядами, образующими строки и столбцы (рис. 77). Каждый нейрон будем обозначать его координатами (х, у), где х и у обозначают номер
Рис. 77. Структура модели поискового нейронного слоя.
столбца и строки слоя. Элементы «нулевого» столбца назовем входными нейронами, а последнего тп-го столбца — выходными нейронами. Входные нейроны возбуждаются внешними воздействиями, т. е. в конечном счете иннервируются рецепторами. Положим, что в норме одновременно не может быть возбуждено больше одного входного нейрона на рассматриваемом слое. Выходные нейроны
связаны с эффекторами, способными устранять или компенсировать внешнее воздействие. Положим также, что среди выходных нейронов имеется только один нейрон, который управляет требуемым эффектором. Соответствие между входными и выходными нейронами заранее не известно. Задача, которая рассматривается в этом параграфе, состоит в отыскании этого соответствия, т. е. в нахож-
дении выходного нейрона, обеспечивающего с течением времени изменение воздействия, пришедшего на входной нейрон.
Вне слоя, но вдоль осей х и у, находятся нейронные переключатели. Вдоль абсциссы, начиная с х = 1, расположен ^-переключатель, каждый элемент которого соединен со всеми нейронами соответствующего столбца. Вдоль орди-
Рис. 78. Статическая характеристика аналоговой модели нейрона:
и F.. — воздействия элементов х-пс-X у реключателя и ^-переключателя.
наты расположен ^-переключатель, каждый элемент которого соединен со всеми (кроме «нулевого») нейронами соответствующей строки. Для возбуждения любого из нейронов слоя, кроме входных, в начальный период работы необходимо совпадение во времени приходящих на них воздействий от обоих переключателей (рис. 78). Представим, что ^-переключатель работает постоянно с неизменной скоростью переключения. Представим далее,
что действие [/-переключателя происходит только тогда, когда возбужден один из входных нейронов; в противном случае переключатель находится в покое. Вследствие относительно более сложной организации распространение волн в нем происходит в какую-нибудь одну сторону от точки на оси г/, соответствующей расположению возбужденного входного нейрона. В процессе поиска может произойти смена направления: начнет работать другая часть [/-переключателя, в которой волны распространяются в
другую сторону от точки расположения входного возбужденного нейрона. Пожалуй, самым важным свойст-
волг г/-переключателя является его способность изменять скорость пробегания волн. Однако начало каждой волны в г/-переключателе строго синхронизовано с началом волны в ^-переключателе. Иными словами, распространение волн в обоих переключателях начинается одновременно (но в общем случае с разными скоростями).
Совместная работа обоих переключателей приведет к тому, что от входного нейрона по направлению к выходам потянется цепочка поочередно возбуждаемых элементов, в конце которой окажется возбужденным один из выходных нейронов. Если это не искомый нейрон, то скорость пробегания волны по ^/-переключателю изменится, чтобы новая цепочка привела к другому выходному нейрону. Если окажется возбужденным искомый выходной нейрон, то скорость переключений по оси у должна на определенное время зафиксироваться, чтобы цепочка элементов, соединяющих входной и найденный выходной нейроны, возбуждалась повторно несколько раз (см. параграф 7.2). Таким образом, направление пути, прокладываемого от входного к выходному нейрону, определяется соотношением скоростей переключений или разверток по осям у и х. Поскольку скорость ^-переключателя предположена постоянной, то поиск обусловлен изменением скорости работы г/-переключателя.
Характер изменения скорости работы ^-переключателя определяет метод поиска. Этот метод в свою очередь определяется спецификой процесса управления, происходящего в замкнутой системе: организм — внешняя сре да — организм. Исследование процесса управления и, следовательно, обсуждение методов поиска, используемых живыми существами, выходит за рамки настоящего этапа работы (см. [144]). Тем не менее для конкретизации описываемого механизма поиска укажем ’ простой пример.
Представим, что процесс поиска начинается с того, что одна из частей г/-переключателя (верхняя или нижняя относительно возбужденного входного нейрона) начинает работать с достаточно высокой скоростью, обеспечивая проведение цепочки возбужденных элементов от данного входного к крайнему (верхнему или нижнему, в зависимости от выбранного направления) выходному нейрону.
Если достигнутый выходной нейрон — не искомый, то должно последовать проведение новой цепочки к другому выходному нейрону. Назовем такое однократное проведение от входного к одному из выходных нейронов циклом. В течение каждого цикла, пока устанавливается, соответствует ли очередной выходной нейрон поставленной задаче,— скорость г/-переключателя неизменна. Но если данный цикл не привел к цели, то следующий происходит при чуть измененной, в нашем примере чуть меньшей скорости г/-переключателя, следующий цикл — при еще меньшей скорости и т. д. В структуре, изображенной на рис. 77, при изменении скорости г/-переключателя будет изменяться наклон проводимых цепочек: чем меньше скорость, тем более пологой будет цепочка. Изменяясь от цикла к циклу в процессе поиска скорость работы у-переключателя в общем случае переходит через нулевое значение при проведении горизонтальной цепочки. В таком случае во время всего цикла должен быть возбужден лишь один нейрон г/-переключателя, соответствующий точке приложения входного воздействия. Вслед за этим — для охвата всего поля возможной локализации искомого пути — вступает в действие другая часть у-пере-ключателя, по которой волна распространяется в противоположную сторону. Скорость работы вновь подключенного участка у-переключателя вначале очень мала, а затем постепенно увеличивается от цикла к циклу. В этом примере выходные нейроны опрашиваются поочередно, т. е. предположен простейший метод перебора. Продолжим этот пример и укажем один из возможных шагов к повышению эффективности поиска.
Представим, что каждый|выходной нейрон связан с многими, примыкающими к нему нейронами последних столбцов слоя, например, посредством разветвленной дендритной сети. (Образованные этими связями «зоны чувствительности» выходных нейронов будут сильно перекрываться). В таком случае узел управления скоростью работы г/-переключателя может получать сигнал к стабилизации скорости не только при отыскании нужного выходного нейрона, но даже при попадании цепочки в его «зону чувствительности». Скорость переключения не должна полностью стабилизироваться этим сигналом, но ее изме
нения от цикла к циклу должны уменьшаться. Таким образом, наличие «зон чувствительности» выходных нейронов позволяет предположить такой метод поиска в нейронном слое, при котором вначале возможны довольно грубые изменения скорости переключения, определяемые радиусом «зоны чувствительности». Попадание в эту зону приводит к снижению темпа изменения скорости, чтобы приближение к искомому выходному нейрону сопровождалось постепенным уменьшением шага поиска.
Если представить нейронный слой как непрерывную среду, то направление движения возбужденной области нейронов при постоянстве скоростей переключателей будет неизменным на всем пути от входа к выходу. Очевидно, что в дискретной сети цепочка даже при постоянстве скоростей будет в общем случае прокладываться зигзагом, но при этом будет, конечно, выдерживаться среднее направление. Если же предположить, что соотношение скоростей изменяется за время цикла, то прокладываемая цепочка представит изогнутую линию.
7.2. Механизм протЬрения путей
После отыскания соответствия между входными и вы ходными нейронами слоя возникает задача проторения — закрепления найденного пути. В модели этой цели служат два процесса. Один из них состоит в том, что фиксируется (запоминается) на некоторое время скорость работы у-переключателя, приведшая к искомому решению. Естественно предположить, что фиксация скорости прохождения волн по г/-переключателю отражает одну из сторон кратковременной памяти — т. е. временно действующего механизма, способствующего долговременному запоминанию. Второй процесс — отражающий механизм долговременной памяти — состоит в образовании связей между нейронами найденной цепочки.
Итак, после нахождения соответствия между входным и выходным нейронами частота г/-переключателя на короткое время фиксируется, обусловливая многократное повторение возбуждения нейронов найденной цепочки. За это время между нейронами цепочки образуются связи, которые в дальнейшем и обеспечивают соединение
входного и выходного нейронов без предварительного поиска. Естественно также предположить, что продолжительное отсутствие возбуждения в проторенной цепочке, если эта цепочка долго не используется, приводит к ослаблению силы связей до нулевого их значения.
Перейдем к механизму образования связей между нейронами слоя в цепочке, направленной от входного к найденному выходному нейрону.
Будем считать, что каждый нейрон имеет потенциальные связи, имеющие нулевой «вес» (или нулевую силу), с большим числом нейронов в прилегающей к нему части слоя. Связи имеют направленность — большая часть направлена вдоль или под острым углом к положительному направлению оси х. Примем, что условие образования ненулевой связи между двумя нейронами состоит в одновременном возбуждении этих нейронов. (Это положение вытекает из установившихся физиологических воззрений [143], и использовалось рядом авторов при модельных построениях [145].) Прирост силы связей («веса» синапса) между г-м и /-м нейронами пропорционален степени возбуждения F(t) каждого и времени т их совместной работы, а также некоторой функции (р(1/г^), указывающей ослабление связей с увеличением расстояния
Для небольших интервалов т изменения силы связи можно характеризовать выражением
to
где tQ— момент начала совместной работы нейронов. Итак, для образования ненулевых связей нейроны в цепочке должны возбуждаться с перекрытием периодов их работы. Отсюда вытекают требования к работе переключателей. Ограничимся задачей — установить лишь общие черты, характеризующие длительность возбуждения элементов переключателей и изменения этой длительности при изменении скорости прохождения волны.
При анализе работы конкретной модели нейронного слоя, осуществляющего поиск и проторение, удобно пользоваться временными диаграммами. Временные диаграм
мы возбуждения элементов ^-переключателя и ^-переключателя позволяют определить одновременно возбужденные нейроны, между которыми образуются связи. Понятно, что чем больше длительность работы элементов каждого переключателя при той же скорости пробегания волны (т. е. чем больше временное перекрытие работы этих элементов), тем больше число одновременно возбуждаемых нейронов и тем длиннее межнейронные связи. Временные диаграммы работы ^-переключателя (рис. 79, а) и г/-переключателя (рис. 79, б) указывают длительность возбуждения нейронов цепочки (см. рис. 76). На рис. 79, в показаны временные интервалы работы нейронов при проторении двух путей на модели нейронного слоя (см. рис. 77), начинающиеся (для простоты) из нижнего входного нейрона (0,1) и ведущие к выходным нейронам с координатами: а) у = хт и б) у = Зхт. Чтобы не затемнять рис. 80, на нем показаны связи только на небольших участках каждого из путей. Этим двум путям соответствуют два отношения скоростей Vy (^-переключателя) и Vx (^-переключателя): a) Vy/Vx = 1 и б) Vy/V^ = 3, что вытекает из очевидного соотношения
V- ^х М — у
Чтобы проиллюстрировать роль временного перекрытия, оба пути построены для двух длительностей работы элементов г/-переключателя. Связи, образующиеся при меньшей длительности показаны сплошными линиями, при большей — пунктирными линиями. Из рис. 80 видно, что увеличение перекрытия в работе соседних элементов ^/-переключателя приводит к характерным явлениям: во-первых, «дорожка» расширяется, в нее вовлекаются соседние нейроны, лежащие по обе стороны от основной Цепочки, и, во-вторых, проявляются более длинные связи — через один и даже через два нейрона. Ясно, что если еще увеличивать перекрытие, то ширина «дорожки» и протяженность связей возрастут еще больше.
Таким образом, рассмотренные примеры позволяют отметить следующие черты, характерные для процесса образования связей между нейронами цепочки, по которым многократно проходит волна возбуждения.
Рис. 79. Временная диаграмма возбуждений:
а) элементов х-переключателя, б)'элементову-переключателя для VyVv!^x^x ** ₽ 1 и	3; Д/ж и Ыу— длительности пачек импульсов на выходе эле-
ментов соответствующих переключателей, о) нейронов поискового слоя. За единицу времени взят период Тх волны в х-переключатсле.
1.	Сила (вес) связей увеличивается между теми нейронами цепочки, которые возбуждаются одновременно. Чтобы это было возможно, переключатели должны работать «с перекрытием», т. е. время Д£ работы элемента каждого переключателя должно превышать временной сдвиг Т пачек, создаваемых соседними нейронами: А^ Ту, Мх > Т~.
2.	Увеличение перекрытия в работе элементов переключателя прйводит, во-первых, к расширению проторяемого пути и, во-вторых, к увеличению протяженности межнейронных связей вдоль этого пути.
3.	Увеличение скорости пробегания волны в переключателе при одной и той же продолжительности работы его элементов приводит к угеличению перекрытия. Чтобы сохранить перекрытие неизменным, увеличение скорости переключения должно сопровождаться уменьшением времени возбуждения элементов переключателя. (Однако, для установления связей той же силы в этом случае потребуется больше циклов.)
Заметим, что увеличение перекрытия в работе переключателя имеет и отрицательные, и положительные стороны. Расширение цепочки, связанное с ростом перекрытия, может в некоторых пределах играть положительную роль: образование параллельных ветвей повышает надежность цепочки; этому же служит появление длинных, перекрывающих несколько нейронов связей. Кроме того, при большом перекрытии убыстряется рост связей. Вместе с тем чрезмерное расширение цепи приводит к снижению разрешающей способности поискового слоя, т. е. к снижению общего числа независимых проторенных путей. (Очевидно, что наибольшее число независимых задач, решаемых слоем, равно числу входных (выходных) ней-ронов !/п, если уп = (7У
max /Кт)«т.)
Исходя из известных свойств нейронных структур, допустим присутствие в слое, кроме указанных, также вставочных тормозных нейронов (на схеме не показаны), коллатерали аксонов которых ориентированы в основном по оси у. Тогда можно представить, что после проторения возбуждающих связей между нейронами цепочки образуются тормозные латеральные связи, которые распространяются главным образом вдоль оси г/, т. е. в поперечном
Уц
Ув
Уб
х - переключатель,
Рис. 80. Примеры образования связей в нейронных цепочках при Vv/Vx = 1 и Уу/Ух = 3.
Сплошными линиями показаны связи при малой длительности пачек на выходе у-переключателя; пунктиром показаны связи, появляющиеся при расширении этих пачек, т. е. при увеличении перекрытия.
(или близком к нему) направлении к проторяемому пути. Из анализа слоев с латеральными связями известна их способность обострять (подчеркивать) области наибольшего возбуждения. В таком случае естественно допустить, что основному подавлению будут подвергнуты боковые нейроны цепочки, лежащие по обе стороны от ее основного направления. Таким образом, возникает еще один аспект оценки роли перекрытия в работе элементов переключателя: большое перекрытие, способствующее быстрому образованию связей в сравнительно* широкой цепочке, может оказаться (точно оценить это позволит лишь подробный анализ) не опасным для разрешающей способности слоя, если с течением времени цепочка может быть сужена благодаря действию латерального торможения.
Большое значение для работы нейронного слоя с поиском имеет рассмотрение перекрещивающихся цепочек. Когда проторение закончено и переключатели не участвуют в проведении возбуждения, тогда наибольшее опасение вызывает возможность распространения возбуждения от точки перекрещивания двух цепочек по ложному направлению. ’Подробное рассмотрение этого вопроса — задача другого этапа работы. Тем не менее укажем, что надежному проведению возбуждения через узлы перекрещивания способствует образованию длинных, протянувшихся вдоль основного направления и перекрывающих несколько нейронов связей, которые возникают при работе элементов переключателя с большим временным перекрытием.
7.3. О параллельном поиске
До сих пор речь шла о механизме поиска и проторении на модели плоского нейронного слоя, в пределах которого одновременно могло отыскиваться соответствие лишь одной пары нейронов — входного и выходного. Но можно представить нейронную структуру, содержащую большое количество плоских слоев, каждый из которых работает по описанному выше методу. Геометрически такая многослойная система может быть изображена в виде куба (рис. 81), образованного набором плоских плат (слоев).
Входная ситуация есть совокупность возбужденных нейронов — точек на плоскости, представляющей входной торец куба (по-прежнему считаем, что на входном столбце каждого слоя — платы,— может быть возбужден только один нейрон). Аналогично искомая выходная ситуация есть набор найденных выходных нейронов на плоскости, образованной выходными столбцами плат, т. е. на выходном торце куба. Поиск происходит одновременно по всем слоям. Каждый слой обладает индивидуальным у-переключа-телем. В каждом цикле поиска у каждого слоя может быть
Рис. 81. К параллельному поиску.
своя собственная скорость развертки по оси у. Но поскольку отыскиваемая выходная ситуация определяется совокупностью возбужденных выходных нейронов многих слоев, то естественно предположить, что скорость развертки по оси х для всех слоев системы одинакова. Имеет ли система один общий ^-переключатель или индивидуальные х-переключатели слоев, работающие синхронно,— вопрос чисто технический.
Отдавая отчет в искусственности развиваемых представлений, обратим внимание на возможность такой аналогии: нельзя ли щопытаться сопоставить ритм работы ^-переключателя многослойной системы с a-ритмом, фиксируемым при энцефалографических исследованиях?
В этой главе описаны контуры механизма поиска и проторения в моделях однородных нейронных структур.
Чрезвычайная гипотетичность модельных представлений процессов поиска и проторения путей между нервны
ми центрами объясняется скудностью объективных нейрофизиологических данных об этих процессах из-за огромной трудности их получения. Психофизиологические наблюдения над процессами приспособления людей к новой обстановке, а также наблюдения за поведением животных дают психологам и физиологам богатый материал, который пока невозможно с достоверностью перевести в сферу нейронных взаимодействий. Поэтому выдвижение гипотез о механизмах поиска и разработка соответствующих моделей функционирования участков нейронных сетей носит достаточно абстрактный характер. По мере накопления физиологических данных весомость таких попыток будет, очевидно, возрастать.
9 Н. В. Позпп
ГЛАВА VIII
МЕТОДОЛОГИЧЕСКИЕ ВОПРОСЫ
МОДЕЛИРОВАНИЯ НЕЙРОННЫХ СТРУКТУР*)
С начала пятидесятых годов на стыке нескольких наук, среди которых наибольший вес приходится на теорию управления и нейрофизиологию, началось интенсивное развитие исследований процессов управления в живой природе.
Процессы управления пронизывают все стороны жизни любого организма. Наверное, не будет преувеличением сказать, что жизнь начинается тогда, когда в белковом веществе возникает совокупность управляющих процессов, вызывающих последовательность избирательных и изменяющихся реакций на внешнюю среду и воздействий на собственные органы, подчиненная определенной цели — обеспечить существование возникшей организации белковых молекул в меняющейся окружающей среде.
Управление, если отвлечься от его исполнительной, или ’«силовой» стадии, по своему основному содержанию есть переработка информации. В широком понимании термины «управление», «переработка информации» или, наконец, «информационные преобразования» обозначают сложный процесс, в котором нередко выделяют такие этапы, как перекодирование информации**), опознание и классификацию сигналов, этапы поиска ***), процесс обучения и другие. Все эти явления свойственны живой
♦) В основу этой главы положен материал статьи, опубликованный в журнале «Вопросы философии» [203].
♦♦) То есть не изменяющее содержания преобразование одной формы передаваемой информации в другую. Перекодирование представляет частный случай переработки информации, которая понимается как образование выходных сигналов из входных в самом общем случае.
***) Например, в автоматически действующей системе отыскание такого выходного сигнала, который по некоторому критерию соответствует входному.
природе, которая демонстрирует образцы «управляющих систем» необычайно высокой эффективности.
Из ряда систем жизнедеятельности — нервной, кровеносной, гормональной и других,— для изучения принципов управления, принципов информационных преобразований, выработанных живой природой в течение долгих лет эволюции, наибольшее значение имеет нервная система. Особый интерес к ней в этом плане определен тем, что именно она ответственна за оперативное управление организмом в его сложном взаимодействии с внешней средой. Вследствие этого нервная система или мозг живого организма становится объектом изучения не только нейрофизиологов, но и специалистов в области управления.
Новизна ситуации состоит в том, что, несмотря на традиционность объекта изучения,—нервная система, как известно, давно привлекает внимание ученых, обусловленное прежде всего запросами клиники,— в свете новых тенденций претерпевают изменения представления и о предмете, и о методах и целях исследований. Все чаще отделы мозга рассматриваются как части сложной автоматической системы, изучаемой совместно физиологами, инженерами, математиками. Методы нейрофизиологии дополняются иными методами, получившими в последние годы название кибернетических. Наконец, цели исследования формируются не только потребностями биологии п медицины, но и задачами науки об управлении, которая видит в изучении мозга источник новых идей, новых принципов для построения автоматических систем.
Все эти новые тенденции дополняют традиционные подходы как в физиологии, так и в кибернетике и в то же время обозначают контуры нового направления в изучении нервной системы *), которое в настоящее время переживает стадию становления. Входящие в это направление исследования механизмов работы нервной системы — исследования специфики выполняемой ею переработки информации при управлении организмом — все чаще называют (по названию метода, который, пожалуй, начинает
*) «Это направление пока развивается иод несколькими названиями: ненрокибернетика, биокибернетика, бионика.
в них доминировать) моделированием информационных или управляющих процессов в нейронных структурах или, для краткости, просто моделированием нейронных структур (систем, сетей).
Настоящая глава посвящена обсуждению методологических вопросов, нередко поднимаемых в литературе и возникавших у автора и его коллег за пятилетний период работы над моделированием нейронных структур в Институте проблем управления (автоматики и телемеханики). Среди этих вопросов обсуждаются: 1) предмет исследования, 2) возможные подходы к изучению управленческих функций мозга, 3) своевременность раз: вития этих исследований, 4) представление о сущности метода моделирования нейронных структур, 5) такие характеристики изучаемого объекта, как детерминизм и случайность, непрерывность и дискретность, 6) вопрос о целях моделирования.
8.1.	Предмет исследования
«Нельзя отделить мышление от. материи, которая мыслит».
(Ф. Энгельс [147])
. Физиология и кибернетика все в большей степени переходят от феноменологического описания деятельности мозга и попыток ее формализации и моделирования на основе такого описания к непосредственному изучению механизмов его работы. Особенно интенсивным проведение этих исследований стало после того, как возникли и стали использоваться представления об информационных процессах, информационных преобразованиях. По существу, это явилось следствием распространения на нейрофизиологию и психофизиологию кибернетических идей о продуктивности научного понятия «информация», которое стало употребляться наряду с такими широкими понятиями, как вещество, поле, энергия и др.
Имеется много попыток дать определение понятию «информация». По-видимому, эта задача егце на нашла своего окончательного решения. С нашей точки зрения представляется естественным еле дующее определение. Информация есть система отношений между какими-либо явлениями или процессами, которая устанавливается
(выявляется) в результате активности живого существа или действия искусственно созданных для этого устройств (называемых информационными) на основе определенных критериев, и передается и хранится при помощи символов; критерии и символы формируются в процессе эволюции организмов или создаются при разработке информационных устройств. Здесь отражено убеждение в том, что способность выявлять и перерабатывать информацию присуща лишь живым огранизмам или искусственно созданным информационным системам, которые с той или иной степенью приближения моделируют свойства живою и которым придала способность выделять определенные отношения между анализируемыми процессами.
Системы отношений (самых разных) между явлениями, процессами существуют объективно. Но решение вопроса: какую из существующих систем отношений выделит (на какую обратит внимание) наблюдатель, являющийся приемником информации, и как он ее оценит,— зависит от цели, которую он перед собой ставит, т. о. от фактора субъективного. В искусственных информационных устройствах решение этого вопроса, по существу, предопределяется конструкторами.
В настоящее время широкое развитие приобрели способы образования ко аичественных оценок системы отношений внутри некоторого круга явлений (в большей или в меньшей степени поддающихся представлению средствами математики), которые обычно характеризуют какой-либо технический процесс. Образование таких оценок (как известно, наибольшее распространение получили оценки, следующие из теории информации, основанной Шенноном) диктовалось прежде всего потребностями в создании эффективно действующих искусственных информационных устройств, в первую очередь технических систем связи. Но наряду с известными количественными оценками отношений между явлениями существуют попытки получить оценки значимости, ценности информации (см., например [148, 149]). Следует обратить внимание на то, что и при введении количественной меры в действительности делается первый шаг в оценке значимости информации — это происходит при отборе круга явлений, подлежащих рассмотрению. По-видимому, в общем случае мера информации должна содержать две компоненты: объективную, определяемую фактическим взаимоотношением наблюдаемых явлений на данном входе информационной системы, и субъективную, определяемую состоянием всей системы в целом, в том числе воздействиями по другим каналам, из памяти и т. д.
Формирование представлений об информации как о некоторой сущности, отнюдь не тождественной своему материальному носителю, хотя и связанной с ним, привело к более четкому разделению в практике физиологических исследований процессов обмена веществ и процессов переработки в нейронных структурах потоков информации, связанных с оперативным управлением организмом. Информация передается п перерабатывается в результате
движения материи. Распространение информации в любых средах, в том числе в нервной ткани сопровождается передачей какого-то количества энергии — иногда большого, иногда весьма малого. Однако чрезвычайно существенно, что изменения информации и изменения энергии в общем случае подчиняются разным законам*).
Рассматривая специфические для нервной системы процессы как процессы управления, как информационные процессы, можно попытаться описать схему простого акта нервной деятельности состоящего из подготовки и совершения действия, направленного на решение какой-либо несложной задачи, возникшей перед организмом, пользуясь в основном терминами теории управления. Эта схема включает в себя этапы приема, переработки информации, выработки управляющего сигнала, идущего к исполнительным органам (эффекторам). Можно представить, что этап приема информации в общем случае заканчивается распознаванием внешней ситуации (или ее фрагментов). Дальнейшим преобразованием, приводящим к формированию управляющего воздействия, подвергается, естественно, не только внешняя информация, но и данные памяти (хотя память обычно участвует на более ранних этапах — еще при распознавании), и сведения о состоянии других внутренних органов (например, голод, жажда и др.). Эта схема статична. В динамике подобные циклы могут многократно повторяться, поскольку выработанные управляющие воздействия на окружающую среду могут служить не полному, а лишь частичному решению задачи. Управляющие воздействия, приводящие к
*) Конечно, можно указать условия, когда потери информации оказываются сопряженными с потерями энергии. Обычно это бывает в предельных ситуациях: энергии так мало, что ее не хватает, чтобы донести информацию без потерь (изучением таких явлений занимается теория связи при наличии помех). Но здесь важно подчеркнуть другую сторону, а именно, независимость — в известных пределах — закона изменения информации и энергии. Для иллюстрации можно привести пример, когда информация передается частотой импульсов; в этом случае изменение энергии носителя путем изменения амплитуды импульсов в определенных пределах не изменяет передаваемой информации (правда, для этого нужно, чтобы приемник был выполнен должным образом и реагировал ца изменения частоты импульсов).
промежуточному решению, апробируются при соприкосновении с внешней средой; результаты этого изменяют исходные данные для дальнейшего решения задачи — изменяют прежде всего принимаемую информацию (обратная связь). Динамика включает в себя этап поиска и закрепления связей между нервными образованиями, которые ответственны за переработку информации разных типов.
Описанная схема сравнительно проста и она не является функционально полной. Однако эта схема поясняет тезис: исследование принципов информационных преобразований в нейронных структурах лежит в основе понимания сущности нервной деятельности. Более того, с нашей точки зрения, процесс в нейронных структурах, состоящий из циклов информационных преобразований, и составляет сущность нервной деятельности.
Выше мы рассматривали простую схему нервных взаимодействий. Шагом к ее усложнению было бы введение этапа построения предварительного плана еще не осуществленного, но предстоящего акта. Этот шаг, физиологические (и модельные) аспекты которого обсуждаются в современных иоследованиях (см. параграф 8.3), имеет принципиальное значение в классификации уровней нервной деятельности: способность предсказывать ход событий и, следовательно, выбирать (можно сказать: обдумывать) план предстоящих действий характеризует такой уровень нервной деятельности, который можно определить как мышление (в нем в свою очередь следует выделять низшие и высшие формы). Итак, согласно изложенной позиции мышление есть сложный процесс переработки информации, который характеризуется свойством предопределения (предвидения) результатов вырабатываемого решения вследствие «проигрывания» в мозгу закодированных в форме нервных сигналов разных вариантов предстоящей последовательности событий, предсказания конечной ситуации для каждой из них и выбора того варианта, который наилучшим образом приводит к поставленной цели.
Это определение не претендует на полноту. В частности, ощущается потребность добавить указания на специфические черты, характеризующие механизм процесса
построения и анализа в нервной системе моделей будущих событий. Но сейчас этого, видимо, еще нельзя сделать.
В самом деле, способы автоматизации процессов анализа вариантов предстоящих действий, иными словами, процессов прогнозирования тех или иных событий в настоящее время широко исследуются, главным образом методами программирования операций для вычислительных машин. Такого рода исследования во многих случаях представляют собой, в сущности, попытки моделировать элементы мышления. Однако известны возникающие при этом трудности, главная из которых состоит в формулировании эффективных («эвристических») методов поиска, выходящих за рамки последовательного перебора возможностей. Даже успехам, достигнутым в разработке «думающих» программ (например, программ игры в шахматы), сопутствует ясное ощущение того, что мозг человека, решая сходные задачи, делает это не так. Недостает понимания принципов, по которым разворачивается процесс мышления, но путь к их постижению проходит через изучение механизмов информационных преобразований в отделах мозга.
Заметим, что анализ на уровне схем, подобных рассмотренным выше, которые дают описание этапов нервной активности,— интересный с разных точек зрения и прежде всего для изучения поведения живых существ,— такой анализ сам по себе едва ли позволит в наше время существенно продвинуться в понимании механизмов работы мозга. Живое существо поражает нас не столько тем, что оно может делать, сколько тем, как оно это делает. Значение же рассмотрения схем заключается в данном случае в ином.
Основной смысл изложенного состоит в том, чтобы подчеркнуть, что анализ принципов нервной деятельности,— не только элементарной, но и сложной,— можно производить в понятиях теории управления, в понятиях, с помощью которых описываются преобразования информационных потоков. В соответствии с этой позицией предмет нового направления исследований нервных процессов есть выяснение законов информационных преобразований, законов построения управляющих процессов, происходящих в нервной системе, в мозгу живого организма,
Изучая процессы переработки информации в столь сложной системе, какой является мозг, вряд ли продуктивно исходно рассматривать ее целиком. Сложную систему целесообразно при изучении расчленить на подсистемы. Именно поэтому в нейрофизиологии выделяют разделы по физиологии слуха, зрения, движения и т. д. В этом делении отражен естественный выбор для исследования функционально цельных участков мозга. Эти соображения справедливы и для моделирования нейронных структур. Исходя из сказанного, можно уточнить, что моделирование нейронных структур на первом этапе рассматривается как один из аспектов исследования процессов переработки информации в отдельных участках нервной системы.
Предмет исследования, сформулированный выше, по существу, является общим для весьма широкого круга работ по изучению принципов работы нервной системы, характерных применением методов и концепций науки об управлении. В следующем параграфе будет сделана попытка выделить черты той части этого общего направления, которая относится к созданию представлений о детальных механизмах нервной деятельности и которая определена как моделирование нейронных структур (сетей).
8.2.	«Черный ящик» и модель нейронной сети
Существуют разные подходы к изучению происходящих в мозге информационных процессов (процессов управления), которые можно свести в основном к двум.
Согласно одному из них исследования строятся так, чтобы получить возможно более полное описание свойственных организму логических функций, которые можно связать с работой изучаемой части нервной системы. Иными словами, ставится задача получить алгоритм, программу работы выбранного отдела мозга. Для этих целей Разрабатывается соответствующая методика экспериментов, позволяющая на основе прежде всего психофизических, поведенческих реакций получить необходимое формальное описание программы работы исследуемого
отдела мозга. Уточнение и проверка полученных алгоритмов возможна с помощью разных средств моделирования и прежде всего вычислительных машин. При таком моделировании не требуется сходства структуры моделирующего устройства и проходящих в нем тонких «внутренних» процессов со структурой и деятельностью соответствующих участков нервной системы: важен конечный результат, состоящий в установлении основных характеристик — логической функции или уравнения, описывающих процесс управления и позволяющих построить автомат, имитирующий работу выбранного отдела мозга. Такой подход нередко называют подходом или методом «черного ящика», в котором изучаются лишь зависимости между выходами и входами, а конструкция и детали работы не расшифровываются. Сопоставление входных и выходных сигналов иногда используется в технике при определении передаточной функции некоторого устройства или в физиологии для изучения актов рефлекторной деятельности. Этот подход естествен, во многих случаях наиболее целесообразен, но не универсален. К его слабым сторонам относится, в частности, трудность изолированного исследования какого-либо отдела мозга. Главное же состоит в том, что метод «черного ящика» теряет свою эффективность и, во всяком случае, не может быть единственным при выяснении внутреннего устройства и механизма 'Работы участков нервной системы.
Другой подход состоит в стремлении исследовать непосредственно нейронный механизм управляющих (информационных) процессов в отделах мозга, т. е. установить, какие существуют взаимодействия между нейронами, нейронными узлами и почему они приводят к выполнению изучаемым отделом своих функций. В этом случае требуется выяснять и структуру организации выбранного участка нейронной сети, и принципы работы и взаимодействия составляющих его узлов и элементов. Этот подход представляется весьма широким — он немыслим без использования как данных морфологии и электрофизиологии нервной системы, так и данных психофизики, нейропато логии и психологии. Другими словами, используются ре зультаты комплекса исследований на всех уровнях — оь «микроскопического», дающего сведения о работе элемен
тов (синапсов, нейронов) до «макроскопического», в котором критерием для наблюдений служит поведение подопытного существа. Последний аспект исследований необходим прежде всего для того, чтобы осмысливание отдельных (частных) сведений о структуре нервных процессов было подчинено некоторой общей задаче — той целесообразной функции, которую выполняет изучаемый отдел нервной системы. Этот второй подход подразумевает создание на основе физиологических данных представлений о характере переработки информации или, другими словами, моделей информационных преобразований вначале в отдельных элементах, из которых построена нейронная сеть, потом в простейших нейронных соединениях и затем в нейронных сетях со все более сложной организацией. Именно это отличает способ исследования, получивший название моделирование нейронных структур.
Нередки суждения, на основании которых моделирование нейронных структур представляется чрезмерно затяжным или неэффективным способом исследования механизмов работы мозга, особенно без знания всех межнейронных связей и их роли в нервной системе. Но в то же время все более утверждается взгляд, согласно которому нет необходимости знать точную картину всех межнейронных связей для выяснения принципов работы участков нейронных сетей. Важно не столько знание всех связей, сколько выяснение закономерностей, принципов организации этих связей. Нельзя, конечно, отрицать, что успешность решения научной задачи определяется также и своевременностью ее постановки. В этой связи возможен следующий вопрос: достаточно ли накоплено биологических данных о работе нервной системы, чтобы можно было рассчитывать в наше время на серьезный успех в изучении кибернетических принципов работы отделов мозга, т. е. тех принципов, которые определяют сущность организуемых мозгом процессов управления, и созрела ли наука об управлении настолько, чтобы оценить и истолковать эти процессы? Ответ на вопрос может дать, с одной стороны, анализ достижений нейрофизиологии, а с Другой,— продуктивность возникающих на этой основе Модельных представлений.
8.3.	О предпосылках и первых шагах моделирования
Последние 15—20 лет явились периодом интенсивного развития электрофизиологии, давшей содержательный и обширный материал для моделирования. В числе фундаментальных результатов было доказательство того факта, что наблюдаемые в нервных волокнах и клетках электрические явления адекватно отображают процесс передачи и переработки нервной информации и могут рассматриваться как носители этой информации. Исследования нервной клетки и ее элементов (Тасаки 11501, Ходжкин [1511, Экклс [2,31, Гранит [41, Костю к [1521, Шаповалов [201 и др.) сделали понятными многие детали процесса передачи сигналов от синапса к телу клетки, механизма возбуждения активной мембраны и распространенияэлект-рического импульса по нервному волокну. В итоге к настоящему времени сложилось убеждение, что нервная клетка — нейрон — представляет тот основной функциональный элемент, роль которого в работе нервной системы состоит в преобразовании информации с помощью реализации определенных соотношений между параметрами выходной и входных импульсных последовательностей. Эти соотношения не являются, видимо, абсолютно постоянными,» они могут изменяться в процессе обучения.
С начала пятидесятых годов все более четко проявляются отдельные черты взаимодействия между нервными элементами. Были открыты явления постсинаптического и пресинаптического торможения (обзор этих работ содержится в [3|) и доказано существование вставочного тормозного нейрона (Рэншоу [2,1531). С этими наблюдениями тесно связано истолкование пачечной активности совокупностей клеток и работы осцилляторов. В пятидесятых годах Хартлайном и Ратлиффом [211 был открыт чрезвычайно важный и, по-видимому, весьма общий для разных уровней нервной системы принцип латерального торможения между близлежащими нервными элементами. По этому принципу слой нейронов с латеральными (боковыми) связями может преобразовывать конфигурацию пришедшего «фронта возбуждения», подчеркивая информативные участки и выполняя операции, часть которых математически близка к дифференцированию функ-
ции по координате. Принцип латерального торможения объясняет многие явления в нейронных структурах («контрастирование» в зрительной системе, «обострение» в слуховой системе и др.) и положен в основу большого числа работ по их моделированию.
Развитие микроэлектродной техники сделало возможным детальное исследование работы различных отделов мозга путем записи реакции на тестовые сигналы не только нейронных «популяций» (при суммарном отведении), но и отдельных клеток на разных «уровнях» этих отделов. С помощью такого метода получены, например, важнейшие сведения о частотных, времени >ix и амплитудных характеристиках отдельных нейронов в разных ядрах слуховой системы при подаче на ухо подопытного животного соответствующих тестовых звуковых сигналов (Кацуки, Гершуни, Галамбос, Кианг, Розе [82, 99—101, 111—ИЗ] и др). Микроэлектродные исследования зрительной системы (Леттвин, Матурана, Хыобел, Визел, Бызов, Глезер, Самсонова [155—160] и др.), двигательных центров (Гранит, Эвартс, Хеннеман, Костюк [4, 179—181] и др.), ретикулярной формации (Мэгун [163]) и иных отделов мозга дали глубокий материал для моделирования взаимодействия нервных клеток, участвующих в отправлении разных функций живого организма.
Для истолкования механизмов восприятия информации из окружающей среды очень большую роль приобрела недавно возникшая теория детекторов (в терминологии Барлоу [154] — «теория паролей»), согласно которой для определения жизненно важных явлений внешнего мира в анализаторных отделах мозга создаются (наследственно, а также при обучении) детекторы, улавливающие простые признаки этих явлений. (По-видимому, унаследованные детекторы входят в механизмы безусловных рефлексов.) Детекторы, т. е. элементы неизвестной пока нейронной сети, выделяющей определенные признаки зрительного изображения (граница темного и светлого, кривизна края темного предмета и др.), впервые обнаружены электрофизиологически в сетчатке лягушки (Леттвин и Др. [155|). После этого были найдены нейроны, дающие ответы на подобные и более сложные признаки визуального изображения в зрительной коре кошки (Хьюбел и
Визел [156, 1571). К этой группе исследований примыкает отыскание «детекторов новизны» (Соколов [161]) и изучение изменяющегося в процессе обучения алфавита признаков тех или иных образов (Хебб [162], Глезер [159]). Совокупность работ, заложивших основу теории детекторов, значительно продвинула модельные представления об исходных принципах действия анализаторных систем мозга.
Постепенно мы подошли к тем вопросам взаимодействия нервных элементов, которые принципиально не могут быть решены одними только методами электрофизиологии. Уже упомянутая задача изучения свойств детекторов сложных признаков, возникающих при обучении, а также проблемы образования ассоциативных связей, построения движений и многие другие требуют при своем решении «поведенческого критерия».
Психофизические исследования позволили установить ряд свойств слуховой системы, характеризующих работу ее нервной сети — дифференциальные пороги по частоте и интенсивности [164, 165], критическую полосу [166 — 168] и др. Получены важные характеристики зрительной системы— особенности приема изображения, неподвижного относительно сетчатки (Причард [169], Ярбус [170]),- характеристика двух возможных способов восприятия изображения, так называемых «симультанного» [159, 171] и «сукцессивного» [172, 173]. Работы этого плана представляют хорошую основу для моделирования механизмов восприятия организмом явлений окружающей среды.
Психофизиологией и нейропатологией последних лет сделаны наблюдения, устанавливающие связи между психическими явлениями и информационными процессами в нервных структурах. Например, можно назвать установление электрофизиологических реакций, коррелирующих с явлениями зрительного восприятия (Гранит [4], Юнг [174]), гипотезу Бериташвили [175] о «психогенных» клетках — ответственных за ощущение световых раздражителей. Клинические исследования (Пен-фильд и др. [176]), которые стали возможны с развитием нейрохирургии, привели к открытию в височных долях коры человеческого мозга участков, раздражение которых
В.з] о ПРЕДПОСЫЛКАХ И ПЕРВЫХ ШАГАХ МОДЕЛИРОВАНИЙ 227 (непосредственно, во время операции) слабым током вызывает зрительные и звуковые образы, картины прошлого. Проведены исследования, устанавливающие связь между электрическими явлениями в мозгу и эмоциями (Олдс, Дельгадо и др. [177, 178]). Изучение «моторных» центров привело к пониманию ряда закономерностей нервно-мышечной регуляции, в том числе указывающих степень автономности работы структур среднего и спинного мозга (Гурфинкель, Шик и др. [182, 183]).
Наконец, в последние десятилетия получили развитие кардинальные вопросы организации поведения, основанные на анализе взаимодействия организма с внешней средой. Большая роль в этом принадлежит Бернштейну, подчеркивавшему активность поведения живого существа: «Жизнедеятельность каждого организма есть не уравновешивание его со средой..., а активное преодоление среды, определяемое... моделью потребного ему будущего» [184].
К раскрытию сложных форм поведения, основанных на способности организма предвидеть результаты действия, направлено выдвижение принципа акцептора действия (Анохин, [185]), к которому близка идея нервной модели стимула (Соколов [186]). Большой интерес представляют работы, посвященные установлению связи между реакцией нервных структур и оценкой организмом целесообразности своих действий. Эта группа исследований неразрывно связана с разработкой классических задач проторения путей между нервными центрами, выяснением принципов обучения и природы памяти. Фронт исследований здесь вновь смыкается с работами на субклеточном уровне, среди которых большая роль принадлежит наблюдениям Экклса, выдвинувшего гипотезу об изменении «веса» синапсов при обучении [3], а также данным Хидена [188] об изменениях, происходящих на молекулярном уровне, в результате процесса обучения.
Достижения нейрофизиологии последних лет, не получившие, по нашему убеждению, еще необходимого обобщенного изложения и, вероятно, поэтому не ставшие в Должной мере достоянием специалистов смежных научных направлений, представляют серьезную основу для построения моделей нейронных сетей, воспроизводящих
процессы переработки информации, принципиально важные для понимания работы отделов мозга.
Естественно, что моделирование началось с описания и построения моделей нервной клетки — вначале дискретной, но затем аналоговой, соответствующей современным физиологическим представлениям (Мак-Гроган [8], Хармон [7], Купфмюллер, Дженик [9, 161, Любинский и По-зин [10], Гавронский [111 и др.). Среди первых разработок простейших моделей нейронных сетей отметим предложенную Ландалем и Вильямсом [189] модель «уплотненной передачи по одним и тем же волокнам информации от рецепторов разной модальности, нейронные схемы непрерывной логики [44—47], некоторые попытки синтезировать классифицирующие сети [44, 53—55], в том числе со свойствами самонастройки [190]. Выполнен ряд работ по исследованию свойств моделей нейронных слоев с латеральными связями (Рейхардт и Мак-Гинити [30], Ямура [31], Ферстер [321, Фурман [33], и др. [34—36]), показавших возможность интересных информационных преобразований в однородных нейронных структурах. Естественными этапами в развитии проблемы явились попытки сформировать модельные представления о работе нейронных сетей зрительного анализатора (Гершер и Келли [191], Кабриски [1921, Зенкин, Петров [193], Кирвелис [194]), и слуховой системы (Ликлидер [195], Витефильд [196], Любинский, Позин [88—901).
Эти и другие работы шаг за шагом образуют непротиворечащую физиологическим данным систему взглядов о принципах переработки информации в нейронных сетях. В нее входят представления об операциях в отдельных клетках, правила взаимодействия несложных нейронных структур, закономерности преобразований сигналов в однородных нейронных слоях, многие из которых, по-видимому, «унифицированы», т. е. свойственны самым разным отделам мозга. Постепенно вырисовываются контуры нейронных механизмов перекодирования, классификации, поиска и других компонент процесса управления. На основе выясняемых правил и закономерностей возникают более общие гипотезы о работе целых отделов мозга. Мы находимся в самом начале этого процесса, но предстоящий путь видится необычайно содержательным.
8.4.	Метод моделирования
Моделирование нейронных структур — это, по существу, не только процесс, но и метод исследований законов информационных преобразований в отделах мозга. Прежде чем рассматривать его особенности, заметим (чтобы избежать недоразумений), что термин «моделирование» нередко истолковывается по-разному [197]. Во многих случаях этим термином определяют процесс экспериментального изучения (проверки) свойств какой-либо системы посредством модели. На модель — на физическую модель в виде уменьшенной (увеличенной, упрощенной) копии, или на моделирующую установку в виде вычислительного устройства — исследователь переносит известные ему характеристики изучаемой системы, чтобы, имитируя ее работу, выяснить особенности поведения системы в трудно предсказуемых режимах.
Наряду с этим существует другое понимание термина, согласно которому моделирование — одна из форм теоретической работы (наиболее естественная в мало изученных областях знаний), направленная на создание исследователем модельных представлений, т. е. новых знаний в виде согласованной системы фактов и гипотез о сущности изучаемых явлений. Модель атома (Резерфорда или Бора), модель молекулы органического вещества, модель Вселенной, модель нейронной сети некоторого отдела мозга и т. д. — суть законченные (на данном этапе) представления исследователя о каждом из этих явлений. Работа над созданием подобных моделей, их совершенствование — есть моделирование в его втором истолковании. Именно в этом последнем значении употребляется этот термин, когда речь идет о моделировании нейронных структур как о методе изучения процессов управления, информационных процессов в нервной системе. Вместе с тем очевидно, что в этом исследовании также неизбежна стадия экспериментальных проверок, в том числе и на моделирующих установках.
Исследование механизма работы отдельных нейронных образований приводит к представлениям о структуре связей и характере взаимодействий между нервными Ю Н. В. Позин
клетками. Эти представления могут иметь более или менее обобщенный характер, например, в виде типовой функции связи каждого нейрона одного участка с нейронами другого, если есть основания рассматривать нейронные сети каждого из участков как однородные структуры. И, наоборот, возможны весьма дифференцированные представления, например, о роли каждой связи между двумя нейронами, входящими в логическую и классифицирующую сети [44-47, 53-55] (главы II, III, IV).
Исследования процессов на нейронном уровне требуют, естественно, своей специфики и связаны с необходимостью для исследователя использовать модели тех элементов, с которыми он имеет дело, в частности, нейронов. Это положение иногда служит предметом спора, рожденного, по нашему мнению, указанными выше различиями в понимании сущности процесса моделирования. Противники нейронного подхода делают упор на то, что логические функции, выполняемые изучаемым нейронным образованием, нет нужды представлять в виде моделей нейронных сетей, поскольку это можно сделать более экономными средствами, например, в виде программы для универсальной вычислительной машины. Такая точка зрения справедлива, если моделирование понимать как построение для экспериментальных целей устройства, воспроизводящего уже известные или предположенные логические функции. Здесь же речь идет о другом. Когда говорится об исследовании механизма действия участков нервной системы, имеется в виду выявить ту неизвестную логику работы, те неизвестные информационные преобразования, которые свойственны этому участку. При этом имеются в виду случаи, когда решить задачу только методом «черного ящика» невозможно. Создание модели такого участка нейронной сети есть моделирование в смысле разработки гипотезы его работы, а вовсе не в смысле экспериментального воспроизведения уже известных, хотя бы в общих чертах, процессов. Именно поэтому допустимость тех или иных преобразований в моделях нейронных сетей, их сопоставимость с данными физиологии определяется, кроме прочих, соображениями реализуемости этих преобразований на элементах типа нейрон. При этом и сам элемент сети — нейрон или, точнее, модель нейрона,— приемлем
в качестве основы такого моделирования лишь постольку, поскольку он отвечает современным физиологическим представлениям о нервной клетке.
Несмотря на большое количество накопленных физиологических данных, их, по-видимому, мало, чтобы давать сейчас объяснения более или менее сложным нервным явлениям с такой степенью определенности, которая позволила бы говорить о теории этих явлений. Пока речь идет лишь о гипотезах. Разработку гипотезы, или, что то же, создание модельных представлений о работе участка нервной системы можно уподобить интерполяции некоей кривой по редко расставленным значениям аргумента; для ее уточнения нужны новые данные в промежуточных точках, особенно на больших интервалах. Принципиально важные места гипотезы подсказывают характер физиологического эксперимента, чтобы целеустремленно получить недостающую информацию и подтвердить или опровергнуть гипотезу. Такая специфика физиологической работы, входящей в комплекс исследований, не может не способствовать ее эффективности (и была отмечена еще Барлоу [154]).
Создание модельных представлений о механизмах работы участков мозга возможно на пути последовательного приближения к цели, проходящем через такие этапы, как:
изучение, систематизация и увязка физиологических данных, прежде всего — морфологических, электрофизиологических и психофизиологических;
разработка на основе физиологических данных кибернетической гипотезы о работе отдела нервной системы, т. е. такой гипотезы, при формулировании которой используется широкий комплекс сведений — технических и математических,— известных современной науке об управлении;
проверка гипотезы, причем двоякого рода: во-первых, проверка возможностей гипотезы посредством расчетов и на моделирующих установках и, во-вторых, самое важное, это проверка соответствия гипотезы объективной реальности посредством физиологического эксперимента;
разработка уточненной гипотезы и т. д.
Развитие этих исследований можно представить происходящим «по спирали». По нашему представлению, разработка кибернетической гипотезы есть основное содержание процесса моделирования нейронных сетей.
Итак, выполнение цикла работ, образующих «виток спирали», требует синтеза сведений, принадлежащих многим разделам науки; при этом на разных этапах центр тяжести переносится на разные отрасли знаний. Более или менее явно разделение функций между физиологами и специалистами по вопросам управления происходит лишь на «проверочном» этапе работы: одни ставят физиологический эксперимент, другие строят «физическую» модель или создают программу для универсальной вычислительной машины. Что же касается выработки кибернетической гипотезы, то именно здесь разнородная научная информация должна сливаться в единую функционально цельную картину. Опыт исследований убеждает, что для такого синтеза недостаточно традиционно провозглашаемого объединения усилий специалистов разных профилей. Необходимость объединения очевидна. Но оно должно быть дополнено объединением разнородных сведений и в умах объединившихся исследователей. Эту мысль нельзя сформулировать яснее, чем Мак-Каллох: «Для того чтобы заниматься бионикой, необходимо самому достаточно хорошо ориентироваться и в технике, и в биологии, так как эти знания принесут гораздо больше пользы, если они сосредоточены в одной голове, а не просто в одной комнате. Именно в отсутствии таких голов и кроется обычная причина неудач, как мне приходилось наблюдать неоднократно» [198].
8.5.	О некоторых свойствах объекта изучения
К вопросам, которые в значительной степени определяют преднастроенность исследователя, выбор им тех или иных методов анализа, направление, в котором он стремится истолковать первые, еще не очень ясные результаты очередного этапа работы, иными словами, все то, что можно назвать текущим конкретно-научным мировоззрением исследователя,— к этим вопросам относятся априорные, полученные из некоторых общих соображений пред
ставления об основных характеристиках (свойствах) изучаемого объекта. С течением времени, по мере накопления фактов, эти представления, естественно, могут изменяться. Однако от обоснованности первоначального подхода во многом зависит продуктивность и темпы работы.
Немалое влияние на эффективность моделирования работы нервной системы оказывает исходное отношение к тому, как представлять происходящие в ней процессы: непрерывными или дискретными, детерминированными или случайными.
Непоепьтвность и дискретность. В рассмотрении этих категорий применительно к нервной системе существует по крайней мере два аспекта. В первом из них решается такой вопрос: как ближе к действительности, как вернее представлять процессы передачи и переработки информации в нейронных сетях — как непрерывные или как дискретные процессы? Ответ на этот вопрос следует искать в физиологических данных. В другом случае вопрос ставится иначе: как для задач моделирования удобнее представлять процессы в нервной системе— непрерывными ( аналоговыми») или дискретными? Решение второго вопроса сильно зависит от современного состояния математики и вычислительной техники. Нас интересует ответ на первый вопрос.
Известно, что нервная клетка при определенных условиях генерирует электрический импульс, т. е. что существует два вида внешних проявлений работы нейрона — состояние покоя и состояние возбуждения с более или менее постоянными параметрами. В этой связи стали говорить о принципе «да — нет» или «все — ничего», используемом в нервной системе. Но исследования элект-роФизио логов указывают на то, что существенная для работы нейронной сети информация чаше заключена не в самом факте отсутствия или наличия импульса на выходе данной клетки, а в параметрах выходной импульсной последовательности.	v
Имеется много экспериментальных данных, согласно которым информацию можно характеризовать в отдельных случаях числом нервных импульсов, длительностью импульсной посылки, законом изменения
межимпульсных интервалов или, что то же, мгновенной частоты следования импульсов. Получены конкретные зависимости частоты импульсов от внутреннего состояния клетки (так называемой деполяризации) [20]. Все это убеждает в том, что нервной системе свойственно оперировать с плавно изменяющимися, т. е. непрерывными или, как говорят, «аналоговыми» величинами. Суть дела нисколько не меняется от того, что форма передачи информации во многих случаях является импульсной — на то в природе были свои причины. По-видимому, главная из них состоит в обеспечении помехоустойчивости и надежности передачи. Известно, что применяемую в технике частотноимпульсную модуляцию мы рассматриваем как непрерывный метод передачи (в противоположность кодо-импульсной модуляции), хотя физическими носителями информации служат электрические импульсы.
Подчеркивая непрерывность величин, перерабатываемых в нейронной сети, нельзя исключить возможности в отдельных случаях целесообразности рассмотрения некоторых нервных явлений в терминах дискретного анализа, в том числе двузначной логики (к примеру, в ситуациях, требующих ответа на вопрос типа гамлетовского «быть или не быть»). Дискретные представления могут оказаться очень полезными постольку, поскольку не теряется специфика существенных для исследуемого явления свойств нервной системы. При разработке моделей нейронных сетей возможно сочетание непрерывных и дискретных представлений. Например, при моделировании процессов в слуховой системе (глава VI) возникают представления о том, что для нейронов определенного уровня в принципе аналоговой модели слуховой системы не важна (в широких пределах) степень возбуждения, а важен сам факт: возбужден нейрон или нет, т. е. генерирует он импульсы (частота не играет существенной роли) или находится в состоянии покоя. Таким образом, наряду с преобладающими представлениями о непрерывности нервных процессов не исключены и могут быть продуктивными и представления об их дискретности; в любом случае необходимо обоснование выбранной концепции сущностью изучаемого механизма, соответствием физиологическим данным.
Эта довольно ясная ситуация иногда искажается: при моделировании предпочтение отдается представлениям, далеким от физиологических. Причины тому разнообразны. Среди них — недостаточная связь инженеров и математиков с физиологами, некритическое развитие под флагом моделирования процессов, происходящих в мозге, уже устаревших модельных представлений о работе нейронных сетей и их элементов и, наконец, некоторые неизбежные недоразумения, рождаемые наиболее неудачными попытками подогнать представления о нервных процессах под освоенный исследователем математический аппарат. В принципе этот последний путь — довольно распространенный — вовсе не исключен, хотя с нашей точки зрения не является наиболее продуктивным. Естественна такая логическая последовательность, когда постановка задачи, т. е. исходная позиция в моделировании участка нейронной сети, создается совместно физиологами, инженерами и математиками на уровне нейрофизиологических и «поведенческих» представлений. На этой стадии участие математиков и инженеров проявляется не столько непосредственно в применении математических или технических знаний, сколько путем высказывания своего понимания «здравого смысла», отражающего общий строй мышления, сформировавшийся в процессе математического или инженерного образования. И лишь когда задача поставлена, например, в виде общих принципов взаимодействия элементов на разных уровнях выбранного отдела нервной системы, только тогда выбор и привлечение математического аппарата является решающим — для установления количественных характеристик, придания четкости намеченной картине нейронных взаимодействий.
Заметим в заключение, что непрерывный характер процессов позволяет предположить выполнение в нейронных сетях логических операций над непрерывными (аналоговыми) величинами. В основе таких операций лежит сопоставление величин в терминах «больше», «меньше». Первые работы в этой области [44—471 указывают на то, что методы непрерывной логики найдут, вероятно, свое приложение к изучению возможностей нейронных сетей (см. главу III).
Детерминизм и случайность. Современные физиологические сведения дают возможность предполагать организацию разного типа у разных участков нервной системы. Среди них есть такие участки, которые, будучи достаточно ясно «профилированными», т. е. участвуя преимущественно в одном виде нервной деятельности, характеризуются относительно большим постоянством связей и поведения своих элементов: всегда обнаруживаются клетки, отвечающие лишь на определенные сигналы, располагая достаточной стабильностью характеристик ответа. Имеются другие отделы, обычно достаточно широкого назначения, в которых обнаружена высокая изменчивость ответов нервных клеток, что нередко трактуется как признак вероятностного характера связей. Но даже при изучении наиболее определенных по своим функциям нервных образований— к ним прежде всего следует отнести сенсорные системы — электрофизиологические исследования отмечают нестабильность ответов отдельных нервных клеток, входящих в эти образования, несмотря на подачу строго дозированных адекватных воздействий — тестовых сигналов. Все это приводит к обсуждению вопроса [1991, который кратко можно было бы сформулировать так: какие принципы свойственны организации и работе нейронных структур — жесткая определенность или вероятностный характер?
Наше понимание проблемы детерминизма — при ее абстрактной постановке — определяется известным воззрением, что все в природе подчинено причинно-следственным отношениям и, следовательно, в принципе детерминистично. В конкретном плане решение проблемы зависит от того, известны или нет процессы, которые приняты за первопричинные; если они известны и могут быть учтены,— их следствия целесообразно рассматривать как детерминированные процессы; если они не известны наблюдателю, исследователю или не могут быть учтены,— их следствия рассматриваются как процессы случайные. На разных этапах научного познания на первый план, естественно, выступают то детерминистические, то вероятностные представления, изменяются пропорции в применении двух подходов. С нашей точки зрения настоящий этап в изучении закономерностей работы нервной системы
характерен преимущественно тем, что чем больше мы узнаем о принципах действия исследуемых участков нервной системы, тем менее склонны трактовать и структуру этих участков, и протекающие в них процессы как случайные. Такой позиции не противоречит, конечно, необходимость и единственная правильность того, чтобы на любой стадии исследования явления определенного уровня, лежащие за рамками детального изучения или достаточно полного понимания, были представлены как случайные и характеризовались вероятностными оценками.
Рассмотрим кратко сведения о детерминизме и случайности в работе нейронных сетей прежде всего тех отделов, функции которых наиболее узко профилированы. Современная нейрофизиология располагает данными о роли и характере работы весьма малых нейронных образований в разных отделах мозга и в первую очередь в сенсорных системах (см. [200]). Теперь уже довольно часты ситуации, когда для конкретного нейронного ядра или даже его части не только известны вид, взаимное расположение нервных клеток и характер связей между ними*), не только известна общая характеристика работы исследуемого образования на основе суммарных клеточных потенциалов, но могут быть указаны детальные сведения о типе ответов и процентном содержании отдельных нейронов.
В ряде работ устанавливается прямая зависимость между видом клетки данного образования и характером информации, вырабатываемой ею в ответ на тестовые сигналы. Применительно к участкам зрительного и звукового анализаторов удается проследить иерархию, расположения нейронов-детекторов конкретных признаков внешних сигналов, т. е. установить, на каких уровнях нервной системы находятся детекторы разной степени сложности. Совокупность физиологических данных такого рода, Полученных по целому ряду наиболее изученных нейрон
*) В этой связи, помимо электрофизиологических работ, часть которых указана в параграфе 8.3, уместно напомнить известные опы-тыТСперри по сращиванию переставленных участков зрительного нерва [201].
ных образований (в том числе весьма малых, содержащих доли процента общего числа клеток, заведомо входящих в состав функционально целой системы, такой как слуховая или зрительная), указывает на общность принципов работы соответствующих образований у особей одного вида, убеждает в генетической предопределенности, детерминированности принципов происходящих в них информационных процессов*). Более того, в некоторых случаях появляется возможность оценивать «степень детерминированности» отдельных нейронных структур, т. е. дифференцировать, в каких случаях генетическим аппаратом предопределены лишь правила формирования того или иного участка нервной системы (и, следовательно, не исключено внешнее влияние на этот процесс), а в каких случаях четко ограничена роль даже отдельных клеток, причем уже к моменту рождения живого существа. В качестве иллюстрации к последнему можно назвать электрофизиологическую работу [156], указывающую наличие «детерминированных» нервных клеток, которые служат детекторами определенных признаков геометрических изображений в зрительной системе новорожденных котят.'
Необходимо напомнить, что эти и другие наблюдения такого рода сами получены в результате статистической обработки экспериментальных данных, поскольку наряду с регулярной составляющей в ответах клетки есть и случайные колебания. В качестве одного из объяснений можно предположить, что случайные колебания в ответах нервных клеток, выполняющих определенную роль в работе сети, обусловлены нестабильностью генерирующего аппарата клетки, причина которой кроется в метаболических процессах. По-видимому, переработка нервной сетью информации содержит способы борьбы с этой нестабильностью. Вопрос обеспечения достаточной точности работы нейронной сети, использующей нестабильные элементы, еще далеко не изучен. В этой связи можно упомянуть гипотезу [36], согласно которой наблюдаемые
*) Сопоставление данных, полученных у представителей разных видов животных, поясняет логику филогенеза,
различия инерционности некоторых связанных между собой нейронов разных уровней служат сглаживанию случайных колебаний, усреднению величин входных сигналов за определенный временной интервал. Другим примером стохастической картины может служить некая группа резервирующих друг друга нервных клеток, из которых в каждый момент работает (передавая информацию) лишь одна; время и порядок включения в работу подменяющих клеток может определяться случайными колебаниями таких (связанных с метаболизмом) параметров, как порог чувствительности, рефрактерность и т. д. Но в общей схеме нейронной сети вся совокупность резервирующих клеток может рассматриваться как звено с вполне опре-деленными, «детерминированными/ характеристиками.
Естественно ожидать, что в отделах мозга, в большей мере ответственных за способность живого организма приспосабливаться к изменяющейся внешней среде — отделах построения движения, ассоциативных отделах и других — проводящие связи еще более гибки. Здесь уместно напомнить опыты, указывающие возможность выполнения одного и того же условно-рефлекторного акта с помощью заведомо разных проводящих путей [202]. Однако с нашей точки зрения это важное явление не столько характеризует вероятностный принцип организации нейронной сети (как оно иногда истолковывается), сколько отражает работу механизма компенсации поражений, указывает наличие резервных проводящих путей, способных заменить нарушенные.
Представляется уместной следующая аналогия. Переезд от одного пункта большого города к другому может осуществляться разными путями с помощью разных средств транспорта — троллейбуса, метро и т. д. Пусть расположение двух пунктов таково, что для ежедневного пассажира обычно более удобным — коротким, быстрым и дешевым — оказывается проезд троллейбусом. Но может случиться, что при ремонте дороги окажется удобнее поехать в метро. Не исключены и экстраординарные обстоятельства, когда будет использовано такси. Наблюдателю с Марса, взявшему за объект ежедневного исследования данного пассажира, и не знающего всех неурядиц городского транспорта, выбор пути от пункта к пункту покажется, естественно, случайным. Но компетентный работник городского управления назовет транспортную сеть города вполне детерминированной, и переключение в определенный момент
части пассажиров с соответствующего маршрута троллейбуса на метро для него не будет неожиданностью, поскольку ремонт дороги был запланирован заранее. Даже если вместо планово го ремонта мы предположил! аварию на троллейбусной линии, заставляющую пассажира изменить путь, то и тогда работники транспортного отдела укажут, что многократное резервирование каждой городской коммуникации предусмотрено вполне «детерминированной» организацией транспортной сети для защиты от случайностей или злого умысла.
Приведенные соображения иллюстрируют разделяемую автором позицию, согласно которой организацию нейронных сетей любого из отделов мозга естественно рассматривать как детерминированную, т. е. вполне определенную, в главных характеризующих ее чертах — начиная от локализации нейронных образований, ответственных за выполнение определенной функции, и кончая принципами переработки информации в каждом из этих образований. Этому не противоречит тот факт, что нередко прогноз конкретного нервного события или по крайней мере параметры этого события — суть явления случайные.
Детерминизм в главном неизбежно сочетается со случайностью частных черт, частных проявлении работы нервных элементов — случайностью колебаний в ответах одной и той же клетки на стандартный стимул, или с некоторой неопределенностью локализации конкретной связи между нервными центрами; можно предполагать, что неопределенность возрастает в случае, если связь образована в процессе приспособления организма к внешним условиям.
Совокупность черт, условно названных частными, удобно разделять (хотя, вероятно, это будет не всегда возможным) на две группы. Явления первой группы отображают элементы случайности в работе нервной системы данного конкретного индивидуума. К ним прежде всего можно причислить нестабильность работы нервных клеток, разные проявления механизма компенсации поражений нервной ткани и другие. Явления второй группы характеризуют отличия одного индивидуума от другого. К ним относятся и врожденные отличительные черты, и черты, сформировавшиеся в процессе развития организма (в он-
тогеиезе) под воздействием конкретных условий окружающей среды *).
Определенность основных черт нервной системы является, понятно, следствием основного закона образования живого организма и всех его органов — закона наследственной передачи признаков. Известно, что все главные черты, характеризующие структуру каждого органа живого существа, формируются под действием информации, заложенной в генетическом аппарате зародышевой клетки. Но случайный характер большого количества черт, которые здесь имеются в виду под частными чертами, определяются своими законами; с нашей точки зрения можно говорить о двух таких законах. Первый из них — это тот же закон наследственности, который предопределяет также изменчивость многих черт организма, прежде всего частных. (Мы имеем в виду мутации признаков.) Но даже если предположить идеальную картину — допустить точное совпадение генетической информации в двух зародышевых клетках, то и тогда вряд ли можно представить развитие двух организмов, тождественных в любых частностях. Как ни велико количество информации в генетическом коде, оно все-таки конечно. Отсюда неизбежно следует существование такого уровня организации живой ткани, для которого самая мелкая деталь генетического кода определяет лишь общие рамки, общее правило этой организации, оставляя известную свободу конкретизации в процессе развития. Именно на этом уровне сказывается действие второго из основных законов развития организма — изменение под действием окружающей среды. К сожалению, пока не известны точные границы, разделяющие действия этих законов.
В качестве примера сочетания детерминизма главных и случайности частных черт в возможной организации нейронной сети можно сослаться на модель механизма
*) Сейчас еще нельзя, к сожалению, дать перечня черт, названных частными, с тон степенью определен пости, с какой хотелось бы. Но следует обратить внимание на то, что случайность в структуре и работе нервной системы, наблюдаемая при электрофизиологических опытах, усугубляется несовершенством современной техники эксперимента.
поиска и проторения путей в однородной структуре (глава VII), в которой при полной определенности принципов образования связей положение конкретной связи может варьироваться в некоторых пределах в силу нестабильности образующих сеть элементов. Сказанное отражает точку зрения, согласно которой оценки точности и надежности работы нейронных сетей нуждаются в вероятностном описании.
8.6.	Конечная цель и промежуточные результаты
Моделирование нейронных сетей есть часть процесса познания законов работы мозга. Физиологи рассматривают мозг как форму живой материи; совместный взгляд на мозг физиологов и специалистов по управлению позволяет увидеть в нем сложнейший автомат. Познание сущности процессов, которые происходят в этом «автомате», есть конечная цель, определяющая генеральную линию, последовательность исследовательских циклов в моделировании нейронных сетей.
Понятно, что важными для науки и практики могут быть промежуточные результаты, полученные при прохождении определенных этапов. К числу существенных промежуточных результатов отнесем те, которые делают понятными отдельные принципы, закономерности, свойственные работе нервной системы. Решение такого рода вопросов представляет содержание промежуточных целей или «подцелей» моделирования. Например, к числу вопросов, частичный ответ на которые дают современные работы по моделированию нейронных структур, относятся такие, как выяснение закономерностей происходящего в нервной системе повышения частотной избирательности звуковых сигналов, воспринимаемых чрезвычайно недобротными элементами внутреннего уха; установление способа построения гибких, перестраиваемых нейронных соединений, избирательно реагирующих на нервные сигналы определенной интенсивности; выяснение принципа построения нейронных сетей, классифицирующих ансамбли нервных сигналов и др. Такого рода результаты могут представлять самостоятельный интерес
8.6] КОНЕЧНАЯ ЦЕЛЬ И ПРОМЕЖУТОЧНЫЕ РЕЗУЛЬТАТЫ 243
и могут быть использованы в технических системах управления. Исходя из этого, промежуточными целями или задачами моделирования нейронных сетей назовем исследование механизма информационных процессов, происходящих в разных отделах мозга, и выявление на этой основе новых для нас методов и принципов управления, в том числе методов перекодирования информации, принципов классификации, поиска, адаптивного поведения и т. д. В число этих задач входит также разработка рекомендаций для использования полученных закономерностей в технических системах управления.
ЭЛЕКТРИЧЕСКАЯ СХЕМА МОДЕЛИ НЕЙРОНА
На рис. 82 приведен один из вариантов электрической схемы модели нейрона. Модель имеет 20 входов и два выхода для получения «возбуждающих» и «тормозных» сигналов. В этой схеме выделим три части: подготавливающий узел, генерирующий узел и формирователь выходных импульсов.
Рис. 82. Принципиальная схема модели нейрона.
Подготавливающий узел на рис. 82 представлен в виде сумматора. «Вес» каждого входа определяется сопротивлением R.
Генерирующий узел выполнен по схеме блокинг-гене-ратора, что позволяет получить большую крутизну характеристики «вход — выход» нейрона и широкий диапазон
изменения частоты выходных импульсов. Насыщение нейрона, т. е. ограничение максимальной выходной частоты, достигается за счет ограничения потенциала на накопительной емкости (10 мкф). Управляющее напряжение на
Рис. 83. Экспериментальные характеристики «вход — выход».
указанной емкости, т. е. на входе блокинг-генератора, не превышает 3 в. Экспериментальная характеристика «вход — выход» при возбуждении одного из выходов (для трех значений сопротивления R) приведена на рис. 83.
Формирователь выходных импульсов представляет два однотипных ключа, питаемых напряжениями разной полярности. Блокинг-генератор связан с этими ключами трансформаторной связью. Выходные импульсы, по форме близкие к прямоугольным, имеют длительность 0,5 мсек и амплитуду 10 в.
ТАБЛИЦА ОПЕРАЦИЙ ДВУЗНАЧНОЙ И НЕПРЕРЫВНОЙ ЛОГИКИ
Двузначная логика		Непрерыв	
Название операции	Обозначения	Название операции	Обозначения
Константы Повторение Отрицание Конъюнкция («и») Дизъюнкция («или») Импликация Запрет Штрих Шеффера Стрелка Пирса Исключенное «или» Равнозначность	2/==1, 2/ = 0 У = х у = х у — х^/\х2 У *1 V Х2 у — Х1 -> х2 у — Я1 <- Х2 у = Xi/x2 У=^Х1[х2 y = Xi\JX2 у = Х1~Х2	Константа Повторение Дополнение Суммирование Вычитание Модуль Минимум Максимум Равенство	y = i У = х y = i — х у = XI + х2 У = Х1-^Х2 у = mod (ал, я2) у = min (ал, я2) у — max («1, я2) y==max [(1	я2] у = min [xi, (1 -^-я2)] у = 1 — min («1, х2) или у = max [(1 xi), (1	я2)] у = 1 — max (xi, х2) или у = min [(1 — xi), (1	я2)] у = max { min [(1 — ал), х2], min [xi, (1 -1- яг)]} у — max {min [(1 — ал), (1 —яг)], min (ях, я2)} —ецу(Я1, я2)
на я логика
Схемное изображение
Алгебраическая запись
2/ = с
у — SX
у — 1 — SX
у = S1Z1 + S2X4
у = SiX\ — S2X2
у = [ *1 — х21
!/ = у (Х1 + Д?2 — I Я1 —- *2 I )
У = ~2 (Xi + Х2 + I Xi — Х2 I )
_	(	1 — Xi,	если	Xi	+ Х2 < 1
у “	1	х2,	если	Xi	+ Х2 > 1
_	(	Xi,	если	Xi	+ Х2 < 1
У ~~	(	1—^2,	если	XI	-|- Х2 > 1
(1	«1, если xi < Х2
У — V	.
Ч — х2, если xi > Х2
(1 — xz, если xi < Х2
У = \л
11 — х\, если xi > Х2
(	Х1,	если	a?i>	X2	И Xl + X2 <	
1	X2f	если	XI <	X2	Xl + X2 <	
у — i	1 -•	xi, если	xi <Z	X2	+ X2	>1
1	1 -1-	Х2, ecin	^i>	X2	Xl + X2	>1
(	1	Х2, если	Х1	X2	II Xl + X2 <	
у = { 1	1 ^1»	xi, если если	XL < XI <	X2 X2	Xl -|- X2 < xi 4- X2	>1
	Х2,	если	Zl>	X2	Xl + X2	> 1
(	х,	если	Xl =	X2	= X	
	0,	если	XL =/= X2			
.ЛИТЕРАТУРА
К предисловию
1.	Трапезников В. А., Вопросы управления экономическими системами. Автоматика и телемеханика, № 1, 1969.
К главе I «Нейрон»
2.	Э к к л с Дж., Физиология нервных клеток, ИЛ, 1959.
3.	Э к к л с Дж., Физиология синапсов, Изд-во «Мир», 1966.
4.	Гранит Р., Электрофизиологическое исследование рецепции, ИЛ, 1957.
5.	Fuortes М. F.,MantegaziniF., Interpretation of the Repetitive Firing Nerve Cell. J. Gen. Physiol., v. 45, Nr. 6, 6962.
6.	Костю к П. Г., Изучение функциональных особенностей различных центральных нейронов при помощи виутриклеточ-; пых микроэлектродов. Труды конференции «Структура и функции нервной системы», Медгиз, М., 1962.
7.	Harmon L. D., Studies with artificial neuron. Kyber-netik, B. 1, Nr. 3, 1961.
8.	Me. Grogan E. P. Improved Transistor Neuron Model. Proc, of the Nat. Electronics Conf., 1961.
9.	J e n i k F., Electronic Neuron Model as and Aid to Neurophysiological. Ergegn. Biol., b. 25, 1962.
10.	Любинский И. А., Позин H. В., Моделирование процессов переработки информации в нейроне. Автоматика и телемеханика, т. 26, №№ 10 и 12, 1965.
И. G a wronski R., Bionika (System Nerwowy, Jako Uklad). Panstwowe wydownictwo naukowe, Warszawa, 1966.
12.	R a 1 1 W., Theory of Physiological Properties of Dendrites. Ann. N. Y. Acad. Sci., v. 96, Nr. 4, 1962.
13.	Б p а й з ь e, M., Электрическая активность нервной системы. ИЛ, М., 1955.
14.	Аршавский 10. И., Берки нблит М. Б., К о вале в С. А., С м о л я и и н о в В. В., ЧайлахянЛ. М., Анализ функциональных свойств дендритов в связи с их структурой. Тезисы докладов X съезда Всесоюзного физиологического общества имени И. II. Павлова, Изд-во «Наука», 1964.
15.	А р ш а в с к и й 10. И., Б е р к и н б л и т М. Б., Ковалеве. А., С м о л я н и н о в В. В., Ч а й л а х я и Л. М., Анализ функциональных свойств дендритов в связи с их структурой. В сб. «Модели структурно-функциональной организации некоторых биологических систем», Изд-во «Наука», 1966.
16.	К ii р f m u 1 1 е г К., J onik F., Uber die Nachrichtenver-arbeitung in der Nervenzelle. Kybernetik, В. 1 Nr. 1, 1962.
17.	К a p ii о в P. Г., Арифметические операции над частотноимпульсной информацией. Автоматика и телемеханика, т. 25, № 5, 1964.
18.	L е t t v i n I. V., Form-Function Relations in Neuron. Mass. Inst, Technol. Res. Lab. Electron. Quart. Progr. Rept., Nr. 66, 333—335, 1962.
19.	Furman G. G., Frishko pf L. S., Model of Neural Inhibition in the Mamilian Cochlea. J. Acoust. Soc. of Amer., v. 36, Nr. 11, 1964.
20.	Шаповалов А. И., Клеточные механизмы синаптической передачи. Изд-во «Медицина», М., 1966.
К главе II «Нейронные слои с латеральными связями»
21.	Н а г t 1 i n е Н. К., Ratliff F., Inhibitory Interaction of Receptor Units in the Eie of Limulus. J. General Phisiol., v. 40, Nr. 3, 1957.
22.	Ратлиф Ф., Тормозное взаимодействие в элементах сетчатки. В сб. «Теория связи в сенсорных системах». Изд-во «Мир», М., 1964.
23.	R a t 1 i f f F., Mach Bands: Quantitative studies on Neural Networks in the Retina. Holden Day inc., San Francisco, London, Amst., 1965.
24.	M о u n t c a s t 1 e V. B., Powell T. P. S., Neural mechanisms Subserving Cutaneous Sensibility with Special Reference to the Role of Afferent Inhibition in Sensory Perception and Discrimination. Bull. Johns Hopkins Hosp., v. 105, Nr. 4,1959.
25.	Фесса p А., Роль нейронных сетей мозга в передаче сенсорной информации. В сб. «Теория связи в сенсорных системах». Изд-во «Мир», 1964.
26.	Ill к о л ь н и к - Я р р о с Е. Г., Нейроны и межнейронные связи. Изд-во «Медицина», Л., 1965.
27.	Б е р и т а ш в и л и И. С., О механизме внешнего и внутреннего торможения, «Гагрские беседы», т. II, Тбилиси, 1956.
28.	В и и е р Н., Розен б л ю т А., Проведение импульсов в сердечной мышце. Кибернетический сборник, № 3, ИЛ, 1961.
29.	Г е л ь ф а н д И. М., Цетлиц М. Л., О континуальных моделях управляющих систем. ДАН СССР, т. 131, А° 6, 1960.
30.	Reichardt W., MacGinitie G., Zur Theorie der Lateralen Inhibition. Kybernetik, B. 1, Nr. 4, 1962.
31.	J amura IL, Elemental Properties of the Pulse Control in Neuron Nets. J. of the Japan Assotiation Automatic Contr. Eng., v. 8, Nr. 10, 1964.
32.	F о e r s t e г H. V., Structural Models of Functional Interactions. In.: «Information Processing in the Neurvous System». Excerte Medical Found., Amsterdam, 1964.
33.	Furman G. C., Comparison of Model for subtractive and Shunting Lateral — Inhibition in Peceptro — Nejron Field, Kybernetik, В. II, Nr. 6, 1965.
34.	Varju D., On the Theory of Lateral Inhibition. Consiglio Nazionalle Delle Reicerche Quarderni de «LaRicerca Scientifica». v. 31, 1965,
35.	Л юбинский И. А., Позин H. В., Я x и о В. П., Анализ модели однородного нейронного слоя с латеральными связями. Автоматика и телемеханика, т. 28, № 10, 1967.
36.	Л ю б и н с к и й И. А., П о з и н Н. В., Я х н о В. П., Обострение в многослойной структуре с латеральными связями. Труды VI Всесоюзной акустической конференции, М., 1968.
К главе III «Нейронные схемы непрерывной логики»
37.	М а к - К а л л о к У. С., П и т т с В., Логическое исчисление идей, относящихся к нервной активности (1943). В сб. «Автоматы», ИЛ, М., 1956.
38.	К л и н и С. К., Представление событий в нервных сетях и конечных автоматах. В том же сборнике.
39.	Н е й м а н Дж., Вероятностная логика и синтез надежных организмов из ненадежных компонент. В том же сборнике.
40.	Schaefer D. Н., A Rectifie Algebra. AIEE Trans., p. 1. Communication and Electronics, v. 73, 1955.
41.	Мак-Нотон P., Теорема о бесконечной логике высказываний, «Кибернетический сборник», ИЛ, № 3, 1961.
42.	Г и н з б у р г С. А., Логические методы синтеза функциональных преобразователей. Труды конгресса ИФАК, т. 4, 1961.
43.	Г и п з б у р г С. А., Логические методы синтеза и анализа электрических цепей для изображения математических функций, Труды ВНИИЭ, Изд-во «Энергия», вып. 18, 1964.
44.	Мюллер П., Мартин Т., П у т ц р а т Ф., Общие Принципы операций в нейронных сетях и их приложение к распознаванию акустических образцов. В сб. «Проблемы бионики», Изд-во «Мир», 1965.
45.	D а с h е k G. J., Н i 1 i n s к i T. С., Р u t h a t h F. L., A. Flexible Neural Logic Network. IEEE Trans, on Military Electronics, MJL-7, Nr. 2—3, 1963.
46.	К и p в e л и с Д. И., Позин H. В., Некоторые вопросы нейронной логики. В сб. «Вопросы бионики», Изд-во «Наука», 1967.
47.	К и р в е л и с Д. И., Избирательные нейронные схемы. В сб. «Теория и средства автоматики», Изд-во «Наука», М., 1968 (доклады XIII конференции молодых ученых HAT (ТК), март, 1966).
48.	Соколов Е. Н., Нейронные механизмы «привыкания» как простейшей формы условного рефлекса. Журнал высш, первн. деят., т. 15, вып. 2, 1965.
К главе IV «Нейронные классифицирующие структуры»
49.	Уолтер Г., Живой мозг, Изд-во «Мир», 1966.
50.	Розенблатт Ф., Принципы нейродинамики, Изд-во «Мир», 1965.
51.	Айзерман М. А., Б р а в е р м а н Э. М., Р о зоне эр Л. И., Теоретические основы метода потенциальных функций в задаче обучения автоматов разделению входных ситуаций на классы. Автоматика и телемеханика, т. 25, № 6, 1964.
52.	Б о н гард М. М., Проблема узнавания, Изд-во «Паука», 1967.
53.	К и р в е л и с Д. И., По з и н Н. В., Простые нейронные логические схемы и пример классификатора. Известия АН СССР, Техническая кибернетика, № 5, 1967.
54.	К и р в е л и с Д. И., П о з и н Н. В., П о л я н с к и й С. В., Некоторые возможности аналоговых нейронных систем. Доклад на Всесоюзном симпозиуме по прикладной математике и кибернетике, Горький, 1967.
55.	К и р в е л и с Д. И., Позин Н. В., Полянский С. В., Модель многослойной нейронной сети, опознающей ансамбли непрерывных сигналов. Доклад па III Всесоюзной конференции по бионике. М., 1968.
К главе V «Динамические свойства простых нейронных соединений»
56.	Л ю б и н с к и й И. А., Позин Н. В., Переходные процессы в модели нейронной сети с латеральными связями. Биофизика, т. 12, вып. 2, 1967.
57.	Grundfest Н., Electrophysiology and pharmacology of dendrites. Electroencephalography and Clinical Neurophysiology (A Symposium on dendrites), Supplement, Nr. 10, 1958.
58.	Г e p ш у h и Г. В., Оценка функционального значения электрических ответов слуховой системы. Физиологический журнал СССР, т. 18, № 3, 1962.
59.	Альтман Я. А., М а р у с е в а А. М., О вызванных потенциалах слуховой системы. Журнал ВИД, т. 15, вып. 3, 1965.
60.	Шевелев И. А., Синхронизация начального афферентного потока в зрительной системе. Журнал ВНД, т. 15, вып. 3, 1965.
61.	Буллок Т., Возникновение нервных импульсов в рецепторных и центральных нейронах. В сб. «Современные проблемы биофизики», т. 2, ИЛ, М., 1961.
62.	В u 1 1 о с k Т. II., 11 о г г i d е G. A., Structere and Function in the Nervous Systems of invertebraes, v. I and II, 1965.
» 63. К e д e p - С т e п а н о в а И. А., Пономарев В. А., Реакция нейронов области дыхательного центра на раздражение. Биофизика, т. 10, вып. 2, 1965.
64.	Кедер-Степанова И. А., Пономарев В. А., Четаев А. II., О зависимости в работе дыхательных нейронов продолговатого мозга. Биофизика, т. 11, вып. 1, 1966.
65.	Кедер-Степанова И. А. , Характеристика дыхательных нейронов разных уровней центральной нервной системы. В сб. «Модели структурно-функциональной организации некоторых биологических систем», Изд-во «Наука», М., 1966.
66.	S а 1 m о i г a g h i G., Bruns D., Notes on mechanism of rhytmic respiration. J. Neurophysiol., v. 23, Nr. 1, 1960,
67.	Nolsand R., Plum F., Subtypes of Medullary Respiratory Neurons, Exp. Neurol., v. 12, Nr. 4, 1965.
68.	Шуранова Ж. П., Фоновая активность нейронов в сравнительном аспекте. В сб. «Современные проблемы электрофизиологии центральной нервной системы», стр. 30, Изд-во «Наука», М., 1967.
69.	Hoyle G., Exploration of Neural Mechanisms Underlying Behavior of Insects. В сб. «Neural Theory and Modelling», cd. by Reiss., p. 346, Stanford Univ. Press, 1964.
70.	Corpenter D.O., Temperature effects on pacemaker generation membrane potential and critical firing thereshold in Aplisia neurons. J. of General Physiology, v. 50, Nr. 6, part I, 1967.
71.	Reiss R. F., A Theory and Simultation of Rhytmic behaviour due to Reciprocal Inhibition in small nerve nets. Proc. AEIPS Spring. Joint Computer Conf, v., 21, 171 — 194, 1962.
72.	Harmon L. D., Neuromimes: Action of Reciprocally Inhibitory Pair. Science, v. 146, Nr. 3649, 1964.
73.	H a r m о n L. D., L e w i s E. R., Neural Modeling. Physiological Reviews, v. 46, Nr. 3, 1966.
74.	P a v 1 i d i s T., A New Model for Simple nejral Nets and its Application in the Design of a Neural Oscillator. The Bull, of Math. Bioph., v. 27, Nr, 2, 1965.
75.	P a v 1 i d i s T., Design of Neural Nets with Intermittent Response and Certain Other Relevant Studies. The Bull, of Math. Biophysics, v. 28, Nr. 1, 1966.
76.	Колоколов А. С., Ш у л ь п и н Ю. А., Моделирование адаптации нейрона и спонтанной активности нейронной сети. Доклад на XIII конференции молодых ученых Института ав-трматики ителемеханики (технической кибернетики), М., 1967.
77.	Дунин-Барковский В. Л., Колебание уровня активности в простых замкнутых нейронных цепях. Биофизика, т. 15, № 2, 1970.
78.	Kling U., S z ё k е 1 у G., Similation of Rhytmic Nervous Activities. Kybernetik. B., 5, Nr. 3, 1968.
79.	Me Culloch W. S., Pitts \V. II., How we Know Universals. The Bull, of Math. Biophys., v. 10, Nr. 10, 1948.
К главе VI «Моделирование слуховой системы»
80.	В ekes у G., Experiments in Hearing. McGaw-Hill Book Co., New York, 1960.
81.	Винников Л. А., Титова Л. К., Кортнев орган, М.-Л., 1961.
82.	Galambos Е., Neural Mechamisms of Audition. Physiological Reviews, v. 34, Nr, 3, 1954.
83.	Rassmunsen G. L., Anatomical Relationships of the Ascending and Descending Auditory Systems. В сб. «Neurological Aspekts of Auditory and Vestibular Disorder»., Illinois,1964.
84.	S c h u k n e c h t II., Neuroanatomical correlates of auditory sensitivity and pitch discrimination in the cat. В co. «Neural
Mechanisms of auditory and Vestibulatory Systems», Spriengfield, Illinois, 1960.
85.	<I> (‘ л ь д к e л л e p P., Ц в и к e p Э., Ухо как приемник информации, Изд-во «Связь», М., 1965.
86.	D a u g h t у J. М., Gardner W. В., Pitch Characteristic of Short Tones. I. Two Kinds of Pitch Threshold. J. of Experimental Psychology, v. 37, Nr. 4, 1947.
87.	Л я н Ч ж и - a H ь, Ч и с т о в и ч Л. А., Дифференциальные пороги по частоте в зависимости от длительности тональных посылок, Акустический журнал, т. 6, вып. 1, 1960.
88.	Л ю б и и с к и й И. А., Позин Н. В., Моделирование процесса переработки информации о частоте и интенсивности звукового сигнала в слуховой системе. В сб. «Механизмы слуха. Проблемы физиологической акустики», т. 6, Изд-во «Наука», Л., 1967.
89.	Любинский И. А., П о з и н Н. В., Принципы информационных преобразований в модели нейронной сети слуховой системы (статика), «Автоматика и телемеханика», т. 19, № 1, 1968.
90.	Л ю б п н с к и й И. А., Позин Н. В., Модель нейронной сети слуховой системы. Симпозиум ИФАК «Биологические и технические аспекты кибернетики», Ереван, 1968.
91.	G alambos R., Davis Н., The response of single auditory nerve fibers to acustic stimulation. J. Neurophysiology, v. 6, Nr. 1, 19'13.
92.	Nelson P. G., ErulkarS. D., Synaptic mechansms of exitation and inhibitory in the central auditory pathway. J. Neurophysiology, v. 26 Nr. 3. 1963.
93.	В ekes у G. Resonance curwe and decay period at various points on the cochlear partition. J. Acoust Soc. Amer., v. 21, Nr. 21, 1949.
94.	Л io б и н с к и й И. А., Шараев Г. А., О кодировании информации в периферическом отделе слуховой системы. В сб. «Теория и средства автоматики», Изд-во «Наука», М., 1968 (Доклады XIII конференции молодых ученых ИАТ (ТК), март 1966).
95.	Н u g g i n g s W. H., L i c k 1 i d e r J. C. R., Place Mechanisms of Auditory Frequency Analysis, J. Acoust, Soc. Amer. v. 23, Nr. 3, 1951.
96.	Л а б у т и ii В. К., M о л ч a ii о в A. II., Слух и анализ сигналов, Изд-во «Энергия», М., 1967.
97.	М о л ч а н о в А. П., Лабутин В. К., Исследование электронной модели одного механизма обострения частотной избирательности основной мембраны органа слуха. Механизмы слуха. Проблемы физиологической акустики, т. 6, Изд-во «Наука», Л., 1967.
98.	Р 1 о m р В., The Ear as a Frequency Analyzer. J. Acoust. Soc. Amer., v. 36. Nr. 9, 1964.
99.	Г e p ш у h и Г. В., M а р у с е в а А. М., Радионова Е. А., Попов А. В., Преобразования афферентного по
тока на нейронах слуховой системы. Труды симпозиума «Синаптические процессы», Изд-во «Паукова думка», Киев, 1968.
100.	М а р у с е в а А. М., О временных характеристиках нейронов заднего двухолмия крыс с различным типом ответов на звуковые сигналы. В сб. «Механизмы слуха. Проблемы физиологической акустики», т. 6, Изд-во «Наука», Л., 1967.
101.	Г е р ш у и и Г. В., Организация афферентного потока и процесс различения сигналов разной длительности. Журнал ВНД, т. 15, вып. 2, 1965.
102.	В ё к ё s у G., Experimental Model of the Cochalea with and without Nevre Supply. В кн. «Neural mechanisms of auditory and vestibular system», Illinois, 1960.
103.	К и p в e л и с Д. И., П о з и н Н. В., Соколов Е. Н., Модель нейронной сети, выделяющей поддиапазоны интенсивности сигнала. Биофизика, т. 12, вып. 1, 1967.
104.	Девис Г., Периферическое кодирование слуховой информации. В сб. «Теория связи в сенсорных системах». Изд-во «Мир», М., 1964.
105.	Радионова Е. А., Об измерении интенсивности короткого звукового сигнала на уровне первого нейрона слуховой системы. Акустический журнал, т. 18, № 4, 1962.
106.	Engstrom Н., Electron micrographic studies of the organ of Corti. В сб. «Neural mechanisms of auditory and vestibular systems», Illinois, USA, p. 48, 1960.
107.	К a t s u k i Y., S u g a N. а. К a n n о J., Neural mechanisms of peripheral and central auditory system in monkey. J. Acoust. Soc. Amer., v. 34, Nr. 8, 1962.
108.	Schuknecht H., Neuroanatomical correlates of auditory sensitivity and pitch discrimination in the cat. В сб. «Neural mechanisms of auditory and vestibular systems», Illinois, USA, ’p. 76, 1960.
109.	Bekesy G., Variation of phase along the basilar membrane with sinusoidel vibrations. J. Acoust. Soc., Amer. v. 19, Nr, 3, 1947.
НО. T a s a k i I. J., Nerve impulses in individual auditory nerve fibers of guinea pig. J. Neurophysiology., v. 17, Nr. 2, 1954.
111.	К a t s u k i Y. I., S u m i T., U c h i у a m a H., W a tana be T., Electric responses of auditory neurons in cat to sound stimulation. J. Neurophysiology, v. 21, Nr. 6, 1958.
112.	К a i n g N. U.-S. and other, Stimulus coding in the cat’s auditory nerve. Annals of Otology, Rhinology and baring., v. 71, Nr. 4, 1962.
113.	Rose J. E., Galambos R., Hughes J., Organization of frequency sensitive neurons in the cochlear nuclear comp-les of the cat. В сб. «Neural mechanisms of auditory and vestibular systems», p. 11, Illionis, 1960.
114.	H i 1 a 1 i S., Whitfield J. C., Auditory Responses of Single Nerve Units at the Level of Trapezoid Body. J. Physiology., v. 117, Nr. 4, 1952.
t 15. Rose J. E., Greenwood D.D., Goldberg J. M., Hind J. E., Some discharge characteristics of single neurons
in the inferior colliculus of the cat. J. Neurophysiology, v. 26, Nr. 2, 1963.
116.	Вартанян И. A., P а т н и к о в а Г. И., Локализация частот и временная суммация в слуховых центрах среднего мозга. В сб. «Механизмы слуха. Проблемы физиологической акустики», том 6, Изд-во «Наука», Л., 1967.
117.	Gross N. В., ThyrlowW. R., Microelectrode studies of neural auditory activity of cat, II. Medial geniculate Body. J. Neurophysiology, v. 14, Nr. 5, 1951.
118.	G alambos R., Microelectrode studies on medial geniculate body of cat. III. Response to pure tones. J. Neurophysiology, v. 15, Nr. 5, 1952.
119.	Hind J. E., An electrophysiological determination of tonoto-pic organization at the auditory cortex of cat. J. Neyrophysio-logy, v. 16, Nr. 5, 1953.
120.	Tunturi A. R., Anatomy and physiology of the auditory cortex. In. «Neural mecanisms of the auditory and vestibular systems», Illinois, p. 181, 1960.
121.	К о ч у р о И. И., О частотной локализации в слуховой зоне коры головного мозга. Физиологический журнал СССР, т. 10, № 6, 1963.
122.	Гершуни Г. В., О механизмах слуха (в связи с исследованием временных и временно-частотных характеристик слуховой системы). В сб. «Механизмы слуха. Проблемы физиологической акустики», т. 6, Изд-во «Наука», Л., 1967.
123.	Кацуки Я., Нервные механизмы слуховых ощущений у кошки. В сб. «Теория связи в сенсорных системах», ИЛ, М., М., 1964.
124.	Greenwood D., Marugama N., Excitatory and Inhibitory Area of Auditory Neurons in Cochlear Nucleus. J. Neurophysiology, v. 27, Nr. 1, 1965.
125.	Brugge J. F., Dubrovsky N. R., Rose J. E., Some discharge characteristics of single units in the auditory cortex of the cat. Science, v. 146, Nr. 3642, 1964.
126.	Goldberg M., Greenwood D., Response of Neurons of Nuclei of the Cat to Acoustic Stimuli of Long Duration. J. Neurophysiology, v. 29, Nr. 1, 1966.
127.	T a s a k i I., Davis H., L e g о u i x J. P., Space — Time pattern of the cochlear michrophonics as recorded by differential electrodes. J. Acoust. Soc. Amer., v. 24, Nr. 5, 1952.
128.	Teas D. С., E 1 d r e d g e D. H., Davis H., Cochlear responses to acoustic transients. J. Acoust. Soc. Amer., v. 24, Nr. 8, 1962.
129.	To nn do rd J., Timesfrequency analisis along the partition of cochlear models: a modified place concept. J. Acoust. Soc., Amer., v. 24, Nr 8, p. 2. 1962.
130.	Davis H., Advances in the neurophysiology and neuroanatomy of the cochlea. J. Acoust Soc. Amer., v. 34, Nr. 8, 1962.
131.	R u p e r t C., Moshegian R., G a 1 a m b о s R., Unit responses to sound from auditory nerve of the cat. J. Neurophysiology, v. 26, Nr. 3, 1963.
132.	Katsuki Y., Watanabe T., Maruyama N., Activity of Auditory Neurons in Upper Levels of Brain of Cat. J. Neurophysiology, v. 22, Nr. 4, 1959.
133.	Г e p ш у н и * Г. В., Электрофизиологические показатели функций слуховой системы. В сб. «Современные проблемы электрофизиологических исследований нервной системы», Изд-во «Медицина», М., 1964.
134.	ГершуниГ. В., Забоева Н. В., Оценка функционального значения электрических ответов слуховой системы (ответы на экспоненциально возрастающие широкополосные шумы и тоны). Физиологический журнал СССР, т. 48, № 10, 1962.
135.	К i a n g N. L S., S a n d е 1 Т. Т., Off-responses from the auditory cortex of anesthesied cats, Archives Italiennes de biologic, v. 99, Nr. 2, 1961.
136.	К i a n g N. I. S., Sandel T. T., Off-responses from the auditory cortex of ananesthesied cats. Archives Italiennes de biologic, v. 89, Nr. 2, 1961.
137.	Gerstein G. L., К i a n g N. I. S., Responses of single units in the auditory cortex. Experimental Neurology, v. 10, Nr. 1, p. 1, 1964.
138.	P а д и о н о в а Е. А., О значении временных характеристик реакции нейронов кохлеарного ядра па звуковые сигналы. Механизмы слуха. Проблемы физиологической акустики, т. 6, Изд-во «Наука», Л., 1967.
139.	Б ус л овский О. Е., Лабутин В. К., Молчанов А. П., П о п о в а Я. П., Электрический датчик частотно-зависимых величин, основанный на принципе действия улитки органа слуха. Доклад на III Всесоюзной конференции по бионике. М., май, 1968.
140,	Л у чу к А. М., Дифференциальный фильтр на одиночных контурах для частотных устройств телемеханики. Автоматика и приборостроение, вып. 2, Киев, 1962.
141.	Л ю б и п с к и й И. А., П о з и п Н. В., Ш а р а е в Г. А., Я х н о В. П., Оценка свойств фильтрового спектрального анализатора, дополненного моделью нейронного слоя с латеральными связями. Труды VI Всесоюзной акустической конференции, Москва, 1968.
142.	W е v е г Е. G., Beats and Related Phenomena Resulting from Stimulation Sounding of Two Tones. Psychol. Rew., v. 36, Nr. 5, 1929.
К главе VII «Гипотетический механизм поиска и проторения путей между нервными центрами»
143.	П а в л о в И. П., Двадцатилетний опыт объективного изучения высшей нервной деятельности животных. Поли. собр. соч., т. III, Изд-во Акад, наук СССР, М., 1961.
144.	Гельфанд И. М., Цетлин М. Л., О некоторых способах управления сложными системами. Успехи, матем. наук 17, вып. I, 1962.
145.	Емельянов-Ярославский Л. Б., Принципы неформального самоорганизующегося автомата. В сб. «Само-
обучающиеся автоматические системы», Изд-во «Наука», М., 1965.
146.	Позин Н. В., Гипотеза о механизме поиска и проторения путей в однородном нейронном слое. Журнал высш, нервн. деят., т. 19, вып. 2, 1969.
К главе VIII «Методологические вопросы моделирования нейронных структур»
147.	Энгельс Ф., Введение к английскому изданию «Развитие социализма от утопии к науке», К. Маркс и Ф. Энгельс, Соч., т. 22, стр. 301.
148.	ХаркевичА. А., О ценности информации. Сб. «Проблемы кибернетики», вып. 4, 1960.
149.	Покровский Г. И., Тростников В. Н., Организация информационного потока. Будущее науки (Международный ежегодник), вып. 2, Изд-во «Знание», 1968.
150.	Т ас аки И., Проведение нервного импульса, ИЛ, 1957.
151.	Ходжкин А., Нервный импульс, Изд-во «Мир», 1965.
152.	К о ст юк П. Г., Двухнейроппая рефлекторная дуга, Мед-гиз, М., 1959.
153.	Renshaw В., Observation on Interaction of Nerve Impulses in the Gray Matter and on the Nature of Central Inhibition. Amer. J. Physiol., v. 146, Nr. 3, 1946.
154.	Б a p л о у Г., Возможные принципы, лежащие в основе преобразования сенсорных посылок. В сб. «Электроника и кибернетика в биологии и медицине», ИЛ, М., 1963.
155.	L е t t v i n I. L?7 Maturana H. B., McCulloch W. S., P i t t s W. H., What the Frog’s Eye Tells the Frog’s Brain? «Proc. IRE», v. 47, Nr. 11, 1959.
156.	H u b e 1 D. H., W i e s e 1 T. N., Receptive Fieds of Cells in striate Cortex of Very Young, Visually Inexperienced Kittens, J. Neurophysiol., v. 26, Nr. 6., 1963.
157.	Hubei D. H.W i esel T. N., Receptive Fields and Functional Architecture in Two Nonstriate areas (18 and 19) of the Cat. J. Neurophysiol, v. 28, Nr. 2, 1965.
158.	Бызов А. Л., Электрофизиологические исследования сетчатки, Изд-во «Наука», М., 1966.
159.	Глезер В. Д., Механизмы опознания зрительных образов, Изд-во «Наука», М.—Л., 1966.
160.	М к р т ы ч е в а Л. 1L, Самсонова В. Г., Функциональная характеристика нейронов зрительного центра у лягушки в зависимости от интенсивности светового стимула. Журнал высш, нервн. деят., 16, вып. 1, 1966.
161.	Соколов Е.Н., Механизмы памяти. Изд-во Московского ун-та, М., 1969.
162.	Hebb D. О., The Organization of Behavior. John Willey, N. Y., 1949.
163.	M э г у и Г., Бодрствующий мозг, Изд-во «Мир», М., 1965.
164.	Munson W. A., Gardner М,. В., Loudness Patterns a New Approach. Journ. Acoust. Soc. Amer., v. 22, Nr. 2, 1950.
165.	Самойлова И. К., Исследования минимально различимых интервалов между двумя тональными сигналами. Акустический журнал, т. 6, вып. 3, 1960.
166.	Fletcher Н., Speech and Hearing in Communication, D. Van Nostand Comp., Inc., Hew York, 1953.
167.	Swets J. A., Green D. M., Tanner W. P., On the Width of Critical Bands, J. Acoust, Soc., Amer., v. 34, Nr. 1, 1962.
168.	Д у б p о в с к и й Н. А., Тумаркина А. Н., Ф р е й-д и н А. А., Влияние тренировки слушателей на оценку ширины критической полосы фазовым методом. ДАН, т. 170, № 2, 1966.
169.	П р и ча р д Р., Стабилизированное изображение на сетчатке и зрительное восприятие. В сб. «Проблемы бионики», Изд-во «Мир», 1965.
170.	Я р б у с А. Л., Роль движения глаз в процессе зрения, Изд-во «Наука», 1965.
171.	Ш е х т е р М. С., Психологические проблемы узнавания, Изд-во «Просвещение», М., 1967.
172.	Запорожец А. В., Венгер Л. А., Зинченко В. П., Р у з с к а я А. Г., Восприятие и действие, Изд-во «Просвещение», М., 1967,
173.	Sperling G., A. Model for Visual Memory Tacks. Human Factors, v. 5. Nr. 1, 1963.
174.	Юнг P., Интеграция в нейронах зрительной коры и ее значение для зрительной информации. В сб. «Теория связи в сенсорных системах», стр. 375, Изд-во «Мир», 1964.
175.	БериташвилиИ. С., Об образной психонервной деятельности животных, Академиздат, М., 1966.
176.	Пенфильд В., Робертс Л., Речь и мозговые механизмы, Изд-во «Медицина», Л., 1964.
177.	Delgado J. М., Roberts W. W., Miller N. Е., Learning Motivated by Electrical Stimulation of the Brain. Amer. J. Physiol., v. 179, Nr. 3, 1954.
178.	Олдз Дж., Эксперименты по самораздражению и дифференцированные системы подкрепления. В книге «Ретикулярная формация мозга», Медгиз, М., 1962.
179.	Evarts Е. V., Pyramidal tract activity associated with a conditioned hand movement in the monkey. J. Neurophysiology» v. 29, Nr. 6, 1966.
180.	H e n n e m a n E., S о m j e n С., С a r p e n t e r D. 0., Excitability and inhibitility of motoneurons of different sizes. J. Neurophysiology, v. 28, Nr. 3, 1965.
181.	KostyukP. G., Vasilenko D. A., Transformation of Cortical Motor Signal in Spinal Cord. Pros. IEEE, v. 56, Nr 1968.
182.	Г у p ф и и к е л ь В. С., К о ц Я. М., Ш и к М. Л., Регуляция позы человека, Изд-во «Наука», М., 1965.	R
183.	Ш п к М. Л., С е в е р и н Ф. В., Орловски й Г. Н., Управление ходьбой и бегом посредством электрической стимуляции среднего мозга, Биофизика, т. 11, № 4, 1966.
184.	Бернштейн Н. А., Очерки по физиологии движений и физиологии активности, Изд-во «Медицина», М., 1966.
185.	Анохин П. К., Биология и нейрофизиология условного рефлекса. Изд-во «Наука», М., 1968.
186.	Соколов Е. Н., Ней ровный механизм ориентировочного рефлекса. XVIII Международный психологический конгресс. Тезисы сообщений, т. I, 1966.
187.	Эйди У. Р., Организация мозговых структур с точки зрения передачи и хранения информации. В сб. «Современные проблемы электрофизиологии центральной нервной системы», Изд-во «Наука», М., 1967.
188.	Хидеп X., Нейрон. В кн. «Функциональная морфология клетки», ИЛ, М., 1963.
189.	L a n d а 1 Н. D., Williams G. М., Representation of Modality in Cutaneous Sensibility. Bull. Math. Bioph., v. 20, Nr. 4, 1958.
190.	Guinn D. E., Large Artificial Nerve Net (LANNET), IEEE Trans, on Military Electronics, MIL-7, Nr. 2—3, 1963.
191.	HersherM. B., Kelley T.P., Functional Electronic Model of the Frog Retina, IEEE Trans, on Military Electronics, MIL-7, Nr. 2-3, 1963.
192.	KabriskyM., A Proposed Model for Visual Information Processing in the Human Brain. University of Illinois Press, 1966.
193.	Зенкин Г. M., Петров А. П., Системы анализа изображения и узнавания объектов на сложном фоне, Биофизика, т. 25, вып. 3, 1967.
194.	К и р в е л и с Д. И., Гипотеза о структуре основных процессов в зрительной системе. Тезисы доклада на XIV конференции молодых ученых ИАТ, 1967.
195.	Licklider J.C. R., Three Auditory Theories. В сб. «Psycho-ligy: a Study of a Science», ed. by S. Koch, v. 1, 1959.
196.	Whitefield J.C., Conding in Auditory Nervous System. Natura, v. 213, Nr. 5078, 1967.
197.	HI т о ф ф В. А., Моделирование и философия, Изд-во «Наука», Л., 1966.
198.	Мак-Каллох У., Подражание одних форм жизни другим формам — биомимезис. В сб. «Проблемы бионики», Изд-во «Мир», М., 1965.
199.	Мак-Кей Д., Моделирование нервной деятельности. В сб. «Моделирование в биологии», ИЛ, 1963.
200.	Кеннеди Д., Небольшие системы из нервных клеток.
В сб. «Молекулы и клетки», вып. 3, Изд-во «Мир», М., 1968.
201.	Сперри Р. В., Механизм созревания нервной системы. В книге «Экспериментальная психология», ИЛ, 1960.
202.	Коган А. Б., Вероятностно-статистический принцип нейронной организации функциональных систем мозга. Доклады АН СССР, 154, № 5, 1964.
203.	Позин Н. В., Методологические вопросы моделирования нейронных структур, «Вопросы философии», № 8, 1969.
Никита Владимирович Позин
Моделирование нейронных структур
М., 1970 г., 260 стр. с илл.
Редактор М. Б. Беркинблит
Техн, редактор В. Н. Кондакова
Корректоры Е. А. Белицкая, Л. Я. Розенталь
Сдано в набор 30/ХП 1969 г. Подписано к печати 2/VI 1970 г. Бумага 84Х1081/з2. Физ. печ. л. 8,125
Условн. печ. л. 13,65 Уч.-изд. л. 13,96
Тираж 3400 вкз. Т-09717. Цена книги 1 р. 08 к.
Заказ ЛЬ 9
Издательство «Наука»
Главная редакция
Физико-математической литературы
Москва, В-71, Ленинский проспект, 16.
2-я типография издательства «Наука», Москва, Шубинский пер., 10
ОПЕЧАТКИ
Страница	Строка	Напечатано	Должно быть
21	10 сн.		~ 1ц
84	4 сн.	1	(*2>	(1	Хг)
94	13 сн.	ф(Х1,...,Хн)/ф (хь.. ., хп)	ф (xi,...,xn) I ф(Х1	
94	7 сн.	у — (Z1 + *2) (zi > Х2)	// = (i1 + x2)|Xi>x2
100	6 сн.	рис. 45 (см. ниже)	рис. 44
125	16 св.	многочисленными	многочленными
152	3 сн.		
Зак. а

МОДЕЛИРОВАНИЕ НЕЙРОННЫХ СТРУКТУР
н.в.позин
<