ВОЕННАЯ АКАДЕМИЯ МАТЕРИАЛЬНО-ТЕХНИЧЕСКОГО
ОБЕСПЕЧЕНИЯ ИМЕНИ ГЕНЕРАЛА АРМИИ А. В. ХРУЛЁВА
(филиал в г. Пензе)

В. И. Алчинов, А. И. Иванов

Основы нейросетевого
искусственного интеллекта.
Краткий вводный курс
Учебно-методическое пособие

Пенза
Издательство ПГУ
2024

1

УДК 519.24; 53; 57.017
ББК 32.818
А55
Рецензент
доктор технических наук, профессор,
ученый секретарь Научно-производственного
предприятия «Рубин» (г. Пенза)
М. М. Бутаев

А55

Алчинов, Виктор Иванович.
Основы нейросетевого искусственного интеллекта. Краткий вводный курс : учеб.-метод. пособие / В. И. Алчинов,
А. И. Иванов. – Пенза : Изд-во ПГУ, 2024. – 68 с.
ISBN 978-5-907807-45-7
Рассматриваются нейросетевые технологии статистической обработки малых выборок, основанной на использовании быстрых алгоритмов автоматического обучения и быстрых алгоритмов тестирования
нейросетевых преобразователей. Основной задачей вводного курса является снятие барьера, возникшего сегодня между классической статистикой и технологиями создания и применения нейросетевых решений.
В качестве базовой основы курса используется программное средство моделирования нейросетевых преобразователей биометрических
данных рукописных легко запоминаемых парольных фраз в длинный
очень трудно запоминаемый людьми личный криптографический ключ.
Обучение начинается с вводной лекции и самостоятельного выполнения
трех лабораторных работ, это позволяет обучающимся самостоятельно
получить первоначальные навыки по обучению искусственных нейронных сетей и их тестированию.
Курс ориентирован на курсантов и адъюнктов, уже владеющих основами математической статистики. Специальных знаний по нейроинформатике (программированию) от обучаемых не требуется, также нет
необходимости в освоении глубоких знаний, относящихся к физикоматематическим наукам.
УДК 519.24; 53; 57.017
ББК 32.818

ISBN 978-5-907807-45-7

© Военная академия материальнотехнического обеспечения
имени генерала армии А. В. Хрулёва
(филиал в г. Пензе), 2024

2

СОДЕРЖАНИЕ
Предисловие ...................................................................................................... 4
Введение ............................................................................................................ 20
1. Простейшие нейросетевые модели (бионика – копирование
решений, используемых природой) ............................................................. 24
Л а б о р а т о р н а я р а б о т а № 1. Обучение и тестирование
нейросетевого преобразователя в среде моделирования
«БиоНейроАвтограф».................................................................................... 28
2. Быстрый алгоритм оценки энтропии кодов «Чужой»
на малых выборках в пространстве расстояний Хэмминга .................. 34
Л а б о р а т о р н а я р а б о т а № 2. Оценка стойкости
нейросетевой защиты к атакам подбора при быстром
вычислении энтропии алгоритмом ГОСТ Р 52633.3 ................................. 36
3. Второй тип алгоритмов быстрой оценки энтропии
на малых выборках в пространстве корреляционной
сцепленности разрядов кодов образов «Чужой»....................................... 39
Л а б о р а т о р н а я р а б о т а № 3. Оценка связи
корреляционной сцепленности разрядов длинных кодов
со значениями их энтропии .......................................................................... 40
4. Некоторые технологические аспекты нейросетевого
обогащения данных и извлечения знаний ................................................. 45
Л а б о р а т о р н а я р а б о т а № 4. Гиперболический закон
распределения качества «сырых» биометрических данных ..................... 45
4.1. Рост эффективности нейросетевой добычи знаний при замене
бинарных квантователей троичными квантователями .............................. 47
Л а б о р а т о р н а я р а б о т а № 5. Исследование стойкости
сетей троичных персептронов к атакам подбора ....................................... 50
4.2. Рост эффективности нейросетевой добычи знаний при переходе
от линейного обогащения данных к квадратичным накопителям ........... 52
4.3. Алгоритм сверхбыстрого обучения «на лету» сетей
из по-разному предобученных персептронов ............................................. 54
4.4. Решение логистических задач «комивояжером» по обходу
большого числа случайно расположенных городов .................................. 57
4.5. Предобработка динамики рукописного почерка вычислением
двухмерных сверток Фурье, используемых в среде
моделирования «БиоНейроАвтограф» ........................................................ 60
Заключение ....................................................................................................... 63
Список литературы ........................................................................................ 64

3

ПРЕДИСЛОВИЕ
Первые шаги и современные направления
искусственного интеллекта
В основе пособия лежит спецкурс, прочитанный проф. А. И. Ивановым и проф. В. И. Алчиновым адъюнктам Пензенского артиллерийского инженерного института. Целью авторов является ознакомление обучаемых с важнейшим направлением теории и практики
искусственного интеллекта (ИИ) – представлением и приобретением
знаний в интеллектуальных системах на основе наиболее простых искусственных нейронных сетей. Кроме методов представления и приобретения знаний к основным методам ИИ следует отнести и методы
моделирования рассуждений, и методы планирования поведения,
и динамические интеллектуальные системы. Материал курса не претендует на полноту представления перечня и содержания данных
разделов ИИ в процессе обучения, а преследует цель преодоления барьера «понимания» через решение прикладных вопросов. Курс ориентирован на проведение пяти лабораторных работ и получение собственных навыков по обучению и тестированию нейронных сетей.
Лабораторные работы выполняются для приложений биометрии,
а точнее нейросетевых средств защиты персональных данных через
воспроизведение пользователями рукописных паролей и преобразования их в длинный код криптографического ключа. Выбор такого
типа лабораторных работ обусловлен тем, что АО «Пензенский научно-исследовательский электротехнический институт» еще в 2012 г. создал программный продукт «БиоНейроАвтограф», специально ориентированный на самостоятельное выполнение лабораторных работ
студентами (курсантами), аспирантами (адъюнктами).
Одна из главных характеристик задач, к которым следует применять методы ИИ, состоит в том, что в большинстве случаев, до получения результата решения задачи не известен алгоритм ее решения.
Алгоритмы решения таких задач являются обычно одним из результатов их решения. Для этого человек использует свои знания и компетентность. Это означает, что важнейшим направлением ИИ является
разработка механизмов переноса компетентности – обучения искусственных устройств. При этом считается, что результат решения задачи и сам ход решения должны быть транспарентны (прозрачны) для
человека и допускать простые объяснения результатов и факторов,
на них влияющих. Таким образом, следующей важной характеристикой
задач ИИ является их в значительной степени вербальный характер.

4

Исследователь, создавая начальные компьютерные представления и модели, сравнивает их поведение между собой и с примерами
решения тех же задач специалистом в соответствующей области, модифицирует их на основе этого сравнения, пытаясь добиться лучшего
соответствия результатов. Таким образом, ИИ представляет собой
экспериментальную науку, которая постепенно формализуется, после
исследования тех или иных нейросетевых моделей.
Первое упоминание об ИИ связано с игрой в шахматы, когда
в 1954 г. американский исследователь А. Ньюэлл решил написать
программу для игры, а аналитики корпорации «РЭНД» Дж. Шоу
и Г. Саймон предложили ему свою помощь. В качестве теоретической
основы было решено использовать метод энтропии, предложенный
в 1950 г. Шенноном – основателем теории информации. Точная формализация этого метода была выполнена Аланом Тьюрингом. Он же
промоделировал его вручную.
К работе была подключена группа психологов из Голландии,
изучавших стили игры в шахматы. Через два года совместной работы
был создан язык программирования ИПЛ1 – по-видимому, первый
символьный язык обработки списков. Вскоре была написана и программа «Логик-Теоретик» (1956), предназначенная для автоматического поиска доказательств теорем и исчисления высказываний, которую можно отнести к достижениям в области ИИ. А разработка
собственно программы для игры в шахматы NSS была завершена
в 1957 г. Ее работа основывалась на так называемых эвристиках –
правилах выбора без достаточных теоретических обоснований и описаниях целей. Управляющий алгоритм пытался уменьшить различия
между оценками текущей ситуации и оценками цели или одной
из подцелей.
Той же группой в 1960 г. была создана уже усовершенствованная программа GPS – универсальный решатель задач. Программа GPS
могла справляться с рядом головоломок, вычислять неопределенные
интегралы и некоторые другие задачи. Это привлекло внимание специалистов в области вычислений. Появились программы автоматического поиска доказательств теорем из планиметрии и решения алгебраических задач. Дж. Маккарти в 1963 г. разработал язык символьных
вычислений ЛИСП, основу которого составило использование единого спискового представления для программ и данных, применение
выражений для определения функций, скобочный синтаксис.
К области ИИ стали проявлять интерес и логики. В 1964 г.
С. Маслов (г. Ленинград) опубликовал работу «Обратный метод установления выводимости в классическом исчислении предикатов»,

5

в котором впервые предложил метод автоматического поиска доказательств теорем в исчислении предикатов. В 1965 г. в США опубликовывается работа Дж. А. Робинсона, посвященная другому методу
автоматического поиска доказательства теорем в исчислении предикатов первого порядка – метод резолюций, который послужил опорой
для создания в 1971 г. языка программирования Пролог со встроенной процедурой логического вывода. Затем в 1966 г. В. Турчиным
был разработан язык рекурсивных функций Рефал, предназначенный
для описания языков и разных видов их обработки.
В конце 1960-х гг. появились первые игровые программы, системы для элементарного анализа текста и решения некоторых математических задач, в которых количество перебираемых вариантов
резко снижалось за счет использования различных эвристик и «здравого смысла», что было названо эвристическим программированием.
В дальнейшем программы усложнялись, а эвристики улучшались.
Однако стало ясно, что есть предел совершенствования алгоритма,
за которым качество системы не повышается и возможности алгоритма не расширяются. Для этого недостает знаний в соответствующей
предметной области. Специалисты, решая задачи, достигают высоких
результатов, благодаря своим знаниям и опыту; если программы будут обращаться к знаниям и применять их, то они тоже смогут достичь высокого качества работы.
Такое понимание привело в 1970-е гг. к качественному скачку
в работах по ИИ. В середине 1970-х гг. появились первые прикладные
программы и интеллектуальные системы с использованием различных способов представления знаний – экспертные системы. Одна
из первых экспертных систем DENDRAL Станфордского университета была предназначена для порождения формул химических соединений на основе спектрального анализа. Она сегодня поставляется потребителям вместе со спектрометром. Система MYCIN предназначена
для диагностики и лечения инфекционных заболеваний крови. Система PROSPECTOR прогнозирует залежи полезных ископаемых. С ее
помощью открыты большие запасы молибдена. Система оценки качества воды на основе российской технологии SIMER + MIR обнаружила причины повышения концентрации загрязняющих веществ
в Москве-реке. Система CASNET предназначена для диагностики
и выбора стратегии лечения глаукомы и т.д.
Что касается программ игры в шахматы, с чего начиналась история развития ИИ, то проигрыш чемпиона мира Г. Каспарова в 1997 г.
в матче с программой компании IBM Deep Blue ознаменовал точку
отсчета новой эпохи в развитии ИИ.

6

Последующие разработки в области ИИ привели к прорыву
не только в изначальном игровом, но и во многих классических приложениях ИИ, таких как компьютерное зрение, обработка естественного языка, робототехника, интеллектуальный анализ данных и поддержка принятия решений [1–3].
Так, победа в игре Го программы Alpha Goоt компании DeepMind над сильнейшим игроком Ли Седолем в серии игр 2016 г. (Го –
сложная настольная игра, требующая помимо шахматной логики еще
применения интуиции, творчества и оценочного суждения) стала значительным событием в сфере исследований ИИ. Программа задействует нейронные сети, где эвристические оценки не основаны
на конкретных значениях переменных, закодированных человеком,
а извлекаются самой программой путем 10 млн просмотров сыгранных партий. Алгоритм программы использует комбинационную последовательность достижения для поиска оптимальной стратегии
в дереве игры с новейшими методами машинного обучения в сочетании с интенсивным изучением партий игроков от 6 до 9 дана из примерно 30 млн ходов в 160 тыс. партиях. Метод Монте-Карло и использование данных из теории распознавания образов также стали одними
из основных способов повышения эффективности программы.
Программа Fine Art китайской компании Tencent в марте 2017 г.
обыграла сильнейшего игрока Го Кэ Цзе, который позже сыграл
и с программой Alpha Go, проиграв всухую три партии. После этой игры правительство Южной Кореи заявило об инвестиции 863 млн долларов в исследования в области ИИ. А программа игры в Покер (где
есть блеф) Libratus обыграла четырех лучших игроков в мире. Она
с ними играла три недели и выиграла по фишкам около 2 млн долларов, которые отправили на благотворительность.
Разработчик роботов Boston Dynamics, принадлежащий с 2017 г.
японскому технологическому гиганту Soft Bank, предлагает покупателям роботы Spot с запретом на причинение вреда человеку. Они уже
служат полиции, в ряде операций были заняты обеспечением безопасности сотрудников охраны правопорядка в трудных условиях.
Компания Open Al выпустила последнюю итерацию ИИ GPT-4
с поддержкой не только текста, но и изображений в качестве вводных.
Новая версия нейронной сети может понимать, что изображено
на фото, схеме, рисунке или другом изображении. Способно объяснять данные в виде диаграмм. Она сдала экзамен на адвоката с результатами 10 % лучших участников среди людей.
Американская компания Майкрософт внедряет ИИ в ряде своих
сервисов, в том числе Word, Excel. Используемый с помощью ИИ

7

Copilot инструмент включает в себя работу с GPT-4 от Open Al
(Microsoft Copilot 365). Это сложный механизм обработки и оркестровки для объединения больших языковых моделей (LLM) и бизнесданных в Microsoft Graph, с доступом к приложениям Microsoft 365.
Он может выполнять задания по встречам, электронным письмам, чатам. В сервисе видеозвонков и обмена сообщениями Teams ИИ сможет анализировать ключевые моменты обсуждения и предлагать
дальнейшие варианты действий в режиме реального времени.
В работе [4] обсуждается ИИ, обычно определяемый как способность системы правильно интерпретировать внешние данные, извлекать знания из таких данных и использовать полученные знания
для достижения конкретных целей и задач посредством гибкой адаптации. Многие страны в мире повысили уровень развития ИИ за счет
увеличения финансирования на его развитие.
Таким образом, в настоящее время наблюдается бурное развитие
ИИ в различных сферах деятельности человека.
Искусственный интеллект в военном деле
Разработки в области ИИ набирают популярность в военных системах для наблюдения, разведки, оценки угроз, подводных действий,
кибербезопасности, анализа разведки, управления и контроля, образования и обучения [5].
Военные подразделения США претерпевают изменения в структуре и задачах, которые призваны помочь им стать легче и маневреннее, способными легко быстро перемещаться в горячие точки. Долгосрочное планирование для подготовки к современной войне включает
разработку робототехники для использования в военных целях.
Например, армейская программа Future Combat Systems планирует
сделать треть своих сухопутных войск роботизированными в течение
примерно 15 лет.
Одним из направлений в развитии роботизированных систем является обеспечение возможности беспилотного управления различными видами военного транспорта, для которых применяются методы
ИИ, методы адаптивного и проактивного управления [3]. Формулируются основные требования к управлению перспективными беспилотными системами и разрабатываются технологии пространственного захвата, способные удовлетворить эти требования [5]. Данные
технологии могут эффективно поддерживать постепенный переход
от автоматизированных до полностью роботизированных систем под
единым командованием и контролем [6].

8

Глубокое обучение (DL) используется в области обработки цифровых изображений для решения сложных задач (например, окраска
изображения, классификация, сегментация и обнаружение). Методы
глубокого обучения, например применение сверточных нейронных
сетей (CNN), в основном улучшают производительность прогнозирования с использованием больших данных и мощных вычислительных
ресурсов.
По сравнению с традиционными методами компьютерного зрения (CV), глубокое обучение позволяет инженерам достичь большей
точности в таких задачах, как классификация, семантическая сегментация, обнаружение объектов и одновременная локализация и построение электронной карты (SLAM). Поскольку нейронные сети, используемые в глубоком обучении, обучаются, а не программируются,
системы, использующие этот подход, часто требуют меньшего привлечения экспертов и могут использовать огромный объем данных,
доступных в современных системах.
В свою очередь, глубокое обучение представляет концепцию
сквозного обучения, когда компьютеру предоставляется набор изображений, которые заранее размечены с указанием того, какие классы
объектов присутствуют в каждом изображении. Таким образом, модель глубокого обучения обучается на имеющихся данных, где
нейронные сети обнаруживают базовые шаблоны в классах и автоматически подбирают наиболее характерные особенности по отношению к каждому конкретному классу объекта. Известно, что глубокое
обучение работает намного лучше, чем традиционные алгоритмы, хотя и с некоторыми компромиссами в отношении требований к вычислениям и времени обучения. Однако такие классические алгоритмы,
как детектирование особых точек, например SIFT и SURF, обычно
сочетаются с традиционными алгоритмами классификации машинного обучения для достижения наиболее точных результатов.
Технологии управления на основе ИИ включают также функции
обработки сигналов, распознавания голоса, понимания естественного
языка [7] и синтеза речи. В работе [8] рассмотрены концептуальные
основы автоматизированной обработки неструктурированной информации, представленной на естественном языке, в автоматизированных
системах органов военного управления (ОВУ).
Ряд авторов рассматривает системы ОВУ как сетецентрические
системы управления, в которых объектом управления является распределенная система [9]. Сетецентрическая система характеризуется
следующими свойствами: открытость, самоорганизация, слабая
иерархия в контуре принятия решений и способность порождать цели

9

внутри себя. Основу сетецентрического управления составляют модели систем объектов, взаимодействующих в едином информационном
пространстве.
Одним из актуальных направлений является развитие систем
мониторинга и оценки обстановки. Так, в работах [1–3, 8–10] рассмотрены условия и факторы управления мониторингом военнополитической обстановки, приемы и формы ситуационного анализа
в ходе мониторинга военных конфликтов.
Авторы работы [10] рассматривают проблему анализа методов
прогнозирования, которые должны учитывать максимально возможный
спектр угроз национальной безопасности и базироваться на детальном
анализе межгосударственных отношений, социально-политической обстановки, экономических, научно-технических и демографических возможностей государства. В области повышения оперативности принятия
решений в ходе системного анализа и экспертного оценивания обстановки предложена методология семантико-статистического анализа и количественно-качественного описания ситуаций для совершенствования системы экспертной оценки ВПО.
Авторы работы [11] разработали модуль системы информационной поддержки мониторинга деятельности кораблей военноморских сил (ВМС) иностранных государств, в котором реализованы
следующие функции: отображение и поиск информации по маршрутным указателям телекс-сетей ВС США и НАТО; отображение и поиск
информации по открытым и тактическим позывным ВМС США
и НАТО; предоставление информации по объектам ВМС США и НАТО:
название корабля, база приписки, государственная принадлежность,
данные по тактико-техническим характеристикам и вооружению,
бортовой номер, позывные и маршрутные указатели.
Данные, связанные с национальной безопасностью и обороной
[12], получаемые из множества источников (как открытых, так и закрытых), должны быть полностью проанализированы для принятия
решений. Сегодня данные генерируются движением кораблей, самолетов и транспортных средств, спутников в космосе, беспилотных летательных аппаратов, самолетов-разведчиков, датчиков и радаров
наблюдения на поле боя. Данные, созданные человеком, включают
данные с сайтов социальных сетей. Деловые данные генерируются
на основе всех транзакций электронной коммерции. Аналитика больших данных успешно используется для сбора разведывательной информации, поскольку данные для национальной и военной разведки
появляются непрерывно в мирные и военные периоды, причем их количество экспоненциально увеличивается во время кризисов и войн.

10

Данные из различных источников, в свою очередь, могут быть представлены в различных форматах: видеопотоки, аэрофотосъемка, электронные подписи, сигналы радаров, стенограммы разговоров, тактические отчеты, оцифрованный текст, бумажные документы, карты.
В статье [4] приводится обзор развития и применения технологий больших данных, текущее состояние дел, возможные проблемы
и ограничения, препятствующие их внедрению. Большие данные требуют определенных подходов к работе с ними, например, по возможностям хранения данных на базе NoSQL, по возможности применения
парадигмы распределенных вычислений MapReduce.
Одним из популярных направлений в мониторинге информационного пространства является сбор и анализ данных в социальных сетях. В работе [13] предлагается архитектура интегрированной системы мониторинга и противодействия вредоносным воздействиям
в социальных сетях, в состав которой входят компоненты для сбора,
предварительной обработки и хранения информационных объектов,
семантического анализа вредоносных информационных объектов,
выявления источников атаки и целевых аудиторий, анализа каналов
распространения вредоносных информационных объектов и комплексного распознавания элементов воздействия.
Вследствие разнородности источников информации важной является задача интеграции информации. Ряд работ направлен на разработку хранилищ семантических знаний, включающих онтологии в качестве модели для улучшения совместимости разнородных ресурсов.
Такая модель может автоматически интерпретировать и управлять контекстом военной информации, тем самым облегчая принятие решений.
Для реализации задачи построения модели используются язык вебонтологий и запросов Spar QL. Развивается и другой подход, основанный на применении темпоральных моделей для решения задач интеграции данных [14]. Решению задач сбора, анализа, доведения оперативных данных и управления посвящена работа [15]. Работа [16] посвящена
вопросам оценки эффективности функционирования систем.
В работе [17] рассматривается проблема применения концептуального моделирования комплекса распределенных баз данных
и процессов манипулирования данными при проектировании интеллектуальных информационных систем. Приведены недостатки существующих подходов и обоснована необходимость разработки новых
подходов, методов и технологий, основанных на методах теории ИИ
с применением онтологического подхода, моделей представления
знаний и языков концептуального моделирования. В статье [18]

11

рассматриваются методологические аспекты проектирования интегрированных систем управления ВМФ.
Развитие ситуационных центров позволяет объединить используемые технологии ИИ для принятия оперативных управленческих
решений, контроля и мониторинга [19, 21]. В работе [20] авторами
предложены технологии мониторинга обстановки при ситуационном
управлении критическими объектами, оригинальность которой состоит в многофункциональности и унификации.
Однако, несмотря на возможности ИИ в военных системах, следует учитывать ряд особенностей при их использовании:
– военные системы ИИ должны обеспечивать прозрачность,
чтобы завоевать доверие лиц, принимающих решения (ЛПР), и облегчить анализ рисков – многие методы ИИ представляют собой «черные
ящики»;
– военные системы ИИ должны быть надежными – методы ИИ
могут быть уязвимы для незаметных манипуляций с входными данными даже без каких-либо знаний об используемой технике ИИ;
– многие методы ИИ основаны на машинном обучении, которое
требует больших объемов обучающих данных – в военных системах
часто не хватает данных.
Прикладное значение технологии ИИ получают при решении
задач ОВУ с использованием информационных систем. Интеллектуальные информационные системы делятся на несколько типов [22]:
– системы с коммуникативными способностями;
– экспертные системы (ЭС) и системы поддержки принятия решений (СППР) [23, 24];
– самообучающиеся системы;
– адаптивные системы.
CППР должны позволять ЛПР использовать свои знания, опыт,
объективные и субъективные модели, оценки и данные для реализации методов выработки решений. СППР, как правило, выполняют
следующие функции:
– анализ обстановки, окружения;
– создание сценариев действий;
– оценка созданных сценариев (действий, решений) и выбор
лучшего из них;
– обеспечение постоянного обмена информацией об обстановке,
принимаемых решениях и согласование групповых решений;
– анализ возможных последствий принимаемых решений;
– сбор данных о результатах применения принятых решений
и оценки результатов.

12

Интеграция методов системного анализа и методов ИИ рассматривается рядом авторов как необходимость при построении интеллектуальных СППР. Одним из передовых методов поддержки принятия
решений, используемым в СППР ОВУ наряду с математическими,
продукционными моделями, семантическими сетями и онтологиями,
является метод рассуждений на основе прецедентов [25, 26], где решение новой проблемной ситуации заключается в нахождении схожего случая (события) в прошлом и применении решения к новой проблеме. Прецедентом называют случай (событие), произошедший
в прошлом и выступающий в качестве примера для подобных случаев
(событий) в настоящем и будущем.
Применение такого подхода для решения задач оправдано в случае выполнения следующих условий, касающихся природы прикладной области. Во-первых, задачи должны иметь подобные решения.
В этом случае уже существующий опыт решения задач станет начальной точкой процесса поиска решения для новых подобных задач.
Во-вторых, виды задач, с которыми сталкивается ЛПР, должны иметь
тенденцию к повторению. Это условие гарантирует, что для многих
проблем в будущем будет существовать аналогичный прошлый опыт.
Метод рассуждений по прецедентам имеет свои преимущества
и недостатки по сравнению с другими методами получения решений.
Среди преимуществ можно выделить следующие:
– легкость приобретения знаний (в противоположность системам, основанным на правилах, семантических сетях и онтологиях);
– возможность объяснения полученного решения (в противоположность системам, основанным на нейронных сетях), при этом объяснение на примерах иногда может быть даже лучше по сравнению
с объяснениями, выдаваемыми системами, основанными на правилах,
поскольку последние иногда выдают очень длинные последовательности рассуждений;
– возможность работы в предметных областях, которые невозможно полностью проанализировать и представить в виде правил
(продукций) или семантической сети;
– возможность обучения в процессе работы;
– возможность избежать повторения ошибки;
– возможность получения решений путем модификации прецедентов.
Однако такой метод рассуждения не лишен недостатков. Основными недостатками являются:
– применимость метода только в областях, где соблюдается
принцип регулярности и присутствует повторяемость видов задач;

13

– некомпактное (без обобщения) хранение накопленных знаний
(опыта);
– специфичность процессов представления знаний.
Таким образом, при устранении указанных недостатков, возможно применение метода рассуждения по прецедентам в СППPОВУ
при решении регулярных и повторяемых задач. Уникальные и редкие
задачи, решаемые ОВУ и требующие применения военной науки
и военной стратегии, потребуют применения гибридных схем реализации СППР.
Непрерывное развитие CППP и их внедрение в ОВУ ВС РФ обусловливают переход на качественно новый уровень управления войсками
и инфраструктурой, поскольку обеспечивает реализацию всестороннего
анализа и интерпретации знаний в процессе выработки управленческих
решений с сохранением связи с различными сценариями развития обстановки. СППР, имеющие в своем составе геоинформационную систему (ГИС) [27], обеспечивают интеграцию информационных процессов, геоинформационных и транспортно-логистических функций
и процедур поддержки принятия решений на основе единого операционного пространства электронной карты [28].
Необходимость реализации СППР для ОВУ продиктована наличием неполной и недостоверной информации о текущем состоянии
объектов, процессов и явлений специальной предметной области
(ПрО), слабой формализуемостью возникающих ситуаций, вариативностью и не единственностью возможных управляющих воздействий
[29–31]. Главная задача, определяющая развитие СППР ОВУ, – необходимость организации бесперебойного, безопасного и надежного
информационного взаимодействия с помощью внедрения инновационных технологий и новых управленческих решений. СППР должна
содержать в себе программно-технические средства, обеспечивающие
сбор, обработку, хранение, поддержание в актуальном состоянии информации об объектах и процессах и ее предоставление всем заинтересованным службам, военным специалистам, должностным лицам
и ЛПР ОВУ. Кроме того, СППР должна предоставлять возможность
автоматизированного поиска и принятия к реализации эффективных
сценариев управления войсками (силами), в то числе при выполнении
передислокаций, с целью выполнения поставленной задачи и максимизации показателей эффективности.
Согласно национальной стратегии развития ИИ на период
до 2030 г., утвержденной Указом Президента РФ от 10 октября 2019 г.
№ 490, основная особенность технологий ИИ, к классу которых относят
технологии поддержки принятия решений, – способность имитации

14

когнитивных функций человека для решения конкретных прикладных
задач, при этом за счет применения ИИ должно обеспечиваться достижение результатов, сравнимых с результатами интеллектуальной
деятельности человека.
Традиционно именно ЭС специального назначения выступали
практической реализацией концепций ИИ н предназначались, в основном, для решения задач в «узкой» ПрО путем моделирования знаний и поведения эксперта исследуемой ПрО. Появившиеся СППР для
ОВУ как дальнейшее развитие технологий ЭС концентрировались
уже на общих задачах планирования, прогнозирования и принятия
управленческих решений в условиях слабой структуризации или формализации задач в заданной специальной ПрО.
Таким образом, в настоящее время интеллектуальные СППР
ОВУ представляют собой системы, основанные на знаниях, т.е. интегрируют в себя одну или несколько ЭС для повышения эффективности экспертной оценки ситуации, в условиях которой вырабатываются решения. Разработка концептуальной модели СППР с ИИ – это
вопрос интеграции данных, хранящихся в различных информационных системах и ресурсах, выступающих в качестве различных ЭС.
Список литературы к предисловию
1. Аблов И. В., Быстров И. И., Тарасов Б. В., Ширманов А. В.
Методологические основы применения технологии искусственного
интеллекта в автоматизированной системе органов военного управления // Информатизация и связь. 2019. № 4. С. 135–147.
2. Агафонов А. Н., Русанов А. С. Автоматизация деятельности
должностных лип органов военного управления на основе ГИС-технологий: использование интеллектуальных условных знаков // Информация и космос. 2004. № 2. С. 31–33.
3. Акимов С. В., Акимов Р. Р., Павличенко В. М., Прошкин А. А.
Современные подходы к построению систем поддержки принятия решений должностными лицами органов управления // Проблемы технического обеспечения войск в современных условиях. 2019. С. 50–54.
4. Демидовский А. В., Бабкин Э. А. Интегрированные нейросимволические системы поддержки принятия решений: проблемы
и перспективы // Бизнес-информатика. 2021. Т. 15, № 3. С. 7–23.
5. Буренок В. М., Дурнев Р. А., Крюков К. Ю. Разумное вооружение: будущее искусственного интеллекта в военном деле // Вооружение и экономика. 2018. № 1. С. 4–13.
6. Балицкая К. В. Анализ проблем и пути роботизации управления информационной безопасностью применительно к объектам

15

морской техники и морским транспортным системам // Имитационное
и комплексное моделирование морской техники и морских транспортных систем : сб. тр. V Междунар. науч.-практ. конф. М., 2019.
С. 27–29.
7. Витяев Е. Е., Мартынович В. В. Прозрачное глубокое обучение на основе вероятностных формальных понятий в задаче обработки естественного языка // Известия Иркутского государственного
университета. Сер.: Математика. 2017. Т. 22. С. 31–49.
8. Быстров И. И., Козичев В. Н., Ширманов А. В. Автоматизированная обработка неструктурированной информации в перспективных
автоматизированных системах военного назначения: концептуальные
основы // Военная мысль. 2018. № 8. С. 54–64.
9. Боговик А. В., Губская О. А., Фатьянова Е. В. О перспективных технологиях построения распределенных автоматизированных
информационно-измерительных систем мониторинга и управления
транспортных сетей связи // Проблемы технического обеспечения
войск в современных условиях : тр. IV межвуз. науч.-практ. конф.
СПб., 2019. Т.1. С. 104–107.
10. Богатырев Э. Я., Макеев Ю. Д., Малышев В. П. Анализ методов военно-политического прогнозирования // Стратегия гражданской защиты: проблемы и исследования. 2013. Т. 3, № 2. С. 35–53.
11. Головнин О. К., Ситников П. В., Уваров Ю. А. Архитектура
специальной геоинформационной системы поддержки принятия решений при управлении в условиях наступления нештатных ситуаций //
Телекоммуникация и кибербезопасность: специальные системы
и технологии : тр. III Межвед. науч.-практ. конф. Серпухов : ИИФ,
2021. С. 33–35.
12. Антонович П. И., Макаренко С. И., Михайлов P. Л., Ушанев К. В. Перспективные способы деструктивного воздействия на системы военного управления в едином информационном пространстве //
Вестник Академии военных наук. 2014. № 3 (48). С. 93–101.
13. Виткова Л. А., Котенко И. В., Федорченко А. В., Хинезон А. В.
Распределенный сбор и обработка данных в системах мониторинга
информационного пространства социальных сетей // Актуальные
проблемы инфотелекоммуникаций в науке и образовании : сб. науч.
ст. VIII Междунар. науч.-практ. конф. СПб., 2019. Т. 1. С. 228–232.
14. Бутакова М. А., Ковалев С. М., Климанская Е. B. Модель релевантности слабоструктурированной информации в темпоральных
базах данных // Известия Южного федерального университета. Технические науки. 2014. № 5 (154). С. 134–140.

16

15. Бутаев М. М., Папко А. А., Курносов В. Е. [и др.]. Использование элементов теории массового обслуживания при описании
и управлении ресурсами и рабочей нагрузкой адаптивных математических моделей вычислительных систем с технологией виртуализации
ресурсов // XXI век: итоги прошлого и проблемы настоящего плюс.
2018. Т. 7, № 4 (44). С. 71–78.
16. Виноградова Е. Ю. Экспертные системы поддержки принятия решений на основе нейросетевых механизмов // Наука – образование – экономика: новые тренды и риски : сб. науч. тр. Екатеринбург,
2022. С. 46–52.
17. Бахмут А. Д., Крылов А. В., Охтилев П. А., Охтилев М. Ю.
Концептуальная модель процессов манипулирования данными при
проектировании интеллектуальных информационных систем // Научная сессия ГУАП : сб. тр. конф. СПб., 2018. С. 228–231.
18. Анцев Г. В., Красников А. К., Новиков Е. С. Методологические аспекты проектирования интегрированных систем управления
ВМФ // Автоматизация процессов управления. 2016. № 2. С. 4–9.
19. Бураков В. В., Мустафин Н. Г., Охтилев М. Ю. Инструментальные средства и интеллектуальные технологии систем поддержки
принятия решений в ситуационных центрах // Перспективные направления развития отечественных информационных технологий : тез.
докл. V межрегион. науч.-практ. конф. Севастополь, 2019. С. 114–116.
20. Алексеев А. В., Соколов Б. В., Охтилев М. Ю. Модель и алгоритм мониторинга обстановки при ситуационном управлении критическими объектами // XIII Всероссийское совещание по проблемам
управления ВСПУ-2019 : сб. тр. XIII Всерос. науч.-практ. конф. М.,
2019. С. 1977–1982.
21. Алексеев А. В., Петров А. А., Силиверстов С. Л. Цифровизация управления при береговой информационной поддержке капитанов судов // Имитационное и комплексное моделирование морской
техники и морских транспортных систем. СПб., 2019. С. 22–26.
22. Гаскаров Д. В. Интеллектуальные информационные системы. М. : Высш. шк., 2003. 430 с.
23. Береза Д. А. Расширенная классификация систем поддержки
принятия решений и экспертных систем // Современная наука, общество и образование: актуальные вопросы, достижения и инновации :
сб. ст. Междунар. науч.-практ. конф. : в 2 ч. Ч. 1. Пенза, 2022. С. 72–75.
24. Головнин О. К., Михеева Т. И., Сидоров А. В. Автоматизированная система интеллектуальной поддержки принятия решений
в распределенных средах // Вестник Уфимского государственного авиационного технического университета. 2014. Т. 18, № 5 (66). С. 131–138.

17

25. Башлыков А. А. Применение методов теории прецедентов
в системах поддержки принятия решений при управлении трубопроводными системами // Автоматизация, телемеханизация и связь в нефтяной промышленности. 2016. № 1. С. 23–32.
26. Глухих И. Н., Глухих Д. И. Гибридный CBR-подход в системах мониторинга и поддержки принятия решений на сложных технологических объектах // The Scientific Heritage. 2021. № 72-1. С. 24–29.
27. Болбаков Р. Г., Попов К. С. Высокопроизводительная обработка пространственной информации больших объемов и потоков //
Образовательные ресурсы и технологии. 2020. № 3 (32). С. 80–88.
28. Блискавицкий А. А. Обусловленность проектных решений
геологических информационно-аналитических картографических систем свойствами геоинформации // Геоинформатика. 2010. № 3.
С. 28–41.
29. Акофф Р., Эмери Ф. О целеустремленных системах. М. : Советское радио, 1974. 272 с.
30. Астахова Т. Н., Романов А. В., Кривоногов С. В. Анализ моделей и принципов системного моделирования для решения многокритериальной задачи принятия решений // International Journal of
Open Information Technologies. 2020. T. 8, № 8. C. 17–25.
31. Васильев В. И., Гусев Ю. М., Ефанов В. Н. [и др.]. Многоуровневое управление динамическими объектами. М. : Наука, 1987.
10 с.
32. Алфёров В. В. Информационно-аналитическое обеспечение
инновационной деятельности в Минобороны России: направления
развития // Военная мысль. 2019. № 3. С. 6–12.
33. Андреева О. А. Пространственное проектирование с позиций
системного анализа // Конструкторское бюро. 2019. № 3. С. 70–77.
34. Андрющенко В. Ю. Применение геоинформационных систем военного назначения: проблемы и пути их решения // Военная
мысль. 2018. № 3. С. 14–18.
35. Белоусова Е. Е. Тенденции развития интеллектуальных систем поддержки принятия решений // Информатика: проблемы, методы, технологии : материалы XXII Междунар. науч.-практ. конф. Воронеж, 2022. С. 1108–1113.
36. Беляков С. Л. Интеллектуальная, рекомендательная система
для пространственного анализа // Известия Южного федерального
университета. Технические науки. 2022. № 3 (227). С. 14–26.
37. Воронкин С. Г., Трубецкой А. И. Концептуальные вопросы
создания геоинформационной технологии военного назначения // Информация и космос. 2005. № 4. С. 53–64.

18

38. Гаврилова В. В., Гаврилова В. В., Шайтура С. В. Экспертные
геоинформационные системы // Славянский форум. 2013. № 2.
С. 30–41.
39. Гамма Э. Приемы объектно-ориентированного проектирования: паттерны проектирования. СПб. : Питер, 2020. 448 с.
40. Гвишиани А. Д. Геоинформатика и системный анализ в геофизике и геодинамике // Физика Земли. 2019. № 1. С. 42–60.
41. Гейдор В. С. Применение ГИС-технологий при формировании геопространственной базы данных особо охраняемых природных
территорий // Актуальные проблемы науки и техники : тез. докл. Нац.
науч.-практ. конф. Ростов н/Д., 2019. С. 986–988.
42. Гладких В. П., Самойлов Л. А. Повышение эффективности
транспортного обеспечения группировок войск // Специальная техника и технологии транспорта. 2019. № 4 (42). С. 24–30.
43. Глотов А. А. Интеллектуализация геоинформационных систем: подходы и направления // Геоматика. 2015. № 4. С. 18–24.
44. Говоритель В. В. Проблема обеспечения качества автоматизированных систем военного назначения и пути её решения // Наукоемкие технологии в космических исследованиях Земли. 2019. Т. 11,
№ 2. С. 64–72.

19

ВВЕДЕНИЕ
По Указу В. В. Путина [1] к 2030 г. Россия должна стать одним
из лидеров по разработке и применению приложений ИИ. В связи
с этим необходимо начинать подготовку кадров для разработки
и применения приложений ИИ как можно раньше, опираясь на знания, полученные обучающимися в рамках классической статистики
и линейной алгебры. Эти знания обычно появляются у курсантов
(студентов) на втором или третьем курсе, т.е. на втором или третьем
году обучения будущие специалисты уже могут выполнять лабораторные работы по сетям искусственных нейронов. Тем самым они могут получить первоначальные навыки (компетенции) по применению
и тестированию приложений ИИ. К сожалению, сегодня этого не происходит. Причина состоит в том, что глубокой и всеобъемлющей теории разработки и применения приложений ИИ пока не создано. Сегодня хорошо исследованы только достаточно простые нейронные сети
персептронов, под которые в России разработаны два базовых стандарта. Первый стандарт ГОСТ Р 52633.5 [2] автоматического обучения сетей из 256 искусственных нейронов (персептронов). Второй
стандарт ГОСТ Р 52633.3 [3] регламентирует процедуры быстрого тестирования качества работы уже обученной нейросети.
Почему эти стандарты появились в России и почему их нет
и не может появиться в наднациональной системе международных
стандартов? Проблема состоит в том, что появление новых стандартов – это «тихий» захват будущих рынков. Примерно с 2002 г., пользуясь своей гегемонией, США взяли на себя разработку подавляющего большинства международных стандартов в техническом комитете
ISO/IEC-JTC1sc37 «Биометрия». За прошедшее время комитетом sc37
было создано порядка 200 международных стандартов по биометрии.
При этом по нейросетевой биометрии нет ни одного международного
стандарта. Исключениями являются только отечественные национальные стандарты. Причина проста – международные стандарты
пишутся исключительно специалистами США (Англия, Германия,
Польша и прочие страны НАТО только голосуют за их принятие).
Специалисты стран НАТО в разработках не участвуют. Кроме того,
специальные службы США не допустят перевода национальных стандартов России на уровень международных. Все, что делает Россия
в интересах поддержки своего национального суверенитета, США
и странами НАТО рассматривается как угроза для них. При этом
Польша и Россия имеют по одному голосу в международном комитете по стандартизации. Польша всегда будет голосовать против любого

20

предложения России. Гримасой якобы международной демократии
является то, что Польша, которая была когда-то фрагментом Российской империи, теперь получила возможность блокировать инициативы современной России.
В связи с этим в ближайшем будущем специалистам США уже
нет необходимости писать свои национальные стандарта, они сразу
будут писать международные стандарты под свою промышленность,
обеспечивая ей будущие преимущества. По счастью, сегодня положение меняется, в России создан новый технический комитет по стандартизации ИИ (ТК № 164, аналог sc42), который к концу 2025 г. разработает порядка 150 национальных стандартов и гармонизует под
русский язык порядка 50 уже созданных международных стандартов.
Для освоения основ ИИ оба национальных стандарта России [2, 3]
имеют принципиальное значение. Во-первых, они являются первыми
в мировой практике документами, регламентирующими обучение
и тестирование нейросетей на малых выборках. Во-вторых, при их
разработке и интерпретации оказалось достаточно основ классической математической статистики. Классики вполне достаточно только
для описания простейших нейросетевых конструкций. Однако для
описания многослойных сверточных сетей глубокого обучения математических конструкций прошлого века уже недостаточно, необходимо создавать высокоразмерную нелинейную алгебру (нелинейную
алгебру нейросетевых функционалов). Когда будет создан соответствующий математический аппарат, трудно загадывать.
Еще одним важным аргументом в пользу изучения простейших
нейронных сетей преобразования биометрии в длинный код является
то, что криптографической общественностью хорошо исследована энтропия Шеннона. Если все операции выполнены в криптографических
примитивах, то энтропия выходных кодов должна точно совпадать
с числом разрядов криптографического ключа. Это обстоятельство
позволяет оценить предел возможных значений внутренней энтропии
нейросети, защищающей доступ к личному криптографическому
ключу пользователя.
Криптографам выгодна энтропия как удобная характеристика
уровня защищенности доступа к информации. Относительная простота оценок энтропии обеспечивает ряд преимуществ при оценках качества работы нейросетевых математических конструкций.
Сущность оценки «качества» признака с использованием энтропии по Шеннону состоит в следующем.
Для постановки и решения задач машинного обучения нейросетей требуются примеры, базовые знания, которые характеризуются

21

атрибутами заранее заданного множества примеров S. Достаточно разумная эвристика при нахождении лучшего атрибута основывается
на подсчете количества классов Сk в каждом из подмножеств, порожденных различными значениями атрибутов. Более точно функция, используемая для выбора каждого очередного атрибута – кандидата Ai,
должна увеличивать (по сравнению с исходной ситуацией) количество информации о классах, помечающих обучающие выборки при
разбиении рассматриваемого множества S на подмножества S1, S2, … ,
Sn в соответствии со значением атрибута Ai.
Пусть p cjk – вероятность того, что случайно взятый из Sj пример
есть Ck. Она может быть оценена относительной частотой
c
n jk
ck
pj 
,
nj
где ncjk – число примеров Ck в Sj и nj – число классов в Sj. Энтропия
Шеннона подмножества Sj вычисляется по следующей формуле:

 

H S j   p jk  log 2 p jk .
c

c

k

Если значения атрибута Ai разбивают множество S примеров
на подмножества Sj, то энтропия семейства подмножеств Sj, порожденных значениями Ai, есть

   

H  S , Ai    P S j  H S j ,
j

где P(Sj) – вероятность принадлежности некоторого примера Sj и оценивается отношением мощностей подмножеств Sj к мощности S:

 

P Sj 

Sj
S

.

Увеличение количества информации I при таком делении происходит благодаря уменьшению энтропии:
I(S, Ai) = H(S) – H(S, Ai),
где H(S) есть априорная (до разделения) энтропия S.
В целом искусственный интеллект удобно рассматривать как
некоторую технологию противодействия внешней энтропии окружающей среды (противодействия энтропии хаоса внешних случайностей). Эффективные приложения ИИ должны позволять извлекать
из внешней среды некоторый объем дополнительной информации,

22

которая позволит его владельцу снизить давление на него внешнего
хаоса случайных событий, т.е. приложения ИИ можно рассматривать
как некоторые обогатители информации, которая позволит снизить
энтропию внешнего хаоса случайностей.
Через нейросетевые приложения биометрии ИИ превращает
уникальные параметры каждого человека в его трудно запоминаемый
длинный криптографический ключ (этот процесс исследуется в лабораторных работах по данному курсу).
Через нейросетевые приложения ИИ, используемые на бирже,
может учитываться множество случайных факторов колебания цен
на большое число товаров [4]. Учитывать при принятии решений
множество цен люди-брокеры не могут, так же, как обычные люди
не могут запомнить свой длинный криптографический ключ. Лабораторных работ по нейросетевому анализу (балансированию) цен на
рынке пока нет, но они могут появиться в ближайшем будущем. Эффективное материально-техническое обеспечение ВС РФ – это не менее сложная задача, чем торговля на бирже.
В целом понятие энтропии (противодействие внешней энтропии
через обогащение информации) оказалось методологически полезным
для понимания нейросетевых основ ИИ. В этом контексте данный
краткий курс нейросетевых основ ИИ может оказаться интересен
не только для начинающих исследователей, но и для специалистов,
имеющих значимые разработки гораздо более сложных нейросетевых
архитектур.

23

1. ПРОСТЕЙШИЕ НЕЙРОСЕТЕВЫЕ МОДЕЛИ
(БИОНИКА – КОПИРОВАНИЕ РЕШЕНИЙ,
ИСПОЛЬЗУЕМЫХ ПРИРОДОЙ)
Следует отметить, что становление архитектур современных
вычислительных машин происходило практически параллельно с гораздо более медленным развитием нейросетевых архитектур. Одна
из первых работ по нейронным сетям опубликована в 1943 г. [5].
В том же 1943 г. Пенсильванский университет получил заказ от Баллистической исследовательской лаборатории Министерства обороны
США на разработку первой ламповой ЭВМ.
На сегодняшний день вычислительные машины с архитектурой
фон Неймана доминируют, вычислительные машины с нейросетевыми архитектурами только начинают свое промышленное использование. Почему параллельно с развитием вычислителей с архитектурой
фон Неймана вычислители с нейросетевой архитектурой развивались
много медленнее? Ответ прост – на цифровые вычислители фон Неймана легко перекладывается классическая математика, созданная
людьми ранее за прошедшие 10 000 лет цивилизации. Совершенно
иная ситуация возникла для нейросетевых вычислительных конструкций. Они очень эффективны – именно их использует природа,
однако мы пока не знаем, как их программировать (обучать). Приличной математики под быстрое и эффективное обучение больших
и очень больших нейросетей пока НЕТ. Можно надеяться на то, что
она появится в ближайшее время, но пока ее нет.
Одной из причин, по которой интерес к нейросетевым архитектурам не угасает с 1943 г., является то, что они практически не потребляют энергии, решая задачи огромной вычислительной сложности в реальном времени. Современные машины с архитектурой фон
Неймана легко справляются с одномерными задачами (формально,
записываемыми в виде функции одной переменной – f(x)). При этом
они потребляют примерно 0,1 Вт мощности внешнего источника.
Когда речь идет о решении двухмерных задач – f(x1, x2), то для машин
фон Неймана обычно требуется графический ускоритель, потребляющий примерно 10 Вт. Для решения трехмерных задач f(x1, x2, x3) уже
требуется графическая станция, потребляющая до 1000 Вт. Мы
наблюдаем тупик экспоненциального роста мощности при попытках
увеличить размерность, решаемой задачи вычислителями с архитектурой фон Неймана.

24

Совершенно иная ситуация наблюдается в природе. Так, паталого-анатомическим фактом является то, что каждый из нас имеет
в своей голове так называемые «пирамидальные» нейроны, имеющие
до 10 000 входов [6]. Последнее означает, что такие вычислительные архитектуры должны решать 10 000-мерные задачи – f(x1, x2, x3, …, x10000)
в реальном времени. При этом наш мозг потребляет порядка
40 Вт мощности. Мы наблюдаем огромные вычислительные возможности нашего мозга при крайне малом потреблении им энергии. Такое
соотношение вычислительных ресурсов к потребляемой мощности
принципиально недоступно, для господствующих сегодня вычислителей с архитектурой фон Неймана.
Следует подчеркнуть, что Маккалок и Питс [5] в 1943 г. изложили идею бинарных нейросетевых вычислителей. Дальнейшие исследования физиологов показали, что бинарных вычислителей в природе не существует [7].
На рис. 1 приведен естественный нейрон нашего мозга или мозга иного живого существа.

Рис. 1. Естественный нейрон, имеющий длинный аксон, играющий роль
«плохого» провода передачи его данных другим нейронам

25

Маккалок и Питс [5] в 1943 г., видимо, руководствовались идеями фон Неймана по созданию перспективных ламповых ЭВМ на базе триггеров и Булевой бинарной логики. На самом деле элементы
ЭВМ по сравнению с естественными нейронами имеют огромное техническое преимущество. Элементы ЭВМ соединены медными хорошо изолированными проводами, по которым сигналы распространяются со скоростью света. Кроме того, триггеры и бинарная логика
питаются от внешнего источника энергии нужной мощности.
В природе такого нет. Естественные нейроны вынуждены сами
вырабатывать внутри себя энергию и передавать импульсы по «плохим» проводам со скоростью звука. Если бы в наших естественных
мозгах нейросетевая логика была действительно бинарной, то физиологи наблюдали бы в аксонах появление одного или двух импульсов.
Таких данных нет. Физиологи наблюдают пачки всплесков из нескольких импульсов. Так, на рис. 1 приведены две пачки, состоящие
из двух и пяти импульсов. Все это свидетельствует об использовании
естественными нейронами не бинарной, а более сложной q-арной логики. Фактически каждый естественный нейрон играет роль и вычислительного элемента и модема передачи данных в q-арной логике
по «плохой» длинной линии его аксона.
Проведенные за рубежом исследования [8] показали, что архитектура объединения естественных нейронов (рис. 1) крайне перспективна для многоядерных процессоров. Такую архитектуру сегодня
называют нейроморфной, подчеркивая то, что каждое вычислительное ядро может воспроизводить свой достаточно сложный искусственный нейрон, при том, что все вычислительные ядра процессора
должны иметь возможность передачи данных в любое иное ядро.
Например, связь между ядрами может выполняться по USB протоколу передачи данных.
Применительно к нашим задачам нет смысла переходить к более
сложным q-арным искусственным нейронам, воспроизводящим реальные нейроны. На начальном этапе изучения имеет смысл рассматривать простейшие бинарные искусственные нейроны (персептроны).
На рис. 2 представлена цепочка преобразований, заложенная в среду
моделирования «БиоНейроАвтограф» [9, 10].
При воспроизведении рукописного символа «а» возникают колебательные движения по двум координатам x(t), y(t). Если вычислять
по каждой из координат 32 одномерных коэффициентов Фурье, мы
могли бы получить 64 контролируемых биометрических параметра.

26

Рис. 2. Цепочка преобразований рукописного образа «а» средой
моделирования «БиоНейроАвтограф» в код личного
криптографического ключа длиной в 256 бит

Так как речь идет об анализе двухмерных данных, необходимо
вычислять матрицу параметров двухмерного преобразования Фурье
размерностью 3232. Всего матрица будет содержать 1024 контролируемых биометрических параметра. В верхней левой наддиагональной части матрицы содержатся низкочастотные (наиболее стабильные
параметры), в нижней части располагаются высокочастотные (нестабильные параметры). При сжатии данных алгоритмами IMPEG, JPEG
обычно отбрасывают элементы под диагональю. В среде «БиоНейроАвтограф» используются 416 коэффициентов двухмерного Фурье
преобразования, располагающихся над диагональю матрицы.
Обучение сети из 256 персептронов выполняется автоматически
алгоритмом ГОСТ Р 52633.5 [2]. Обучение не является итерационным. Знаки весовых коэффициентов выбираются исходя их требуемого отклика, обучаемого нейрона. Модуль весового коэффициента
персептрона вычисляется как отношение модуля математического
ожидания биометрического параметра к его стандартному отклонению:
E ( xi )
(1)
i 
,
( xi )
где Е(.) – оператор вычисления математического ожидания; σ(.) –
оператор вычисления стандартного отклонения.
Каждый персептрон имеет по 24 входа, подключенных к данным
входного вектора случайно.

27

Лабораторная работа №1
ОБУЧЕНИЕ И ТЕСТИРОВАНИЕ НЕЙРОСЕТЕВОГО
ПРЕОБРАЗОВАТЕЛЯ В СРЕДЕ МОДЕЛИРОВАНИЯ
«БИОНЕЙРОАВТОГРАФ»
1. Режим ввода примеров
рукописного образа «Свой»
Для начала работы необходимо запустить исполняемый файл.
После запуска файла «БиоНейроАвтограф.exe» среды моделирования
появляется экранная форма приложения (левая часть рис. 3). Далее
на этой форме следует инициировать поле «Обучение» (отмечено
стрелкой). Экранная форма режима «Обучить» отображена в правой
части рис. 3.

Рис. 3. Две экранных формы среды моделирования
«БиоНейроАвтограф»

В режиме «Обучить» обучающийся манипулятором «мышь»
вводит примеры рукописных образов «а» (правая часть рис. 1) своим
почерком. После написания рукописного образа следует инициировать поле ввода «Добавить образ» (поле отмечено стрелкой). После
инициации этого поля исчезает введенный рукописный образ из поля
ввода и появляется следующий номер в списке введенных образов.
2. Режим задания длинного пароля
из 32 случайных знаков
К сожалению, обычные люди не могут запоминать длинные
случайные последовательности. Обычные люди пользуются короткими
осмысленными паролями (например, именем и днем рождения). Такие пароли доступа опасны из-за того, что они легко подбираются

28

злоумышленниками. Если пароль доступа длинный, то подобрать его
(угадать) практически невозможно. Для смены пароля длиной от 1
до 32 знаков в среде моделирования предусмотрен специальный режим. Вход в режим осуществляется из первой экранной формы, последующие манипуляции режима отражены на рис. 4.

Рис. 4. Фрагменты экранных форм, позволяющие перед обучением
задать трудно запоминаемый случайный пароль из 32 знаков

Сложность задачи запоминания длинного пароля из 32 случайных знаков обычно очевидна для старшеклассников. Если это не так,
то любой школьник может продемонстрировать свои способности
преподавателю или окружающим.
3. Режим быстрого «Обучения сети»
на малых обучающих выборках
Следует отметить, что в среду моделирования встроен ограничитель числа примеров, на которых выполняется функция «Обучить
сеть». Поле «Обучить сеть» может быть инициируема, только если
введены восемь и более примеров распознаваемого образа. При меньшем числе примеров поле «Обучить сеть» заблокировано.
Если примеров достаточно для обучения, то среда моделирования выполняет двухмерное преобразование Фурье. Процедура позволяет получить 416 коэффициентов, которые являются анализируемыми биометрическими параметрами. Обучение нейросети выполняется
стандартизованным алгоритмом [2], который связывает статистики
416 входных биометрических параметров рукописного образа «а»
с кодом криптографического ключа длинной в 256 бит (32 случайно
выбранных знаков).
Наличие примеров достаточно большой обучающей выборки
и наличие заданного выходного кода криптографического ключа

29

(желаемого отклика нейросети) позволяет инициировать режим
«Обучить сеть». Желательно, чтобы при выполнении лабораторной
работы школьник по своим часам или по часам компьютера оценил
время, затрачиваемое на обучение нейросети. Начало процесса обучения – это момент инициации режима «Обучить нейросеть». Окончание процесса обучения отражается появлением отчетной экранной
формы, приведенной на рис. 5.

Рис. 5. Итоговый отчет процедуры автоматического обучения
нейросети преобразованию 416 биометрических параметров
рукописных примеров в выходной код

При выполнении лабораторной работы на обычном офисном
компьютере время обучения нейросети алгоритмом ГОСТ Р 52633.5
[2] обычно занимает от 0,1 до 2,5 с, что свидетельствует о высоком
уровне скорости автоматического обучения (низких вычислительных
затратах, использованного алгоритма). В сравнении с очень сложными алгоритмами глубокого обучения [11, 12] стандартизованный алгоритм [2] работает примерно в миллиард раз быстрее.
Вторым важным моментом сетей ГОСТ Р 52633.5 [2] является
их обучение на малых выборках. Так, экранная форма рис. 3 отражает
ситуацию, когда обучение выполнено на очень малой выборке
в 11 примеров. Обучающая выборка примерно в миллион раз меньше,
чем обучающая выборка для многослойных сверточных сетей глубокого обучения [11, 12].
Два последних момента должны обязательно отражаться в отчете по лабораторной работе, выполняемом обучающимся.

30

4. Режим быстрого «Тестирования сети»
по статистикам ее выходных кодов
Еще одним принципиально важным элементом промышленнонейросетевых технологий является тестирование. В среде моделирования реализовано несколько режимов тестирования. Самым простым
режимом является рукописное воспроизведение пользователем верного рукописного образа «а». В этом случае инициализация поля «Проверить» приводит к появлению в отчетной форме бинарного ключа
на выходе нейросети (левая часть рис. 6).

Рис. 6. Отчет среды моделирования о тестировании
на одном примере «Свой»

К сожалению, бинарная форма представления данных трудно
воспринимается людьми. В связи с этим в отчетной форме предусмотрено поле «Символьное представление». Инициализация этого
поля дает преобразование отчетной формы к символьному представлению данных (правая часть рис. 6). Важным является то, что
символьный код в левой части рис. 6 и в левой части рис. 4 полностью совпадает, т.е. пользователю нет необходимости запоминать
длинный код случайного ключа. Пользователю достаточно помнить
короткий осмысленный рукописный пароль. В нашем случае он состоит из одной буква «а», написанной рукою пользователя. Реальный
рукописный пароль должен содержать большее число букв, например,
это может быть название города «Пенза» либо села, реки, ручья, улицы. Запоминать подобные слова легко, однако их обязательно сохранять в тайне. При выполнении лабораторной работы ученики обязательно должны освоить типовой прием извлечения из приложения
длинного случайного пароля. Для этого требуется выделить выходной
код, как это показано на рис. 6. Далее этот код следует разместить
в некоторое приложение безопасности. Как итог, пользователь всегда
может убедиться в работоспособности и полезности приложений

31

искусственного интеллекта в контексте анализа его личной нейросетевой биометрии.
Вторым важным свойством нейросетевой биометрии является ее
стойкость к попыткам атак подбора. Для проверки стойкости средств
защиты к атакам подбора необходимо написать иной рукописный
символ, например, символ «б». При инициировании поля «Проверить» этот символ дает иной выходной код, приведенный на рис. 7.

Рис. 7. Отклики нейросети, обученной распознавать символ «а»,
на две разные реализации другого символа «б»

Среда моделирования «БиоНейроАвтограф» при сравнении бинарных кодов в отчете отображает не совпадающие разряды звездочками. При проверке первых восьми бит последовательности возникает код «*100**00» (левая часть рисунка). Мы наблюдаем расхождение
в трех битах. Второй код, полученный от второй реализации символа «б», отличается в четырех битах «*1*0**0*» (смотри первые восемь бит последовательности в правой части рисунка).
При нейросетевом анализе рукописного образа «б» каждая его
реализация дает случайные коды. Эти коды имеют высокое значение
энтропии (высокий уровень случайности порядка 30 бит). Последнее
является следствием того, что нейросеть была предварительно обучена на распознавание другого рукописного образа «а».
Если предъявлять нейросети примеры образа «а», то она будет
откликаться на них практически одинаковыми кодами. Эти коды будут иметь крайне малую случайную составляющую. Они являются
практически детерминированными, их энтропия близка к нулевой.
В связи с вышеизложенным, оценивать качество работы нейросети оказывается выгодно в пространстве расстояний Хэмминга [7],
подсчитывая число не совпавших бит в выходном коде (рис. 6 и 7).

32

Выводы по лабораторной работе № 1
1. Автомат обучения работает при размере обучающей выборки
в 8 и более примеров образа «Свой». Время обучения – не более 1 с.
2. Выходной код ключа легко изменяем, код имеет длину
до 256 бит, нет необходимости его запоминать.
3. Ввод любого другого символа при распознавании дает код,
отличающийся от эталона 20 и более бинарными символами от ключа
обучения.
4. Возможно сохранение данных, на которых нейросеть обучалась и тестировалась.
5. Энтропия откликов кодов-откликов нейросети «Свой» близка
к нулю, так как коды повторяются.

33

2. БЫСТРЫЙ АЛГОРИТМ ОЦЕНКИ ЭНТРОПИИ
КОДОВ «ЧУЖОЙ» НА МАЛЫХ ВЫБОРКАХ
В ПРОСТРАНСТВЕ РАССТОЯНИЙ ХЭММИНГА
Энтропия выходных кодов ключа является мерой уровня случайности состояний его разрядов. Формально энтропия Шеннона вычисляется по следующей формуле:
2256

H (" x1 , x2 ,..., x256 ")   Pi  log 2 ( Pi ),

(2)

i 1

где Рi – вероятность обнаружения i-го состояния длинного кода.
Проблема вычислений по формуле (2) состоит в необходимости
использовать очень большой объем выборки. Необходимо использовать более чем 2256 примеров ключей. Задача имеет экспоненциальную вычислительную сложность от длины ключа. В связи с этим
необходимо для контроля качества нейросетевой защиты информации
оценивать энтропию выходных кодов алгоритмами меньшей вычислительной сложности.
Один из таких алгоритмов рекомендует стандарт ГОСТ Р 52633.3
[3], он построен на переходе от анализа полного кодового пространства в 2256-состояний к статистическому анализу расстояний Хэмминга.
В момент обучения нейросети ключ «Свой» известен. Пользуясь
этим, для любого бинарного кода «Чужой» мы можем вычислить расстояние Хэмминга (https://ru.wikipedia.org/wiki/Расстояние_Хэмминга):
"h" 

256

 (" сi ")  (" хi ") ,

(3)

i 1

где " сi " – состояние i-го разряда кода «Свой»; " хi " – состояние
i-го разряда кода «Чужой»;  – операция сложения по модулю два.
В пространстве расстояний Хэмминга легко оценивается энтропия Шеннона для разных биометрических образов «Чужой», эта ситуация отображена на рис. 8.
В силу основной теоремы статистики (сложение случайных величин всегда нормализует сумму) переход от обычных длинных кодов к расстояниям Хэмминга (3) всегда приводит к нормализации
данных. В связи с этим на рис. 8 распределения расстояний Хэмминга
отображены нормальными распределениями.
Удобство такого представления данных позволяет «на лету»
оценивать энтропию Шеннона по значениям математических ожиданий расстояний Хэмминга того или иного образа «Чужой».

34

Рис. 8. Эффект нормального распределения откликов
нейросети на биометрические образы «Чужой»
в пространстве расстояний Хэмминга

Из рис. 8 видно, что Е(h1)  80 бит, Е(h2)  45 бит, Е(h3)  150 бит.
Как результат самым близким к образу «Свой» является образ «Чужой-2». Если мы построим генератор, воспроизводящий программно
образы «Чужой-2», то получим отклик h = 0 c вероятностью
P2  pnorm(0,45,15) = 0,00135. Для расчетов использована функция
MathCAD {pnorm(h,E(h), σ(h))}, позволяющая найти вероятность появления состояния h = 0 для нормально распределенных данных с математическим ожиданием –45 бит и стандартным отклонением
–15 бит.
В итоге получается, огромное ускорение вычислений за счет
снижения объема тестовой выборки. В свою очередь появляется возможность быстрого оценивания энтропии Шеннона – Хэмминга
по следующей формуле:

H (" x1, x2 , ..., x256 ")   log 2 ( P2 )   log 2 (0,00135)  9,53 бит .

(4)

Появление состояния h = 0 эквивалентно угадыванию ключа
«Свой». Для угадывания ключа длиной примерно в 10 бит достаточно
примерно 10 000 примеров, похожих на образ «Чужой-2».
Отметим, что для оценки вероятностей ошибок второго рода
P2  0,00135 по международному стандарту [13] требуется выборка
от 10 000 до 30 000 опытов, т.е. отказавшись от прямых тестов
в пользу тестов в пространстве расстояний Хэмминга (3), мы выиграли в объемах тестовых выборок от 500 до 1500 раз.

35

Лабораторная работа №2
ОЦЕНКА СТОЙКОСТИ НЕЙРОСЕТЕВОЙ
ЗАЩИТЫ К АТАКАМ ПОДБОРА ПРИ БЫСТРОМ
ВЫЧИСЛЕНИИ ЭНТРОПИИ АЛГОРИТМОМ
ГОСТ Р 52633.3
Пользуясь знанием кода ключа «Свой», целесообразно перейти
к расстояниям Хэмминга (3) и далее оценить энтропию, сформировав
тестовую базу разных образов «Чужой». Применительно к нейросети,
обученной распознавать символ «а» множество образов «Чужие»,
следует формировать из других рукописных образов: «б», «с», «в», …,
«я». Допустимо также использовать различные комбинации букв:
«бс», «бв», …, «яя». Желательно иметь тестовую базу «Все Чужие»,
состоящую из порядка 30 образов. Малой выборки в объеме тридцати
примеров уже достаточно для оценки математического ожидания –
E(h) и стандартного отклонения –σ(h).
Пример рукописного образа из двух символов при формировании базы «Чужие» приведен в левой части рис. 9.

Рис. 9. Формирование тестовой базы образов «Чужие»,
состоящих из одного или двух рукописных символов

После того, как тестовая база «Чужие» сформирована, ее необходимо сохранить в отдельной папке. Далее необходимо инициировать режим «Операции» и в нем выбрать под режим «Тестирование
на тестовых образах». В этом новом состоянии следует указать путь
с только что сформированной базой «Чужие». Указание на ее файл
приводит к вычислению данных, отображенных в отчетной форме
(правая часть рис. 9).

36

Из содержания отчетной формы следует достаточно низкая
стойкость к случайному подбору на уровне 101,56 попыток. Такая
стойкость к атакам подбора соответствует длине ключа 1,56·3,33 =
= 5,195 бит.
Следует отметить, что стойкость к атакам подбора рукописного
пароля зависит от его сложности. На рис. 10 отображена ситуация,
когда рукописный пароль усложнился в два раза. В этом случае для
обучения нейросети был использован рукописный пароль из двух
букв «аб». Обучение выполнялось на девяти примерах рукописных
паролей.

Рис. 10. Экранные формы обучения и тестирования рукописных
паролей, состоящих из двух букв «аб»

Если интерпретировать полученные данные как длину эквивалентного криптографического ключа, то получим 2,74 · 3,33 = 9,124 бит.
Еще одной важной причиной роста стойкости рукописных паролей является качество исходной информации. Лабораторные работы
выполняются обучающимися через использование манипулятора
«мышь». Этот способ получения исходной биометрической информации выбран из-за распространенности манипуляторов «мышь».
В случае, если заменить источник данных и пользоваться графическим планшетом, значительно повышается качество входных данных.
Так как у обучаемых нет графических планшетов, соответствующие
данные для обучения нейросети можно получить, открыв файл с 9 примерами в папке «Пенза». Результаты обучения и тестирования отображены на рис. 11.
Длина эквивалентного бинарного ключа составляет 4,76·3,33 =
= 15,851 бит.

37

Рис. 11. Экранные формы обучения и тестирования
рукописных паролей «Пенза»

Выводы по лабораторной работе № 2
1. Стойкость нейросети (вероятность ошибок второго рода и энтропия) зависит от сложности образа (зависит от числа букв в рукописном пароле).
2. Результаты получены для одной и той же сети из 256 персептронов, автоматически обученной стандартным алгоритмом, одинаковы для образов сопоставимой сложности.
3. Для качества принимаемых нейросетью решений крайне важно иметь данные как можно более высокого качества. Биометрические данные, полученные от манипулятора «мышь», «хуже» данных,
полученных через графический планшет. Графический планшет
удобнее для письма человеку, больше дает отсчетов по амплитуде колебаний и чаще снимает отсчеты по времени.

38

3. ВТОРОЙ ТИП АЛГОРИТМОВ БЫСТРОЙ ОЦЕНКИ
ЭНТРОПИИ НА МАЛЫХ ВЫБОРКАХ
В ПРОСТРАНСТВЕ КОРРЕЛЯЦИОННОЙ
СЦЕПЛЕННОСТИ РАЗРЯДОВ КОДОВ
ОБРАЗОВ «ЧУЖОЙ»
Одним из основных недостатков рассмотренного выше алгоритма оценки энтропии является то, что необходимо знать код криптографического ключа «Свой» для перехода в пространство расстояний
Хэмминга (3). Этот недостаток устраняется, если воспользоваться известным свойством независимости (некоррелированности) разрядов
идеального «белого» шума [14, 15]. Формально это можно проиллюстрировать схемой тестирования, приведенной на рис. 12.

Рис. 12. Эффект «дрожания» выходных разрядов нейросети
при предъявлении 30 случайных тестовых образов

Если на вход тестируемой нейросети подавать случайные образы «Чужой», то нейросеть на каждый случайный образ будет давать
свой выходной код. Эти коды имеют некоторую случайную и детерминированную компоненту. Даже случайный выбор рукописных парольных слов не может обеспечить идеальный «белый» шум 30 выходных кодов.

39

Проведенные статистические исследования показали, что детерминированную составляющую в выходных кодах можно выявить
через вычисление классических коэффициентов корреляции между
двумя кодами «х1» и «х2»:
corr (" x1"," x 2") 

256 (" x1 " E (" x1"))  (" х 2 " E (" x 2"))
i
i



i 1

256  (" x1")  (" x 2")

.

(5)

В предельном варианте кодовых откликов «белого» шума функционал (5) должен быть близок к нулю, а энтропия близка 256 битам:
 corr (" x1"," x 2")  0,00,
(6)

Н
("
х
1")

Н
("
х
2")

256
бит.

Во втором предельном варианте практически полностью детерминированных откликов «Свой» корреляция становится единичной,
а энтропия нулевой:
 corr (" с1"," с 2")  1,00,
(7)

Н
("
с
1")

Н
("
с
2")

0,00
бит.

Для практики важно промежуточное соотношение, отражающее
состояния между последними двумя предельным соотношениями (6)
и (7):
 0.00  corr (" х1"," х 2")  1,00,
(8)

1

Н
("
х
1")

Н
("
х
2")

256
бит.

Таким образом, параллельно с алгоритмами оценки энтропии
в пространстве расстояний Хэмминга (смотри раздел 4) существуют
алгоритмы, построенные на учете значений корреляционной сцепленности, состояний разрядов длинных кодов (5).

Лабораторная работа №3
ОЦЕНКА СВЯЗИ КОРРЕЛЯЦИОННОЙ
СЦЕПЛЕННОСТИ РАЗРЯДОВ ДЛИННЫХ КОДОВ
СО ЗНАЧЕНИЯМИ ИХ ЭНТРОПИИ
Для перехода от оценок энтропии в пространстве расстояний
Хэмминга к оценкам энтропии в пространстве корреляционной сцепленности разрядов необходимо использовать специализированный
вычислительный инструмент. Такой инструмент был создан «Пензенским государственным университетом» [16]. Этот инструмент ориентирован на обработку данных отчетного файла о тестировании

40

DATA/testKeys.txt среды моделирования «БиоНейроАвтограф». В любом из режимов тестирования среда моделирования дописывает
в этот файл результат. В итоге объем файла увеличивается при любом
вызове функций тестирования. В связи с этим перед началом выполнения лабораторной работы целесообразно в среде моделирования
удалить файл testKeys.txt. Это позволяет удалить предысторию
предыдущих тестирований.
После очистки данных файла testKeys.txt и двух запусков режима «Проверить» при выделении данных «Свой» в отчетном файле появляются записи, представленные на рис. 13.

Рис. 13. Данные о результатах тестирования инициацией поля
«Проверить» для двух примеров образа «Свой»

Из этого рисунка следует, что обе новые записи в текстовом
файле одинаковые, т.е. корреляция данных этих двух записей предельно высока corr(«х1»,«х2») = 1,0.
Если после очистки отчетного файла «Проверить» в файле оказываются данные примеров «Чужой», то записи в отчетном файле оказываются разными. Пример содержания такого отчетного файла приведен
на рис. 14.

Рис. 14. Данные о результатах тестирования инициацией поля
«Проверить» для двух разных образов «Чужой»

41

Из последнего рисунка следует, что обе записи в файле разные,
т.е. коэффициент корреляции между ними должен быть всегда меньше предельной величины (меньше единичной).
Для оценки коэффициентов корреляции случайных данных
необходимо запустить исполняемый файл Correlation.exe. В итоге
на экране компьютера появляется экранная форма корреляционного
калькулятора (рис. 15).

Рис. 15. Экранная форма «калькулятора корреляций»
при обработке двух кодов-откликов нейросети
на два примера одного образа «Свой»

В случае, когда в «калькулятор корреляций» загружается текстовый файл-отчет о данных тестирования 20 случайных образов
«Чужой», появляется возможность наблюдать матрицу коэффициентов корреляции 2020, пример которой приведен на рис. 16.
Корреляционная матрица симметрична относительно ее единичной диагонали. В этом случае приложение позволяет наблюдать
180 различных коэффициентов парной корреляции.
Анализируемые нами биометрические данные имеют корреляционную матрицу с нормальным законом распределения данных вне
ее диагонали. Это распределение отображено на рис. 17.

42

Рис. 16. Пример корреляционной матрицы 2020
для 20 примеров кодов случайных образов «Чужой»

Рис. 17. Близкое к нормальному распределения значений
коэффициентов парной корреляции, находящихся вне диагонали
матрицы 20 случайных биометрических образов «Чужой»

43

Выводы по лабораторной работе № 3
1. Показатель корреляционной сцепленности разрядов кода
по своему смысловому содержанию является аналогом расстояния
Хэмминга, соответственно, он может использоваться для создания
быстрых устойчивых алгоритмов оценки энтропии на малых выборках.
2. Коды с нулевой энтропией имеют максимальное значение
корреляционной сцепленности разрядов (почти единица).
3. По мере приближения кодов к идеальному «белому» шуму их
энтропия увеличивается и хорошо описывается нормальным законом
распределения. Мерой близости к идеальному «белому» шуму является стандартное отклонение нормального распределения – σ(r).
Для рассмотренных данных σ(r) = 0,205 (предел при r  0,0 составляет 0,062).

44

4. НЕКОТОРЫЕ ТЕХНОЛОГИЧЕСКИЕ АСПЕКТЫ
НЕЙРОСЕТЕВОГО ОБОГАЩЕНИЯ ДАННЫХ
И ИЗВЛЕЧЕНИЯ ЗНАНИЙ
Лабораторная работа №4
ГИПЕРБОЛИЧЕСКИЙ ЗАКОН РАСПРЕДЕЛЕНИЯ
КАЧЕСТВА «СЫРЫХ» БИОМЕТРИЧЕСКИХ ДАННЫХ
Ценность информации, извлекаемой нейронной сетью из «сырых» данных, разная. Логично измерять ценность входной информации в битах, так как в тех же битах выполняется оценка качества обученной нейросети (см. раздел 4, содержание лабораторной работы № 2).
Расчет энтропии каждого из «сырых» входных параметров дает гиперболический закон распределения качества данных или ценности
их информации. По такому же гиперболическому закону распределены: доходы населения; частота ударов метеоритов разного диаметра
[17]; частота использования слов разной длины в естественных языках [17, 18, 19]; частота обнаружения золотых самородков разного
диаметра, в промываемой породе.
Можно пользоваться данными любой природы для иллюстрации
смысла гиперболических распределений. Наиболее доступными для
понимания являются данные золотодобычи. Люди с древних времен
умели отыскивать золотые самородки с диаметром миллиметр и больше. Можно идти по ручейку и смотреть на его дно. Песок и мелкие
камни, которые не блестят на солнце, – это обычная порода.
Если повезет, то на дне может блеснуть золотой самородок
(обычно они имеют диаметр от 1 до 5 мм). Обнаружить самородок –
это большая удача. Самородки легко взять рукой, однако они редко
встречаются. Если ручеек золотоносный, то целесообразно заняться
промывкой песка с использованием промывочного лотка. Золото
в три раза тяжелее обычной породы, промывая песок, удается на дне
лотка получить маленькие крупинки золота. Схватить рукой такие
крупинки трудно, однако можно поймать их пинцетом или собрать
остатки смывов в отдельную посуду. Далее следует повторить несколько раз промывку. При этом содержание золота в осадке на дне
лотка увеличивается.
В обогащенном осадке самые большие золотые крупинки видны, их общий вес может быть больше, чем вес малого числа крупных
самородков. Кроме золотого песка в осадке присутствует золотая
пыль, которая не видна глазом, но ее вес может оказаться значимым.

45

Золотую пыль и песок можно отделить от пустой породы, расплавив
золото. Будучи расплавленным, золото стечет на дно тигля из-за своей тяжести (из-за своей высокой плотности). Как результат, многократно обогащая золотоносную породу, удается организовать технологический процесс таким образом, чтобы он давал выход золота
в несколько раз больше. Сравнивать приращение выхода золота нужно
по отношению к обычному, не вооруженному промывочным лотком
человеку, идущему вдоль ручья и разглядывающего камни на его дне.
По сути дела, любой алгоритм обучения и дальнейшего использования нейронных сетей является алгоритмом создания и использования некоторой обогатительной машины, способной извлекать из исходной породы знания. В этом контексте важно знать параметры
гиперболического распределения ценности исходной информации
(качества «сырых» входных данных).
Сети персептронов удобны тем, что модули их весовых коэффициентов (1) как раз и являются показателями качества «сырых» данных или их информативности. После каждого обучения нейросети
на соответствующей обучающей выборке среда моделирования
«БиоНейроАвтограф» меняет содержание файла весов (weights.txt).
Очевидно, что данные файла weights.txt будут иметь разную информативность. На рис. 18 приведена программа на языке MathCAD,
выполняющая сортировку модулей весовых коэффициентов по их
значениям.

Рис. 18. Распределение биометрических данных
по их информативности

46

Из рисунка видно, что примерно 3,2 % биометрических данных
являются информационными «самородками», которые могут быть
использованы при обучении нейросети в ручном режиме. Автомат
обучения, выполненный по ГОСТ Р 52633.5, устраняет (отбрасывает)
34,3 % биометрических параметров, принимая их весовые коэффициенты нулевыми. Его преимуществом является то, что при обучении он
учитывает информационную «пыль» – 43,8 % и информационный
«песок» – 18,6 %.
Обучение нейросети в ручном режиме много дороже автоматического обучения (необходимо привлекать заранее обученных людейучителей). Автоматическое обучение не требует привлечения людей
высокой квалификации, кроме того, оно позволяет существенно расширить объем учитываемой информации с 3,2 % (самые «хорошие» данные) до 65,6 % данных, обладающих приемлемой информативностью.
Следует отметить, что в прошлом веке было принято в ручном
режиме отыскивать наиболее информативные параметры [20, 21]. Такой подход весьма и весьма эффективен, когда данных мало. Большие
объемы данных заставляют менять парадигму. При анализе большого числа параметров (416 параметров в среде моделирования
«БиоНейроАвтограф») более рациональным является переход к использованию автоматов обучения, существенно расширяющих объем
учитываемых биометрических параметров (как высокоинформативных, так и низкоинформативных).
Так же, как и при золотодобыче, за счет обогащения изначально
«бедных» биометрических данных удается поднять качество принимаемых нейросетями решений.

4.1. Рост эффективности нейросетевой добычи знаний
при замене бинарных квантователей
троичными квантователями
Алгоритм автоматического обучения сетей персептронов
ГОСТ Р 52633.5 является первым в мировой практике и потому его
нельзя считать идеальным. Одним из серьезных недостатков этого алгоритма является то, что примерно 33 % данных рассматривается им
как «плохие». Эта ситуация возникает, когда данные оказываются
в центре их распределения, что отображено на рис. 19.
Одним из способов устранить дефект утраты 33,3 % биометрических данных является переход от использования бинарных квантователей к использованию троичных квантователей. Кардинальное изменение ситуации отображено на рис. 20.

47

Рис. 19. «Плохие» биометрические данные по отношению
к алгоритму ГОСТ Р 52633.5, имеющие близкие к нулю весовые
коэффициенты на фоне данных о математических ожиданиях
рукописного образа «Пенза»

Рис. 20. Использование троичного квантователя на выходе
искусственных нейронов (персептронов) на фоне данных
о математических ожиданиях рукописного образа «Пенза»

Из рис. 20 видно, что у троичного квантователя появляется три
выходных состояния: «10», «00», «01». Если бинарный квантователь
(рис. 19) принимает решения, сравнивая отклики сумматоров

48

256 нейронов с порогом k = 0.0, то троичный квантователь принимает
решения, сравнивая данные с двумя порогами k1 = –4,0 и k2 = +4,0.
Естественно, что алгоритм обучения троичных персептронов
существенно меняется [22–24]. При этом устойчивость процедур обучения растет в силу того, что все модули весовых коэффициентов выбираются единичными. В этом случае рост устойчивости вычислений
обусловлен устранением деления двух приближенно вычисленных
величин (1): модуля математических ожиданий Е(xi)и стандартного
отклонения (xi). Обе эти величины вычисляются на малых выборках
и, как следствие, имеют значительные ошибки Е(xi) и (xi). Эти
ошибки дестабилизируют вычисления при делении математического
ожидания на стандартное отклонение.
Настройка входных связей трех типов нейронов NR«10», NR«00»,
NR«01» выполняется через синтез двух таблиц перестановок. Изначально
математические ожидания вектора биометрических параметров имеют
упорядоченный кортеж индексов i = {0, 1, …, 415}, но случайные значения математических ожиданий {E0, E1, …, Ei, …, E415}. Мы всегда
можем упорядочить по возрастанию математические ожидания
{E007  E119  … En  …  E215}, но при этом кортеж их индексов становится случайным n = {007, 119, …, 215}. Как результат мы получаем две таблицы: первую таблицу перестановок упорядочивания математических ожиданий T[n(i)] и обратную таблицу упорядочивания
кортежа индексов T[i(n)] с возвратом к случайным математическим
ожиданиям.
Алгоритм обучения нейрона типа NR«10» распадается на два основных варианта с одинаковыми знаками суммируемых данных.
По первому варианту случайно выбирается 8 биопараметров, чье
усредненное математическое ожидание близко к медиане последовательности упорядоченных математических ожиданий (таблица T[n(i)]
номера от 0 до 138) или Е68. При этом не повторяющихся вариантов
таких случайных настроек более миллиарда.
По второму варианту алгоритма настройки нейрона типа NR«10»
случайным образом выбирают восемь биопараметров с упорядоченными математическими ожиданиями (в интервале таблицы T[n(i)] номера от 276 до 415). При этом не повторяющихся вариантов таких
настроек более миллиарда. При суммировании все знаки таких
настроек отрицательные.
Очевидно, что два рассмотренных выше алгоритма могут быть
ориентированы на дополнительных семь вариантов, учитывающих
возможность суммирования данных с разными знаками.

49

Более подробно алгоритмы настройки нейронов описаны в работах [22–24], убедиться в работоспособности этих алгоритмов обучения можно, выполнив соответствующие лабораторные работы,
опираясь на троичный вариант среды моделирования «БиоНейроАвтограф-3» [25]. Крайне важно для правильного понимания ситуации
лично убедиться в том, что бинарные персептроны с 24 входами эквивалентны троичным персептронам с 8 входами. Троичные персептроны примерно в 2,5 раза эффективнее обогащают исходные данные
в сравнении с бинарными персептронами.
В первом приближении можно утверждать, что замена бинарных квантователей на троичные позволяет в полтора раза увеличить
энтропию нейросетевой защиты данных при биокриптоаутентификации. Это эквивалентно примерно полуторократному росту добываемой нейросетями информации для противодействия внешней энтропии. Именно по этой причине выгодно заменять бинарные нейроны
на троичные, четверичные, …, р-арные [26]. Именно по этой причине
естественные нейроны не бывают бинарными, все они более сложные
р-арные (см. рис. 1).

Лабораторная работа №5
ИССЛЕДОВАНИЕ СТОЙКОСТИ СЕТЕЙ ТРОИЧНЫХ
ПЕРСЕПТРОНОВ К АТАКАМ ПОДБОРА
Следует отметить, что преимущества перехода от бинарных
нейронов к троичным возможно проверить. Для этого достаточно
воспользоваться приложением «БиоНейроАвтогаф Ш», работающем
под Windows 10 и выше. Запуск файла БиоНейроАвтограф III.exe (он
размещен на CD-R данного учебного пособия) приводит к появлению
экранной формы, показанной рис. 21.

Рис. 21. Заставка новой среды моделирования сети
троичных персептронов
(2023 год «Пензенский государственный университет»)

50

Обучение нейросети троичных персептронов выполняется в рамках использования экранной формы, приведенной на рис. 22.

Рис. 22. Экранная форма ввода данных второго приложения,
обучения троичных нейронных сетей

Отметим, что первое приложение не имеет возможности менять
число входов у искусственных нейронов. Более современное приложение более эффективно, и по этой причине предусмотрена возможность обучения нейросети с нейронами, имеющими 24 входа
и с нейронами 16 входов. На экранной форме показана возможность
использовать минимальное число – 16 входов (троичные нейроны работоспособны даже при 16 входах).
В процессе лабораторной работы необходимо указать число
входов – 24, так как предшествующий вариант бинарной среды моделирования работает только при этом числе входов у нейронов.
Сформируем выборку а_обучение.txt объемом в 10 примеров.
Обучим сеть троичных нейронов для распознавания рукописного
символа «а». Проверим качество работы троичной нейросети на символах «б», поочередно вводя символы и запуская режим «Проверить»
для каждого символа. При этом получим следующую последовательность расстояний Хэмминга h(«б») = {107, 105, 108, 114, 107, 123,
119, 101, 98, 99}. Математическое ожидание и стандартное отклонение составляют E{h}  108,1; σ{h}  7,9.
Для сравнения с данными сети бинарных нейронов необходимо
повторить опыты. При этом мы получим следующую последовательность h(«б») = {20, 46, 29, 31, 41, 32, 67, 40, 53, 23}. Математическое
ожидание и стандартное отклонение для этой последовательности составляют E{h}  38,2, σ{h}  13,6.

51

Сравнивая статистики бинарных сетей и троичных сетей, следует отметить значительное снижение вероятностей ошибок второго рода,
получаемое при переходе от бинарных к троичным нейронам. На рис. 23
даны соответствующие распределения расстояний Хэмминга.

Рис. 23. Распределения значений расстояний Хэмминга,
полученные при тестировании сети бинарных персептронов
и сети троичных персептронов

Принципиально важным является то, что бинарная сеть дает вероятность ошибок второго рода pnorm(1, 38,2 13,6) = 0,00312 в логарифмически энтропийной форме это составит –log(0,00312,2) = 8,324 бит.
Те же самые данные, используемые для обучения и тестирования сети
троичных искусственных нейронов дают значение вероятности ошибок второго рода pnorm(1, 108, 7,9) = 4,28109085997007710–42.
В логарифмо-энтропийной форме представления мы получим –
log(4,28110–42, 2) = 137,423 бит. Фактически переход от бинарных
нейронов к троичным нейронам дает рост нейросетевой энтропии
примерно в 16 раз. Именно это обстоятельство и свидетельствует
о том, что применение бинарных естественных нейронов в природе
не обнаружено (смотри раздел 1 данного курса). Бинарные нейроны
не используются живыми существами, так как их информационноэнтропийная эффективность крайне низка.

4.2. Рост эффективности нейросетевой добычи знаний
при переходе от линейного обогащения данных
к квадратичным накопителям
Выше было показано, что замена бинарных квантователей
на троичные и «правильная» настройка его порогов дают значительный

52

положительный эффект. То же самое относится и к функционалам
предварительного обогащения входных данных. В частности, одним
из самых простых способов совершенствования обработки является
замена линейного накопления данных на накопление данных в квадратичном пространстве. Эта ситуация иллюстрируется рис. 24.

Рис. 24. Выделение образа «Свой» тремя линейными
персептронами существенно хуже в сравнении выделением
их одним квадратичным персептроном

Применительно к решению задач биометрии классическая квадратичная Евклидова метрика будет выглядеть следующим образом:
  x  E ( xi )  
е   i
 .

(
х
)
i 1 
i

2

2

4

(9)

В работах [27, 28] показано, что бинарное квантование обогащенных данных в квадратичном пространстве малоэффективно. Если
настроить бинарный квантователь классически, то квадратичные персептроны оказываются не способны противостоять атаке извлечения
из них криптографического ключа. Для компрометации ключа достаточно подать на сеть квадратичных персептронов любой далекий образ «Чужой». При этом выходной код сети квадратичных персептронов дает инверсию кода «Свой».

53

Ситуация коренным образом меняется, если в квадратичный
накопитель (9) ввести дополнительный вектор его настройки b:
  x  E ( xi )  bi  
е   i
 .
( хi )
i 1 

2

2

4

(10)

Как показано на рис. 25, подбирая значения параметров вектора
настройки, удается совмещать отклики образа «Свой» с любой площадкой устойчивых состояний 8-уровневого квантователя.

Рис. 25. Настройка квадратичного накопителя входных данных,
позволяющая сдвигать вправо отклики данных
«Свой», подбирая параметры вектора настройки

Замена простейшего бинарного квантователя квадратичного
персептрона на многоуровневый квантователь приводит к огромному
росту энтропии выходных кодов-откликов «Чужой». Сети бинарных
персептронов работают много хуже, чем сетей персептронов с многоуровневыми выходными квантователями.

4.3. Алгоритм сверхбыстрого обучения «на лету» сетей
из по-разному предобученных персептронов
К сожалению, большинство алгоритмов обучения не устойчивы.
Этот их недостаток обычно пытаются устранить за счет применения
очень больших обучающих выборок. Так, для обучения глубоких
(многослойных) сетей сверточных нейронов [11, 12] требуются огромные обучающие выборки, содержащие порядка нескольких миллионов
лиц людей или миллионы голосовых образов. Обычно обучение ведется
на облачных серверах компании Googl, если ориентироваться на использование TensorFlow. Время, необходимое для обучения, может

54

составить от нескольких часов до нескольких месяцев. Если бы именно так учились наши дети, то они становились способны узнавать
своих родственников (маму, папу, сестер и братьев) через полгода или
даже через год.
Обучение глубоких нейронных сетей медленное и требует затрат огромных вычислительных ресурсов. В природе все происходит
иначе [29], новорожденный ребенок очень быстро учится узнавать
свою мать. То же самое относится к только что вылупившемуся
из яйца цыпленку или утенку. Они мгновенно запоминают образ матери-курицы или матери-утки. Потом цыплята и утята цепочкой следуют за своими матерями, т.е. они (новорожденные дети, цыплята
и утята) обладают механизмами очень быстрого обучения «на лету»,
что позволяет им выжить в этом мире.
Подобные механизмы возможно создавать и для сетей искусственных нейронов, если исключить ситуацию обучения каждого
из нейронов, т.е. изначально должна быть построена группа искусственных нейронов, уже обученных (не нуждающихся в обучении).
Например, такие нейроны могут быть заранее предобучены классифицировать данные на выборки с нормальными и/или равномерными
законами распределения. Подобная ситуация отображена на рис. 26.

Рис. 26. Группа из 11 искусственных нейронов, заранее предобученных
распознавать нормальное распределение данных и/или равномерное
распределение данных

Каждый искусственный нейрон должен воспроизводить один
из известных критериев проверки гипотезы нормальности либо равномерности [30, 31, 32, 33, 34]. Например, это могут быть следующие
статистические критерии:

55

1. Хи-квадрат критерий Пирсона [30, 31] – 1900 г.;
2. Критерий Крамера – фон Мизеса [30, 31] – 1928 г.;
3. Критерий нормированного четвертого статистического момента [30, 31] – 1930 г.;
4. Критерий Колмагорова – Смирнова [30, 31] – 1933 г.;
5. Критерий Гири [30, 31] – 1935 г.;
6. Критерий Неймана – Бартона [30, 31] – 1937 г.;
7. Критерий Шермана [30, 31] – 1950 г.;
8. Критерий Раньи [30, 31] – 1954 г.;
9. Критерий Ватсона [30, 31] – 1961 г.;
10. Критерий среднего геометрического [32, 33] – 2016 г.;
11. Критерий среднего гармонического [32, 33] – 2018 г.
Так как при обучении и анализе реальных данных используются
малые выборки, на рис. 26 отображена ситуация, характерная для малых выборок в 21 биометрический параметр. Следует подчеркнуть,
что обычно на малых выборках статистические критерии дают низкую достоверность решений, однако если классические критерии заменить эквивалентными им нейронами и объединить их в нейросеть
(рис. 26), то качество принимаемых решений может быть существенно повышено.
Рост качества нейросетевых решений обусловлен избыточностью ее выходных кодов. Так, на рис. 26 отображена сеть из 11 искусственных нейронов, которая дает 11-кратную кодовую избыточность.
Соответственно, при свертывании кодовой избыточности происходит
обнаружение и исправление ошибок. В частности для свертывания
кодовой избыточности могут быть использованы простейшие коды
«голосования». Итоговое решение выбирается по большинству состояний разрядов избыточного кода. На рис. 26 при большинстве разрядов кода «0» выбирается итоговое состояние «0». В обратной ситуации, когда большинство разрядов «1» – итоговое состояние «1».
Опираясь на сеть из 11 предварительно обученных нейронов,
удается сверхбыстро обучать нейросетевой преобразователь биометрия-код. Алгоритм обучения сводится к тому, что используются упорядоченные по математическому ожиданию нейроны. Состояние
каждого нейрона должно оказываться «0», если все входные параметры имеют близкие математические ожидания. Эта ситуация отображена в верхней части рис. 27. Так как все биометрические параметры
имеют нормальное распределения, их объединение будет давать нормальное распределение.

56

Рис. 27. Сверхбыстрое обучение сети
искусственных нейронов

Совершенно иная ситуация возникает, когда выбираются раздвинутые биометрические параметры [29]. Такое распределение данных похоже на равномерное и, соответственно, каждый нейрон сети
рис. 27 должен откликаться состоянием «1». Этот тип алгоритмов
обучения позволяет практически мгновенно запоминать образ матери
новорожденным (ребенку, цыпленку, утенку).

4.4. Решение логистических задач «комивояжером»
по обходу большого числа случайно
расположенных городов
Одной из наиболее важных является транспортная задача или
логистическая задача. В литературе она получила название задачи
«коммивояжера», который должен объехать несколько городов, предлагая свой товар. Для определенности будем исходить из того, что
коммивояжеру необходимо объехать 32 случайно расположенных города. Между всеми есть дороги. Для решения задачи следует воспользоваться двумя вызовами генератора псевдослучайных функций, программа и ее результаты отображены на рис. 29.
Самой простой тактикой обхода является случайный выбор следующего города. В этом случае решение является малоэффективным.
Результат такого решения отображен на рис. 30.

57

Рис. 29. Синтез случайных координат
расположения 32 городов

Рис. 30. Пример случайного обхода городов, приводящего
к очевидному перерасходу времени и моторесурса

Более разумной является некоторая простейшая тактика обхода
городов. Например, города могут быть упорядочены по одной из координат. В частности, упорядочивание городов по координате х дает
примерно полуторакратное снижение ресурсов на их обход. Эта ситуация отображена на рис. 31.

58

Рис. 31. Снижение ресурсов на обход городов,
упорядоченных по одной из координат

Гораздо более эффективной тактикой является обход городов
поиском ближайшего города. Такая траектория дает снижение затрат
примерно в 5 раз по сравнению со случайным обходом. Пример такой
траектории приведен на рис. 32,а.

а)
б)
Рис. 32. Две траектории обхода городов:
а – тактика движения к ближайшему городу (лучший результат);
б – тактика обхода по улитке Фибоначчи

59

Промежуточным вариантом по эффективности является тактика
обхода городов по улитке Фибоначчи. Обход городов по этой тактике
отображен на рис. 32,б.

4.5. Предобработка динамики рукописного почерка
вычислением двухмерных сверток Фурье,
используемых в среде моделирования
«БиоНейроАвтограф»
Следует отметить, что на текущий момент значительное внимание уделяется сверточным нейросетям глубокого обучения [11, 12].
К сожалению, обучение таких сетей требует огромных затрат вычислительных ресурсов и огромных (хорошо размеченных) баз примеров.
К сожалению, на сегодняшний момент абсолютное большинство специалистов по глубокому обучению сверточных нейронных сетей
убеждены в том, что путь, обозначенный и пройденный Джеффри
Хинтоном в начале этого века (https://ru.wikipedia.org/wiki/Хинтон,_
Джеффри), является далеко не единственный из всех возможных.
В этом отношении среда моделирования «БиоНейроАвтограф»
является примером почти классических однослойных сверточных
нейронных сетей, которые не нуждаются в гигантских затратах на их
предварительное обучение. Для предобработки данных среда моделирования «БиоНейроАвтограф» использует практически классические
свертки двухмерного Фурье преобразования, весьма и весьма похожие на те, что применяют архиваторы изображений JPEG и IMPEG.
Так, сверточные сети, ориентированные на распознавание лиц
людей, работают с механизмами поиска лиц в кадре. Обнаруженное
лицо выделяется, например, квадратом. Далее квадрат масштабируется через приведение к заданному размеру. Например, это может квадрат размерами 64  64 = 4096 пикселей. При этом каждый пиксель
можно рассматривать как очень «плохой» биометрический параметр.
Очевидно, что перед принятием решения (например, по правилу Евклида) необходимо устранить избыточность «плохих» входных данных, уменьшив их число и повысив их качество [35].
Примерно ту же процедуру выполняет предварительная обработка данных среды моделирования «БиоНейроАвтограф». На рис. 33
поясняются преобразования предварительной обработки данных с их
обогащением через вычисление двухмерных сверток Фурье.

60

Рис. 33. Ввод и предобработка динамики рукописного почерка
при воспроизведении букв манипулятором «мышь»

Из рисунка видно, что ввод любого рукописного символа имеет
начало (точка «н»), когда нажата кнопка на манипуляторе «мышь»
и окончание (точка «к»), когда ввод данных прекращается (отпускается нажатая кнопка). При этом в компьютер вводятся две кривые Y(t)
и X(t). Далее компьютер вычисляет 416 биометрических параметров
динамики рукописного почерка, являющихся двухмерными свертками Фурье:
Ф{X(t),Y(t)}Ф{X(j),Y(j)}.
Если ориентироваться только на вычисление наиболее устойчивых низкочастотных коэффициентов двухмерного преобразования
Фурье при комплексных частотах {j, 2j, 3j, …, 16j} по каждой
из переменных X(j), Y(j), то в силу комплексности чисел мы будем
иметь по 32 коэффициента Фурье для каждой из переменных,
т.е. двухмерное преобразование Фурье может иметь матрицу, состоящую из 32  32 = 1024 коэффициентов. При этом среда моделирования учитывает только 416 биометрических параметров динамики рукописного почерка.

61

Первая строка двухмерной матрицы заполняется 32 коэффициентами косинусного и синусного преобразования Фурье X(jk) возрастающих значений частоты:

1T
t

 X c ( jk )   X (t )  cos 2k   dt;
T0
T



T
 X ( jk )  1 X (t )  sin 2k  t  dt.



 s
T0
T



(11)

Первый столбец двухмерной матрицы заполняется 32 коэффициентами косинусного и синусного преобразования Фурье Y(jk) возрастающих значений частоты:


1T
t

Yc ( jm)   Y (t )  cos 2m   dt ;
T0
T



T
Y ( jm)  1 Y (t )  sin 2m  t  dt.



 s
T0
T



(12)

Внутренние элементы матрицы заполняются следующими отображениями двухмерных преобразований:

1T
t

 XYc ( jkm)   X (t )  Y (t )  cos 2km   dt ;
T0
T



T
 XY ( jm)  1 X (t )  Y (t )  sin 2km  t  dt.



 s
T
T


0


(13)

Таким образом, использование двухмерных сверток Фурье позволяет исключить сложную процедуру предварительного глубокого
обучения многослойных сверточных нейронных сетей Джеффри Хинтона.

62

ЗАКЛЮЧЕНИЕ
Данный краткий вводный курс позволяет получить основные
навыки по обучению, применению, тестированию простейших нейронных сетей. Получение собственных навыков и собственных знаний в этом направлении является принципиально важным шагом
в образовательном процессе. Горшки обжигают не боги, горшки обжигают люди, хорошо подготовленные и не боящиеся новых слов про
нейросетевой искусственный интеллект. Сегодня приложения искусственного интеллекта становятся промышленными. Эта отрасль знаний быстро развивается. Как искусственного, так и естественного интеллекта много не бывает. Наши интеллектуальные возможности
всегда ограничены. Правильно созданный, правильно примененный,
правильно проверенный искусственный интеллект всегда полезен
и будет всегда востребованным.

63

СПИСОК ЛИТЕРАТУРЫ
1. О развитии искусственного интеллекта в Российской Федерации : указ Президента РФ № 490 от 10.10.19.
2. ГОСТ Р 52633.5–2011. Защита информации. Техника защиты
информации. Автоматическое обучение нейросетевых преобразователей биометрия-код доступа.
3. ГОСТ Р 52633.3–2011. Защита информации. Техника защиты
информации. Тестирование стойкости средств высоконадежной биометрической защиты к атакам подбора.
4. Иванов А. И. Экономика промышленного искусственного интеллекта: получение сверхприбыли и сокращение рабочих мест // Системы безопасности. 2024. № 2. (в печати).
5. Мак-Каллок У. С., Питтс В. Логическое исчисление идей, относящихся к нервной активности : архивная копия от 27.11.2007
на Wayback Machine // Автоматы / под ред. К. Э. Шеннона и Дж. Маккарти. М. : Изд-во иностр. лит., 1956. С. 363–384. (Перевод английской статьи 1943 г.)
6. Хайкин С. Нейронные сети: полный курс. М. : Вильямс, 2006.
1104 с.
7. Николлс Д., Мартин Р., Валлас Б., Фукс П. От нейрона к мозгу /
пер. с англ. П. М. Балабана, А. В. Галкина, Р. А. Гиниатуллина. М. :
Едиториал УРСС, 2003. 672 с.
8. Сандомирская Ю. Искусственный интеллект и нейроморфные
вычисления: второе дыхание // Коммерсантъ наука. 2021. № 47.
С. 26–29.
9. Иванов А. И., Захаров О. С. Среда моделирования «БиоНейроАвтограф». Программный продукт создан лабораторией биометрических и нейросетевых технологий, размещен с 2009 г. на сайте АО
«ПНИЭИ». URL: http://пниэи.рф/activity/science/noc/bioneuroautograph.zip для свободного использования русскоязычными образовательными учреждениями. Кроме того, среду моделирования можно
скачать из файлообменника по адресу https://github.com/NomaDrive
/bioneuroautograph/raw/main/Neurotest_1.3_2014.zip
10. Иванов А. И. Автоматическое обучение больших искусственных нейронных сетей в биометрических приложениях : учеб.
пособие. Пенза, 2013. 30 с. URL: http://пниэи.рф/activity/science/noc/
tm_IvanovAI.pdf

64

11. Николенко С., Кудрин А., Архангельская Е. Глубокое обучение. Погружение в мир нейронных сетей. СПб. : Питер, 2018. ISBN
978-5-4461-1537-2
12. Аггарвал Чару. Нейронные сети и глубокое обучение //
СПб. : Диалектика, 2020. 756 с. IBSN 978-5-907203-01-3
13. ГОСТ Р ИСО/МЭК 19795-1–2007. Автоматическая идентификация. Идентификация биометрическая. Эксплуатационные испытания и протоколы испытаний в биометрии. Часть 1. Принципы
и структура. М., 2009.
14. Иванов А. И. Малые выборки, нейроморфные вычисления:
быстрые алгоритмы оценки энтропии Шеннона – Пирсона квадратичной сложности : справочник. Пенза : Изд-во ПГУ, 2023. 32 с. ISBN
978-5-907752-61-0
15. Иванов А. И., Иванов А. П., Горбунов К. А. Нейросетевое
преобразование биометрии в код аутентификации: дополнение энтропии Хэмминга энтропией корреляционных связей между разрядами //
Надежность и качество сложных систем. 2023. № 1 (41). С. 91–98.
16. Сумин В. А., Иванов А. И., Иванов А. П. Калькулятор для
вычисления коэффициентов корреляции рукописного образа «Чужой» :
свидетельство о государственной регистрации программы для ЭВМ
№ 2022661907 от 28.06.2022 в Реестре Роспатента.
17. Шредер М. Фракталы, хаос, степенные законы. Миниатюры
из бесконечного рая. Ижевск : НИЦ «Регулярная и хаотическая динамика», 2005. 528 с.
18. Иванов А. И., Иванов А. П., Юнин А. П., Ерёменко Р. В. Варианты гиперболического закона Ципфа для фрактального описания
вероятностно-рангового распределения букв в технических текстах
на английском языке // Известия высших учебных заведений. Поволжский регион. Технические науки. 2024. № 1. С. 43–52.
19. Иванов А. И. Простой критерий оценки качества белого шума Ципфа-Мандельброта с линейной вычислительной сложностью //
Защита информации. Инсайд. 2024. № 2 (116). С. 65–69.
20. Ту Дж., Гонсалес Р. Принципы распознавания образов. М. :
Наука, 1978. 412 с.
21. Патрик Э. А. Основы теории распознавания образов. М. : Советское радио, 1980. 407 с.
22. Иванов А. И., Савин К. Н., Еременко Р. В. Эффект перехода
от применения бинарных искусственных нейронов к троичным нейронам при совместном использовании пяти классических статистических критериев проверки гипотез нормальности или равномерности
распределений малых выборок // Вестник Пермского университета.

65

Математика. Механика. Информатика. 2022. № 3 (58). С. 59–67. doi:
10.17072/1993-0550-2022-3-59-67
23. Защищенные приложения искусственного интеллекта: модификация алгоритма автоматического обучения бинарных персептронов по ГОСТ Р 52633.5–2011 под троичные искусственные нейроны :
технический отчет для ТК 164. Пенза, 2023. Инв. № 1/16-23
от 06.07.23.
24. Волчихин В. И., Иванов А. И., Иванов А. П. [и др.]. Номограммы для сравнения корректирующих способностей бинарных
и троичных нейронов, используемых при многокритериальной проверке гипотезы независимости данных малых выборок // Известия
высших учебных заведений. Поволжский регион. Технические науки.
2022. № 4. С. 5–16.
25. Среда моделирования «БиоНейроАвтограф-3» с нейронами,
имеющими трехуровневые квантователи биометрических данных :
программа для ЭВМ № 2022662079, регистрация от 29.06.2022 / Савинов К. Н., Иванов А. И., Иванов А. П. [и др.]. Правообладатель:
ФГБОУ ВО «Пензенский государственный университет». Приложение размещено на прилагаемом компакт-диске.
26. Хренников А. Ю. Моделирование процессов мышления в pадических системах координат. М. : Физматлит, 2004. 296 c.
27. Волчихин В. И., Иванов А. И., Вятчанин С. Е. Особенности
обучения сетей вероятностных нейронов «Крамера – фон Мизеса»
на малых биометрических выборках // Новые информационные технологии и системы : сб. науч. ст. XIV Междунар. науч.-техн. конф.
(г. Пенза, 22–24 ноября, 2017 г.). Пенза, 2018. С. 159–163.
28. Малыгина Е. А. Биометрико-нейросетевая аутентификация:
перспективы применения сетей квадратичных нейронов с многоуровневым квантованием биометрических данных : препринт. Пенза : Издво ПГУ, 2020. 114 с. ISBN 978-5-907262-88-1
29. Иванов А. И. Бионика: обучение «на лету» с использованием
генетически по-разному предобученных искусственных нейронов //
Системы безопасности. 2023. № 4. С. 122–125.
30. Кобзарь А. И. Прикладная математическая статистика. Для инженеров и научных работников. М. : Физматлит, 2006. 816 с.
31. Иванов А. П., Иванов А. И., Малыгин А. Ю. [и др.]. Альбом
из девяти классических статистических критериев для проверки гипотезы нормального или равномерного распределения данных малых
выборок // Надежность и качество сложных систем. 2022. № 1.
С. 20–29. doi: 10.21685/2307-4205-2022-1-3

66

32. Иванов А. П., Иванов А. И., Безяев А. В. [и др.]. Обзор новых
статистических критериев проверки гипотезы нормальности и равномерности распределения данных малых выборок // Надежность и качество сложных систем. 2022. № 2. С. 33–44.
33. Иванов А. И., Иванов А. П., Куприянов Е. Н. Интегральнодифференциальное расширенное номенклатуры статистических критериев семейства Колмогорова – Смирнова для проверки гипотезы
нормального распределения данных малых выборок // Труды Международного симпозиума Надежность и качество. 2022. Т. 1. С. 10–13.
34. Иванов А. И. Нейросетевой многокритериальный статистический анализ малых выборок. Проверка гипотезы независимости :
справочник. Пенза : Изд-во ПГУ, 2022. 218 с. ISBN 978-5-907666-49-8
35. Иванов А. И., Лекарь Л. А. О необходимости отечественного
стандарта на тестирование качества нейросетевого распознавания лиц
людей // Системы безопасности. 2023. № 5. С. 18–23.

67

Учебное издание

Алчинов Виктор Иванович,
Иванов Александр Иванович

Основы нейросетевого
искусственного интеллекта
Редактор В. В. Чувашова
Технический редактор Н. В. Иванова
Компьютерная верстка Н. В. Ивановой
Дизайн обложки И. В. Шваревой
Подписано в печать 29.07.2024.
1
Формат 6084 /16. Усл. печ. л. 3,95.
Тираж 200. Заказ № 341.
_______________________________________________________
Издательство ПГУ
440026, г. Пенза, ул. Красная, 40.
Тел.: (8412) 66-60-49, 66-67-77; e-mail: iic@pnzgu.ru

68