Л. Т. КУЗИН
основы
КИБЕРНЕТИКИ
Том 1
МАТЕМАТИЧЕСКИЕ
ОСНОВЫ КИБЕРНЕТИКИ
Допущено Министерством высшего
и среднего специального образования
СССР в качестве учебного пособия для
студентов высших технических учебных
заведений, обучающихся по специально¬
стям «Автоматизированные системы уп¬
равления» и «Прикладная математика»
«ЭНЕРГИЯ» • МОСКВА
1973

6Ф6.5
К 89
УДК 007 (075.8)
/
Кузин JI. Т.
К 89 Основы кибернетики. Т. 1. Математические основы кибер¬
нетики. Учеб. пособие для студентов втузов. М. «Энергия», 1973.
504 с. с ил.
Книга содержит систематическое и капитальное изложение мате¬
матических основ кибернетики для инженеров, лишенное ненужных
математических детализаций и в то же время не снижающееся до
грубого элементарного стиля. После рассмотрения общеметодологичес¬
ких вопросов кибернетики дается последовательное изложение мате¬
матической статистики, теории информации и кодирования, методов
оптимизации.
Книга предназначена для студентов старших курсов вузов, аспи¬
рантов и инженеров, специализирующихся в области кибернетики.
к 3313-472	14д	?3	6ф6	5
-7 о
© Издательство «Энергия». 1973 г.

ПРЕДИСЛОВИЕ
Интенсивное внедрение электронных цифровых вычислительных
машин во все сферы человеческой деятельности, разработка и внедре¬
ние автоматизированных систем управления очень остро поставили
проблему подготовки и переподготовки кадров, специалистов по ки¬
бернетике и системному программированию. Особенность научно-
технической революции, заключающаяся в одновременности решения
научных и технических проблем, теоретических и практических во¬
просов, обусловила появление специалиста нового типа — инженера-
математика, сочетающего глубокие теоретические знания с инженер¬
ными навыками, эффективно использующего достижения математики
в конкретной практической деятельности. Специалист такого профиля
может стимулировать или сам разрабатывать прикладные разделы
математики, предназначенные для решения инженерных задач, воз¬
никающих в его практической деятельности, и внедрять новые методы
исследования. Рациональное сочетание математических и инженерных
знаний позволит инженеру-математику разрабатывать и внедрять но¬
вые технические системы даже при отсутствии их теоретических основ.
Но необходимо отметить, что подготовка таких специалистов ослож¬
няется тем, что учебные руководства в ряде случаев не успевают за
развитием новых отраслей кибернетики.
Данное пособие сформировалось в результате чтения курсов лек¬
ций в Московском инженерно-физическом институте в течение 1963—
1972 гг. студентам старших курсов, а также работникам промышлен¬
ных предприятий.
Содержание пособия удовлетворяет содержанию квалификации
«инженер-математик», т. е. в нем изложены основные математиче¬
ские методы кибернетики без ненужного для инженера углубления
в математические тонкости и без снижения до примитивного уровня
изложения. Найти во всех разделах кибернетики такую оптимальную
з

грань между «чистой» и «инженерной» математикой оказалось нелег¬
кой задачей, и автор признает, что ему не везде это удалось.
При подборе материала автор исходил из стремления изложить
основные методы кибернетики с разных позиций так, как они сформи¬
ровались к настоящему времени, в ущерб требованию их методиче¬
ского единства, поскольку инженер-кибернетик должен владеть всеми
основными методами управления, даже если они недостаточно идео¬
логически связаны между собою.
Данная книга — первый том общего руководства по «Основам
кибернетики». В нее включены три раздела математических основ
кибернетики (они же составляют три структурные части книги):
«Математическая статистика», «Теория информации и кодирования»
и «Методы оптимизации». Кроме того, в книгу входит вводный раздел,
содержащий общие сведения о кибернетике. Автор далек от мысли,
что ему удалось изложить вводную часть наилучшим образом, так
как объединение структурных частей кибернетики, формирование ее
содержания как науки об управлении, имеющей дело с преобразова¬
нием информации, оказалось довольно сложным при современных
темпах развития кибернетики.
В конце вводной части приводится структура кибернетики, поло¬
женная в основу построения книги.
Данное учебное пособие предназначено для студентов специаль¬
ности «Прикладная математика», оно также может быть использовано
при подготовке инженеров по специальности «Автоматизированные
системы управления». Большую помощь оно может оказать аспиран¬
там и инженерам, желающим повысить свое образование в области
кибернетики. Автор предполагает, что читатель знаком с курсом выс¬
шей математики и, в частности, с теорией вероятностей в объеме,
предусмотренном программой, утвержденной для вузов.
Большую помощь автору в составлении пособия оказали прежде
всего Т. Н. Артемова и коллектив кафедры кибернетики Москов¬
ского инженерно-физического института и главным образом Б. А. Щу¬
кин, А. А. Аглинцев, М. И. Фардзинова, И. П. Гайдаренко, А. Б. Пре¬
ображенский, О. А. Скоркин, В. В.'Шеменева, В. В. Черняев. Автор
приносит благодарность им, а также всем, кто прямо или косвенно
способствовал выходу этой книги, и надеется, что она может ока¬
зать помощь студентам, аспирантам и инженерам, изучающим новую
науку об управлении — кибернетику,
Автор

ВВЕДЕНИЕ В КИБЕРНЕТИКУ (ОБЩИЕ СВЕДЕНИЯ)
Появление вычислительных машин ознаменовало начало второй
промышленной революции. Следует заметить, что чаще используется
термин «научно-техническая революция», который подчеркивает одно¬
временность коренных изменений в технике и науке, чего не наблюда¬
лось в первой технической революции. Ее начало обычно связывают
с изобретением паровой машины Уатта (1784 г.) [Л. 1—6].
Первая техническая революция механизировала различные об¬
ласти производства: мускульная сила была заменена машинами.
Можно сказать, что первая техническая революция касалась энерге¬
тической стороны явлений, тогда как вторая в основном затрагивает
информационные аспекты процессов. Одной из задач второй техниче¬
ской революции, начало которой можно отнести к 1945 г., является
автоматизация производственных « других процессов: замена чело¬
века вычислительными и кибернетическими машинами в процессе
управления. Речь идет о создании машин, способных частично заме¬
нить человека в сфере его умственной, интеллектуальной деятель¬
ности, которые были бы своего рода усилителями человеческого ин¬
теллекта, так же как электрические, механические, гидравлические
машины являются усилителями мускульной силы человека.
Современный уровень техники требует полной или частичной авто¬
матизации управления процессами. Например, кибернетические ма¬
шины необходимы в химическом и ядерном производствах для,пред¬
сказания возможного течения процесса и исключения его вредного
влияния на человека; все незаменимее становятся цифровые вы¬
числительные машины (ЦВМ) для обработки информации, интенсив¬
ность которой увеличивается по экспоненциальному закону и удваи¬
вается каждые десять лет.
Характерной особенностью автоматизированных систем управле¬
ния (АСУ) является применение ЦВМ в организационной сфере дея¬
тельности человека, которая связана с переработкой больших масси¬
вов информации, содержащейся в деловых документах, выработкой и
принятием решений.
Внедрение автоматизированной обработки информационных дан¬
ных приведет к замене деловой информации в виде печатного слова
5

ее представлением на магнитных носителях (магнитных лентах, дис¬
ках и т. д.). Соединение телевизионной и вычислительной техники
позволит создать системы нового типа — биосистемы человек — ма¬
шина, с помощью которых удастся осуществить общение человека
с ЦВМ и банком данных на магнитных носителях и «перекачку» чело¬
веческого интеллекта в ЦВМ, которая с течением времени приведет
к созданию искусственного разума.
Автоматизированные методы обработки информации, разработан¬
ные в кибернетике, имеют отношение к-специалистам любой профес¬
сии: будь то физик, химик или инженер-технолог, так как все они
имеют дело с переработкой деловой, технической, научной и любой
другой информации. Эта особенность придает кибернетике универсаль¬
ный характер и возводит ее в категорию фундаментальных наук.
В-1. ИСТОКИ КИБЕРНЕТИКИ
Для того чтобы управлять, необходимы технические средства
управления: датчики для съема информации, исполнительные устрой¬
ства, вычислительные машины. Но -прежде всего необходима наука об
управлении, которая дала бы в руки человека эффективные методы
и приемы.
Такой наукой является кибернетика, название которой происхо¬
дит от соединения двух греческих слов: «кибер» (в переводе «над») и
«наутис» (моряк), т. е. «кибернаутис» — старший над моряками, глав¬
ный моряк, кормчий. Греческий философ Платон впервые использовал
термин «кибернетика» в смысле искусства управления обществом.
В XVIII в. французский ученый Ампер, составляя классификацию
наук, также назвал кибернетикой науку об управлении обществом.
Но в то время эта наука не имела математической и технической
основы, и этот термин был на 200 лет забыт. В 1948 г. Винер в своей
книге «Кибернетика или управление и связь в животном и машине»
возродил этот термин в более широком, современном смысле и наметил
по существу программу развития кибернетики. В этой книге четко
высказано утверждение о том, что кибернетика как наука об управ¬
лении в живом и неживом мире основывается на математике и вычи¬
слительных машинах [Л. 1—5].
Нам представляется, что кибернетика много взяла от разных
наук. Исторически она создавалась как бы по двум направлениям.
С одной стороны, многие науки — физика, химия, экономика, радио¬
техника, медицина, биология и т. д. — на определенном этапе своего
развития в стремлении активно воздействовать на изучаемые явления
и управлять ими стали создавать математические или кибернетические
модели этих явлений. Случилось так, что различные по природе, явле¬
ния, изучаемые разными науками, стали описывать одинаковыми
математическими моделями. Например, движение ракеты, работа
промышленного предприятия, процесс размножения клеток могут быть
описаны дифференциальными уравнениями. Для управления этими
различными по природе явлениями потребовались одни и те же мате¬
матические методы автоматизированной обработки информации, а
6

также технические средства, начиная от ЦВМ и кончая устройствами
ввода и вывода информации. С другой стороны, математики, понимая
все значение задач управления, стали разрабатывать методы, которые
позволили бы наиболее полно и адекватно описывать различные про¬
цессы с информационной точки зрения, находить оптимальные режимы
управления, а также автоматически обрабатывать информацию с по¬
мощью ЦВМ. Благодаря потребностям кибернетики за последние годы
получили интенсивное развитие такие новые разделы в математике,
как теория оптимального управления, теория устойчивости движе¬
ния, теория алгоритмов.
В результате совместных усилий появились универсальные мате¬
матические методы автоматизированной обработки информации любой
специфики с помощью ЦВМ, общие математические модели управления
различными по природе явлениями, методы отыскания оптимального
процесса управления и многое другое, что составило содержание науки
кибернетики.
Благодаря деятельности кибернетиков, системных программистов,
математиков, главным образом в разработке и внедрении АСУ, появи¬
лись совершенно новые методы переработки информации для управле¬
ния, новые методы ее представления и выдачи человеку. С помощью
этих методов и специальных технических средств человек может
общаться с большими массивами информации, записанными на маг¬
нитных носителях. Взамен бумажных деловых документов и книг
появились документы на магнитных носителях (магнитных лентах,
барабанах и дисках). Человек в процессе управления должен на¬
учиться «читать» информацию, записанную на магнитных носителях,
так же свободно, как печатные документы и книги. При этом благо¬
даря большому уровню автоматизации производительность процесса
получения информации повышается на несколько порядков.
В некоторых научных кругах распространена тенденция — во¬
просы, находящиеся в компетенции кибернетики, объединять терми¬
ном «прикладная математика». Действительно, круг проблем, описы¬
ваемых прикладной математикой, настолько широк, что позволяет
в ее рамках наряду с другими разделами рассматривать и кибернети¬
ческие методы, тем более что имеются руководства по математическим
основам физики, химии, квантовой механики и т. д. Однако у кибер¬
нетики, так же как и у другой самостоятельной науки, есть свой спе¬
цифический объект исследования — процессы управления и преобра¬
зования информации, что позволяет ей быть фундаментальной наукой.
Нам представляется возможным разделить кибернетику на общую,
изучающую принципы и методы управления, справедливые для лю¬
бых систем, и специальную, в которой изучаются специфические ме¬
тоды управления определенными классами систем, методы составле¬
ния кибернетических моделей этих систем. Поэтому с этой точки зре¬
ния^ правомерно ввести названия специальных кибернетик: физиче-
ск°и, химической, технической, экономической, военной и т. д.
Б научно-технической литературе часто встречается термин «иссле¬
дование операций», который в большинстве случаев совпадает с поня¬
тием кибернетики при нашей трактовке ее содержания.
7

Характерная особенность методов исследования операций заклю¬
чается в расчленении (представлении) исходного процесса на сово¬
купность мелких операций, что позволяет лучше понять поведение
исходного процесса. Так, в случае применения сетевого планирования
исходный комплексный проект представляется в виде совокупности
отдельных работ, которых может насчитываться несколько тысяч.
Однако кибернетика также содержит в своем арсенале методы сете¬
вого планирования, и различие в подходе заключается в методологии
изучения явлений. Кибернетика на первое место выдвигает преобра¬
зование информации, а теория исследования операций — представле¬
ние исходного процесса в виде совокупности мелких операций. Иногда
указывают на то, что исследование операций рассматривает мате¬
матические методы управления массовыми явлениями, вопросы орга¬
низации, тогда как кибернетика наряду с этим исследует процессы
управления отдельными объектами. Однако процесс управления от¬
дельным объектом можно расчленить на совокупность операций и,
применив методы исследования операций, свести его по существу
к массовому явлению. Такая путаница в терминах возникла, по-
видимому, из-за того, что в современном понимании исследование
операций появилось раньше, чем кибернетика: в 1942—1943 гг. анг¬
лийские ученые и инженеры ввели этот термин для обозначения науки,
занимающейся математическими методами организации сложных си¬
стем, а термин «кибернетика» появился позднее в США (1945—1946 гг.)
для обозначения науки об управлении [Л. 1, 7J.
В результате быстрых темпов научно-технической революции по¬
является много новых научных направлений и теорий. Некоторые из
них имеют под собой серьезную основу и право на длительное суще¬
ствование. Так, благодаря необходимости системного подхода при
разработке АСУ и других кибернетических систем появилась теория
систем, также противопоставляемая кибернетике как теория, в кото¬
рой на первое место выделяются не информационные принципы,
а вопросы сложности. Однако следует заметить, что кибернетика
немыслима без теории систем, так как она занимается системами
управления, правда с информационной точки зрения. Но, как будет
видно из дальнейшего, мера информации существенным образом за¬
висит от размеров и сложности системы. Наконец, в литературе по¬
явился новый термин «информатика», который объединяет методы
обработки информации, не предусматривающие процесс управления
или передачу информации по каналам связи (например, перевод с од¬
ного естественного языка на другой, поиск заданного типа информа¬
ции и т. д.). Однако практически все приемы обработки информации,
разработанные в информатике, применяются в системах управления.
В-2. ОСНОВНЫЕ ЧЕРТЫ КИБЕРНЕТИКИ
Первой особенностью кибернетики является информацион¬
ный подход к процессам управления. Можно сказать, что там,
где имеет место переработка информации с целью управления, при¬
сутствует кибернетика. Если при механизации имеют дело с энергией
8

(ее усилением или преобразованием из одного вида в другой), то при
автоматизации управления на первый план выдвигаются информа¬
ционные свойства сигналов: на основании информации о состоянии
систем вырабатываются такие информационные свойства сигналов, при
которых процесс управления протекает оптимально в определенном
смысле.
Наиболее отчетливо проявляется информационный подход в ки¬
бернетике при проектировании АСУ. В них создается информацион¬
ное обеспечение, основными составляющими которого являются
информационная модель предприятия и банк данных. Информа¬
ционная модель предусматривает создание схемы документо¬
оборота предприятия, в которой отражается структура и динамика
образования всех документов, циркулирующих на предприятии. За-
моделированная на ЦВМ такая схема при наличии устройств ввода-
вывода информации со временем приведет к полному исчезновению
деловых бумажных документов и замене их магнитными носителями
[Л. 8].
Банк данных предусматривает организованное хранение,
главным образом на магнитных носителях (иногда на перфолен¬
тах и перфокартах), всей информации справочного, нормативного
и другого характера, которая используется на предприятии. Это
позволяет при наличии программного обеспечения автоматически
подготавливать необходимые данные для любого документа: сетевого
графика, ведомости заработной платы, ведомости применяемости де¬
талей и т. д. Банк данных позволяет автоматизировать самый трудоем¬
кий процесс: подготовку исходных данных. Такое построение инфор¬
мационного обеспечения справедливо для любой кибернетической
системы, имеющей дело с бумажными документами. Создание и экс¬
плуатация такой машинной организации данных требуют разработки
специальной теории информации, отличной от классической теории,
разработанной в теории связи.
В первые годы становления кибернетики интенсивно использо¬
валось понятие количества информации по Шеннону, заимствованное
из теории связи и основанное на вероятностной, стохастической при¬
роде сигналов. В соответствии с этим понятием количество информа¬
ции передаваемого сообщения не зависит от его смыслового содержа¬
ния. По Шеннону в телеграмме, содержащей одинаковое число слов,
бессмысленной и содержащей смысл, имеется одно и то же количество
информации. Иногда это является положительным явлением, так как
абстрагирование от смыслового содержания (семантики) информации
позволяет получать ценные количественные характеристики. Однако
чаще отсутствие смысловой информации мешает решению важных
проблем.
Методы количественной оценки семантики информации, развивае¬
мые в работах Бар-Хиллела и Карнапа [Л. 9], Колмогорова [Л. 10]
и др., требуют дальнейшей существенной доработки в части прибли¬
жения к требованиям инженерной практики.
Следует признать, что разработка количественной меры семан¬
тики информации — завтрашний день кибернетики.
9

При машинной обработке информации (перевода с одного естест¬
венного языка на другой, поиске нужной информации и т. д.) потре¬
бовался машинный образ информационного объекта, который цирку¬
лирует в ЦВМ в виде сигналов. Оказывается совершенно недостаточно
приписать какому-то объекту (транзистору) какое-нибудь число (код).
Необходимо, чтобы в машине присутствовал определенный семан¬
тический образ объекта, аналогичный тому, который
имеется у специалиста по данному вопросу. Например, П14 — полу¬
проводник структуры р-п-р, низкочастотный, используется в усили¬
телях низкой частоты и т. д. Совокупность таких признаков (дескрип¬
торов) называется рабочей ветвью, а множество таких ветвей
для всех объектов, фигурирующих в системе, — тезаурусом
системы.
Уже в основополагающей книге Н. Винера подчеркивалась осо¬
бенность кибернетики, состоящая в установлении законов управле¬
ния, общих для живой и неживой природы. Наиболее отчетливо взаи¬
модействие этих двух классов систем проявляется в современных
автоматизированных системах управления, предназначенных для за¬
мены управленческого труда в производстве. Эти системы по существу
относятся к системам нового типа — биосистемам человек — машина.
В результате системного обследования составляется сцена¬
рий работы организатора производства, который в дальнейшем
реализуется в ЦВМ в виде комплекса информационно-программных
средств. Тем самым методы управления, принятия решений человеком
реализуются в искусственных технических системах. С другой сто¬
роны, на основе теории систем автоматического регулирования могут
быть построены искусственные органы человека такие, как почки,
сердце и т. д. и включены вместо естественных. Здесь имеет место
проникновение технических систем в живые. В качестве еще одного
примера можно указать на многослойные нейроподобные распозна¬
ющие среды, широко используемые в технике.
Следующей особенностью кибернетики является моделиро¬
вание — сведение процессов управления к кибернетическим мо¬
делям. Одна и та же модель может применяться для разработки опти¬
мального управления парикмахерскими, счетчиками космических ча¬
стиц, системой противовоздушной обороны, процессами наследствен¬
ности и пр. Как только процесс управления сведен к одной из кибер¬
нетических моделей, далее уже безразлично, какой конкретно это
процесс: физический, экономический и т. д., так как кибернетические
методы исследования всех моделей одни и те же. В этом смысле, ме¬
тоды кибернетики аналогичны методам теории колебаний, которую
в настоящее время можно, по-видимому, рассматривать как раздел
кибернетики, занимающийся управлением процессами возникновения
и поддержания колебаний с заданными параметрами [Л. И].
Приведем несколько примеров кибернетических моделей, которые
широко используются при исследовании систем управления, прежде
всего модель в виде автоматической системы регулирования (АСР).
Вся система регулирования представлена в виде структурной схемы
(рис. В-1), состоящей из отдельных звеньев Yx (s), V2 (s). Как пра¬
10

вило, во всех системах имеется звено сравнения управляющего (вход¬
ного) сигнала хих с сигналом обратной связи (в данном случае хпЬ1Х).
Принцип обратной связи, позволяющий получить более высокое каче¬
ство управления, широко используется в кибернетике. Каждое звено
модели исследуемой системы описывается дифференциальным урав¬
нением или передаточной функцией (в случае линейных систем с по¬
стоянными параметрами). Эта кибернетическая модель преобладает
при исследовании систем управления ракетой, электродвигателем
и т. д. Структурный подход к исследованию позволил создать частот¬
ный графоаналитический метод расчета и проектирования. Инженера-
кибернетика, который проектирует АСР с электродвигателем, мало
интересует число обмоток этого двигателя, его электрические пара¬
метры и т. д. Он прежде всего хочет знать частотные свойства электро¬
двигателя и других элементов системы, их амплитудно- и фазо-частот-
ные характеристики. Ему важно определить, какие частоты пропус¬
каются, какие подавляются, какое запаздывание по фазе вносится на
определенных частотах, критических для систем (частоте среза и пр.).
По существу в течение многолетней практики проектирования выра¬
ботался специфический частот¬
ный язык, с помощью кото¬
рого инженер как бы общается
с системой. Этот пример слу¬
жит хорошей иллюстрацией
информационного подхода к
исследованию кибернетиче¬
ских систем.
К сожалению, для расчета
других кибернетических мо¬
делей (сетевых, лингвистических) нет такого же эффективного метода.
Есть попытки использовать модель автоматического регулирования при
исследовании экономических систем типа промышленного предприя¬
тия. Однако для таких систем, которые в кибернетике называются
большими системами, модель, использующая аппарат диф¬
ференциальных уравнений, малопригодна. В этом случае наиболее
применима сетевая модель в виде графа, называемого транспорт¬
ной сетью или сетевым графиком (рис. В-2). Каждая
отдельная работа (обточка детали, монтаж электронной схемы и т. д.)
изображается в виде дуги графа, причем вершина, из которой она
исходит, соответствует началу работы, а вершина, в которую она
11

входит, концу работы. Сетевой график может насчитывать не¬
сколько тысяч ребер. Важно заметить, что поскольку время выполне¬
ния работы считается случайной величиной, то сетевой график —
это вероятнобтная модель системы. Она хорошо соответствует реаль¬
ному производственному процессу, но‘Громоздка. Здесь уместно оста¬
новиться на уровне абстракции модели [Л. 11]. Любая кибернетиче¬
ская модель должна соответствовать реальной системе и в то же время
обладать определенным уровнем абстракции, благодаря которой
систему представляется возможным исследовать. В этом смысле модель
автоматического регулирования очень удобна для вычислений, но,
обладая слишком высоким уровнем абстракции, она пло^о соответст¬
вует реальному производственному процессу. Сетевая модель хорошо
соответствует реальному процессу, в ней присутствуют понятия, из¬
вестные любому специалисту, не знающему математики (работа, время
выполнения работы, начало работы и т. д.),.но из-за низкого уровня
абстракции она сложна при расчетах.
Более подходящей для исследования работы промышленного
предприятия является модель в виде сети массового обслуживания
(СМО) (рис. В-3). В этом случае для каждой работы выделяется узел
сети, представляющий собой отдельную систему массового обслужи¬
вания со своим (как правило, случайным) законом обслуживания.
Между различными узлами циркулируют потоки изделий — заявки.
Такая кибернетическая модель имеет больший уровень абстракции,
чем сетевая, достаточно хорошо соответствует реальной системе и
удобна для исследования.
Наконец, в качестве кибернетической модели промышленного
предприятия или большой системы можно использовать лингви¬
стическую модель [Л. 4, 12, 13]. В этом случае система упо¬
добляется живому организму со своей логикой поведения, своим
«разумом». С помощью методов структурной лингвистики создается
грамматика поведения системы с определенными син¬
таксическими правилами и семантика с использованием про¬
цедуры обучения на известных примерах поведения. Упрощенно под
семантикой понимается система правил, позволяющих отделить пра¬
вильные, разумные решения от неправильных. Лингвистическая мо¬
12

дель, обладающая большими логическими возможностями, наилуч¬
шим ’образом описывает поведение систем, в которых существенную
роль играют люди, так как представляется возможным (через семан¬
тику) учесть элементы их разумного, творческого поведения. Термин
«лингвистический» означает использование методов, развиваемых в ма¬
тематической лингвистике, которая исследует алгебраическими мето¬
дами естественные языки.
Применительно к большим системам чаще используется термин
«семиотическая система» [Л. 14, 15].
* Семиотические или знаковые системы или
модели в широком смысле определяются как системы, состоящие из
знаков, между которыми установлены определенные отношения.
В качестве знаков могут фигурировать мимика,, жесты человека или
животных, рукописные знаки и т. д.
В широком смысле под лингвистическими моделями понимаются
системы, состоящие из слов, подчиняющихся определенной взаимо¬
связи. В качестве слов могут быть использованы слова и фразы есте¬
ственного языка, жесты, счетные палочки и т. д. При таком понима¬
нии лингвистические методы мало чем отличаются от семиотических
методов исследования. В семиотических методах в отличие от лингви¬
стических часто подчеркивается физическое существование семиоти¬
ческих моделей аналогично тому, как специалисты по АСР всегда
имеют в виду конкретную АСР (например, АСР давления пара, уровня
жидкостей и т. д.). Однако будем считать, что любая модель системы
(сетевая, массового обслуживания и т.д.) становится семиотической,
когда ее записывают в виде программы в кодах машины или на каком-
нибудь алгоритмическом языке (СЛЕНГ или СИМУЛА) для модели¬
рования на ЦВМ.
Не менее важной чертой кибернетики, ставшей наиболее четкой
в связи с разработкой АСУ, является системный подход
к исследованию процессов управления. Системность предполагает
единое комплексное рассмотрение и проектирование системы управле¬
ния в целом и представляет достаточно сложное переплетение органи¬
зационных, информационных, математических, программных и тех¬
нических средств и приемов. Первый этап разработки АСУ состоит
в системном обследовании объекта, который предполагается автома¬
тизировать, в результате чего уточняется его функциональная струк¬
тура, объем массивов информации и документов, циркулирующих
в нем. Системность достигается единым информационным, математи¬
ческим и техническим обеспечениями в отдельных функциональных
подсистемах (например, финансово-бухгалтерской, планово-производ¬
ственной, материально-технического снабжения и т. д.). При этом во
всех подсистемах используются технические устройства одной из вы¬
числительных систем (или «Минск-32», или ЕС ЭВМ), одна и та же
система автоматизированной обработки данных (например, КОБОЛ -
система) и единое представление информации на магнитных носителях,
одна и та же система программирования с единой библиотекой стан¬
дартных программ и операционной системой. С другой точки зрения
системность предусматривает оптимальное распределение ресурсов
13

(финансовых, весовых, объемных, временных и т. д.) между отдель¬
ными частями технических средств системы, такими как терминаль¬
ные устройства, линии связи, внешние устройства ЦВМ, оперативная
память ЦВМ, процессор ЦВМ, а также оптимальное распределение
функционального вклада в систему между математическими моделями,
алгоритмическим, программным и техническим обеспечениями. Си¬
стемность не допускает, например, простаивания терминалов с або¬
нементами из-за ограниченных возможностей линий связи или процес¬
сора ЦВМ из-за неподготовленности информационных массивов.
В этом случае следует вложить больше средств в систему связи ^а счет
уменьшения средств на собственно вычислительную машину. Нередки
случаи, когда в результате некачественно выполненного системного
обследования требования по точности в одних подсистемах нерацио-.
нально высоки по сравнению с предельно реализуемым значением
ошибок в других подсистемах. При этом получается, что дополнитель¬
ные ресурсы, вложенные для получения этой высокой точности, не¬
оправданны, так как нет положительного эффекта для всей системы.
Следующая особенность кибернетики — это вероятност¬
ный статист и ческийподход к процессам управления.
Эта концепция взята из статистической физики. Известно, что пове¬
дение газа в сосуде определяется случайным движением отдельных
молекул. Однако молекулярная физика, статистически усредняя ста¬
тистику движения молекул, получила детерминированные законы по¬
ведения газа (законы Бойля — Мариотта, Гей-Люссака).
Аналогично считать, например, что вызовы на телефонной стан¬
ции — случайные события во времени, так как каждый вызов опре¬
деляется большим количеством факторов, учесть которые невозможно.
Однако зная статистические характеристики случайных вызовов, с
помощью кибернетической модели массового обслуживания можно
определить оптимальные законы управления телефонной сетью.
Кибернетика считает, что любой процесс управления подвержен
случайным, мешающим воздействиям. Это в одинаковой мере отно¬
сится к любой системе управления. Например, на производственный
процесс влияет так много факторов (состояние станка, рабочего, каче¬
ство материала, своевременность доставки комплектующих изделий
и пр.), что учесть их детерминированным образом нельзя. Поэтому
считается, что на производственный процесс воздействуют случайные
сигналы и при управлении производством следует исходить из того, что
планирование может быть только вероятностным, и выполнение плана
к определенному сроку можно ожидать с какой-то вероятностью
(например, р = 0,9). Так же радиолокационная антенна в своей работе
подвержена случайным флюктуациям, вызванным отражением сигнала
от цели и собственными шумами приемника. Поэтому и здесь можно
обсуждать только вероятность (не более определенной ошибки)'от¬
клонения антенны от направления на цель.
Иногда для уменьшения объема детерминированной информации
с сохранением ее основных черт кибернетика искусственно вводит
случайность. Например, производственный процесс состоит в вы¬
пуске нескольких сотен типов электронных блоков, каждый из кото-
14

пых изготовляется в разных количествах (от сотни до тысячи). Вместо
всего множества этих блоков можно ввести некоторые абстрактные
эталонные блоки, появляющиеся (материализующиеся) случайным
образом э виде реальных блоков с частотой появления, определяемой
относительным количеством этих блоков. В результате такой про¬
цедуры сложная детерминированная исходная информационная система
заменяется более простой эквивалентной вероятностной информацион¬
ной системой.
Аналогичная процедура часто применяется при решении задач
опти^зации и синтеза алгоритма управления. Такие задачи (напри¬
мер, распределение ресурсов или синтез конечных автоматов) в детер¬
минированной постановке требуют нереально большого объема вы¬
числений. Перевод этих задач из детерминированных в вероятност¬
ные существенно сокращает объем вычислений, хотя и не позволяет
получить точного решения.
В-З. МЕТОДЫ КИБЕРНЕТИКИ
Вряд ли целесообразно излагать все методы кибернетики; их доста¬
точно много, и они подробно будут рассмотрены в последующих раз¬
делах книги. Поэтому здесь будут изложены только основные инже¬
нерные методы, применяемые почти во всех разделах кибернетики для
исследования большинства кибернетических моделей.
Начиная с АСР и кончая лингвистическими системами управле¬
ния в кибернетике, при инженерных расчетах и проектировании ши¬
роко применяют структурные методы (структурные схе¬
мы), использующие геометрическое представление системы, т. е. ме¬
тоды или процедуры в виде графа. Структурные методы исследования
АСР вытеснили все другие методы. Они используют геометрическое
представление системы в виде направленного графа и при структур¬
ных преобразованиях применяют правило Мэзона. Их применяют
при расчете электрических цепей, электрических машин, электрон¬
ных схем высокочастотных электромагнитных линий и устройств.
Изображение в виде графа применяется в системах массового обслу¬
живания, теории игр, теории детерминированных и вероятностных
автоматов, при сетевом планировании, матричных расчетах и, нако¬
нец, лингвистических методах анализа и синтеза. Во всех случаях
геометрическое' изображение в виде графа включает дополнительный
участок мышления инженера, помогая ему найти оптимальное решение.
До последнего времени преобладающим инженерным методом рас¬
чета систем управления был метод дифференциальных
Уравнений, который применительно к АСР был трансформиро¬
ван в частотный структурный метод. Применение этого
метода обусловливалось тем, что в центре внимания научно-техниче¬
ской мысли были системы управления, поведение которых достаточно
хорошо описывалось аппаратом дифференциальных уравнений. Это —
системы типа наведения ракеты, управления антенной. При управле¬
нии большими системами (промышленным предприятием) также при¬
15

менялся аппарат дифференциальных уравнений, однако здесь он, как
правило, плохо описывал явления и мало помогал при расчете и про¬
ектировании. Поэтому для описания таких систем метод дифферен¬
циальных уравнений был заменен топологическим мето¬
дом с использованием алгебры, логики, теории графов и комбина¬
торного исчисления. Это дало, в частности, в сетевых методах пла¬
нирования возможность учитывать отдельные дуги (работы) и в то же
время получить обобщенные характеристики всей системы, такие как
минимальный разрез, максимальный поток,
минимальное дерево и пр.
Такое положение способствовало развитию и популярности в ки¬
бернетике методов так называемой дискретной матема¬
тики, которая не использует таких понятий непрерывной матема¬
тики, как непрерывность, дифференцируемость. Вопрос о диалектиче¬
ском взаимоотношении непрерывной и дискретной математики, об
отдельных исторических этапах интенсивного развития одних и замед¬
ленной эволюции других ее методов неоднократно обсуждался. Интен¬
сивное' внедрение кибернетики и ЦВМ в различные области науки и
техники оказало влияние и на такую фундаментальную науку, как
математика, инициировав развитие дискретных методов исследования.
Очевидно, что современные высокие темпы научно-технической рево¬
люции требуют включения в общематематическую подготовку инже¬
неров разделов дискретной математики.
Уже в первых АСР применялся принцип обратной связи, который
в дальнейшем перерос вметоды самонастройки, само¬
организации и самоусовершенствования. Так,
при распознавании образов (печатных букв) с помощью специализи¬
рованных вычислительных машин или вычислительных сред исполь-.
зуется режим обучения с учителем и без учителя, в обученной машине
предусматривается возможность дообучения, т. е. режим самоусовер¬
шенствования, самонастройки. Проблемы обучения (настройки) линг¬
вистической математической среды семантике (правилам построения
правильных решений) аналогичны обучению человека в учебных за¬
ведениях.
Как пример самонастраивающихся алгоритмов интересен проб¬
лемно-ориентированный язык АЛГОС [Л. 16], который относится
к списочно-логическим языкам. При решении задач с его помощью
оптимальный алгоритм формируется в зависимости от исходных дан¬
ных. Так, если решается система линейных алгебраических уравне¬
ний, алгоритм учитывает нулевые коэффициенты в уравнениях. Ус¬
пешно использует методы самонастройки теория автоматического ре¬
гулирования. Одна из идей самонастройки заключается в том, что на
специализированной вычислительной машине моделируется предпо¬
лагаемый процесс управления в ускоренном масштабе времени (в не¬
сколько раз более быстром, чем реальный процесс управления). Бла¬
годаря этому удается путем многих пробных моделирований каждый
раз выбирать закон управления. В большинстве других систем опре¬
деляется экстремальное значение отдельных показателей качества
работы и система выводится на этот экстремум.
16

Различают два типа самонастраивающихся систем: аналити¬
ческие, в которых система настраивается на оптимальные пара¬
метры, полученные аналитически по характеристике сигналов, и
поисковые, в которых экстремум неизвестен и система выво¬
дится на экстремальные значения путем последовательности пробных
шагов.
Для обоих типов систем важно определить экстремум
ф у н к ц*и онала ифункции, т. е. отыскать глобальный
максимум среди локальных экстремумов. Поэтому
кибернетика уделяет такое большое внимание различным методам
оптимизации. В классическом вариационном исчислении, в основе ко¬
торого лежит метод Эйлера — Лагранжа, и его дальнейших разви¬
тиях в плане динамического программирования и принципа макси¬
мума определяется оптимальная функция управления, которая при¬
дает функционалу, в виде которого записан критерий оптимальности,
экстремальное значение. Другую группу составляют методы отыска¬
ния экстремума функции. Они позволяют определять значения пере¬
менных, обращающих в минимум или максимум некоторую функцию,
и составляют основу методов математического про¬
граммирования, которые интенсивно развивались в послед¬
ние годы под влиянием кибернетики.
Но никакая математическая или кибернетическая модель реаль-^
ной системы не может полностью отразить все свойства и особенности,
неизбежны искажения и упрощения. Кроме того, как уже указыва¬
лось, математическое описание многих реальных систем настолько
сложно, что не поддается аналитическим расчетам, и приходится при¬
бегать к моделированию на ЦВМ. Поэтому одним из основных методов
кибернетики стал метод моделирования процессов
управления на ЦВМ. Для этого разработаны специальные
проблемно-ориентированные языки моделирования, такие как СИ-
МУЛА, САМСКРИПТ, СЛЕНГ и др., а также информационно-про¬
граммные средства общения человек — машина, включающие языки-
диалоги, и технические средства общения типа дисплей, использую¬
щие электронно-лучевые трубки.
В-4. КИБЕРНЕТИКА И ВЫЧИСЛИТЕЛЬНЫЕ МАШИНЫ
Вопрос о месте вычислительных машин в кибернетике трактуется
по-разному. Кибернетика является самостоятельной наукой со своими
определениями и методами, так же как физика или химия, и имеет
право на существование независимо от вычислительных машин.
Однако в отличие от всех других наук она теснее связана с вычисли¬
тельными машинами и зависит от них более сильно, чем, например,
физика от физических приборов. Это не означает, что кибернетика —
это вычислительные машины. Инженер-кибернетик должен знать
принципы работы вычислительных машин, но не обязан уметь их соз¬
давать, настраивать или эксплуатировать. Для кибернетика обяза¬
тельно уметь доводить свои задачи до составления программы на
каком-либо алгоритмическом языке типа АЛГОЛ, уметь общаться,
17

«разговаривать» с ЦВМ на проблемно-ориентированном языке. Знание
этих языков для кибернетика является обязательным условием.
Большинство задач управления сводится к решению сложных диф¬
ференциальных уравнений или к перебору тысяч и сотен тысяч ва¬
риантов, что в состоянии выполнить только машина. Например, за¬
дачу оптимального распределения ресурсов (материалов, электро¬
энергии и пр.) по нескольким отраслям (металлургической, автомо¬
бильной, машиностроения и пр.) можно решить путем оптимального
перебора с помощью динамического программирования. Для одного
и двух видов ресурсов задача может быть решена, как правило, вруч¬
ную. Однако для трех ресурсов требуется вычислительная машина,
а для четырех и более даже современные машины не в состоянии ре¬
шить задачу из-за большого количества вариантов перебора. В этом
случае приходится отказываться от «чистого» алгоритмического, пол¬
ностью автоматного метода решения и применять человеко-машинные
способы, в которых широко используются опыт и интуиция человека,
с одной стороны, и большие банки данных и программ для компиля¬
ции — с другой.
Вместе с развитием и становлением кибернетики и главным обра¬
зом АСУ ЦВМ прошли несколько стадий или несколько поколений
эволюционного развития [Л. 8, 17]. Первое поколение
характеризуется использованием их в качестве большого вычислитель¬
ного устройства, арифмометра. Как правило, эти машины были лам¬
повые, хотя элементная база не главное, что отличает ЦВМ различных
поколений. Машины второго поколения в основном ори¬
ентированы на обработку крупных массивов информации. Хотя струк¬
тура ЦВМ сохранила свой универсальный характер, математическое
обеспечение и внешние устройства специально ориентированы на за¬
дачи обработки данных. С приходом машин третьего поко¬
ления ориентация на эти задачи еще больше увеличивается, от
ЦВМ требуется представление результирующих данных в удобном для
человека информативном виде. Здесь получили широкое распростра¬
нение терминальные устройства для ввода и вывода
информации на электронно-лучевых трубках типа дисплея, теле*
тайпы и т. д. и многоабонентный режим работы с дистанционных
пультов с широко развитой системой связи для передачи цифровой
информации. И, наконец, машины четвертого поколения
ориентируются на создание полного сервиса как в части технических,
так и информационно-программных средств для непосредственного
взаимодействия человека и ЦВМ, с терминалами и минимашинами.
Средняя продолжительность жизни одного поколения ЦВМ составляет
около 10 лет. Со сменой поколений меняется и элементная база: для
машин второго поколения — транзисторы, третьего поколения —
интегральные элементы (или интегральные схемы ИС), четвертого
поколения — большие интегральные схемы (БИС). Для машин трех
первых поколений характерны универсальность построения самой ма¬
шины и программный способ решения задач. Таким же программным
путем решаются на современном этапе задачи в АСУ. При этом наблю¬
дается эволюция от программирования в кодах машины для машин
18

первого поколения, что создавало жесткую привязку программного
обеспечения к конкретной ЦВМ, которое умирало вместе с машиной,
к программированию на проблемно-ориентированных языках для
машин второго и третьего поколения и частично программированию
на языках-диалогах или «разговорному» программированию, при
которых программы и информационные массивы сохраняются при
смене машины. Эта эволюция должна привести к тому, что программы
будет составлять сама ЦВМ, а за человеком останется составление
задания на программирование на входном языке машины, причем этот
язык с течением времени все более приближается к естественному
человеческому языку.
В ' настоящее время ведутся интенсивные работы по внедрению
методов кибернетики в управление экономическими системами. Соз¬
даются АСУ, в которых автоматизируется с помощью вычислитель¬
ных машин управленческий труд.
Вычислительные машины для целей управления применяются
в двух направлениях: первое — математическое моделирование буду¬
щей системы управления. Здесь необходимы мощные машины универ¬
сального типа, так как при моделировании таких сложных систем,
как, например, работа большого аэропорта, требуется реализовать
программы объемом порядка 2,5 млн. команд, а для моделирования
экономики страцы — 10 млн. команд. При этом машины должны быть
надежны (ламповые машины здесь совершенно не подходят), обладать
высоким быстродействием (около 10 млн. операций!сек), большим
объемом оперативной памяти (порядка 500 тыс. слов) и с внешней
памятью до 10 000 млн. слов. В ЦВМ должно быть сильно развитое
программное обеспечение. Так, наиболее распространенная в мире
система программирования IBM-360 в основном содержит порядка
2 млн. слов (или, точнее, операторов). Средняя производительность
программиста примерно 1 000 операторов в год. В случае применения
проблемно-ориентированных языков скорость программирования по¬
вышается в 3—8 раз в зависимости от уровня автоматизации програм¬
мирования, заложенного в языке. С помощью этих цифр можно судить
о трудоемкости решения задач на ЦВМ.
Второе направление — это применение вычислительных машин
непосредственно в системе управления в качестве узла или звена
системы. Требования к надежности таких машин значительно выше
по сравнению с надежностью машин, на которых производится моде¬
лирование. Мощность же их значительно меньше. На первом этапе
исторического развития в основном применялись для моделирования
проектируемых систем и управления в этих системах аналоговые
ЦВМ непрерывного действия благодаря своей простоте, надежности,
Дешевизне и хорошим средствам общения человек — машина, в зна¬
чительной степени обусловленных не столько элементной базой,
сколько аналоговым принципом построения. Однако с переходом к
старшим поколениям надежность ЦВМ существенно возросла, с пере¬
ходом к БИСам наметились тенденции к снижению их стоимости.
Кроме того, разработка и внедрение информационно-программных и
технических средств общения практически позволило придать ЦВМ
19

более совершенные приемы общения по сравнению с аналоговыми
машинами. По существу с позиций потребителя такая ЦВМ обладает
многими свойствами аналоговых машин, хотя технически основана
на цифровом принципе. В последних моделях ЦВМ третьего и особенно
четвертого поколения определенная проблемно-ориентированная си¬
стема программирования стала реализовываться за счет технических
средств машины («запаиваться» в нее). По прогнозам специалистов
машины четвертого поколения будут специализироваться на проблему
«жесткой» реализацией определенной системы программирования
в технических средствах.
Рассмотренная выше тенденция, превращения машины-арифмо-
метра в устройств^ для переработки и выдачи информации, т. е. в не¬
которую кибернетическую машину, в значительной степени обуслов¬
ливается требованиями разработки и внедрения АСУ.
В-5. СПЕЦИАЛЬНЫЕ И ПРИКЛАДНЫЕ ВОПРОСЫ КИБЕРНЕТИКИ
В процессе формирования и развития кибернетики как науки об
управлении появились понятия и разделы, специфичные только для
кибернетики, в частности понятие большой системы, под которой пони¬
мается такая кибернетическая система, которая насчитывает несколько
тысяч или десятков тысяч компонент (степеней свободы), например
промышленное предприятие, насчитывающее 10—15 тыс. рабочих.
Такое предпрятие может быть описано в виде сетевого графика, на¬
считывающего несколько десятков тысяч работ, где каждая работа —
это компонента (или степень свободы). Оно также может быть представ¬
лено в качестве сети массового обслуживания или логических (линг¬
вистических) операторов; в этом случае каждый рабочий или группа
рабочих описывается локальной системой массового обслуживания
или логическим оператором, которых в общей сложности может на¬
считываться несколько тысяч.
Другим примером большой системы может служить телефонная
сеть или система парикмахерских большого города. Вызовы на теле¬
фонную станцию, так же как клиенты в парикмахерские, приходят
случайно. Клиентов большое количество — несколько тысяч или де¬
сятков тысяч.
Примером большой системы является также многослойная рас¬
познающая машина, состоящая из нескольких тысяч нейтронов или
пороговых элементов, используемая в качестве модели мозга человека.
Большую систему часто сравнивают с газом, заключенным в со,-
суд. Большое количество молекул совершает там хаотическое дви¬
жение. Методами молекулярной физики (микроподход) учитывают
движения отдельных молекул, выводят усредненные характеристики
поведения всей системы. Если же газ в сосуде рассматривают как
большую систему, то движениями отдельных молекул не занимаются,
а сразу выводят законы для всего объема газа (макроподход). Част¬
ным подклассом больших систем являются автоматизированные си¬
стемы управления, для которых характерно присутствие человека
или группы людей и человеко-машинные методы управления.
20

Основная задача АСУ — создать информационный банк данных
на машинных носителях информации (магнитных лентах), в котором
бы находились все информационные массивы и документы, необходи¬
мые для управления. Объем такого банка может составлять несколько
тысяч кассет магнитной ленты. ЦВМ всем своим комплексом информа¬
ционно-программных и технических средств должна обеспечить доступ
и удобство общения человека с этой информацией. Она выступает
инструментом (типа микроскопа) для чтения информации. При этом
поиск, укрупнение, фрагментация, подборка и т. д. информации выпол¬
няются автоматически в немыслимых для ручных методов объемах и
за кратчайшее время.
Развитая операционная система ЦВМ обеспечивает специалисту
любого профиля пользование информационным банком, так как при
этом вовсе не требуется знаний кибернетики, а достаточно владеть
входным языком-диалогом, содержащим профессиональные фразы на
естественном языке, а также быть знакомым с техническим устройством
ввода и вывода информации, в состав которого обязательно должен
входить дисплей с клавиатурой [Л. 18].
Большим достижением кибернетики является эволюционный прин¬
цип разработки вечной АСУ, мало чувствительной к смене ЦВМ
и других технических средств, так как ее основное богатство состав¬
ляют центральный и индивидуальные банки данных и операционная
система с комплексом рабочих программ, составленных на проблемно-
ориентированном языке. Использование программно-ориентирован¬
ных языков позволяет сохранить информационно-программный ком¬
плекс при смене ЦВМ, для чего достаточно для новой ЦВМ составить
соответствующие трансляторы с языков. Потребителю АСУ постав¬
ляется в некотором начальном состоянии, содержащем начальный
комплект технических и информационно-программных средств. Бла¬
годаря модульности этих средств и реализации их по принципу откры¬
той системы они допускают расширение, дополнение, обновление си¬
стемы включением и исключением отдельных ее модулей. На первом
этапе эксплуатации АСУ происходит интенсивный период ее при¬
способления к системе, для которой она проектировалась, к конкрет¬
ным работникам этой системы (завода, конструкторского бюро, научно-
исследовательского института и т. д.) и, с другой стороны, приспособ¬
ление (перестройка) людей и системы к более эффективной работе в но¬
вых условиях АСУ. Процесс приспособления существенно облегчается
большим объемом сервисных информационно-программных средств,
которые должны составлять основное содержание типовой АСУ. При
этом происходит пополнение банков данных и библиотеки программ
с целью обеспечения удобства работы человека в АСУ.
После начального перехода процесса взаимного приспособления
человека и АСУ наступает период эволюционного развития, совер¬
шенствования человеко-машинной системы.
Примером может служить АСУ для игры в шахматы. В процессе
подготовки к очередному матчу гроссмейстер с помощью дисплея
и информационно-программных средств создает в машинной среде свой
комплекс навыков и вариантов игры, свой стиль, ^о время матча,
21

когда гроссмейстеру выделяется время на обдумывание очередного
хода, он обращается через дисплей к своей индивидуальной АСУ и,
оперативно обыгрывая различные варианты, выбирает очередной ход.
Почти весь объем умственной работы для расчета вариантов при этом
возлагается на АСУ, а за игроком остаются функции тактических и
стратегических решений, которые по мере развития АСУ также все
больше и больше передаются системе. После окончания матча, кото¬
рый запомнен АСУ, гроссмейстер анализирует его, учитывает ошибки
и совершенствует свою индивидуальную систему.
Центральной проблемой при такой человеко-машинной концепции
АСУ является создание своего рода моста между человеком и ЦВМ
с банком данных для перекачки профессионального опыта, навыков
и интеллекта человека или группы специалистов в информационно¬
программную среду. Причем процесс передачи функций от человека
к машине начинается снизу, с простейших, рутинных операций по
заполнению и обработке простейших документов типа нарядов, зая¬
вок, накладных и т. д. до вопросов принятия решений по оператив¬
ному, текущему и перспективному планированию и другим видам
деятельности. По истечении некоторого отрезка времени в ЦВМ соз¬
дается некоторый информационно-программный комплекс, в котором
сосредоточены опыт и навыки одного человека или группы специали¬
стов.
В дальнейшем комплексом может руководить другой специалист
и продолжить его развитие. В определенном смысле этот информа¬
ционно-программный комплекс может рассматриваться как некоторая
модель искусственного разума, одной из главных осо¬
бенностей которого является способность развиваться. Такой искус¬
ственный разум существенно освобождает специалиста от выполнения
рутинных операций по обработке информации, а при достаточном его
развитии и в части принятия решений. В процессе работы с такими
системами, с банками данных на машинных носителях информации
человек получает мощный импульс интеллектуального развития, по
существу поднимаясь на новый уровень цивилизации, связанный с пе¬
реходом от эпохи печатного слова к эпохе представления информации
на машинных носителях. При достаточно развитой сети АСУ бумаж¬
ные носители информаций в деловой, производственной и научно-
технической сферах деятельности полностью заменяются на машинные
носители информации (магнитные ленты, диски, барабаны, перфо¬
ленты, перфокарты и т. д.). Модель искусственного разума в виде
информационно-программной системы может долго храниться и пере¬
живать целые поколения, так же как книги, в которых сконцентри¬
рован индивидуальный, коллективный, частный профессиональный и
общий человеческий разум. Гармоническая система человек — ма¬
шина существенно повысит темпы развития всех отраслей науки и
техники, естественного человеческого разума.
Существуют другие концепции построения искусственного ра¬
зума, в частности дедуктивные, основанные на том или ином матема¬
тическом аппарате (лингвистике, семиотике, ситуационном моделиро¬
вании, теории доказательств и т. д.), но пути его создания так или
22

иначе связаны с рассмотренным направлением. Проблема искусствен¬
ного разума является центральной в кибернетике, так как подавляю¬
щее большинство вопросов переработки информации с целью управ¬
ления связано с принятием решений. Большое значение эта проблема
имеет в разработке автоматизированных систем проектирования новых
систем. Современным высоким темпам научно-технической революции
совершенно не удовлетворяют медленные ручные методы проектиро¬
вания. Дело в том, что идеи, заложенные в разработку новой системы,
начинают устаревать спустя год-два после начала работ, а к моменту
запуска системы в серию (примерно через три — пять лет после на¬
чала работ) совершенно идеологически устаревает. Выход из такого
положения один — сокращение сроков разработки и запуск в серию
автоматизированных систем проектирования на всех этапах разработки
от эскизного проекта до изготовления серийной документации, а
также введение автоматизированной системы управления самим се¬
рийным производством. При этом перед началом работ принимается
стратегия разработки не конкретной системы, а поколения систем,
определяется их облик и готовится информационное, программное и
техническое обеспечение для автоматизированной системы проектиро¬
вания.
В-6. СТРУКТУРА КИБЕРНЕТИКИ
Известно несколько схем, представляющих структуру киберне¬
тики. Наибольший интерес, по-видимому, представляет схема Ляпу¬
нова — Яблонского [Л. 19]. Приводимая ниже структура кибернетики
была разработана в результате чтения курса кибернетики в Москов¬
ском инженерно-физическом институте на протяжении нескольких
Рис. В-4. Математические основы кибернетики.
лет [Л. 20]. Основным направлением этого курса служила трактовка
положений кибернетики на инженерном уровне, предназначенном для
подготовки инженеров-кибернетиков широкого профиля.
Структура кибернетики в нашем понимании, в соответствии с ко¬
торой предполагается излагать курс «Основы кибернетики», может
быть разбита на четыре раздела:
1. Общие сведения о кибернетике.
2. Математические основы кибернетики (рис. В-4).
23

3. Основы кибернетических Моделей (рис. В-5).
4. Специальные и прикладные вопросы кибернетики (рис. В-6).
Математические основы кибернетики разделены на три цикла:
вероятностные методы, методы оптимизации и численные методы,
Рис. В-5. Основы кибернетических моделей.
методы дискретной математики. Так как в основе исследования боль¬
шинства систем управления лежат вероятностные методы, то первые
три раздела вероятностных методов посвящаются теории вероятностей,
математической статистике и теории марковских процессов. В разделе
математической статистики в основном излагаются вопросы определе¬
ния числовых значений характеристик случайных величин и законов
Теория
больших
систем
Теория
искусстбенно-
го разума
Проентироба-
ние АСУ
Автоматиза¬
ция проенти-
робания
Оснобо/ ин¬
формационно¬
го обеспечения
Оснобо/ алго -
ритмичесного
обеспечения
Оснобо/
программного
обеспечения
Оснобо/
техничесного
обеспечения
Рис. В-6. Специальные и прикладные вопросы кибернетики.
распределения. Уже на примере этого раздела можно убедиться в том,
что различные разделы кибернетики взаимно проникают друг в друга
и резкого разделения провести не удается. Часто изложение теории
вероятности производится с привлечением общей алгебры и матема¬
тической логики, которые рассматриваются в разделе дискретной
математики. Изложение математической статистики заканчивается
24

теорией статистических решений, предлагающей математические ме¬
тоды для принятия решений в условиях неопределенности. Эти ме¬
тоды в значительной степени перекрываются методами теории игр.
Четвертый раздел вероятностных методов посвящен теории инфор¬
мации и кодирования. Наряду с рассмотрением вероятностного поня¬
тия информации, ее свойств и особенностей преобразования, развитых
в теории связи, в этом разделе большое внимание уделяется другому
подходу к информационным явлениям, который сформировался в связи
с машинной обработкой информации и внедрением АСУ й в котором
используется понятие информационного тезауруса.
Оптимальные методы обработки, передачи, преобразования и за¬
щиты информации существенным образом зависят от способов ее . ко¬
дирования, которым уделяется большое место в этом разделе. Для
построения оптимальных систем управления необходимо иметь в на¬
личии математический аппарат для отыскания оптимальных законов
управления, который составляет основное содержание второго цикла
математических основ кибернетики. В зависимости от специфики си¬
стемы управления могут применяться различные методы оптимизации:
от классических методов Эйлера — Лагранжа, динамического про¬
граммирования и принципа максимума Понтрягина до методов мате¬
матического программирования. При этом рассматриваются непре¬
рывные и дискретные, детерминированные и вероятностные варианты
этих методов. Очень часто для отыскания оптимального управления
приходится решать численными методами дифференциальные, интег¬
ральные или разностные уравнения, которые составляют в настоящее
время самостоятельный большой раздел прикладной математики.
Учитывая использование ЭВМ, желательно окончательные численные
процедуры отыскания решения записывать с помощью какого-нибудь
проблемно-ориентированного языка типа АЛГОЛ или ФОРТРАН.
Особого внимания заслуживает третий цикл математических основ
кибернетики — дискретная математика (см. рис. В-4). Как уже ука¬
зывалось, большинство процессов управления, особенно в АСУ,
дискретные. Массивы информации и программы, записанные на ма¬
шинных носителях дискретны по своей структуре. В редких случаях
их можно описать с помощью аппарата непрерывной математики (диф¬
ференциальных уравнений). Поэтому для инженера — специалиста по
управлению требуется другая математическая подготовка по сравне¬
нию с той, которая дается в настоящее время в технических вузах.
Ему необходимо знать дискретную математику, которая называется
так потому, что в ней нет понятия непрерывности, дифференцируе¬
мости. Дискретная математика включает следующие разделы: теорию
множеств и общую алгебру, математическую логику, теорию алго¬
ритмов, теорию автоматов, теорию графов, комбинаторное исчисле¬
ние, математическую лингвистику.
Все кибернетические модели, рассматриваемые в третьей струк¬
турной части кибернетики — основах кибернетических моделей
(см.рис. В-5), разделены на три группы. Здесь первую группу составляют
Модели, в основе которых лежит вероятностная природа. Это — мо¬
дели теории массового обслуживания, теории игр, распознавания
25

образов. Вторая- группа объединяет кибернетические модели, поведение
которых описывается дифференциальными или разностными урав¬
нениями. Большинство методов исследования таких систем излагается
в работах по системам автоматического регулирования. Для этих
методов характерно рассмотрение процессов во времени, поэтому
такие модели могут быть названы динамическими системами. Третью
группу кибернетических моделей составляют дискретные кибернети¬
ческие модели. Эти модели применяются и для исследования процес¬
сов управления, протекающих во времени, но в основном в них время
не используется. Например, требуется с помощью вычислительных
машин раскроить листовое железо для обшивки корабля наилучшим
образом с точки зрения расхода материала, причем время, в течение
которого производится раскрой, не имеет значения. Здесь с успехом
применяются как детерминированные, так и вероятностные методы
расчета. Рассматриваемые в этой группе методы наиболее слабо осве¬
щены в литературе и представляют собой наибольшую ценность.
В этой же группе имеется третий раздел, посвященный лингвистиче¬
скому управлению.
В общей структурной схеме кибернетики предусматривается еще
четвертая часть, посвященная специальным и прикладным вопросам
кибернетики (см. рис. В-6). Содержание этой части выглядит наиболее
неопределенным, так как ее название допускает включение самых
разнообразных разделов. Вопросы, связанные с проектированием АСУ,
выделены в самостоятельный раздел. Хотя они и представляют моди¬
фикацию больших систем, для них характерен человеко-машинный
способ управления. В этом разделе в основном рассматриваются об¬
щие вопросы проектирования АСУ и особенности проектирования
функциональных подсистем.
Раздел, названный «Теория искусственного разума», включает
различные аспекты теории принятия решений в больших системах,
а также вопросы создания информационно-программных комплексов,
моделирующих профессиональный искусственный разум. Необходи¬
мость введения самостоятельного раздела по автоматизации проекти¬
рования диктуется тем обстоятельством, что в ближайшие годы любое
проектирование, в том числе АСУ и ЦВМ, немыслимо без автомати¬
зации.
Вторая группа разделов этой части посвящена так называемым
обеспечивающим подсистемам систем управления. Хотя концепция
обеспечивающих подсистем возникла в процессе разработки АСУ,
она полностью применима к любым системам управления. Для лю¬
бого управления нужны данные об объекте управления, которые мо¬
гут обновляться в процессе управления, а также различные модели
преобразования информации в системе, что и составляет основное
содержание информационного обеспечения. Начало проектирования
начинается с системного обследования и составления технического
задания, после чего составляются математические модели управления
(кибернетические модели). Если модель использует дифференциальные
уравнения, то необходимо, применяя численные методы, их «ариф-
метизировать», чтобы получить процедуру вычисления решений для
26

конкретных числовых начальных условий, использующую четыре
арифметические действия и другие элементарные машинные операции,
которая и рассматривается как алгоритм решения задачи. При реше¬
нии задачи планирования с помощью линейного программирования
(к примеру) в качестве математической модели выступает модель
задачи оптимизации в виде линейного программирования, а алгоритм
представляет конкретную процедуру отыскания решения этой задачи.
Цри наличии алгоритма в принципе решение может быть получено
ручным способом, однако в большинстве случаев требуются вычисли¬
тельные машины, и необходимо по алгоритмам составить программы
вычислений на ЦВМ, которые составляют часть программного обеспе¬
чения системы. Три раздела: математические модели, алгоритмиче¬
ское и программное обеспечение — составляют содержание матема¬
тического обеспечения.
Основным техническим средством является ЦВМ. При проектиро¬
вании технического обеспечения в этой части поступают двояким обра¬
зом: или разрабатывают специализированную управляющую машину,
как часто бывает при управлении непрерывными объектами, или оста¬
навливаются на определенной системе ЦВМ, допускающей модульный
синтез конкретной ЦВМ, что характерно для АСУ на данном этапе.
В этом последнем случае из машинно-ориентированного программного
обеспечения (операционной системы и т. д.), широко используя ре¬
жимы генерации, создают программное обеспечение (главным обра¬
зом операционную систему), ориентированное на конкретную систему,
для которой создается АСУ. Помимо ЦВМ при проектировании тех¬
нического обеспечения требуется определить состав при наличии мо¬
дульного исполнения или спроектировать терминальные устройства
и линии связи. При разработке программного обеспечения киберне¬
тик должен знать с позиций пользователя имеющиеся в его распоря¬
жении машинно-ориентированные системы программирования, уметь
создавать из них «дочерние» проблемно-ориентированные системы
программирования и дорабатывать их в процессе эволюции системы
управления, что особенно важно для АСУ.
В связи с этим можно было бы добавить еще пятую структурную
часть, посвященную методам программирования на ЦВМ, начиная
от методов программирования в кодах машины, списковых структур
и кончая алгоритмическими языками и метаязыками. Хотя в строгом
смысле этот раздел носит самостоятельный характер и не включается
в кибернетику, большинство деловых методов кибернетики так тесно
переплетается с вопросами программирования и интерпретации на
Цвм, что очень трудно бывает разделить, где «чистое программирова¬
ние», а где «чистая кибернетика». Знание методов программирования
Для инженера-кибернетика обязательно, однако по установившейся
тРадиции в высшей школе они изучаются независимо и вне киберне¬
тики.

ЧАСТЬ ПЕРВАЯ
МАТЕМАТИЧЕСКАЯ СТАТИСТИКА
В настоящее время существуют две точки зрения на содержание и
назначение математической статистики. Первая — классическая, трак¬
тующая математическую статистику как науку об обработке резуль¬
татов измерений случайных величин. Эта точка зрения возникла
давно, продолжает развиваться в настоящее время и может быть
условно отнесена к пассивному направлению.
Вторая точка зрения считает математическую статистику наукой
о статистических решениях, т. е. наукой, способной давать рекомен¬
дации по оптимальному поведению в условиях неопределенности
и может быть отнесена к активному направлению.
Пассивное направление исходит из того, что объективно незави¬
симо, от нас существует неслучайная величина, называемая вероятно¬
стью, которая характеризует другую, случайную величину. Математи¬
ческое обоснование и определение вероятности на основании теории
множеств и меры дал советский ученый акад. А. Н. Колмогоров.
Практически вероятность оценивается с помощью частоты появления
событий, т. е. отношения числа благоприятствующих событий к общему
числу событий или отношения положительных исходов испытаний к
общему числу исходов [Л. 22—24]. Только с этой величиной практи¬
чески приходится иметь дело. Насколько близка частота к математи¬
ческой строгой величине вероятности и как эта близость зависит от
количества опытов, от закона распределения случайной величины,
позволяют установить определенные методы математической статис¬
тики и, в частности, ее специального раздела — теории оценок. Ана¬
логичные рассуждения справедливы и для других характеристик
случайной величины, таких как закон распределения, математическое
ожидание, дисперсия, корреляционный момент и пр. Все это — аб¬
страктные математические понятия, которые существуют объективно,
но не могут быть измерены или определены в строгом смысле слова.
Можно только получить их оценки, т. е. какие-то более или менее
строгие приближения.
Активное направление рассматривает математическую статистику
как науку о статистических решениях, дающую рекомендации выбора
оптимальных способов поведения и управления в случайных ситуа¬
циях. Так, оценка параметра случайной величины дается в зависи-
28

мости от ситуации, в которой принимается решение. Такой подход
к оценке случайных величин дал начало разделу математической ста¬
тистики, который был назван проверкой статистических гипотез или
теорией статистических решений.
Очевидно, нет смысла оспаривать правильность той или иной
точки зрения. По-видимому, современная математическая статистика
должна восприниматься как наука об обработке опытов и принятии
правильных Аатистических решений на основании результатов этой
обработки.
Некоторые разделы математической статистики вылились в само¬
стоятельные разделы кибернетики, исследующие вопросы управления
в случайных и детерминированных системах. Так, из теории статисти¬
ческих решений появились теории игр и распознавания образов.
Математическая статистика является составной частью математи¬
ческих основ кибернетики, так как очень часто при проектировании
системы управления и в процессе управления требуется определять
характеристики случайных величин, процессов и случайных функций и,
следовательно, вырабатывать оптимальные процедуры оценки этих
характеристик и определять их эффективность (этому вопросу посвя¬
щены первые две главы и частично третья). Кроме того, система управ¬
ления самостоятельно и с участием человека должна вырабатывать оп¬
тимальный закон управления, оптимальную стратегию, «принимать»
оптимальные решения в условиях неопределенности или наличия
шумов. Математические основы этого заложены в теории проверки
статистических гипотез или теории статистических решений, рассмат¬
риваемой в гл. 3. Для исследования характеристик случайных вели¬
чин и процессов, динамики процессов управления при наличии слу¬
чайных воздействий широко используется методика моделирования
на ЦВМ по методу статистических испытаний (или методу Монте-
Карло), которой посвящена гл. 4. В данной части рассмотрены наибо¬
лее важные для кибернетики разделы математической статистики, кото¬
рая представляет собой достаточно объемную по содержанию науку.
Изложение материала предусматривает знание теории вероятностей
в объеме курса, обязательного для всех технических специальностей.
Глава первая
ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ
В теории вероятностей и математической статистике известны две
группы теорем о степени приближения характеристик эксперимен¬
тально-числовых к математически точным. Первая группа теорем
представляет собой закон больших ч и с е л, под которым
в широком смысле понимают свойство устойчивости характеристик
большого числа опытов, устойчивости массовых случайных явлений.
При большом числе случайных явлений их средние характери¬
стики мало зависят от каждого отдельного явления и перестают быть
случайными. Эта устойчивость средних значений имеет большое практи¬
ческое значение, так как благодаря ей можно уверенно оперировать
29

со средними характеристиками, отличать один случайный процесс
от другого, предсказывать поведение случайного процесса. В узком
смысле закон больших чисел — это теоремы, устанавливающие коли¬
чественные соотношения для приближения средних характеристик
большого числа опытов к математически точным характеристикам.
Закон больших чисел — это теоремы, основанные на теории множеств
и, меры, предназначенные для определения числовых характеристик
случайных величин.
Вторая группа объединяется под общим названием предель¬
ной теоремы. Эта теорема рассматривает предельные законы
распределения, а не предельные значения числовых характеристик
случайных величин. Экспериментально установлено, что когда случай¬
ная величина (результаты опыта) определяется суммой большого
числа других случайных величин, то она подчиняется нормальному
закону распределения независимо от закона распределения слагае¬
мых, лишь бы они были независимы. В разделе центральной предель¬
ной теоремы даны формулировки и доказательства этого свойства.
По существу как теоремы первой, так и второй группы являются
различными формами общей закономерности, отражающей одно и то же
предельное свойство.
1-1. ЗАКОН БОЛЬШИХ ЧИСЕЛ
Этот раздел математической статистики целесообразно начать с не¬
равенства Чебышева и доказать его в несколько более общем виде, чем
это принято в большинстве руководств [Л. 21, 22].
Неравенство Чебышева Пусть g (X) — неотрицательная функция
случайной величины X. Тогда для любого положительного числа k > О
имеем:
(1-1)
где P{g (X) ^ k) — вероятность того, что случайная величина g(X)
превысит или будет равна числу k\ М [g (X)] — математическое ожи¬
дание величины g (X). Для доказательства воспользуемся интегралом
Лебега—Стильтьеса, который для непрерывных случайных процессов
совпадает с обычным интегралом, а для дискретных — с суммой. Обо¬
значим через S множество всех значений X, для которых удовлетво¬
ряется неравенство g (X) ^ k. Тогда
со
М[£(*)]= ^ g(x)dF(x)^k\dF(x) = kP(S) = kP{g(X)^k},
— оо	S
откуда и следует формула (1-1). В этом соотношении F (х) — вероят¬
ностная мера случайной величины X, совпадающая в случае непрерыв¬
ной величины с плотностью распределения вероятности / (я), т. е.
F (х) = f (x) dx. Функция Р (S) = Л{ g (X) ^ к) равна вероятности
попадания случайной величины X в множество 5, которое определя¬
30

ется соотношением g (X) ^ k. Если величина X непрерывная и
а (X) = X, ТО
&	оо	со
М[Х}= J xdF(x) = \xf{x)dx,	(1-2)
— 00	—со
если дискретная, то
F (х) — Р {xi <х}= 2 Ри
Где Pi — вероятность того, что величина X примет значение xt.
Условно и здесь можно написать, что
dF (*) = / (х) dx,
где
оо
/W==^r= 2 Pib(x~xi)	(ьз)
1 =— оо
(б (я) — дельта-функция Дирака).
Подставляя выражение (1-3) в (1-2), получаем известную формулу
для математического ожидания дискретной случайной величины:
оо
л*[Х]= 2 хл.
i = — оо
Тем самым теорема доказана для непрерывных и дискретных случай¬
ных величин.
Пример 1-1. Оценим сверху вероятность того, что скорость движения автобуса X
будет лежать в пределах от 30 до 50 км/ч на участке длиной L = 10 км, если мате¬
матическое ожидание функции g (X) = L/\ X — 40 |, зависящей от скорости, равно
на этом участке М [g (X)] = 0,8.
Используя формулу (1-1) и принимая k— 1, получаем:
Р {L/ ! X — 40 !	1} ^0,8/1 =0,8,
т. е. искомая вероятность не превышает 0,8.
Далее, полагая в формуле (1-1) g (X) = (X — тх)2 и k = а2а2,
где тх — математическое ожидание; а2 = D — дисперсия Х\ а —
положительная постоянная, и учитывая, что
Р {(X — тх)2^ а2о2} = Р {\Х — тх | ^аа},
получаем:
Р{\Х-тх\^аох}^±.	(1-4)
Теперь, полагая в формуле (1-4) а = aJox и учитывая, что a* =DXi
запишем:
P{|X —(1-5)
001
Соотношение (1-5) не что иное, как неравенство Чебышева, которое
можно прочитать следующим образом: какое бы ни было положительное
31

число а, вероятность отклонения случайной величины X от своего мате¬
матического ожидания на величину, не меньшую, чем а, не превышает
Dx/a2.
Из неравенства Чебышева можно получить так называемое пра¬
вило трех сигм. Для этого положим в формуле (1-5) аг = За*:
Неравенство Чебышева дает верхнюю границу: 1/9. На самом же деле
часто, например в случае нормального распределения, она приблизи¬
тельно составляет 0,003 (в этом можно убедиться с помощью таблиц
нормального закона). Если закон распределения X неизвестен, а
тх и ах известны, то условно считают, что отрезок тх ± За* явля¬
ется участком практически возможных значений. Тем самым прини¬
мают величину тх + За* за максимальное значение смещенной слу¬
чайной величины (тх ^ 0).
Пример 1-2. Известно, что средняя масса вылавливаемой в данной местности
рыбы тх = 900 г, а дисперсия массы = 40 000 г2.
Оценим сверху вероятность того, что масса выловленной рыбы будет менее
300 г, или более 1500 г, т. е. вероятность события | X — тх | ^ а. По условию
задачи а = За*. Согласно неравенству Чебышева
Р { I Х-тх | За*} ^ а2/9а^= 1/9,
т. е. искомая вероятность, не превышает 1/9 ~ 0,1.
а)	Теорема Чебышева
С помощью этой теоремы устанавливается связь между средним
арифметическим конечного числа значений случайной величины и ее
математическим ожиданием. Пусть имеется случайная величина X
с математическим ожиданием	/л* и дисперсией D*. Произведем над
ней	п	независимых опытов. В	первом опыте X имеет значение	Хъ во
втором — Х2 и т. д. Рассмотрим сумму п независимых случайных
величин Xi
п
У=1^г~ •
Пользуясь теоремами теории вероятности, имеем:
п
ту = М [У] =■ |	^ М [X,] = -- птх = тх;	.(1-7)
L= 1
П
2D№]=^-	(Ь8)
i= 1
т. е. математическое ожидание среднеарифметической суммы незави¬
симых случайных величин Xt не зависит от числа опытов, а ее диспер¬
сия убывает с их возрастанием, поэтому У с увеличением числа опытов
32

ведет себя как неслучайная величина и приближается к математичес¬
кому ожиданию [Л. 21].
Теорема Чебышева дает»точную формулировку этого явления:
при достаточно большом числе назависимых опытов среднее арифмети¬
ческое наблюдаемых значений случайной величины сходится по вероят¬
ности к ее математическому ожиданию.
Считается, что случайная величина Х(л) сходится по вероятности
при п —> оо к величине а, если вероятность того, что Х{п) и а сколь
угодно близки, неограниченно приближается к единице при увели¬
чении п. Математически это свойство сходимости можно записать в сле¬
дующем виде:
Р {| Х{п) — а | е} > 1 -а,	*	(1-9)
где е и а — сколь угодно малые положительные числа. Если эти
числа заданы, всегда можно найти такое п0, при котором соотношение
(1-9) будет, удовлетворяться для любого п> п0. Иногда эту формулу
записывают как
\\тР{Х^=а} = 1
или
lim Р{|Х<Л)—а|<е} = 1.
п —*■. со
Теперь запишем теорему Чебышева с помощью формулы (1-9)
2 Xi
1=1
— тх
<е > 1-6
(1-10)
и докажем ее с помощью соотношений (1-7) и (1-8). Применяя к
величине Y неравенство Чебышева для а — г, получаем:
у I ■
■ г}
D„
D,
пг2
(1-11)
Как бы мало ни было е, всегда можно взять п таким большим^,
чтобы выполнилось неравенство
%<б,
пг2 9
где 6 — сколь угодно малое число. С помощью этого соотношения
можно изменить вид формулы (1-11):
2 xi
С = 1
'ТПХ
■ г <6.
(1-12)
Умножим обе части этого неравенства на —1 и добавим к ним по
единице, в результате
1 -Р
2 Основы кибернетики
2
i = l
1-6.
(М3)
33

Введя противоположное событие и учитывая, что
2 xt
■тх
<е =1-Р
2 х,
С = 1
■тх
в итоге получим формулу (1-10), что и требовалось доказать.
Пример 1-3. Определим необходимое число испытаний, при котором вероятность
отклонения среднего арифметического от математического ожидания на величину
0,05 и больше была бы меньше 0,01.
Используя теорему Чебышева (1-10) и вводя противоположное событие, получаем:
Х1 + Ха + ... + Хд
<8>>Т — б.
(1-14)
Для нашего случая е — 0,05; б = 0,01. В соответствии с неравенством Чебышева
[формула (1-11)]
(Ы5)
. Соотношение (1-14) получается из соотношения (1-15) при условии, что
ог
б>-
б£2
ol
>
1	о	х	-I	Г	1
n=jУ j-
Задавшись ах = 0,2, получим:
бж-40-
Очевидно, что для решения поставленной задачи необходимо знать дисперсию
величины X, что не всегда возможно.
Существует обобщенная теорема Чебышева, в которой доказыва¬
ется справедливость соотношения (1-10) для случая, когда характе¬
ристики случайной величины X изменяются от опыта к опыту. Ока¬
зывается, что и в этом случае с возрастанием числа случайных вели¬
чин среднеарифметическое значение неограниченно (в вероятностном
смысле) приближается к некоторой постоянной величине. По-прежнему
предполагается независимость случайных величин. Точно математи¬
чески теорему можно сформулировать так: если Xv Х2, ..., Хп —
независимые случайные величины с математическими ожиданиями
тх, тх2, ..., тх^ и дисперсиями Dx^ Dx^ ..., Dx^ и если все дисперсии
ограничены одним и тем же числом L, т. е. Dx. < L (i = 1, 2, ...,- п),
то при возрастании п среднеарифметическое наблюдаемых значений
Xv Х2, Хп сходится по вероятности к среднеарифметическому их
математических ожиданий, т. е. при достаточно большом п
п
2
1 = 1
i = 1
<6 >1 —б,
(1-16)
где в и б
34
сколь угодно малые числа.

б)	Теорема Маркова
Результаты обобщенной теоремы Чебышева для зависимых вели¬
чии можно обобщить с помощью теоремы Маркова. Если имеются
зависимые случайные величины Х1у Х2, Хп и если при п-> оо
D
Iх]
-О,
то среднеарифметическое значений случайных величин Хъ Х2, Хп
сходится, по вероятности к среднеарифметическому их математических
ожиданий. Для доказательства опять рассмотрим величину (1-6).
Очевидно, что
D\t
i = 1
Du
я2
Применив к величине Y неравенство Чебышева, получим:
.£у
'' F,2 *
P{\Y-my\^e}-
Так как при достаточно большом п величина Dy сколь угодно близка
к нулю, то всегда можно выбрать такое /г, при котором Оу/г2 < 6.
Поэтому
Р{\У-ту\^г}с8
или аналогично предыдущему
mv
/ = 1
i= 1
П	П
Тем самым теорема доказана.
<8 >1 —6.
в)	Теорема Бернулли
Эта теорема устанавливает связь между частотой появления собы¬
тия и его вероятностью. Пусть имеется п независимых опытов и в каж¬
дом из них событие А может появиться с вероятностью р. Теорема
Бернулли утверждает, что при неограниченном увеличении п частота
появления А сходится по вероятности к /?, т. е.
р{\р*~ р|<е}>1-6,
где р* = kin — частота появления событий (k — число появления
А в п опытах); е и б — сколь угодно малые положительные числа.
Можно дать несколько другую формулировку теоремы Бернулли:
вероятность того, что частота р* = kin отличается по модулю от
35

своего среднего значения р не меньше чем на е, стремится к нулю при
/г-> оо, как бы ни было мало г, т. е.
limP{|i-p <е}=1.
Обозначим число появлений события А в первом опыте через Хь
во втором — через Х2 и т. д. Очевидно, что величины Xt могут при¬
нимать только два значения: 1 — с вероятностью р и 0 — с вероятно¬
стью q = 1 — р. При этом нетрудно убедиться, что
2
тХ1 = М[Х,] = 2 рА = 0.<7+1-р = р;	(1-17)
1 = 1
Dx. — D [X/] = 2 (Xt - mxf pi = (— p)2q + (1 - p)2 p = pq.
1 = 1
Частота p* есть не что иное, как среднее арифметическое величин
Xv Х2,	Х„:
> п* = S Хг
^ п ‘
Очевидно, что
п
= ^	(М8)
7 = 1
п
D[P*] = ±2D[Xi]=Pi-	<bl9i
i = l
Отсюда следует, что математическое ожидание частоты р* не зави¬
сит от числа испытаний, а дисперсия стремится к нулю с их ростом.
Согласно закону больших чисел (теорема Чебышева) величина р*
(аналог величины У) сходится по вероятности к математическому
ожиданию величин X*. А это значит в соответствии с формулами
(1-17) и (1-18), что величина р* сходится к своему математическому
ожиданию, так как
М [p*] = M[Xi]=p.
Дадим некоторые пояснения к доказанному положению. Для этого
рассмотрим свойства функции Ф (р) = р (1 — р) = pq. Покажем, что
она удовлетворяет соотношению:
о<Ф(р)<4,
т. е.
о<р<?а^Т.
Действительно, при р — 0 функция Ф (р) = 0, так как Ф (р) =
= pq — р — р2 — р( 1 — р); при р = 1 функция Ф (р) = 0; при
р — 1/2 функция Ф (р) достигает максимума, равного 1/4 (рис. 1-1).
36

Отсюда величина \р* —р\ в среднем имеет порядок не ниже, чем
д-1/2. Действительно, так как pq ^ 1/4, то формулу (1-19) можно пере¬
писать в следующем виде:
D[p*\ = M[\p*-p\*\= f
Из этого соотношения следует, что случайная величина |р* —р |2 в сред¬
нем имеет порядок не более чем 1/я, а величина |р*—р | — не более
чем я_1/2. Это значит, что те значения \р* — р |, которые велики по
сравнению с я"1/2, имеют
все вместе исчезающе ма¬
лую вероятность. С ростом
числа опытов я"1/2 стремит¬
ся к нулю и р* приближа¬
ется к р.
Теорема Бернулли ус¬
танавливает устойчивость
частоты появления события
при неизменных условиях
опыта, т. е. вероятность
появления события в i-м
опыте равна р независимо
от i.
В случае изменения ве¬
роятности от опыта к опыту
справедлива теорема Пуассона, которая формулируется следующим
образом: если произвести я независимых опытов при вероятности по-
явления события А в i-м опыте, равной рь то с увеличением я часто¬
та р* события А сходится по вероятности к среднеарифметическому
вероятностей pt.
Теорема Пуассона имеет большое практическое значение, так как
трудно соблюсти одни и те же условия при постановке опыта. Ее дока¬
зывают аналогично предыдущему с помощью обобщенной теоремы
Чебышева [Л. 21, 23].
1-2. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
Рассмотренные выше теоремы закона больших чисел устанавли¬
вают предельные свойства параметров случайных величин, и ни одна
из них не исследует предельные свойства законов распределения.
Центральная предельная теорема (ЦПТ) во всех ее формах устанав¬
ливает условия, при которых в пределе справедлив нормальный закон
Распределения [Л. 21]. Он действует всякий раз, когда величина
равна сумме большого числа независимых случайных величин,
каждая из которых мало влияет на сумму в целом. Все разновидности
исходных условий для ЦПТ так или иначе исключают возможность
преобладания какого-нибудь одного слагаемого. Поэтому при исполь¬
зовании ЦПТ на практике прежде всего необходимо убедиться в отсут¬
ствии такого преобладания. Если к тому же удовлетворяются остальные
Рис. 1-1. График зависимости функции
ф (р) = р(\ — р).
37

условия ЦПТ, результирующая величина считается подчиняющейся
нормальному закону, что существенно упрощает расчеты. Например,
для всех автоматических системем регулирования и управления
(систем управления морским кораблем, двигателем и т. д.) в первую
очередь важно знать итоговую точность или ошибку работы. Ошибка
зависит от множества факторов, т. е. имеет много составляющих.
Легко рассчитывать и проектировать систему, когда итоговая ошибка
подчиняется нормальному закону, но для этого в соответствии с ЦПТ
необходимо, чтобы все составляющие примерно одинаково на нее влия¬
ли. Обычно это получается естественным образом, так как при проекти¬
ровании стремятся к тому, чтобы ошибки всех устройств, из которых
состоит большая система управления, были одного порядка. Если
какое-нибудь устройство дает большую ошибку, необходимо ее умень¬
шить. Таким образом, в хорошо спроектированной системе все состав¬
ляющие ошибки бывают одного порядка, что и позволяет применять
ЦПТ.
а)	Центральная предельная теорема для
одинаково распределенных случайных величин
Дадим формулировку этой теоремы: если Xv Хг, ..., Хп — неза¬
висимые случайные величины, имеющие один и тот же закон распреде¬
ления с математическим ожиданием тх и дисперсией а2, то при неогра¬
ниченном увеличении п закон распределения суммы
Yn = ZXi	(1-20)
i=\
неограниченно приближается к нормальному с математическим ожи¬
данием птх и дисперсией шт2.
Доказательство этой теоремы основано на понятии характеристи¬
ческой функции. По условию величины Xt имеют одинаковую плот¬
ность распределения вероятностей / (х). Если они непрерывные, то
/ (х) непрерывна, если дискретные, то / (х) состоит из дельта-функций.
Характеристическая функция определяется как обратное преобра¬
зование Фурье от функции / (х):
со
fix (®) = fx (— /и) = $ e~Sxfx (х) dx,	(1-21)
— оо
или с использованием двустороннего преобразования Лапласа, кото¬
рое для функции / (х) определяется по формуле
fx (s) = °l e~$xfx (х) dx,
— СО
имеем:
fix (s) = fx (— s) = esxfx (x) dx.
— 00
38

Если величины дискретные, то интеграл превращается в сумму
оо
fх ( s) = 2 pheks,
k = — co
где pk — вероятность того, что X примет какое-то k-e дискретное зна¬
чение.
Так как все величины Xv Х2, ..., Хп статистически независимы,
то к их суммеYп = Хх + Х2 + ... + Хп применима теорема о компо¬
зиции [Л. 13, 15]. Плотность распределения вероятностей суммы таких
величин равна кратному интегралу свертки от fx (х), а характеристи¬
ческие, функции перемножаются, т. е.
/Ч И = [М®)Г-
Одно из замечательных свойств нормального закона распределения
заключается в том, что плотность распределения вероятности / (л:)
и характеристическая функция /х (со) имеют один и тот же вид:
1 1 --
Нх)~т‘ 2;
_ ©2
/i(co) = e 2 •
Случайная величина Yn в соответствии с формулами (1-7) и (1-8)
имеет следующие математическое ожидание и дисперсию:
тУп = птх;
Du =nDx = no2‘.
Если вместо Yп рассматривать величину с единичной дисперсией
Zn = Yn!o\fn, то соответствующие характеристические функции
будут связаны соотношением
= = (1-22)
В этом нетрудно убедиться с помощью формулы (1-21). Для дока¬
зательства теоремы достаточно показать, что функция
М^)Т
стремится к ехр (— со2/2) при п-+ оо. Для этого разложим функцию
flx (со) в ряд Тейлора:
fix (®) = fur (0) + /хдг (0) со + ]ЦМ. ш2	(1-23)
где R — остаточный член порядка малости выше, чем со2. Найдем
коэффициенты этого ряда:
оо
fix (0) = 5 f(x)dx= 1;
— ОО
оо
fix («) = 5 jxemxf(x)dx.
’— СО
39

Отсюда
fix (0) = jM [X) = jmx.
Положим mx = 0. При этом не нарушается общность доказательства,
так как всегда можно так изменить начало координат, чтобы тх = 0:
?1Х И = — x2emxf (лг) dx.
— СО
Отсюда
со
fi,(0) = - [ x2f(x)dx = -o2,
— СО
так как тх = 0. Поэтому ряд (1-23) запишется в виде
/u(®)=l-f ©*•+/?.	(1-24)
Перейдем от Yn к нормированной величине Yn/G]^n = Zn. При
этом в соответствии с формулой (1-22) характеристические функции бу¬
дут связаны соотношением
Заменив переменные в выражении (1-24), получим:
=	с-25>
где стремится к нулю быстрее, чем 1/п.
Далее, возьмем натуральный логарифм от обеих частей равенства
(1-25). Учитывая, что величина
СО2 гу
малая и стремится к нулю при оо и что при этом справедливо соот¬
ношение
In (1 — х)я^ — х,
получаем:
где R' — остаточный член, который стремится к нулю быстрее, чем
Пп. Умножая обе части (1-26) на п и учитывая (1-22), получаем':
1п I/1* Ш)}"=л |п М^)]=-^+R"•
поэтому
-	(ттт)]	-г'т-
Функция, стоящая справа, — это характеристическая функция нор¬
мального распределения с т = 0 и а = 1. Тем самым теорема доказана.
40

Диалогичным образом ЦПТ можно доказать для дискретных случайных
величин.
Приведенные рассуждения основаны на том, что при стремлении
последовательности характеристических функций к предельной харак¬
теристической функции соответствующая последовательность функций
распределения тоже стремится к функции распределения, соответ¬
ствующей этой предельной характеристической функции. Это положе¬
ние может быть доказано и носит название теоремы Крамера [Л. 22].
Для общего случая, когда случайные величины независимы и
имеют разные законы распределения, эту теорему можно доказать по
методу А. М. Ляпунова. При этом необходимо, чтобы выполнялись
условия
где bk= М {\Хк\*}— третий абсолютный центральный момент вели¬
чины Xk\ Xk = Xk — m/e, k= 1,2, ..., п\ Dk — дисперсия величин Xk•
Более общим необходимым и достаточным условием справедли¬
вости ЦПТ является условие Линдеберга:
при любом т > О
где тк — математическое ожидание ; fk (х) — плотность распределе¬
ния случайной величины Хк\
Оба условия (1-27) и (1-28) выражают одно и то же требование
равноправия случайных величин в сумме. Например, если в сумме
существенно выделяется Х3, то, очевидно, что
Если все Хк малые, то в числителе этого выражения стоят слагае¬
мые с разными знаками и малые, в знаменателе — сумма положитель¬
ных малых величин и при п -> оо отношение стремится к нулю.
Пример 1-4. Проиллюстрируем справедливость ЦПТ. Покажем, что сумма неза¬
висимых случайных величин, распределенных по равномерному закону, стремится
к нормально распределенной случайной величине [Л. 24]. Пусть случайные вели¬
чины Xi все распределены одинаково:
п
2 ьк
о,
(1-27)
П
k = 1 \х — mk\'>iBn
41

Обозначим через J (у) плотность вероятностей для величины Yп — Хг + Х2 +
п
+ ... + Хп. Тогда, используя теорему о композиции независимых случайных вели-
чин, получим:
У + 1/2
'.<»>= 5
I,
Ух
у — 1/2
(y) = fx(*)-
С помощью этих формул нетрудно установить, что
у+1	—	1<г/££0;
(у+1) — 2у 0г£(/<1;
1,м<-
i(9+|
з	1
при
^-з(9 + ±)!]
т[(»
\
при
о- -3U/ +
1
+*('-тЛ
при
Графики функций f„tto), h, to), fy* to). fu
,ih(y) показаны на рис. 1-2. Кривая,
представленная на рис. 1-2, в, состоит из трех парабол второго порядка и достаточно
близка к нормальной. Кривая рис. 1-2, г практически уже не отличается от гауссовой.
Таким образом, уже при четырех слагаемых закон распределения практически сов¬
падает с нормальным. Обычно считают, что при сумме независимых случайных
величин, содержащей более 10 слагаемых, наступает нормальный закон.
Центральная предельная теорема существенно упрощает расчет
характеристик случайных величин. Рассмотрим несколько случаев.
Пусть имеется п случайных величин Xv Х2, Хп с математичес¬
кими ожиданиями ти т2, ..., тп и дисперсиями Du D2, ..., Dn, выпол-
я
няются условия ЦПТ и величина Yп = ^ Xt считается распределенной
i = 1
по нормальному закону. Тогда вероятность Y попасть в интервал
[а, (3] можно определить с помощью таблиц нормальной функции рас¬
пределения (см. приложение 1)
У
Ф* (х) :
У 2л
' 2 dt
по формуле
Р{а<У„<Р} = Ф*
р-т„
где
т»п = 2 ть
1 = 1
’’>.=v°Z=yr !d<-
(1-29)
(1-30)
В этом случае не требуется знать закон распределения каждого сла¬
гаемого, достаточно знать их математические ожидания и дисперсии.
42

-
II
:К
43
Рис. 1-2. Нормализация случайных величин при сложении.

Иногда формулу (1-29) удобнее записать относительно нормирован
ной случайной величины
п	п
^   /I   i = 1	1	=	1
4 ]/" ±
у i= 1
Очевидно, что т«г= 0 и а° = 1, поэтому
Р{а < Z < р} = Ф* (а) - Ф* ф).	(1-31)
б)	Теорема Муавра — Лапласа
Частным случаем ЦПТ для дискретных случайных величин явля¬
ется теорема Муавра — Лапласа: если производится п независимых
опытов, в каждом из которых событие А появляется с вероятностью р,
то справедливо соотношение
Р |а <ущ3- <Р} = Ф* (Р) - Ф* (а),	(1-32)
где Yn — число появления события А в п опытах; q = 1 — /?; а и
Р — некоторые положительные числа.
Для доказательства (1-32) представим Уп в виде суммы (1-20), где
Xi — число появлений события А в i-м опыте, причем Xt может при¬
нимать только одно из двух значений: 0 или 1. Согласно ЦПТ закон
распределения этой суммы стремится к нормальному. Следовательно,
величина
подчиняется закону распределения, близкому к нормальному, причем
в данном случае
п
тУп = Т,т*1 = ПР'>
i = 1
п
= Pi4i = npq.
i=i
Поэтому формулу (1-33) можно переписать в виде
»	Уп — пр
Vm ‘
Подставим это выражение в формулу (1-31) и получим необходимое
соотношение (1-32). Тем самым теорема доказана.
Пример 1-5. В соревнованиях по стрельбе участвуют 6 спортсменов. Каждый
должен выстрелить по 15 мишеням. Считается, что выстрелы одного и разных спорт¬
сменов независимы. Вероятность попадания в мишень равна 0,4. Найдем вероят¬
44

ность р того, что из 90 мишеней не менее 35% будут поражены.
90
Обозначим через Уп— Л'/ общее число пораженных мишеней, где Xi — чи-
i = 1
ело мишеней, пораженных при г-м выстреле (i = 1, 2,	90). Очевидно, что для
X/ вероятности соответственно равны:
Р {Xi = 0} = 0,6 = <7
и	Р {Х,= 1} = 0,4 = р.
Отсюда
тх =0,4; Dx =0,4-0,6 = 0,24;	т, =90 • 0,4 = 36;
i	I	уп
а =К90-0,24^4,63.
УП
Применим формулу Муавра — Лапласа (1-32) или, точнее (1-30), в результате
получим:
[ 35 • 90	^	\
{"W < ^ < °°| =
= Ф* (со)-Ф*	~	1	-Ф*	(-	0,97) = 1 -0,1660 «8 0,83.
Глава вторая
ТЕОРИЯ ОЦЕНОК
Теория оценок — классический раздел математической статис¬
тики. Суть ее — в определении числовых значений характеристик
случайных величин на основании ограниченного числа испытаний.
Теория оценок имеет дело с числовыми оценками, а не с определе¬
нием законов распределения, этим вопросом занимается другой раздел
математической статистики, называемый проверкой статистических
гипотез [Л. 21, 25].
Очевидно, что любое числовое значение характеристики случай¬
ной величины, вычисленное на основании ограниченного числа испы¬
таний, будет случайной величиной. Это значение носит название
оценки параметра. Так, среднее арифметическое результатов конеч¬
ного числа испытаний представляет собой оценку математического
ожидания и является величиной случайной. Чем больше число испы¬
таний, тем меньше ошибка в оценке. Теория оценок исследует методы
получения более точных оценок параметров случайной величины
при заданном числе испытаний. Она определяет, сколько необходимо
сделать испытаний, чтобы обеспечить заданную точность оценки
параметра. Если имеется п испытаний случайной величины X и наблю¬
денные значения этой величины Xv Х2, Хпу то оценка а параметра
а будет функцией Xv X2j Хп:
a = a(Xi, Х2, ..., Хп).
Закон распределения а зависит от закона распределения X и числа
опытов. Оценка должна удовлетворять некоторым общим требованиям-
45

Прежде всего она должна быть состоятельной, т. е. с увели,
чением числа испытаний а должна сходиться по вероятности к а.
Оценка должна быть несмещенной, т. е. она не должна
содержать систематических (в среднем) отклонений:
М[а\ = а.	(2-1)
Наконец, оценка должна быть эффективной, т. е. в сред¬
нем иметь минимальный разброс
D[a] = min.	(2-2)
Иногда для определения эффективности оценки выбирают функ¬
цию максимального правдоподобия: а считается эффективной или опти¬
мальной, если условная вероятность имеет максимальное значение.
Допустим, требуется дать оценку математического ожидания тх при
условии, что
/ (я-1 тх) = шах.	(2-3)
Перебирая все возможные виды оценок а, следует остановиться на
той, которая дает этой функции максимум. В этом смысл критерия
максимального правдоподобия. Если опыты независимы и случайная
величина подчинена нормальному закону, то можно. показать, что
эффективная (в смысле приведенных двух критериев) оценка для
математического ожидания будет при
~	^1 + ^2 + .+
П
Возможны и другие критерии эффективности (байесовский, минимакс¬
ный).
На практике не всегда удается удовлетворить всем этим требова¬
ниям одновременно. В зависимости от задачи конструктор выбирает
критерий эффективности.
Теория оценок тесно связана с теорией статистических решений, так
как выбор оценки существенно зависит от той задачи, в которой
необходимо принимать решение.
Имеется еще одно общее понятие теории оценок — достаточность
статистики: если наблюденных результатов Хъ Х2, Хп достаточно
для получения всех оценок величины X, то статистика называется
достаточной.
Различают два вида оценок: точечные и интервальные.
В первом случае интересуются одним значением (точкой), во вто¬
ром — интервалом значений, т. е. при интервальных оценках стара¬
ются определить вероятность того, что отклонение оценки параметра
от истинного значения будет не меньше заданной величины. Для
определения близости оценки к оцениваемому параметру вводят
доверительный интервал близости е, а саму близость оценивают по
величине вероятности /?, которую называют доверительной вероятно¬
46

стью (5, и задают заранее р = (3. Таким образом, задача оценки состоит
в том, чтобы выбрать или произвести такое число опытов, при котором
Р {| а — а!<е}<р.	(2-4)
Здесь интервал (<а — е, а + е) — доверительный.
2-1. ОЦЕНКА МАТЕМАТИЧЕСКОГО ОЖИДАНИЯ
И ДИСПЕРСИИ
Пусть имеется случайная величина X с математическим ожиданием
fnx и дисперсией Dx и п результатов независимых опытов Xlt Х2, ...
Хп. Необходимо определить состоятельные оценки' для тх и Dx
[Л. 21]. Возьмем
п
2 xi
тх =
Оценка тх — состоятельная, так как по закону больших чисел она
по вероятности сходится к rrtx. Она и несмещенная, так как
п
2 тх
М[т*] = ^— = тх.	(2-6)
Дисперсия величины тх
D[mx] = \Dx.	(2-7)
Можно показать,	что если величина X распределена по нормальному
закону,	то	дисперсия	(2-7) будет минимальной	и,	следовательно,
эффективной в смысле критерия минимума дисперсии.
Перейдем к оценке дисперсии. Оказывается, что оценка
2 (Хг-тх)%
D* = 1 • (2’8)
где
п
2 х,
тх = ——,
х п 1
является смещенной. Действительно,
п	п	[	п	\	2	п
2 (Xi-mx)2 2 х! 2* хЛ	2 х*
D*=—
п	п	\	п.	Г	п
2 х\ 2.	п	2	xixi
— ‘——it— 2	 =~Ух1~	2^Ц	.	(2-9)
/г2	/г2	п2	п2	v	/
i= 1
47

Возьмем математическое ожидание от этой оценки
п
м [D*] = ^ 2 М [Х‘] ~i2M I
(2-10)
1=1
(<}
выберем начало координат в точке пгх. Очевидно, что от этого дисперсия
не изменится. Тогда
(2-П)
M\X\] = M[X\\ = Dx\
2 M[X^^nDx-
1 = 1
М[ХД;] = М[Х,Ху] = 0.
Последнее неравенство (2-11) справедливо в силу независимости
опытов. Подставив (2-11) в (2-10), получим:
M\D*] = n-=±Dx.	(2-12)
Отсюда видно, что величина D* не является несмещенной оценкой,
так как ее математическое ожидание не равно Dx. Чтобы оценка стала
несмещенной, ее следует умножить на п/(п — 1), в результате получим:
D :
2 (xt-mx)%
. i = \
П— 1
(2-13)
Отличие оценки D от D* существенно только при малых п (меньших
10). При больших п они близки, так как п — 1 « п.
Проверим состоятельность обеих оценок. По определению а
называется состоятельной оценкой параметра а, если для любого
е >► 0:
lim р {| а — а | < е} = 1.
П-+СО
Используя неравенство Чебышева, легко получить достаточное
условие состоятельности оценки
lim М [(а —а)2] = 0.
2-2. ПРИБЛИЖЕННЫЕ МЕТОДЫ ОПРЕДЕЛЕНИЯ
ДОВЕРИТЕЛЬНЫХ ИНТЕРВАЛОВ ДЛЯ ОЦЕНОК
МАТЕМАТИЧЕСКОГО ОЖИДАНИЯ И ДИСПЕРСИИ
Вначале рассмотрим случай определения доверительного интер¬
вала при заданной дисперсии [Л. 21]. Согласно формуле (2-5) оценка
т = тх математического ожидания равна арифметической сумме неза¬
висимых одинаково распределенных случайных величин Xh Согласно
центральной предельной теореме она распределена по закону, близ-
48

кому к нормальному при достаточном числе слагаемых. Математичес¬
кое ожидание т равно т:
М [т] = т.
Дисперсия оценки математического ожидания
D[m] = —.
1	]	П
Найдем такую величину е, чтобы удовлетворялось равенство
Р {! т — т\< г) = р.	(2-14)
С помощью Ф* (х) эту вероятность можно определять приближенно,
пользуясь формулой
Р {— е < т — т < е} == Ф*
Очевидно, что
т
ф* [—= 1 _ ф*
т
8
Р{\т-
где
т | < е[ = 2Ф* (— ] — 1,
.=YD—*V-
г п V п
(2-15)
(2-16)
среднеквадратичное отклонение оценки т. Приняв
2Ф*
-1=Р.
найдем:
е = а ~ arg Ф*
1 + Р'
(2-17)
(2-18)
где arg Ф* (г) обозначает функцию, обратную Ф* (г).
С помощью этих величин определяем доверительный интервал:
Ур = (т-<т~*р, m + a-tf,).
(2-19)
Пример 2-1. При подсчете времени проезда на автобусе от одной конечной оста¬
новки до другой была составлена табл. 2-1.
Таблица 2-1
Время
проезда X/,
мин
28
27
30
33
32
29
32
31
27
31
Номер
опыта i
1
2
3
4
5
6
7
8
9
10
Найдем оценку среднего времени проезда (математического ожидания времени
проезда), дисперсии и определим доверительный интервал для оценки математиче¬
ского ожидания'при доверительной вероятности Р = 0,95.
49

1. В качестве оценки тх примем:
П
2.	В качестве оценки Dx возьмем:
тх — ~—  =30 мин.
3.	Дисперсия оценки математического ожидания
Dx D
D [тх] =	=	0,46	мин2,
т. е.	а^УD [тх] = |Л),46 = 0,67 мин.
4.	Доверительный интервал для оценки математического ожидания при довери-,
тельной вероятности Р = 0,95 определим по формуле
!т*-т*|<е} = 2Ф*( + )-1 = р.
Используя таблицы функций Ф* (х) (приложение 1), найдем:
е = а~ arg®*(2ti* j=~0,67. 1,960 =» 1,31 мин,
т. е. доверительный интервал для тх
Ур = {30— 1,31; 30+ 1,31} = (28,69;	31,31),	мин.
Аналогично определяют доверительные интервалы для дисперсии
и получают ее несмещенную оценку
2 ^i-mf
п— 1
D = i+—=	,	(2-20)
где
П
2 xt
т — ——.
П
Согласно формуле (2-13) оценка дисперсии является суммой слу¬
чайных величин (X; — т)2/(п — 1), которые, однако, не являются не¬
зависимыми, так как т зависит от всех X. Но можно показать, что при-
увеличении п закон распределения этой суммы приближается к нор¬
мальному. Определим математическое ожидание и.дисперсию оценки
дисперсии. Как было показано,
M[b] = D.
Аналогично можно получить формулу для дисперсии оценки дис¬
персии:
50

Если бы было возможно подсчитать по этим формулам математи¬
ческое ожидание и дисперсию оценки дисперсии Z), то, используя
формулу, аналогичную (2-19), можно было бы определить доверитель¬
ный интервал для дцсперсии. Однако для определения дисперсии по
формуле (2-21) необходимо знать D и ц4. Вместо D можно подставить
его оценку D, а вместо р,4 — величину, равную
п
2 (Xi-mf
^ =  • , (2-22)
Но эта оценка дает невысокую точность даже при достаточно боль¬
шом числе опытов. Поэтому получим формулы для частных случаев,
когда закон распределения величины X нормальный или равномерный.
В первом случае можно выразить четвертый момент через дисперсию:
ц4 = 3 D2.	(2--23)
Подстановка этого выражения в формулу (2-21) дает:
D[Dl = -D2
L 1 п	п(п—	1)
ИЛИ
^[Ь] = ^Т02.	(2-24)
Заменив D2 его оценкой, получим:
’ п— 1
=	(2-25)
откуда
”г = }Птб-	<2'26>
Для	равномерного	закона распределения в интервале [а, |3] имеем:
„	(Р-<*)*.
Н-4	80	.
п_(Р-«)г
12 >
откуда
р4=1,8Д2-	(2-27)
Подстановка этого выражения в формулу (2-21) дает:
DW=°i?n-\’)2	<2-28>
откуда	приближенно	получаем:
р-22)
51

Если закон распределения неизвестен, то целесообразно все же
использовать формулы, справедливые для нормального закона, при
условии, что закон распределения не обладает явной асимметрией.
После того как ориентировочно определено значение дисперсии
оценки, находим доверительный интервал
J$ —	— t$oD +	(2-30)
Величина Ц определяется по заданной доверительной вероятности (5
с помощью таблиц нормального закона (см. приложение 1) по формуле
^ = arg<P*(±±£).	(2-31)
Рассмотрим пример на определение доверительного интервала для
оценки дисперсии.
Пример 2-2. Чтобы решить вопрос о качестве нового ружья, проводится при¬
стрелка его в тире, причем качество оценивается по величине дисперсии случайной
величины X — расстояния от центра мишени до точки попадания. Распределение
величины X близко к нормальному. Пусть по 20 выстрелам определили оценку
ее дисперсии Dx = 0,64 см2. Определим доверительный интервал для оценки диспер¬
сии Dx при доверительной вероятности р = 0,8:
1. По формуле (2-26) определяем:
сг~ = Л/ —2-т- D = -пт ‘ 0,64=0,207 см\
D V п— 1	19
2. С помощью таблиц Ф* (х) находим:
е = ст~ arg Ф*	= 0,207 • 1,282 я» 0,27.
В результате
Ур = (0,64 -0,27; 0,64+ 0,27) = (0,37; 0,91).
2-3. ТОЧНЫЕ МЕТОДЫ ПОСТРОЕНИЯ ДОВЕРИТЕЛЬНЫХ
ИНТЕРВАЛОВ
Все рассмотренные выше методы были приближенными. Дело
в том, что закон распределения оценки зависит от закона распределе¬
ния величины X и, следовательно, его параметров, которые неизвестны.
Поэтому и доверительный интервал Jq зависит от этих неизвестных
A*	CV
параметров. Замена этих параметров их оценками /гг, D никак не обос¬
нована, и при этом неясно, какая получается погрешность. Можно
полагать, что она будет небольшой. Однако применение таких оценок
не требует (по крайней мере для оценки математического ожидания)
знания закона распределения случайной величины.,
Точные методы построения доверительных интервалов не требуют
такой замены оценками, так как они исходят из того, что параметры
закона распределения величины X неизвестны.
Ниже будут рассмотрены точные методы оценки для случайной ве¬
личины Ху подчиненной нормальному закону распределения. Основ¬
ная идея точных методов состоит в том, что от исходной случайной
величины X переходят к некоторой другой величине Т (или У), рас¬
52

пределение которой не зависит от параметров величины X, а только от
числа измерений п и вида закона распределения величины X.
Начнем с оценки дисперсии [J1. 21, 24, 26]. Воспользуемся теоремой,
известной из теории вероятностей: сумма квадратов независимых слу¬
чайных величин, распределенных по нормальному закону с нулевым
математическим ожиданием и единичной дисперсией, распределена
по закону х2 с п степенями свободы. Введем случайную величину
У = *! + Х1 + ... + Х£;
M[Xi] = 0; D[Xi]= 1.	(2-32)
Плотность распределения случайной величины по закону %2 с /г сте¬
пенями свободы определяется формулой
1	-— 1 — —
 v2 е 2 при ^>>0;
2ТГ 4
К {V) =
2
при ^со
или
kn(v) = Anv2 1е 2>0,
где
(2-33)
Г (х) = [ и*~Ч-в du; Л„ =	!	 (2-34)
1	»Чт)
— известная гамма-функция, для которой составлены таблицы.
Рассмотренную теорему можно обобщить на случай величины
V=* (П~Л-,	(2-35)
в которой значение D соответствует оценке (2-20). Эта величина имеет
распределение fen — 1 степенями свободы. Но она не удовлетворяет
условиям теоремы в части независимости слагаемых. Дело в том, что
2 №-m,)2	(2-36)
D D
i= 1
представляет собой сумму квадратов п зависимых случайных величин
Yt = Xt — mXi которые удовлетворяют одному услодию
2 У,= 2(Х,- т,) = 0,
i = 1	i	=	1
так как для т* имеем определение (2-5).
В соответствии с этой формулой можно выразить одно Yt через все
остальные. Поэтому в правой части формулы (2-36) стоит сумма квад¬
ратов (п — 1) независимых случайных величин, распределенных по
нормальному закону с нулевым математическим ожиданием и единич¬
ной дисперсией.
53

Отсюда следует, что случайная величина X распределена по закону
: п — 1 степенями свободы, т. е.
kn-1 (о) =	 V	2	е	2.	(2-37)
t с
На этом примере очень четко иллюстрируется понятие числа сте¬
пеней свободы. Группа законов распределения, таких как х2“РаспРе-
деление, распределение Стьюдента и пр., связана с понятием п неза¬
висимых случайных величин. Если они зависимы, то к ним не приме*
нима выню рассмотренная теорема и они на первый взгляд не подчи¬
няются этим законам распределения. Но если можно точно выявить
связь (как в вышерассмотренном примере), то всегда за счет уменьше¬
ния числа величин можно добиться их независимости. Для этого при
наличии / связей следует выразить любые / случайных величин через
остальные п — /. Тогда исходная величина может быть представлена
не как сумма п зависимых, а как сумма п — / независимых случайных
величин, к которой можно применять теоремы, справедливые только
для сумм независимых случайных величин.
Из теории вероятностей известно, что математическое ожидание
и дисперсия случайной величины, которая распределена по закону
X2 с п — 1 степенями свободы, имеют вид:
M[V] = n-1;	\
D [F] = 2 (п — 1). }	<2-38>
Из этих выражений и формулы (2-33) очевидно, что параметры и
закон распределения случайной величины, имеющей распределение
X2, не зависят от параметров исходной случайной величины.
Чтобы получить доверительные интервалы для дисперсии, необ¬
ходимо выразить оценку D через величину V. С помощью соотношения
(2-35) имеем:
D=-^-v	(2-39)
Зная закон распределения Г, можно всегда найти интервал J
в который попадает эта величина с вероятностью р. Трудности в по¬
строении этого интервала состоят в том, что х2-распределение несим¬
метрично (рис. 2-1). Поэтому условимся выбирать доверительный ин¬
тервал	/р	для	V	при	равенстве вероятностей	выхода	этой	величины
влево и	вправо	за	этот	интервал (это означает равенство	заштрихован¬
ных на рис. 2-1 площадей):
=	(2-40)
Заметим, что вероятность непопадания в интервал /р равна V.
Обычно в таблицах (приложение 2) приводятся значения функции
переменной х2 Для г степеней свободы, т. е. значения вероятности
р = Р{Г>Х2} = Е(х2).	(2-41)
54

Для г = п — 1 по таблицам находят %?» соответствующее рх = а/2,
соответствующее р2 = 1 — а/2. Тогда для величины V
•fpHXi. Х§}
(2-42)
Нетрудно убедиться, что доверительный интервал для дисперсий
исходной величины определяется с помощью формулы (2-35) соотно¬
шением
(D(n—\)'	Р(п-\))
X*
J* =
(2-43)
Действительно, вероятность попадания дисперсии D в этот интер¬
вал равна вероятности попадания %2 в интервал (2-42), так как нера¬
венства
^>Dh Р(у-7—<D
Xi	хз
(2-44)
равносильны неравенствам
V>%\ и V<x*.	(2-45)
потому что
V:
(п— 1) D
D
(2-46)
Рис. 2-1. Вид кривой распределения вероятно¬
сти по закону х2.
Пример 2-3. Применительно к условиям примера 2-1 определим доверительный
интервал для оценки дисперсии б^при р= 0,8 щ п— 20. Имеем: (п — 1) D —
== 12,8 см2; а = 1 — Р = 0,2. Из таблиц х2-распределения при г = 19 (см. приложе¬
ние 2) находим X? = И,65, которое соответствует р = 1 — а/2 = 0,9, и значение
Х| = 27,2, которое соответствует р = а/2 = 0,1. Отсюда согласно формуле (2-43)
имеем:
27,2	11,65	-
Тогда искомый доверительный интервал для оценки дисперсии
Ур = (0,47; 1,1).
Теперь рассмотрим аналогичный точный метод определения дове¬
рительного интервала для математического ожидания. Если бы была
известна дисперсия Dx = ol величины X, то этот доверительный ин¬
тервал приблизительно можно было бы определить с помощью таблиц
нормального распределения, использовав нормированную величину
U
(Ух
Vn
(2-47)
Действительно, входящая сюда величина (2-5) как сумма п неза¬
висимых случайных величин имеет закон распределения,’ который
стремится с ростом п к нормальному закону (в соответствии с цент-
55

ральной предельной теоремой) с дисперсией и математическим ожида¬
нием
~ Dx
"W;7=r'
М [ тх ] = тх.
Оказывается, что если в выражении (2-47) ох заменить на YDXJ
то величина
Т ==mx~nhc	(2-48)
D
Y-
т п
будет иметь распределение Стьюдента с п — 1 степенями свободы, за¬
висящее только от номера /г, и поэтому не'надо знать величину диспер¬
сии. Действительно, можно сформулировать и доказать следующую
теорему: если величина Т равна отношению двух случайных величин
Т __ zVn = Z =zVn
~ W	fZV"9
где Z — нормально распределенная величина с нулевым математиче¬
ским ожиданием и единичной дисперсией, a W — независимая от. Z
величина и V = W2 распределена по закону %2 с п степенями свободы,
то при этих условиях случайная величина Т подчиняется закону рас¬
пределения Стьюдента с п степенями свободы (или t-распределению),
которое задается формулой
Г (iiJA	п -fl	n	+	1
Av2lfi + ^r~=gn(i+£~
где
T[j)VnK
Т(п+1
Вп =
Для доказательства найдем сначала плотность совместного рас¬
пределения величин Z и V. Поскольку по предположению Z и V неза¬
висимы, то их совместная функция плотности есть произведение функ¬
ции плотности z и v:
f (z> v) = fz (z) fv(o)= ttL e~ JAnvJ ~	2,
V 2jx
где
An — ~  	.
22 rf"''
'(I)
Затем получим:
f(z, v) =Ce 2	2	u2	\
56

где
С =	^	.
У 2л 22 I'(j')
\ 1 1
функция распределения величины Т
st W-Р V = Г [££§-<*)-p{z*zx-f;Рг
Г* f*
=*= С \ \ е 2	2	v2 dv dz.
Область ' интегрирования определяется неравенствами — сю ^ z ^
^ хУ v/У п и представляет множество точек плоскости (2, v), ограни¬
ченное ветвью параболы z = хУ v/У п. Выполняя двойное интегриро¬
вание сначала по 2 от — оо до хУ v/У /г, затем по v от 0 до оо, находим:
* YzT
? И-\	Кп _£!
J*(*) = C V v2	е 2 dv \ е 2 dz.	(2-49)
О	—оо
Для определения плотности распределения величины Т продифферен¬
цируем равенство (2-49) по л: в правой части под знаком интеграла
-£xSUx) = Sn (х) = С j ^ V
о
00 п	V	X2V	.г-
= С У2	е 2	е 2п	dv = Г v 2 е
J	Vn	Vn	J
о	о
п+1	п+1
оо п — 1
+Г”	^-4+.++
г/п±1\
1 \ 2 / /1 _|_ + 2
Vnn Т(Ц\ \
при этом выполнена замена переменных
2 и
v=
1 + -
п
,	2	du
dv =
хй
1+ -
п
и подставлено выражение для С. Теорема доказана.
57

Чтобы применить эту теорему к величине (2-48), проверим выпол¬
нимость ее условий. Ранее было показано, что среднеарифметическое
тх нормальной выборки х распределено нормально с математическим
ожиданием М [тх] = тх и дисперсией D[mx\= -- D, т. е. величина
(2-50)
v
D
п
имеет нормальное распределение с параметрами (0, 1). Далее показано,
что оценку (2-13) можно выразить через величину V, распределенную
по закону х2 с п 1 степенями свободы, следующим образом:
D =	<2-51>
Отсюда с учетом (2-50) и (2-51) формула (2-48) будет иметь вид:
Т _ zVn=\
W '
т. е. величина Т подчиняется распределению Стьюдента с п— 1 степе¬
нями свободы:
S,_1(/)=B,_i^l+-^rTj	.	(2-52)
Эта функция	— симметричная и при п-> оо стремится	к	нормальному
закону с нулевым математическим ожиданием и единичной дисперсией.
Кроме того, в силу симметрии имеем:
Sn(t)=l-Sn(-t).	(2-53)
В данном случае доверительный интервал можно взять симметричным
относительно значения пг. Обозначим половину этого интервала через
вр и найдем его из соотношения
Р {! m — m | < ер} = p.	(2-54)
Перейдем	от	величины m к величине Г, распределенной	по	закону
Стьюдента. Для этого умножим обе части неравенства | m — m | «< ер
на YпЮ. Тогда формула (2-54) перепишется в виде

Введя величину
h
получим:
/>{|7,|<*р} = Р= \Sn_i(t)dt,	(2-58)
-<Э
так как функция (t) является функцией распределения для Т.
В силу четности Sn_г (t) можно написать:
р = 2$ Sn_i(t)dt.	(2-59)
О
Если составлены таблицы функции (приложение 3)
VW=2-jsB.i(0^,	(2-60)
О
то, взяв обратную функцию от ¥ (я)
fp = argY(P)f	(2-61)
можно определить доверительный интервал Однако для удобства
сразу составляют таблицу обратных функций (2-61). По найденному
из нее значению /р находят:	_
ер = 4»]/^.	(2-62)
и
/р = (rn - /р У %; m + /р ]/^).	(2-63)
Пример 2-4. Определим математическое ожидание и дисперсию (среднеквадра¬
тичное значение) ошибки системы автоматического управления. Уравнения движе¬
ния объекта и системы управления наберем на вычислительной машине, а процесс
управления смоделируем в реальном масштабе времени. Значение ошибки будет
фиксироваться на фотографической пленке и в определенный момент считываться.
Для набора статистики повторяем моделирование и запись. Необходимо выяснить,
сколько потребуется решений задачи, чтобы доверительный интервал для оценки
математического ожидания ошибки при (5 = 0,9 составлял определенную величину.
Для оценки этой величины определим доверительный интервал для различного числа
опытов. В результате моделирования получим табл. 2-2 значений ошибки.
Таблица 2-2
Номер
опыта
1
о
3
4
5
6
7
8
9
Xl
20
25
24
22
18
15
21
22
26
е3
/
~zr >
D
(2-57)
59

Для п = 9, п — 1 = 8 и Р = 0,9 из таблиц распределения Стьюдента (приложе¬
ние 3) находим t$ = 1,86. Пользуясь полученной табл. 2-2, с помощью формул
(2-5) и (2-13) получаем:
т = 21,6 м\ £> = 11,8 м,
откуда
А=1)31;	V А=М4.
п	V п
В результате девяти опытов имеем:
8 = гр Y“=1.86.1,14 = 2,12 м.
Следовательно, для получения интервала ±1 м девяти опытов мало. Нетрудно
убедиться, что 2,12/21,6 « 10%. Поэтому можно считать, что точность определения
математического ожидания при девяти опытах составляет 10%.
Пример 2-5. Вы с товарищем отправляетесь путешествовать. Сколько денег
необходимо взять с собой? Так как вы путешествуете впервые, то советуетесь с ком¬
петентными людьми и составляете табл. 2-3.
Таблица 2-3
Номер
опыта
(опроса)
1
■2
3
4
5
Xi
550
500
470
580
610;
Xi — т
8
42
72
38
68
(xi - m)2
64
1 725
5 200
1 440
4600
Сколько же вам взять денег?
m = 542; D = 3 260;
— = 652; Л[ — =25>6-
tl	г	п
Вы считаете для себя допустимой доверительную вероятность Pi =.0,9. Ваш
товарищ не любит рисковать и считает, что событие достоверно при р2 = 0,99. Вы¬
числяем доверительные интервалы для этих значений:
^==2,13;	8^ = 2,56-2,13 = 54,5 руб;
fpa = 8,61;	8р2	= 25,6 • 8,61 =221 руб;
JPi = (488; 596);	УРя = (321;	763).
Следовательно, вы будете настаивать взять 596 руб. с гарантией 0,9, а ваш това¬
рищ — 763 руб. с гарантией 0,99.
Сколько же вам взять денег? Тут вы начинаете припоминать, что в 5 случаях
из 8 ваш друг ошибался, т. е. р2 = 3/8 = 0,4; 1 — р2 = 0,6; а вы ошибались в трех
случаях из восьми, т. е. рг = 0,6; 1 — р1 — 0,4. Поэтому нужно взять 665 руб.
в соответствии с формулой:
=	в	(375,2; 665).
60

Важная особенность точных методов определения доверительных
интервалов в том, что они справедливы для любого малого числа опы¬
тов. Однако они требуют, чтобы закон распределения величин в опы¬
тах был нормальным. Приближенные же методы справедливы при боль¬
шом числе опытов, когда сумма их результатов распределена по нор¬
мальному закону. Большое число опытов в случае применения приб¬
лиженных методов необходимо еще и для того, чтобы формулы для
подсчета величин D и т давали точный результат.
У точных методов есть большое преимущество перед приближен¬
ными методами, так как они не требуют знания дисперсии и матема¬
тического ожидания.
2-4. ОПРЕДЕЛЕНИЕ ДОВЕРИТЕЛЬНЫХ ИНТЕРВАЛОВ
ДЛЯ ВЕРОЯТНОСТИ
В настоящее время, когда вероятностные методы прочно вошли
в инженерную практику, важно уметь определять доверительные ин¬
тервалы для оценки вероятности по частотам р*. Например, эффектив¬
ность систем управления ракетами или эффективность стрельбы неуп¬
равляемыми снарядами практически определяется путем многократ¬
ного повторения выстрелов. Требуется определить, сколько пусков
снарядов следует сделать для того, чтобы с вероятностью р отличие
частоты р* от вероятности поражения цели р не превышало малой ве¬
личины е , т. е.
P{|p*-p!<e?} = f}.
В последнее время с развитием кибернетики и вычислительных
машин для определения вероятности широко используется метод ста¬
тистического моделирования (метод Монте-Карло) на ЦВМ. Для этого
весь процесс управления с учетом случайных воздействий также
моделируется на цифровой вычислительной машине. В этом случае
необходимо определить число решений для получения требуемого
доверительного интервала.
Частоту появления событий р* можно рассматривать как средне¬
арифметическое
где xt — число появлений события в i-м опыте. Случайная величина
xt может принимать значения 1 с вероятностью п и 0 — с вероятностью
Я = 1 — Р-
Оценка р* является несмещенной, так как
М[р*] = р.
Дисперсия оценки
Можно показать, что эта дисперсия является минимально возмож¬
ной, т, е. оценка р* является эффективной [Л. 21, 26].
61

Построение доверительных интервалов для величины р* полностью
аналогично их построению для математического ожидания, однако так
как дисперсия и математическое ожидание в данном случае связаны
между собой, то задача существенно упрощается. Предположим вна¬
чале, что число опытов достаточно велико и величина р* подчиняется
нормальному закону распределения (опыты как всегда считаются не¬
зависимыми). Будем считать, что величина р не слишком мала и ве¬
лика. Практически установлено, что достаточно, чтобы tip и nq были
больше четырех. Тогда доверительный интервал определяется в соот¬
ветствии с формулой
Р{|р*-р|<еэ} = Р = 2Ф*(^-)-1,	(2-64)
\°р*/
где
<V= Y~n’ тР* = Р•
С помощью таблиц (приложение 1) находим:
4=arg<D*(±±£-)t
и отсюда
Н =	P*	+	bV	?)•	(2-65)
Однако здесь неизвестны р и q. В приближенных расчетах можно было
просто заменить:
pq=p*(\-p*)
c-fSES.
где р* определяется из опыта. Однако
в данном случае представляется воз-
# можным построить более точную про-
цедуру вычислений. Действительно,
согласно формуле (2-65) с вероятно¬
стью (3 выполняется неравенство
Рис. 2-2. Пояснение к формуле (2-69).	г—
или, возведя обе части неравенства в квадрат, получаем:
(p*-p)2<-Jp(l-p).	(2-66)'
Геометрически это неравенство определяет внутренность эллипса
(рис. 2-2) на плоскости р, р*, проходящего через точки (0, 0) и (1,1).
Чем больше п, тем уже эллипс. Очевидно, что Ур можно определять
следующим образом: по найденному экспериментально р* провести
прямую, параллельную оси ординат, и определить две точки пересече¬
ния с эллипсом. Значения р, соответствующие этим точкам пересече¬
ния, дают доверительный интервал
j»=(pi, л)*
62

Значения рх и р2 могут быть определены аналитически, если решить
уравнение эллипса
1 + 4)рг- 2р(р* + -5t) + P*2z=°
относительно р. В результате
2 п ^ *	п	4	д2	/Г)
Pi,2 =	з	.	(2-67)
1 + iP
П
При больших п формула примет вид:
Pl,2 = р*+ьУ -р.-^р*У.	(2-68)
Формулой (2-68) можно пользоваться при больших п (порядка сотни),
если р не очень малое и не очень большое, такое, что nq и pq порядка 10
и более.
Пример 2-6. Установим точность определения вероятности поражения самолета
ракетой по результатам моделирования поражения на ЦВМ, если произведено 100
моделирований по методу Монте-Карло и получена частота р* = 0,7.
Зададимся доверительной вероятностью Р = 0,99 и определим по формуле
(2-67) доверительный интервал. Считаем, что удовлетворяется условие предельной
теоремы и р* подчиняется нормальному закону. По таблицам находим /р = 2,58 и
Pi =
0,7 +1. (2,58)2 . ю-2 * 2,58 ]/~^ . 0>65
\ 0,7
1+0,0670	1	0,72’
Отсюда
Ур = (0,65;	0,72).
В соответствии с формулой (2-71) приближенно
Ур = (0,663;	0,737).
Таким образом, точность монте-карловского моделирования с вероятностью
р = 0,99
Л=%7Г юо% =?%.
Приближенный расчет дает результаты, отличные от точного на
0,017
0,7
100% =2,4% .
Из приведенного примера видно, что доверительный интервал не¬
симметрично располагается относительно р* при точном расчете, что
нетрудно увидеть и на рис. 2-2. Приближенный метод, формула (2-68)
и формула Лапласа — Муавра дает симметричное расположение.'
Случай малого числа опытов. Если число измерений мало, то вели¬
чина р* не подчиняется нормальному закону и следует пользоваться
непосредственно биномиальным распределением Бернулли. Известно,
что вероятность появления в п опытах события т раз определяется
формулой
Рт.п = С?РтЯП-т9
63

где р — вероятность появления события при каждом опыте (опыты
считаются независимыми). Это биномиальное распределение Бернулли
в отличие от нормального. несимметрично, поэтому нельзя взять
доверительный интервал симметричным относительно математического
ожидания. Кроме того, частота в биномиальном законе — величина
прерывистая и поэтому вероятности попадания в интервал, равной (3,
может и не существовать. Поэтому следует поставить задачу следую¬
щим образом: по наблюденной частоте р'о = kjn определить довери¬
тельный интервал /р = (ръ р2)
такой, чтобы
Р {! Ро - р! < е13} = р, (2-69)
где
В этом случае доверительный
интервал
— (Р'о -Ро +.£)>
а условие (2-69) перепишется в
виде
Р{р1<р<р2} = $.	(2-70)
Рис. 2-3. Графики зависимости р от р* Границы интервала — случай-
при разных п.	ные величины, так как они за¬
висят от случайной величины pi.
Можно показать, что верхняя граница /?2 определяется из равенства
^СпРП 1-Р2)п-т = ^-
т = I
Аналогично нижняя граница рх доверительного интервала опреде¬
ляется из равенства
2СрГ(1-/?1)л-т=!-.
m = k
о
Таким образом, практически доверительные границы определяются
по заданной доверительной вероятности |3 и наблюденной. частоте
Ро — kjn, причем должны быть известны в отдельности k0 и п.
Чтобы не решать приведенные выше уравнения, пользуются таб¬
лицами (приложение 4) и номограммами (рис. 2-3), которые строят
следующим образом: по оси абсцисс откладывают наблюденную частоту
Р* = Р* — kjn, по оси ординат — вероятность. Для разных п нано¬
сят кривые (для каждой п — две). Пересечения соответствующей ор¬
динаты с двумя кривыми дают два значения для концов доверитель¬
ного интервала. Для каждой доверительной вероятности (3 строят
свое семейство кривых.
Пример 2-7. Произведено шесть выстрелов по движущейся мишени. В четырех
случаях цель поражена. Каков доверительный интервал для оценки величиной
61

п* = 4/6 = 0,67 вероятности поражения при доверительных вероятностях Р = 0,95
Р„ р = 0,99?
По таблицам приложения 4 находим доверительные интервалы:
Ja = (0,223;	0,957)	при	р =	0,95;
j\ = (0,144;	0,981)	при	р =	0,99.	_
Это означает, что погрешности составляют в первом случае 55%, во втором случае
62%. Если семь раз из десяти цель поражена, то
Ja = (0,348;	0,933)	при	Р =	0,95;
Ур = (0,265;	0,963)	при	Р =	0,99.
Если из ста выстрелов попали в цель восемьдесят, то
Jo = (0,755; 0,895), р = 0,95;
= (0,679; 0,891) р = 0,99.
Здесь уже точность составляет 10%.
Определение доверительных интервалов по результатам малого
числа опытов позволит спланировать опыты на будущее. Таким обра¬
зом, в рассмотренной задаче содержатся элементы такого важного и
интересного раздела кибернетики, как планирование эксперимента.
На практике встречаются задачи определения доверительных
интервалов, когда вероятность события или очень мала, или очень
велика. В этом случае находят только одну верхнюю или нижнюю
границу	доверительного	интервала, так как	другая	равна нулю или
единице.	Для	конкретности рассмотрим вариант	с	малым р.	Точный
метод построения доверительного интервала на основе биномиального
распределения в данном случае применим, но можно поступить проще.
Допустим, что в результате п опытов событие А не появилось ни разу.
Назовем это состояние событием В. Требуется найти максимальное
значение вероятности наступления события Л, т. е. р = р2, для ко¬
торого вероятность непоявления события при п опытах (вероятность
события В) будет меньше а = 1 — р. Очевидно, что вероятность нена-
ступления события А при независимых опытах равна:
р{В} = (1-рГ.	(2-71)
Полагая р (В) = а, получаем:
(1_р)»=1_р,	(2-72)
откуда
р,= 1-¥Т=Т.	(2-73)
В случае малой вероятности р легко получить формулу для числа
опытов п, при которых обеспечивается заданная верхняя граница
доверительного интервала р2 при заданной доверительной вероятности
р. Для этого прологарифмируем обе части уравнения (2-73). В резуль¬
тате после несложных выкладок получим искомую формулу в виде
<2-74>
Можно еще больше упростить приведенные выше формулы. Из¬
вестно, что при малом р биномиальное распределение можно заменить
3 Основы кибернетики
65

приближенно распределением Пуассона с параметром К = пр [Л. 21],
т. е. вероятность появления т раз события, вероятность р которого
мала, при п испытаниях следует подсчитывать не как
пт п /1 \гп
Рт,п — Сп Р (1 Р) >
а как
(2-75)
Полагая в формуле (2-78) т = О, получаем
Ро.п^е-"Р.
Действительно, при малом р формулу (2-71) можно приближенно за¬
писать в виде
р(В)^1-пр^е-пР.
Тогда вместо формул (2-73) и (2-74) получим:
1П-(1га—;	(2-76)
In (I — fi)	р.77)
Рг	4	7
Пример 2-8. Производство телевизоров на заводе представляет собой случайный
процесс. Однако вероятность р невыполнения плана мала. При статистических
исследованиях оказалось, что в 100 наблюденных случаях план ни разу не ;был
сорван. Определим верхнюю границу р2 95%-ного доверительного интервала для
вероятности р. С помощью формулы (2-73), учитывая, что Р = 0,95, получаем:
р2 = 1 - 10У 1—0,95 = 1 -10/0^5;
р2 = 0,026.
2-5. ОЦЕНКИ ДЛЯ ХАРАКТЕРИСТИК СТАЦИОНАРНЫХ
СЛУЧАЙНЫХ ПРОЦЕССОВ
До сих пор рассматривались оценки характеристик случайных
величин. Однако при расчете непрерывных систем управления, таких
как АСР, которые описываются дифференциальными уравнениями,
очень часто приходится сталкиваться со стационарными случайными
процессами. Возникает необходимость определения числовых харак¬
теристик случайных процессов, таких как математическое ожидание
(первый момент), корреляционная функция (второй момент) и спект¬
ральная плотность. Точное определение этих функций, так же как и
характеристик случайных величин, невозможно, и речь может идти
только об их оценке с какой-то погрешностью. Определение величины
ошибки различных оценок характеристик случайных процессов яв¬
ляется основной задачей настоящего раздела.
Ниже будут рассматриваться только стационарные эргодические
случайные процессы, характерная особенность которых заключается
в возможности замены усреднения по ансамблю реализаций усредне¬
нием по времени для одной произвольной реализации. Такая замена
66

очень удобна в практических расчетах характеристик случайных про¬
цессов. При усреднении по ансамблю необходимый объем выборки,
являющийся эквивалентом числу опытов при оценке случайных ве¬
личин, определяется числом реализаций, а при усреднении по вре¬
мени — временем усреднения Т. Так как в основном будут исследо¬
ваться оценки при усреднении по времени, в первую очередь интересно
получить значение времени усреднения Г, при котором обеспечивается
заданная ошибка оценки.
а)	Оценки первого и второго моментов
Выбор	интервала	наблюдения. Известно, что	для	оценки	матема¬
тического	ожидания	и корреляционной функции	стационарного про¬
цесса R (т) используются следующие выражения [Л. 27—30]:
т
гпт — y§ x(t)dt;	(2-78)
о
г
Rt (г) = \ \ (t + т) х° (0 dt,	(2-79)
о
где *° (t) = х (t) — mx.
Определим необходимое значение интервала наблюдения 7\ чтобы
среднеквадратичная погрешность, обусловленная конечностью Т9
не превосходила заданной величины. Обе эти оценки — несмещенные,
так как
т
М [шт ] = 4 \ М [х (0] dt = M[ х (*)] = mx\
о
т
М [RT (т)] = ^ J М [х° (t + т) (/)] dt = M [х° (/ + т) (т)] = R (т).
о
В этих формулах знак математического ожидания М можно понимать
как усреднение по времени, так и по ансамблю; более строже и кор¬
ректнее считать, что этот знак означает усреднение по ансамблю.
Для определения точности оценок найдем их дисперсию
Положив Q = t2 — tl9 получим:
т T—tx
D[mT] = fi^dt1 ^ R (0) db.
о -t,
Интеграл такого типа будет встречаться часто, поэтому рассмотрим
его особо. Изменим порядок интегрирования, для чего обратимся
3»	67
D [тт] = М
^ х° (t) dt

к рис. 2-4. С помощью рисунка нетрудно убедиться в справедливости
соотношений:
T-tx
Т — 6
idh { f(6)dB={f(9)dB § dtx + § / (9) dB $ dk =
0	—	tx	о	0	—	T	-0
TO	T
= i (Г —* 0) / (0) dO + § (Г + 0) / (0) dQ — 2 § (T — Q)f (0) dQ =
o	—г	о
T
= 5 (T-|0[)/(0)d0.
— Г
Здесь использовано свойство четности функции / (б). Применяя эти
формулы, получаем:
(2-80)
Аналогично дисперсия оценки корреляционной функции
D [Дг (т)] = М [(RT (т) - RI (г))] = М
^ х° (t) х° (t + т)dt — Rx (x)'j
Введем в рассмотрение случайный процесс г (/) = х? (t) л:° (t + т)
с математйческим ожиданием mz = Rx (т), не зависящим от t. Предпо¬
лагая, что z (t) стационарен, по крайней мере в широком смысле
[Л. 23], аналогичным обра¬
зом получаем:
D[RT (т)] =
т
=4 S С1 — 4=) ^(6)d9,(2-81)
о
где
/?, (в) = М { [2Г (/)—
= М{[х° (t) х° (t + т)-
— Rx (т)] • [х° (t + 0) a:0 (t +
+ б -f-.т) — Rx (т)]}.
Отсюда видно, что в общем случае дисперсия оценки корреляционной
функции выражается через корреляционную функцию процесса
х (t) и его смешанный центральный момент четвертого порядка, так
как
Rz (®)= AI \х° (t) х° (t т) xQ (t -f- б) xQ (t -f- т -\~ б)]—Rx (т») •
При этом следует учесть, что функция Rx (т) — детерминированная и
68

ее можно выносить за знак математического ожидания; кроме тбго,
м [х° (о (t + т)] = м [х° (t + e)x°(t + e+т)] = Rx (т).
Очевидно, использование формулы (2-81) в общем случае затруднено,
так как четвертый момент процесса х (t) неизвестен. Поэтому посту¬
пают следующим образом. Предполагают, что четыре величины х19
х2, хЗУ х4 имеют нормальное совместное распределение, тогда для чет¬
вертого момента справедливо соотношение [Л. 27]:
М [*i х2 х3 х4\ = т12 т34 + т13 т24 + ти т23,	(2-82)
где tiiij = M[XiXj\, Положим:
Xi = x(k)’, x2 = x(t2)\
х3 = х (к + г); х4 — х (^2 + т),
тогда
= М[х (к) х (i2)] = R (б);
т13 = М[х (к) х (к + т)] = R (т);
= М. [х (ti) х (t^-f-т)] = R (0 4" х)\
^23 = М[х (к) х (к + т)] = R (т — 0);
^24 = М[х (t2) х (t2 + т)] = R (т);
^34 = М. \х (t4 -f- т) X (t2 + т)] = R (б).
С помощью этих соотношений формула (2-82) может быть записана
в виде
М [х (к) х (t2) х (к + т) х- (t2 + т)] = R2 (б) -f- R2 (т) + R (б + т) R (т — б).
Подставляя эту формулу в выражение (2-81), получаем:
т
е* (т) = D [RT (т)J = £ $ (1 -	[R2(B)	+	R	(0	+	т)	R (т - 0)] dB.	(2-83)
О
Для определения точности оценки по этой формуле необходимо знать
корреляционную функцию процесса. В подавляющем большинстве
случаев она имеет вид:
R (т) = Се~аIт I cos (Зт.
Для такой функции корреляции с точностью до членов порядка ма¬
лости l/Т2 имеем:
е2^ = §{д + ^ТЖ + е-2ат [С08Рт(2т + д + д^г) +
+ sin 20т (Т — -^2~рр2)]} •
При т ->■ О
при Т -> оо
е2(°°)=2СЙд + д4г}-
69

Для того чтобы ошибка в вычислении корреляционной функции
(методическая ошибка) не превышала 5% R (0) при т = 0, т. е.
е2(0)^0,05Я(0),
следует выбирать интервал наблюдения исходя из условия
:20/ “ ' 1
а2 + Р2 ^ а)'
Так, при а = 0,2 Исек и (3 = я/2 Нсек Т ^ 102 сек.
Выбор вычислительных параметров. Дадим практические рекомен¬
дации по выбору параметров при вычислении функции корреляции
[Л. 28—30]. Как уже отмечалось, корреляционная функция оцени¬
вается интегралом
Rx (т)	^x(t)x(t + т)	dt.
При вычислениях этот интеграл заменяют суммой. Для этого ин¬
тервал наблюдения разбивают на N интервалов
Т = АД.
Тогда
t = vA,	v = 1, 2 ...;
т = рД, р = 1, 2 ...
и интеграл можно заменить суммой
N
rx (х) ^ (ц д) *4 2 * (vA> * [(v+^)д]-
V = 1
Или, полагая
Rx (цД) = #*(ц.);
х (vA) = xv;
*[(v-t-n) Д] = *у+Й,
получаем:
N-ц
21 XvXv+V' M->0.	(2-84)
V = 1
так как при
v ^ N — p xv+Vi = 0.
Аналогично вычисляется взаимная корреляционная функция
N-ix
Ryx (ц) ^ д/' ^ ^ Уv+jx» р > 0.	(2-85)
V = 0
Чтобы определить необходимые для расчета параметры Д, N и др.,
рассуждают следующим образом. Любой стационарный случайный
процесс можно представить как сумму синусоидальных сигналов со
70

случайными фазами и амплитудами, причем последние-не коррелиро-
ваНы между собой:
П
*(о=2 «ftsinK^+<pO.	(2-86)
k=\
где ф* — случайная фаза; со* — детерминированная частота, а
М [dj\ = 0; М [at aj] = 0;
/ = 1, 2, п\ 1ф]\
Величина Ak = М [а|] представляет значение спектральной плотности
при частоте со*. Рассмотрим какую-нибудь одну гармонику
x(t) = d sin (со/ + ф),	(2-87)
где я, со, ф могут принимать любые значения а*, со*, ф* (k = 1,2, ...,я).
Для простоты считаем, что я, ф, со — постоянные величины. Тогда кор¬
реляционная функция процесса (2-87)
а2
Rx 00 = ~2~cos а)Т-
При конечном интервале наблюдения Т выражение для корреляцион¬
ной функции имеет вид:
Rx (т) в *. | costot -1 [Sin (2соГ+Ит + 2ф)-5ш (От+2ф) j| (2.g8)
Второй член в этом выражении определяет ошибку, возникшую вслед¬
ствие конечности	интервала наблюдения. Эта	ошибка	имеет	порядок
1/со Г и	убывает с	ростом Т. Но соТ = 2л77Г0,	где	Т0 — период, соот¬
ветствующий частоте со. Так как в формулах (2-84) и (2-88) для данного
р используется интервал Т = (N — р) Д, а не NД, то
соГ = ~ (N - ц) А.
1 0
Поэтому для обеспечения 2%-ной точности расчета следует взять:
A=s50
1 0
ИЛИ
Л/Д-рД^8Г0.	(2-89)
Из вышеизложенного следует, что точность вычисления корреля¬
ционной функции зависит от интервала наблюдения Т и максималь¬
ного т или р, соответствующего этому т. При условии 2%-ной ошибки
значение тмакс можно выбирать исходя из
| Д (т) |< 0,02 | Д (0)|	(2-90)
при т ^ тмакс. Однако для использования этой формулы необходимо
знать саму корреляционную функцию. Поэтому величину тмакс выби¬
рают исходя из максимального периода, который имеется в процессе,
или из требования самой низкой частоты /мин, которую необходимо
«уловить» в корреляционной функции и спектральной плотности.
71

Например, пусть полоса АСР составляет 1 гц. Для определения флюк-
туационных ошибок системы рассчитывают спектральную плотность
помех на входе. Очевидно, что в этом случае достаточно взять /мип =
= 0,01 гц, так как при частотах/<0,05 гц амплитудно-частотная харак¬
теристика системы и спек¬
тральная плотность помехи
на входе сохраняют посто¬
янные значения.
При известной величине
/м
1
2 я
fu
(2-91)
Формулу можно пояснить
следующим образом. Как
известно, корреляционная
функция гармонической
составляющей частоты со
равна:
А2
—y cos сот..
Очевидно, для того чтобы
составляющая частоты сомин
выявилась в корреляцион¬
ной функции, необходимо,
чтобы т приняла все значе¬
ния от 0 до тм
опреде-
Рис. 2-5. Пояснения к определению тмакс при
расчете корреляционной функции.
а — график исходного процесса с периодической сос-
— график соответствующей
тавляющеи cos со
ляемой формулой (2-91).
При этом на кривой кор¬
реляционной функции по¬
лучится полный период
(рис. 2-5).
Перейдем к рассмотре¬
нию методики определения
величины Т. Согласно фор¬
муле (2-88) при конечном Т на ошибку главным образом оказывают
влияние низкие частоты, так как величина со стоит в знаменателе, по¬
этому в первом приближении Т можно определить по сомин. При 2%-
ной точности из формулы (2-88) имеем:
мин’
корреляционной функции.
1
Т(йм
: 0,02,
откуда
50
^мин
(2-92)
Сравнивая неравенства (2-91) и (2-92), получаем следующую зависи¬
мость:
10 т„
72
(2-93)

При выборе шага Д поступают следующим образом. Путем много¬
численных вычислений корреляционной функции для гармонического
сигнала устанавливают, что ошибка будет меньше 2% при шаге
А' л
Тп— •
10 со
Подставляя наивысшую частоту процесса сомакс, получают следую¬
щую расчетную формулу:
п 1	(2-94)
’ 10о)м
’20 f
макс
Поясним смысл этого соотношения. Во-первых, значение А должно
быть настолько мало, чтобы случайный процесс менялся незначи¬
тельно за время Д. Кроме
того, перед расчетом обычно
стараются выделить макси¬
мальную частоту случайного
процесса, до которой спект¬
ральную плотность случай¬
ного процесса следует вы¬
числять точно. Так, если
случайный процесс воздейст¬
вует на следящую систему,
полоса которой ограничена
частотой /макс (рис. 2-6), то
очевидно, что спектральную
плотность следует рассчиты¬
вать до частоты /макс> так как
более высокие частоты слу¬
чайного процесса никакого
влияния на работу системы не оказывают. Для воспроизведения си¬
нусоидального сигнала по заданным дискретным значениям достаточно
знать его значения в пяти или десяти точках [в формуле (2-94) взято
20 точек на периоде]:
Д = (0,1 4-0,05)7-!-.	(2-95)
/макс
Пример 2-9. Для диагностики неисправности двигателя используется опенка
корреляционной функции шума блока цилиндров. Необходимо определить пара¬
метры испытаний по определению этой оценки, т. е. найти тмакс, Т и Д, если из кине¬
матики двигателя известно, что исследуемая система пропускает шумы в диапазоне:
/мин==5 ЗЦ\	/макс=Ю0	Щ'
Используя эти данные, получаем:
«мин = ЗДмин = 2 • 3,14 • 5 ^ 31,5 рад/сек;
^макс == 2л/макс = 2 л • 100	628 рад/сек.
По формулам (2-91), (2-92) определяем:
1 1
Рис. 2-6. Спектральная плотность входного
сигнала и квадрат модуля частотной харак¬
теристики системы (пояснение к расчету
спектральной плотности).
/мин
50 = 50
Имин 31,4
— = 0,2 сек;
1,6 сек.
73

Шаг для 20 точек на периоде [формула (2-94)] равен:
= 2оПоо = 0,5'10-3 сек■
Если использовать пять или десять точек, то [формула (2-95)] имеем:
1 1
5/макс	^ * ЮО
= 0,2 • 10-2 сек
б)	Оценка спектральной плотности случайного
стационарного процесса
Часто спектральная плотность стационарного случайного процесса
определяется как
51 (со) = Т | Хт (со) |2,	(2-96)
где
г
Хт (©) = $*(0<гув,/Л.
о
Найдем математическое ожидание оценки (2-96):
г г
М [S, ((0)] = Г м [ I Хт (со) |2] = у[ [ М [х ft) х (i2)] ew. Лх dt2.
о о
Вместо формулы (2-96) можно пользоваться выражением
52 (Ю)=Т|ХГ (СО) |«,
где
Т/2
Хт ((D) = 5 e~i(0idt-	(2-97)
— Г/2
При этом все полученные ниже формулы остаются в силе для стацио¬
нарного случайного процесса, так как
г г
М [Si (0)] = М [S, (со)] = i J	е-1»dhdt2 =
о о
Г/2	Г/2
= f § J Я (fa - *i) еd/x Л,..
—Т/2 —Т/2
После замены переменных т = /2 — tx и преобразований, аналогич¬
ных тем, которые использовались при выводе формулы (2-82), имеем:
г	о
М [S2 И] = ^ (l — y)rx (т) e-i™ dx + ^ ^1 -f- —jRx (т)e~'m dx =
о		т
т
-т
74
= jj (1 - у!) Rx W е~/ют dx. (2-98)

Переходя в этой формуле к пределу, получаем:
оо
lim М [Si (со)] = SX(со) = f R (т) er dx,
7'^0°	-оо
т. е. оценка спектральной плотности S% (со) — асимптотически несме¬
щенная при Т оо (смещение этой оценки стремится к нулю при
X оо). Таким образом, в части смещения оценка S% (со) ведет себя
нормальным образом. Однако в отношении дисперсии этой оценки
положение неблагополучно, так как можно показать [Л. 20, 31, 32],
что для нормальных процессов
lim D [Sf (со)] = S*2 (со).	(2-99)
Т -*■ оо
Если спектральную плотность оценивать по формуле
Т/2
S* (со) = J Ri (x)e-i<*xdx,
—Т/2
где
. Т/1
R* СО = y § x(t+x)x (t) dt,
Т/2
то из соотношения (2-99) следует, что
lim D [S* (со)] = S2X (со).	(2-100)
Т-+СО
Действительно,
Т/2	Т/2
S?(co) = ^-	{ i x(tJrx)e-i(*V+Vx(f)e+i(iit dtdx =
— Г /2 —Т /2
T/2	t+T/2
= y ^ x (t) e/co/ dt ^ x (TO e~ d%i
—T/2	t — T/2
и при большом T
Sf(co)^l|Xr (со) |2 = S* (со).
Отсюда следует, что по одной реализации стационарного случайного
процесса можно определить корреляционную функцию, но нельзя
определить спектральную плотность, так как дисперсия оценки
S* (со) при Т оо стремится к квадрату спектральной плотности
S (со), а не к нулю. Для определения спектральной плотности поль¬
зуются одним из трех способов. Самый простой способ состоит в том,
что большой интервал наблюдения разбивают на п частей. Оценка
спектральной плотности получается как среднеарифметическое оценок
(со) на всех отрезках. Дисперсия такой оценки будет равна:
j;Sl (со).
75

Ошибку определения спектральной плотности можно уменьшить,
сглаживая оценку S'i (со) по частоте с помощью некоторой весовой
функции wT (X, со):
со	оо
S*(co)= ^ wt (К ®) 5* (X) dX= ^wt (К e>)jr\xT {%)\2d%.	(2-101)
— оо	—	оо
В качестве весовой можно взять функцию вида
I шг 1^—4	;
wT{%, а>) = г	(2-102)
[О | % — со | > ат.
При выборе функции веса в виде (2-102) формулу (2-101) можно
переписать как
(0+^7'
s*H = 2~- ) St (X) dx.
оо—a f
Физически это означает, что нас интересует только некоторый участок
частот от к — ат до % + ат, в котором оценка должна быть точнее (вне
этого интервала точность нас не интересует). Для выбора параметра
ат вводят критерий оптимальности в виде минимума следующего
выражения:
7 = М {[S* (со) - Sx (со)]2} + {М [S* (со) - Sx (со)]}2 = min. (2-103)
Первый член в последнем выражении представляет собой дисперсию
самой оценки, а второе слагаемое — квадрат смещения оценки. При
уменьшении величины параметра ат полоса пропускания сглаживаю¬
щего фильтра уменьшается, уменьшается дисперсия оценки, увеличи¬
вается ее смещение и поэтому имеется оптимальное значение пара¬
метра ат.
Приведенный способ сглаживания оценки спектральной плотности
SJ (со) тесно связан с теоремой Дуба [Л. 32], которая может быть за¬
писана с помощью соотношений:
(Ог	С0г
lim	ТС \ХТ (co)|2dco = lim	{ 5f (co)dco= [ Sx(<i>)d<x>. (2-104)
Т-+оэ 1	J	Т-уоо	J	J
(Oi	COi	©I
В этих формулах сходимость к пределу понимается в среднеквадратич-.
ном смысле, т. е. математическое ожидание квадрата отклонения от
предела стремится к нулю при Т -> оо. Заметим, что хотя математи¬
ческое ожидание оценки S* (со) стремится к Sx (со), математическое ожи¬
дание выражения [S2 (со) — Sx (со)]2 не стремится к нулю. Если пра¬
вую часть равенства (2-104) поделить на со2 — щ и устремить со2 — сох
к 0, получится спектральная плотность процесса Sx (со). В левой части
такого перехода сделать нельзя, так как Хт при Т оо является бе¬
лым шумом и, следовательно, на любом сколь угодно малом интервале
(cojl, со2) совершает бесконечное множество скачков (предел можно
брать, если он существует).
76

По существу теорема Дуба доказывает, что несмотря на то, что
оценка спектральной плотности не стремится в среднеквадратичном
смысле к самой спектральной плотности, интеграл от этой оценки
стремится в среднеквадратичном смысле к интегралу от спектральной
плотности.
Если не решать строго задачу оптимального выбора ат по крите¬
рию, задаваемому формулой (2-104), то можно дать следующие, не
очень строго обоснованные рекомендации по выбору этой величины.
С одной стороны, при данном Т оценка (2-101) тем лучше, чем больше
ат, так как тем лучше будет сглаживание, однако, с другой стороны,
функция S* (со) должна в интервале (со — аТу со + ат) быть линейной
функцией частоты со, или она должна быть постоянной в этом интер¬
вале, для того чтобы получить менее искаженное сглаживающим фильт¬
ром и не зависящее от ат значение оценки S*:
ay+aj'
S*(co) = J- j SI (к) dk^~ Sf (<o) 2ат = Sf (ш).
ay—aj
С помощью формул (2-101) и (2-103) можно предложить следующий
способ экспериментального определения спектральной плотности ста¬
ционарного случайного процесса по одной реализации. Случайный
процесс пропускается через полосовой фильтр (со — ат, со + ат),
и в течение долгого времени измеряется его мощность или дисперсия
(при этом предполагается, что процесс имеет нулевое математическое
ожидание). Тогда спектральная плотность определится как
5 Л
где£> — дисперсия; 2ат — полоса фильтра. На основании этого иногда
применяется процедура сглаживания не оценки спектральной плот¬
ности, а самой реализации или оценки корреляционной функции
[Л. 32], которая также дает желаемый результат.
Наиболее распространен на практике следующий способ определе¬
ния спектральной плотности. С помощью формул (2-84) и (2-85) вы¬
числяют корреляционную функцию по одной реализации. Затем ее
аппроксимируют по методу наименьших квадратов выражением вида
Qg—v- |т| cos Рт	(2-105)
или комбинацией таких выражений. После этого берут преобразования
Фурье от аппроксимирующего аналитического выражения. Иногда
наряду с (2-105) используют в аппроксимирующем выражении еще
слагаемые вида
Се~а'хI sin р | т |; С | т |v£-a-lTl cos рт; С | т |ve~aJTl sin Р | т |.	(2-106)
Оказывается, корреляционную функцию реального стационарного
процесса в большинстве случаев можно представить как сумму выра¬
жений вида (2-105) и (2-106). Спектральная плотность такого процесса
77

будет иметь вид дробно-рациональной функции [Л. 27]. На этом спо¬
собе следует подробнее остановиться. Выше было получено
г
М [S! (ю)] = Afyr| Хт (®)|2]= ^ (l-L®J)^(0)e-^d0, (2-107)
— Т
откуда в пределе
со
lira М [5! (со)] = \ Rx (0) e~y“e dQ = Sx (со),
Т-*со	—оо
на основании чего делалось заключение о несмещенности оценки Sf (со).
С другой стороны, можно получить:
г
~ |Хг (<») |2=	^	(l-'|!)^(0)^9d0,	,	(2-108)
— г
Г/2-0
^(в) = Т=Т S Xo(t + Q)xt(t)dt (0>О).
- Г/2
Таким образом, если известно точное выражение для корреля¬
ционной функции, то преобразование Фурье от нее дает искомую
спектральную плотность. Однако непосредственное определение спект¬
ральной плотности по одной реализации (без применения усредне¬
ния или сглаживания) или по оценке корреляционной функции,
вычисленной по одной реализации, которая задана на конечном интер¬
вале, невозможно согласно формуле (2-108). Если не применять пер¬
вый и второй способы, то единственная возможность определить спект¬
ральную плотность — это точнее вычислить корреляционную функ¬
цию, для чего можно применить усреднение по ансамблю. Введение
процедуры аппроксимации оценки корреляционной функции, вычис¬
ленной по одной реализации, предусматривает угадывание точного
выражения для корреляционной функции. Это аппроксимирующее
выражение тем ближе к истинной корреляционной функции, чем
больше интервал наблюдения Т, чем точнее вычислена оценка функ¬
ции R (т), чем точнее произведена процедура подбора аппроксими¬
рующего выражения. Корректность третьего способа определения
спектральной плотности требует специального исследования, так как,
с одной стороны, аппроксимации подвергается все та же оценка корре¬
ляционной функции на конечном интервале по одной реализации, но,
с другой стороны, процедура аппроксимации при достаточно боль¬
шом интервале Т безусловно, позволяет угадать достаточно точное
аналитическое выражение для корреляционной функции.
По существу процедура аппроксимации корреляционной функции
эквивалентна сглаживанию ее оценки, которое эквивалентно сглажи¬
ванию оценки спектральной функции по формуле (2-101), только для
этого следует взять весовую функцию kT (X, t), равную обратному пре¬
образованию Фурье от функции wT (К со). Первый способ определе¬
ния спектральной плотности путем разбиения реализации на п интер¬
валов тоже эквивалентен взвешиванию оценки S% (со) с помощью спе¬
циальной функции wT (Я, со).
78

2-6. ЭЛЕМЕНТЫ СТАТИСТИЧЕСКОГО АНАЛИЗА
СОВОКУПНОСТИ СЛУЧАЙНЫХ ВЕЛИЧИН
Две случайные величины X и У связаны детерминированной функ¬
циональной зависимостью
у = ср (лг),	(2-109)
если каждому допустимому значению х соответствует одно (в случае
однозначной функции) значение у [Л. 33].Если функция неоднозначна,
то конкретному значению X всегда можно сопоставить ряд (конечный
или бесконечный) вполне определенных значений Y. В качестве при¬
мера можно привести следующие функции:
У = а1х + а2\ у = х2\
у = sin л:;	у = arccos х.
Преобразования случайной величины рассматриваются в теории
вероятности. При этом интересуются изменением в различных функ¬
циональных преобразованиях характеристик случайной величины X:
функции распределения, моментов и пр. Однако в практических ис¬
следованиях возникают другие специфические задачи. Детерминиро¬
ванная функциональная зависимость практически встречается редко
или, строго говоря, совершенно отсутствует, так как при измерениях
величин X и Y всегда имеются ошибки и влияние случайных, неучи¬
тываемых факторов. Причем каждая из величин X и Y может зависеть
от одних и тех же и от различных случайных факторов. Так, X может
зависеть от случайных величин Zv Z2, Vv V2, a Y от Z1 и Z2. В этом
случае влияющие факторы Zx и Z2 общие, остальные разные, что может
иметь место в случае, когда измерительные устройства для X и Y
разные или когда эти величины имеют различную природу, например
X — электрическая величина (ток), a Y — механическое перемеще¬
ние. В этом случае связь двух случайных величин становится статис¬
тической (случайной) в том смысле, что по данному значению X нельзя
получить определенное значение Y, так как это последнее зависит
помимо X еще от случайных факторов Vx и У2.
В общем случае (как и в данном частном) можно считать, что У
зависит от X случайным образом и эту зависимость можно определить
с помощью известных из теории вероятности характеристик многих
случайных величин, таких как совместное распределение вероят¬
ности, условная плотность распределения, коэффициенты корреля*-
ции, моменты и пр.
Существует непрерывный переход от строгой детерминированной
функциональной зависимости через статистическую зависимость к пол¬
ностью независимым случайным величинам. Приведем несколько при¬
меров. Состояние погоды У (ясно или пасмурно) в данной местности
существенным образом зависит от атмосферного давления X. При
низком давлении погода пасмурная, при высоком — ясная. Предска¬
зание погоды зависит от изменения давления: при повышении она улуч¬
шается, при понижении ухудшается. Однако наряду с такой детерми¬
нированной функциональной зависимостью имеется большое коли¬
79

чество факторов, от которых зависит погода на последующие сутки
или неделю: давление в соседних районах, температура, направление
и сила ветра и пр. Часть этих факторов поддается учету, остальные
приходится считать случайными, так же как и зависимость от них.
Таким образом, зависимость погоды на следующие сутки от изменения
давления за предыдущие сутки носит в общем случае статистический
характер.
Можно привести еще пример из области сельского хозяйства.
Урожай зерна У существенно зависит от количества вносимых удобре¬
ний X. Однако, помимо того, урожай зависит еще от многих факто¬
ров: состава и состояния почвы, семян, погоды и пр. Поэтому зависи¬
мость величин X и Y носит статистический характер.	:	'
Не очень строго статистическая связь может быть определена как
такая зависимость, при которой изменение значения одной величины
X вызывает изменение закона распределения (а не значения) другой
величины У. Если при статистической зависимости изменение. одной
величины приводит к изменению среднего значения другой., то такая
связь называется корреляционной. В двух приведенных примерах
средние значения величин У (погода и урожай) детерминированно за¬
висят от значений X (изменения давления и количества удобрений).
При корреляционной зависимости для определения статистической
связи достаточно задать корреляционные моменты. Это простейший
частный случай статистической зависимости, при которой следует
задавать законы совместного распределения случайных величин X
и У.
Данный раздел, с одной стороны, связан и перекрывается с теорией
оценок, так как речь пойдет об оценке и достоверности тех или иных
параметров связи, и, с другой стороны, переходит в теорию про¬
верки статистических гипотез, основной целью которого является опре¬
деление законов распределения одной случайной величины или их со¬
вокупности по результатам измерений.
На практике встречается много частных постановок задач установ¬
ления статистической связи. Так, часто встречается вид функциональ¬
ной связи (линейная, квадратичная и пр.), и требуется определить
только числовые значения параметров этой зависимости по получен¬
ным в результате эксперимента значениям X и У. Иногда при этом
путем последовательных проб подбирается и наилучший вид детерми¬
нированной функциональной зависимости (линейная или квадратич¬
ная). С такой задачей мы встречались при аппроксимации расчетной
корреляционной функции аналитическим выражением. Наиболее рас¬
пространенным и эффективным способом решения этой задачи является
метод наименьших квадратов, который будет рассмотрен в данном па¬
раграфе. В более общем случае о связи двух случайных величин ни¬
чего не известно, и требуется определить на уровне корреляционных
моментов степень их зависимости. Корреляционному анализу посвящен
второй раздел данного параграфа. Более совершенные и сложные ме¬
тоды установления статистической связи, в частности определение
взаимных законов распределения, будут рассмотрены в следующей
главе, посвященной проверке статистических гипотез.
80

В последнее время в результате решения задач анализа статистиче¬
ской связи случайных величин появился новый раздел математической
статистики — планирование эксперимента, который занимается ис¬
следованием методов организации сбора и измерения значений слу¬
чайных величин для установления статистической зависимости.
а)	Метод наименьших квадратов
Допустим, что имеется совокупность двух случайных величин X
й Y и известен вид функциональной зависимости между ними: у =
= Ф (х). На миллиметровой бумаге откладывают точки, соответствую¬
щие измеренным значениям х и у (рис. 2-7). Требуется провести через
эти точки кривую наилучшим образом [Л. 21] Понятие «лучшее» ма¬
тематически может быть выражено различным способом. Проводить
непосредственно через точки неправильно, так как очевидно, чтс раз¬
брос вызван ошибками измерений. Например, можно потребовать
чтобы сумма абсолютных зна¬
чений расстояний точек от
кривой была минимальна или
максимальное отклонение
было минимальным и пр. Но
наиболее распространенным
критерием оптимальности яв¬
ляется минимум суммы квад¬
ратов отклонений
2 [у,-Ф (*,)]* = min. (2-110)
I = 1
Критерий минимума сум¬
мы квадратов часто приме¬
няется по трем соображениям.
Во-первых, при этом боль¬
шое количество задач ока¬
зывается возможным решить аналитически. Во-вторых, при квадра¬
тичной зависимости получается, что ущерб (сожаление) при малых
значениях ошибок мал, а с их увеличением резко возрастает. Это об¬
стоятельство правильно отражает практическую ситуацию, так как
малые ошибки менее опасны, чем большие. И, наконец, при этом кри¬
терии удовлетворяется критерий максимума правдоподобия для слу¬
чая, когда отклонения подчиняются нормальному закону распреде¬
ления.
Задачу будем решать при условии, что известен вид функции и
требуется найти только числовое значение параметров. В частности,
зависимость у = ф (х) может быть задана прямой линией
У = ах + Ь,
или параболой
у = ах2 + Ьх + с,
или функциями вида (2-107) и (2-108) при вычислении корреляционной
81
Рис. 2-7. Пояснение к процессу сглаживания
случайных данных.

функции. Допустим, что сделано п замеров величин Xt и Y:. Предпо¬
ложим, что среднеквадратичные ошибки измерения во всех точках оди¬
наковы:	= о2 = ... = ап = о и распределены по нормальному
закону. Тогда величины У,- подчиняются нормальному закону распре¬
деления
[уг-ф(*,-)]2
''“-TFT*	•
где ф (**) — математическое ожидание величин Y
Принцип максимального правдоподобий применительно к этой за¬
даче может быть сформулирован следующим образом: требуется так
подобрать математическое ожидание ф (я*), чтобы вероятность события,
состоящего в том, чтобы величины Yt прйняли значение yh была мак¬
симальна. Такая постановка задачи о сглаживании по методу наимень¬
ших квадратов фактически заимствована из раздела проверки статис¬
тических гипотез. Строго говоря, вероятность любых событий Уt = yh
как и их произведения, равна нулю, так как случайные величины Yt
непрерывные. Поэтому следует пользоваться плотностью распределе¬
ния вероятности или элементами вероятности
fi (Уд dyt =	е ^ dyh
Найдем вероятность того, что случайные величины Ух, У2, ..., Yn
лежат в пределах:
(.Уit Уь dyi)*	i= 1 > 2, • • •»
Считаем, что опыты независимы, поэтому искомая вероятность равна
произведению вероятностей
п
1
е
№i - V (*i)P	~	1аГ	St	yi~<f
*** dy, = Ke- , = 1	,	(2"111)
где К — некоторый коэффициент, не зависящий от ф (лг£-). Необходимо
выбрать такие математические ожидания ф (*,), чтобы функция (2-111)
обращалась в максимум. В этом и заключается принцип максималь¬
ного правдоподобия. Очевидно, что величина
15Г 53 [*»-ф <**)]*
i = 1
меньшая единицы, будет иметь наибольшее значение, когда показатель
степени по абсолютной величине минимален, т. е.
2а2
Отсюда, отбросив множитель V^o2, получим условие минимума суммы
82

квадратов, задаваемое формулой (2-110), т. е. доказано, что для слу¬
чая независимых измерений, которые подчиняются нормальному за¬
кону распределения, принцип максимума правдоподобия совпадает
с методом наименьших квадратов.
Дадим практические методы определения параметров кривой при
методе наименьших квадратов. Допустим, что функция ф (х) зависит
оТ т переменных аъ а2, ..., ат
у = ц(х, аъ а2 ат).
Требуется найти такие значения av> чтобы
п
2	аь	«г am)]2 = min.
i = 1
Для этого продифференцируем это выражение по av и приравняем
нулю
п
2 1У‘~ф(*<. «ь •••>	=°>	(2-112)
1=1 ’ 1
v = 1, 2,	,	т.
Уравнения (2-112) представляют собой систему т нелинейных алгеб¬
раических уравнений с т неизвестными av. Решать эту систему в об¬
щем виде нельзя, так как требуется задание функции ф (х, аъ аъ ..., ат).
В качестве примера найдем выражения для коэффициентов линей¬
ной функции:
у = агх + а2\
Подставив их в формулу (2-112)
п
Л [i/i - (ад + а2)] Xi = 0;
i=\
п
Л [Ui —	+Д2)] = 0,
i= 1
и деля оба уравнения на п, запишем:
4, 1 [X, Y] — ад* [X] - а2т% = 0;
т*у — ахт* — а2 = 0,
83

где
2
ml = -1 1
п
п
2 yt
т*у = —— ;
У	П	’
2 *!
<*[Х\ = -=Т-
«Ь[Х, У]=~
2 x‘Yi
и решив их, получим:
«ьЛ*. У]~т%т*
01 ~ а} [*]-(//»*)*	-	(2-113)
аг = т% — агт:х.	)	..
Формулы значительно упростятся, если ввести центральные мо¬
менты
Z (xi-<)(Yi-m$)	2 xiyi
 i = 1
П
2 (xi-mt)(xi-mt)
R% = —	-	=1—Ц;	т*хт*у	=	al, [X, F] — rnpnp,
D%
i = 1
2 xl
- (m*f = at [X] - Ю2;
2 *<•
Л
n
2 *
mS = -—-—
Тогда
84
ai = -j$r\ a2 = ml — a1m%	(2-114)
X

или
/?*
y-tiy = i$(x-т*)-
(2-115)
Аналогичным образом могут быть получены значения для парабо¬
лической функции.
Пример 2-10. В результате эксперимента получены значения X и У (табл. 2-4)
и можно составить табл. 2-5.
Таблица 2-4
X
1,0
2,0
3,0
4,0
5,0
Y
1,25
2,5
2,75
3,5
4,25
Таблица 2-5
У'г
А
%i У1
1,0
2,0
3.0
4.0
5.0
2*1=15
1.25
2.5
2,75
3.5
4.25
=14,25
1
4
9
16
25
2*; =55
1.25
5,0
8.25
14,0
21,25
=49,75
С помощью формул (2-114) получим:
5-49,75 —15 - 14,25
аг-
5-55-152
55-14,25 — 15-49,75
; 0,7;
^ 1,1.
2	5	- 55 — 152
Линейная функция запишется в виде
у== 0,7*+1,1.
Пользуясь табл. 2-6, определим сумму квадратов отклонений для этого выра¬
жения.
Таблица 2-6
xt
Yi
У1
Yi-yi
Wi-vd*
1,0
1,8
1,25
0,55
0,3025
2,0
2,5
2,5-
0,00
0,000
3,0
3,3
2,75
0,55
0,3025
4,0
3,9
3,5
0,4
0,16
5,0
4,6
4,25
0,35
0,1225
^(Yi-Hi)2 =0,89
85

б)	Элементы корреляционного и регрессионного
анализа
Для определения корреляционной зависимости между случайными
величинами X и У необходимо использовать понятие условных сред¬
них [Л. 33]. Условным средним дх называется среднеарифметическое
значений Y, соответствующих X = х. Очевидно, что при увеличе¬
нии числа опытов условная средняя стремится к условному математи¬
ческому ожиданию
My(x) = Y |х_* = Ит ух.
п —*■ СО
Если при значении х — 3, Y принимает значенйя г/, = 7, у2 =' 3,
уч — 8, то условная средняя
-	7+3+8	с
ух=—3— = 6.
Корреляционной зависимостью У от X называется функциональная
зависимость ух от х:
дх = ф(х).
Это уравнение называется уравнением регрессии Y на X, функция
Ф (я) — регрессией Y на X, а ее графическое изображение — линией
регрессии У на X. Аналогичным образом определяют регрессию X
на Y. Корреляционной зависимостью X от Y называется функциональ¬
ная зависимость условной средней ху от у:
Xy = f (у)-
Обычно отмечают две задачи корреляционного анализа. В первом
случае определяют вид корреляционной зависимости: линейный,
квадратичный, синусоидальный и пр. Во втором случае определяют
степень (силу) корреляционной связи, которая оценивается по вели¬
чине рассеивания точек относительно линии регрессии. Теснота груп¬
пирования точек около линии регрессии чаще всего оценивается с по¬
мощью суммы средних квадратов. Причем степень корреляционной
связи может оцениваться как Y относительно X, так и X относительно
Y, которые в общем случае не совпадают.
Рассмотрим вначале простейший случай отыскания выборочного
уравнения прямой линии регрессии по несгруппированным данным.
При этом предполагается, что величины X и У связаны линейной кор¬
реляционной зависимостью. Для определения этой зависимости произ¬
ведено п независимых испытаний и получено п пар значений:
(*i> Ух). (*2. г/г). .... (*„, Уп)-
Так как эти пары представляют собою случайную выборку из совокуп¬
ности всех возможных значений векторной случайной величины (X, У),
которая называется генеральной совокупностью, то все уравнения и
параметры, которые получаются на основании этих данных, назы¬
ваются выборочными. Будем считать, что различные значения х при¬
86

знака (величины) X и соответствующие им значения у признака У
встречаются по одному разу. В этом случае не требуется группировать
данные, а также использовать понятие «условное среднее». Искомое
уравнение регрессии
ух = а1х + а2
можно переписать в виде
У* =а1х + а2.
Угловой коэффициент прямой регрессии У на X называется выбо¬
рочным коэффициентом регрессии У на X и обозначается через р^:
У*=руХХ + а2.
Если подбирать параметры рух из условия минимума суммы квад¬
ратов отклонений измеренных значений yt от вычисленных по формуле
прямолинейной регрессии
п
F (Р> а2)= 2 (У*-Удг = min,
i = 1
то для величин рху и а2 получим формулы, аналогичные тем, которые
были получены в методе наименьших квадратов для прямолинейной
зависимости (2-114). В данном случае
R*
п —п — ху
РуХ U1  Пу. .
^ X
При большом числе измерений и ярко выраженной статистической
связи ситуация становится сложнее: одно и то же значение xt может
появляться пх. раз, так же как и одно значение yt может встречаться
riy раз, а пара значений Xi и yt может встретиться пх.у. раз. Поэтому
при корреляционном анализе составляется корреляционная таблица
(табл. 2-7).
Таблица 2-7
Y
X
Пу
10
20
30
40
0,2
3
5
12
20
0,3
6
—
3
9
18
0,4
—
12
—
—
12
пх
9
12
8
21
50
В каждой внутренней клетке указывается число наблюдений соответ¬
ствующих признаков, на пересечении которых расположена клетка.
В первой строке указываются значения признака X, в первом столб¬
це — значения признака У. В правом нижнем углу указано общее
число испытаний п = 1>пх = Япу.
Получим для этого случая уравнение регрессии с учетом частоты
появления признаков. В предыдущем разделе были получены соотно¬
87

шения, определяющие уравнение регрессии, которое можно переписать
в виде
(2 -^2) Рз'л:	(2	^2	= 2 %У»
(2 х)руХ + па2 = ^у,
где для простоты опущены индексы суммирования, так как везде пред¬
полагается, что суммирование производится по индексу i или j или i
и / в пределах от 1 до п. При выводе этих соотношений считалось, что
значения Х и Y встречаются по одному разу. Учтем в этих уравнениях
то, что признаки появляются несколько раз и имеется корреляцион¬
ная таблица. Если использовать соотношения для средневзвешен¬
ных значений
к	п
2] n*ixi = 2	=	пт*х	= 2 X = пх;
i= 1	v = 1
I	п
2! пУ;У] = 2] Уч = пт*у = ^у=пд\
j= 1	V = 1
k	п
2] пхХ\ = 2j	= па* [X] = 2 *2 = п'х2;
i = 1	V	=	1
2j Пх-yjXiyj = 2] ХУ = 2]
ч
k	I
п = 21	=	21	v
1=1	у=1
в которых учтены частоты появления признаков Xi, tjj, то соотноше¬
ния, которые определяют уравнение регрессии, перепишутся в виде
(пх2)	+ (пХ) п2 = И пХу ху\
(£)рyX + <h = g.
Отсюда можно найти параметры рух и аг и написать уравнение рег¬
рессии
Ух ~ РУXх + ^2*
Аналогично соотношению (2-115) это уравнение можно переписать
в виде
Ух-9 = Рух (х - £);
9х-9 = гв-°у-(х-~х).
иХ
Это уравнение называется выборочным уравнением регрессии У на X.
Коэффициент гв называется выборочным коэффициентом корреляции
и определяется как

где в соответствии с ранее приведенным
Е пху ху — пху Ъпхуху—пху	,плло\
р*--.ЕР-ат"—55—	<2■116,
Поэтому
Е пхуху—пхд
Г „ = ■
Здесь а* и ау — выборочные среднеквадратичные отклонения, опре¬
деляемые из соотношений:
ol=x2— л: ;
= ■
Аналогичным образом можно написать выборочное уравнение пря¬
мой регрессии X на Y
Ху— х=гв~ (х — х).
Оба уравнения прямых могут быть записаны в следующем симметрич¬
ном виде:
9х—9_г х—х 9
Оу	В Ох 9
ху—х у—9
—	=	Гп—	.
Оказывается, величина выборочного коэффициента корреляции
указывает на степень линейной корреляционной зависимости, на сте¬
пень тесноты этой зависимости. Степени линейных корреляционных
зависимостей Y от X и X от Y могут быть оценены с помощью величин
соответствующих дисперсий Sy и Sx наблюденных значений у их
вокруг их условных средних ух и ху:
п
С   Xj О/ У л:)2
Ъу —	—:
s, J
Ъ(х-ху)2
(2-117)
п
Можно показать, что
Sy = Dy(l — г|);
Sx = Dx (1 — т|),
где Dy — ol и Dx = Ох — дисперсии наблюденных значений у их
относительно средних у их.
Можно показать, что абсолютное значение выборочного коэффи¬
циента корреляции не превышает единицы в силу того, что любая
дисперсия неотрицательна, т. е.
1-г25*0,
и поэтому
|/в|< 1.
89

При нулевом выборочном коэффициенте корреляции и прямых
линиях регрессии значения признаков X и У в выборке не связаны
линейкой корреляционной зависимостью. Действительно, при rB о
уравнения выборочных прямых регрессии Y на X имеют вид:
Вх = 9; ху = х.
Это означает, что при изменении соответствующей величины услов¬
ные средние не изменяются и остаются равными соответствующим
средним, т. е. зависимость Y от X, как X от Y, отсутствует. В данном
случае прямые регрессии параллельны координатным осям. Однако сле¬
дует заметить, что при нулевом выборочном коэффициенте корреля¬
ции величины X и Y могут быть связаны нелинейной статистической
и детерминированной зависимостью. Наоборот, при единичном значении
абсолютной величины выборочного коэффициента корреляции значе¬
ния признаков Y иХв выборке связаны линейной детерминированной
зависимостью. Действительно, если
кв1 = 1.
ТО
Sy = Dy( 1 — Гв) = 0
и, следовательно,
Dy DxpyX = О
или
Dy — DxPyx\
* = 1 1=1
ИЛИ
е (yi-~y?
1=1	-о*
п	—Р У*'
Е (*/-*)*
1 = 1
Это соотношение может в общем случае удовлетворяться при условии,
если
У — Р = 9ух(х — Х);
У-~У = гв^-(х-х)
их
(что можно доказать методом от противного). Но последние соотноше¬
ния показывают, что любые случайные значения X и Y лежат на пря¬
мой, т. е. значения признаков в выборке связаны детерминированной
линейной зависимостью.
Из приведенных свойств выборочного коэффициента корреляции
следует, что с возрастанием его по абсолютной величине корреляцион¬
ная зависимость становится более тесной, так как в соответствии с фор¬
мулами
Sy = Dy (1	г!)	j
Sx = Dx(l-rl)
90

дисперсии Sy и Sx убывают. Тем самым показано, что этот коэффициент
Характеризует тесноту связи.
Все предыдущие суждения были основаны на данных определен¬
ий выборки, которая в зависимости от своего объема может с той или
иной полнотой представлять генеральную совокупность. В связи с этим
всегда надо быть осторожным при распространении выводов о выборке
на всю-генеральную совокупность, но определенные суждения сделать
можно, особенно при большом объеме выборки. Так, для 50 в слу¬
чае нормально распределенной генеральной совокупности [Л. 33]
выборочный коэффициент корреляции гв связан с генеральным коэф¬
фициентом корреляции гг соотношением
о1-''!	i—г*
Го — 3 —7=^ < Гг ^ гв
УК ^ 'г^ в 1 УК'
Пример 2-11. Для числовых значений, приведенных в табл. 2-5, требуется вы¬
числить выборочный коэффициент корреляции гв. Вычисляем выборочный коэффи¬
циент регрессии по формуле
Лпхуху — пху
Рух~ п[*~т *
причем
%пх, Х1
—2 Zn (Xi-Xy
х =	  —
п
В результате получим:
9ух
Отсюда в соответствии с формулой
381-26,5-14.2	11 |а 1Л_,
9«х=	50Л40	694Г=1’6-10'-
<3х
Г» = Р yXf
имеем:
'•B=1'6-10"3W=0'88-
Из полученного видно, что данная выборка обладает достаточно большой корреля¬
ционной связью, хотя числа в корреляционной таблице задавались произвольно.
Наконец, используя формулы
Sy = Dy (1_/в);
Sx=Dx(l-rl)t
можем вычислить дисперсию относительно линий регрессии
Sy = 4- 10“4 • 0,12 = 0,0048;
Sx — 140 • 0,12= 16,8.
Такое различие в дисперсиях вызвано различным порядком величин X и У, которые
отличаются примерно на 102,

Глава третья
ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ
Под статистической гипотезой понимается любое предположение
о законе распределения наблюдаемых случайных переменных. Теория
проверки статистических гипотез устанавливает количественные па¬
раметры оценки точности данной гипотезы и вырабатывает методы
и правила выбора наилучшей в определенном смысле гипотезы, назы¬
ваемые критериями проверки статистических гипотез. По существу
в этом разделе излагаются правила оптимального поведения и управ¬
ления в условиях статистической неопределенности. Приведем не¬
сколько примеров. В радиолокации [Л. 34, 35] обнаружение и распо¬
знавание сигнала, отраженного от истинной цели, не может быть вы¬
полнено точно из-за наличия шумов в приемном устройстве, радиопо¬
мех и ложных целей, которые специально организуются противником.
Требуется при определенных гипотезах о законах распределения ис¬
тинных сигналов цели и помех выработать правила, которые бы опти¬
мальным образом позволяли определять наличие цели. В этом примере
выявляются два вида ошибок, называемых ошибками первого
и второго рода. Если истинная цель классифицируется как
шум (или как ложная цель), то возникает ошибка первого рода, назы¬
ваемая «пропуском цели». Вес такой ошибки велик, и вероятность ее
следует свести к минимуму. Наоборот, ошибка второго рода, при ко¬
торой ложная цель или помеха принимается за истинную цель, при¬
носит меньший вред и поэтому обладает меньшим весом. Иногда ус¬
ловно такая ошибка называется ошибкой типа «ложной тревоги».
Второй пример приведем из области диагностики заболеваний.
Известно, что для установления диагноза туберкулеза производят
ряд тестов, которые, однако, позволяют сделать заключение о заболе¬
вании с какой-то вероятностью из-за неточности диагностических тес¬
тов, большого различия больных и т. д. И опять возможны два рода
ошибок, которые имеют разный вес. Если больной туберкулезом бу¬
дет признан здоровым, то такая ошибка (первого рода) нанесет больший
ущерб, чем признание здорового человека больным (ошибка второго
рода).
Некоторые разделы теории проверки статистических гипотез сов¬
падают со статистическими методами распознавания (или классифи¬
кации) образов, так как в последних, по существу, производится про¬
верка гипотезы о принадлежности определенного объекта к какому-
нибудь классу из заданного множества.
В одном из разделов теории проверки статистических гипотез рас¬
сматриваются так называемые критерии согласия, с помощью которых
определяют качество согласования гипотетического теоретического
закона распределения случайной величины с экспериментальными
данными. С такой задачей сталкиваются при моделировании вероят¬
ностных систем на ЦВМ методом Монте-Карло при проверке соответ¬
ствия распределения случайных чисел, генерируемых в машине, за¬
данному закону.
92

Изложение теории проверки статистических гипотез будет начато
именно с этого раздела. Однако предварительно необходимо остано¬
виться на некоторых определениях и вспомогательных положениях.
3-1. ПОНЯТИЕ СТАТИСТИЧЕСКОГО РЯДА И ГИСТОГРАММЫ
При экспериментальных замерах можно строить таблицу значений
случайной величины (табл. 3-1), но такое представление громоздко.
Более удобны статистический ряд и гистограмма [Л. 21].
Таблица 3-1
i
1
2
3
*i
xi
х2
х3
При построении статистического ряда возможный интервал изме¬
нения случайной величины X разбивается на конечное число участков,
необязательно одинаковой величины. В одну строку или колонку
(табл. 3-2) заносятся значения концов интервала (xh Х(+1); в другую —
частоты попадания случайной величины в данный интервал р* = л?//7г,
т. е. отношения числа попадания случайной величины в данный ин¬
тервал к общему числу опытов.
Таблица 3-2
Ji
хъ х2
*2, Х3
XiXi+1
Xkxk+1
р*
р?
pi
...
pi
p%
Как выбираются величины интервалов при составлении статистиче¬
ского ряда, будет объяснено ниже.
Пример 3-1. У 200 студентов спросили, достаточно ли им стипендии на месяц.
Оказалось, что одни берут в долг до трех рублей (эти цифры берутся со знаком минус),
а другие экономят. Результаты опроса сведены в статистический ряд (табл. 3-3),
где случайная величина X равна остатку от стипендии к концу месяца.
Таблица 3-3
Ji
-3; -2
-2; -1
-l; о
0; -1
1; 2
2; 3
Vi
3
17
65
80
30
5
pi
0,015
0,085
0,325
0,400
0,150
0,025
93

Если случайная величина X попадает на границу разряда, то условно можно
добавлять к V/ в каждом разряде по 1/2.
Статистический ряд удобно оформить графически в виде гисто¬
граммы (рис. 3-1). По оси абсцисс откладываются значения случайной
величины, отмечаются значения концов интервалов (xiy xi+l). На каж¬
дом из разрядов, как на основании, строится прямоугольник, площадь
которого равна частоте попадания случайной величины в данный раз¬
ряд. Получается ступенчатая кривая, причем ордината каждой сту¬
пеньки равна соответствующей частоте, деленной на ширину интерва¬
ла (величину разряда). Число разрядов не должно быть очень большим
и очень маленьким. Обычно используют 10—20 разрядов. Величины
разрядов всего удобнее выбирать одинаковыми, но при большой не¬
равномерности закона распределения целесообразно разряды брать
меньше в области быстрого изменения плотности распределения. Гис¬
тограмма приближается к кривой плотности распределения вероятно¬
сти при увеличении числа опытов и соответствующем уменьшении ве¬
личины разрядов. С помощью статистического ряда можно построить
(рис. 3-2) приближенно функцию распределения вероятности F (х):
г* (*ij = 0;
F* (х2) = рГ;
р* (**) = х р*’
v = 1
Р* (Xn+l) = У] Pv= 1.
V = 1
(3-1)
Часто требуется провести крив>к> плотности распределения при на¬
личии экспериментально снятой гистограммы. Если вид закона рас¬
94

пределения полученных случайных величин известен, то самый про¬
стейший способ — это вычислить оценки для моментов и взять в законе
распределения параметры такие, чтобы теоретически моменты совпа¬
дали с оценками.
Пример 3-2. В табл. 3-3 приведены данные по остаткам от стипендии студентов
к концу месяца. Естественно считать, что исследуемая величина X возникает после
суммирования результатов независимых остатков от элементарных затрат, тогда из
теоретических соображений можно считать, что величина X подчиняется нормальному
закону распределения
-(*-
2а I
■ V 2т.
оценки D* и т*
(3-2)
Требуется подобрать параметры
тх и °х так> чтобы функция f (х)
наилучшим образом описывала дан¬
ный статистический материал. Для
данного случая
имеют следующие значения:
т* = 0,160;
D* = 0,9344;
а* = 0,967.
Согласно методу моментов параметры тх и ох теоретической кривой / (х) выби¬
раем совпадающими с соответствующими оценками о* и т*. Подставляя эти вели¬
чины в формулу (3-2), получаем:
— (* — (М60)2
1	-	а-°-9314	.	(3-3)
0,967 V~2n
Однако при этом методе остается неясным, какова количественная
оценка величины ошибки при такой замене. Количественную оценку
удается сделать с помощью так называемых критериев согласия
[Л. 21, 25, 26].
3-2. КРИТЕРИИ СОГЛАСИЯ
Рассмотрим два критерия согласия: критерий %2 Пирсона и крите¬
рий Колмогорова. Начнем с простейшего случая. Допустим вначале,
что случайная величина X может принимать только два значения с ве¬
роятностями рх и р2, причем
Pi + p2=l-	(3-4)
Пусть проведено	п	опытов,	vx раз величина	приняла	первое	значение
(попала	в	группу	SL)>	и	v2	раз — второе (попала в	группу	S2), причем
vi + v2 = n.	(3-5)
Необходимо определить достоверность (вероятность) гипотезы о воз¬
можности замены вероятностей рх и р2 частотами pf = vjn и pj =
= vjn.
95

За меру ошибки возьмем взвешенную сумму квадратов отклонений
V! и v2 от их математических ожиданий прх и пр2:
2 = К-"Pi)2 , (vt-npzf
1	tip]	f пр2 *	W-b)
В качестве весов- слагаемых в этой формуле выбраны величины, об¬
ратные математическим ожиданиям. Формулу (3-6) можно переписать
в виде
X2 = Ki (Vi - mVl)2 + К {v2 — mv;f,	(3-7)
где
или
где
mVl = пръ mVl = пр2;Ki = -~\	=	^
X2 = Ki (pf - Pi)2 + К, (p! - P2)2,	(3-8)
Величины
n * . is   n
pi - n, Ki-рj- ■
v; = Vi — npx, v§ = v2 — np2	(3-9)
являются зависимыми. Действительно, в соответствии с формулами
(3-4) и (3-5)
v} + vS = (vx + v2) - п (рх + р2) = 0,	(3-10)
откуда
vj = — v2.
Взвешенные отклонения
Za
Vnpx	Vi
. Vi — tip.
np1
__ v2 np2
Vnp2 Vnp2
(3-11)
и в соответствии с соотношением (3-10) будут также связаны следую¬
щей зависимостью:
Zi V прг + Z2V пр2 = 0.	(3-12)
С учетом равенств (3-11) выражение (3-6) можно преобразовать
к виду:
^2 _ 72	|	72	^М)2	,	(у2)2	__	(у?)2 _	1	,	1	=	(У?)2	= (Vi-nPlf
1 If 2 пр1~Т пр2 П pi^ р2 прхр2 пр1(\—р1) ' •
Vl — nPl
V np1{\—pl)
(3-13)
Vi—npi
Но согласно теореме Лапласа случайная величина - г 	_
Vnp1(\—pl)
при большом п распределена примерно по нормальному закону. Сле¬
довательно, квадрат этой величины (величина х2) распределен по за¬
кону х2 с одной степенью свободы. Выберем какое-нибудь значение до¬
верительной вероятности р = 0,01, которая в теории проверки ста¬
96

тИстических гипотез называется уровнем значимости, и найдем по таб¬
лицам х2_распределения соответствующее этой вероятности значение
величины х2 = Xo.oi .Очевидно, что наша гипотеза о том, что можно опре¬
делить вероятность через частоты, будет неверна, если вычисленное
значение будет больше xo.oi. Точнее, в этом случае равенство между
частотой и вероятностью будет нарушаться с вероятностью большей,
чем р = 0,01. В таблицах х2-распределения для каждого х2 приведены
значения вероятности
P{V>t} = FM.
Эта функция — убывающая функция аргумента х2. Она связана с функ¬
цией распределения х2> определяемой формулой
F(X2) = P{V<x2},
соотношением
Л(Х2)= 1-^(х2).
Такая система таблиц принята для удобства проверки статистических
гипотез в ущерб теории оценок.
Рассмотренную выше задачу можно распространить на случай
/ групп и I вероятностей. Пусть имеется I групп: Sl9 S2, •••» $п возмож¬
ных значений случайной величины (или признака). Выдвигаем гипо¬
тезу, что можно определить значение вероятностей ply р2, ..., pt (где
2 Pv= 1 )для попадания в каждую группу путем определения частот.
v — 1	/
Пусть в результате п опытов число попаданий в каждую группу со-
i
ставляет соответственно vb v2, ..., V/, причем ^ Pv = ^-
i = 1
Рассмотренная задача полностью включает в себя определение за¬
кона распределения по гистограмме; в этом случае группы St — это
разряды Ji == (v;, v/+1); pv — истинные вероятности попадания в дан¬
ный интервал. Для количественной оценки точности согласия экс¬
периментальных данных с некоторым гипотетическим законом распре¬
деления используем взвешенную сумму квадратов отклонений v° =
= V* — npi или величин pf — pt
t=y, ki(pt-Pif,	(3-14)
i = 1
где
Это соотношение можно переписать в виде
1 (vj nPj)2 _ X (vi)2
i = 1	‘	‘
4 Основы кибернетики
97

или
I
t= 2] KiiVi-mv.y-,
L= 1
Ki = Tfc; m-i = nP-
(3-16)
Как и в рассмотренном случае, отклонения v? связаны линейным
соотношением
ij'v? = 0.	(3-17)
1 = 1
#•
В предыдущем примере случайные числа v* подчинялись биномиаль¬
ному закону распределения, который может быть записан в виде
Р {VI = Щ, V2 = m2} = Р,П1пн = С‘+т2р;>Г = -J—pJV*, (3-18)
где тг + т2 = п. В случае I групп (или интервалов) числа vz- под¬
чиняются полиномиальному закону распределения [Л. 26], который яв¬
ляется обобщением биномиального закона
Р {Vi = тъ v2 = m2 Vi = mi} =	^	р'/УГ2	•	• ■ рТ1- (3-19)
На этот случай может быть распространена и теорема Лапласа, ко¬
торая утверждает, что нормированные отклонения
<\?°	V0	V/
V прг	У	пр2	У	tipi
связанные одним линейным соотношением (3-17), подчиняются (I— 1)-
мерному нормальному закону [теорема Лапласа для (/ — 1)-мерного
случайного вектора]. Отсюда следует, что величина
X2=ZZf	(3-21)
1 = 1
распределена по закону %2 с I — 1 степенями свободы (строгое доказа¬
тельство этого положения приведено у Крамера [Л. 22]).
В результате имеем следующую процедуру проверки статистиче¬
ской гипотезы. По рассчитанному в соответствии с гипотетическим
законом распределения определяют вероятность появления значе¬
ний %2, больших
Р{%2>% i}.	(3-22)
Предположим, что получен другой гипотетический закон распре¬
деления, который лучше согласуется с экспериментом, чем первый ва¬
риант. Тогда для него сумма взвешенных квадратов будет меньше
т-е- Ул<1 ?• Вероятность этого события Р {yj < х?} должна быть
мала, тогда первый вариант гипотетического закона распределения
лучше. Но так как
Plx2>xl} = i-P{t^ri}>	(3-23)
98

то гипотетический закон распределения тем лучше, чем выше вероят¬
ность (3-22), соответствующая рассчитанному
Следует сделать несколько замечаний о методике применения крите¬
рия х2- Предположим, что по экспериментальным данным значения %2
получаются такими малыми, что значений, больших полученных, тео¬
ретически можно ожидать с вероятностью, близкой к единице
[р (%2) ~ 0)99]. Такое хорошее совпадение заставляет думать о нека¬
чественном выполнении эксперимента и предварительной обработки
данных. Имеется в виду распространенная на практике «подчистка»
результатов эксперимента, которая состоит в том, что некоторые ре¬
зультаты субъективно отбрасываются или округляются. Если получи¬
лось, что для данного уровня значимости р условие х! < Хр» гДе %1 —
экспериментально вычисленное значение, не выполняется, то необ¬
ходимо проверить экспериментальные данные и повторить экспери¬
мент. Если при повторном эксперименте это условие опять не удовлет¬
воряется, то необходимо отбросить гипотезу, т. е. изменить параметры
закона распределения или выбрать другой закон.
Все наши рассуждения справедливы при большом п, так как тео¬
рема Лапласа имеет предельный характер (только при п оо и боль¬
шом числе значений, попадающих в каждый разряд, величины Z* рас¬
пределены по нормальному закону). На практике рекомендуется иметь
не менее 5—10 значений в каждом разряде. Если число этих значений
мало (один-два), то рекомендуется укрупнить разряды, сделав число
цх меньше.
Наконец, несколько слов о числе степеней свободы. Величины
vi~mx.
Z, = —r=ri входящие в сумму (3-21), должны быть независимы друг
У npi
от друга. Только при этом условии (и нормальном законе их распреде¬
ления) сумма их квадратов подчиняется распределению х2* Поэтому
число степеней свободы этого распределения равно числу величин
Zt (число разрядов /) минус число связей, наложенных на Z* или
Одно условие (связь), определяемое соотношением (3-17), наклады¬
вается всегда, его можно записать в виде
i
2>?= 1.	(3-24)
L= 1
При этом следует иметь в виду, что
i	i
2 Vi = rt и 2
i = 1	i=	1
Если подбирается гипотетическое распределение с условием, чтобы сов¬
падали теоретическое математическое ожидание тх и его оценка по экс¬
периментальным данным, то накладывается еще условие
п
Д] XI
^— = тх.	1	(3-25)
Предполагая, что в каждом разряде случайная величина сохраняет -
4*	99

постоянное значение (в соответствии с гистограммой), равное среднему
на этом разряде значению
/^1 xik
=	^	>	(3-26)
можно формулу (3-25) записать в виде
i
2 XiPt = тх.	(3-27)
i = 1
С учетом условий (3-24) и (3-27) число степеней свободы теперь будет
г = 1 — 2.
Если распределение определяется при условии выполнения соот¬
ношения (3-27) и совпадении теоретической дисперсии и ее оценки,
то добавляется третье условие:
 = Д*	(3-28)
или
I
(3-29)
i = 1
При добавлении этого условия чцсло степеней свободы будет г = I — 3.
Пример 3-3. Для условий примера 3-1 проверим статистическую гипотезу о нор¬
мальности закона распределения при условии, что математическое ожидание и сред¬
неквадратичное значение этого распределения равны оценкам этих величин/п= 1,160;
о= 0,167.
Вероятности попадания в разряды, которые выбраны в примере 3-1, находим
по формуле (см. приложение 1)
й_ф.(аш=г)_ф.(£!=а).
Далее подсчитываем npi (при п= 200). Результаты сведены в табл. 3-4.
Таблица 3-4
Ji
-3; -2
-2; -1
-1; о
0; 1
l; 2
2; 3
Vi
3
17
65
80
30
5 -
npi
2,4
20,46
63,98
74,70
32,60
5,38
Используя полученные результаты, получаем:

Затем определяем число степеней свободы г — I — 3 = 6—3 = 3 и с помощью
таблиц %2-РаспРеДеления (см. приложение 2) устанавливаем, что найденное значение
у2 соответствует р = 0,73. Следовательно, можно утверждать, что с вероятностью
2 = 0,27 на практике отклонения могут быть больше наблюденных. Этот результат
Ложно считать вполне удовлетворительным.
Если закон распределения F (х) известен полностью (т. е. и вид
функции распределения и числовые значения параметров известны),
То можно применять критерий согласия Колмогорова, который проще
критерия х2- В критерии Колмогорова за меру качества согласования
экспериментального и теоретического распределения принимается мак¬
симальное значение модуля разности между этими.функциями
D = шах | F* (*) -F(x)\.	(3-30)
Оказывается, что благодаря теореме Колмогорова, легко вычислить
функцию распределения вероятности для величины D. Доказано, что
какова бы ни была функция распределения F (х) непрерывной случай¬
ной величины X, при неограниченном числе п независимых наблюде¬
ний вероятность неравенства
P{DVnЦ
стремится к пределу
со
р(Х)= 1- 2 (— \)ке~2кг%\
k = — оо
Заметим, что функция (3-31) опять убывающая и равна единице минус
функция распределения величины D}/~п:
Р {D Vn s* М = 1 - Р {D Vn < Ц.	(3-33)
Процедура проверки согласия по этому критерию аналогична
проверке по критерию X2. По формуле (3-30) вычисляется D, а затем
определяется величина
%1 = DVn.	(3-34)
Далее рассуждаем следующим образом. Допустим, что за счет каких-
то причин (лучшего подбора закона распределения) получилось
К2 <Xi.	(3-35)
Тогда этот закон будет лучше гипотетического. Чем меньше вероят¬
ность события (3-35), тем лучше наш закон, который соответствует Хг.
Учитывая (3-33), можно сказать, что чем выше вероятность (3-31),
тем лучше согласование.
Критерий Колмогорова значительно проще критерия X2. Однако
для его применения необходимо иметь график или таблицы теорети¬
ческого закона распределения, т. е. он должен быть полностью задан.
На практике это редко бывает. Чаще известен только вид закона и тре¬
буется определить его параметры. В случае применения критерия X2
это учитывается изменением числа степеней свободы. Если внимательно
101
(3-31)
(3-32)

изучить таблицы ^-распределения, нетрудно убедиться, что чем боль-
ше степеней свободы, тем больше значение вероятности. Следовательно,
если не учесть уменьшения числа степеней свободы, то вероятности
будут больше и мы ошибочно примем гипотезу, тогда как на самом деле
она несправедлива. Поэтому,
если при неизвестных парамет¬
рах закона распределения при¬
менить критерий Колмогорова,
взяв за значения параметров его
оценки, также получим завы¬
шенный результат, так как эта
процедура будет эквивалентна
применению критерия без учета
уменьшения степеней свободы,
т. е. по этому критерию гипотеза
будет признана допустимой, а на
самом деле она несправедлива.
Для распределения Колмо¬
горова составлены подробные
таблицы (приложение \5). Оба
критерия (х2 и Колмогорова)
часто применяются для проверки
закона распределения чисел, ко¬
торые получаются при модели¬
ровании на ЦВМ по методу
Монте-Карло.
Пример 3-4. Применим критерий
Колмогорова для определения, степени
согласия закона распределения слу¬
чайной величины, фигурировавшей в
трех предыдущих примерах, нормаль¬
ному закону распределения с пара¬
метрами, равными оценкам:
= т*-0,160:
Gx = Gx = 0,967.
Рис. 3-3. Теоретическая F (х) и экспери¬
ментальная F* (.х) функции распределе¬
ния для примера 3-4.
Систематизируем (табл. 3-5) полу¬
ченные данные.
На рис. 3-3 представлены теорети¬
ческая F (х) и экспериментальная F* (х)
функции распределения в виде кри¬
вой и ломаной линий. В случае крите¬
рия Колмогорова следует использовать непосредственно статистический ряд, так
как при ступенчатой аппроксимации функции распределения ее кривая существен¬
но зависит от выбора величины разряда.
Из табл. 3-5 определяем параметр
D = max | F* — F | = 0,0175.
По формуле (3-34) находим:
Я=0,01751^200 я» 0,2460.
С помощью таблиц функции р (Ц, приведенных в приложении 5, находим!
р (0,25) « 1,0000.
Как и следовало ожидать, это значение вероятности больше, чем рассчитанное
по критерию х2.
102

Таблица 3-5
*1
-3
_2
-1
0
1
2
3
Pi
-3,268
-2,234
-1,200
-0,165
0,869
1,903
2,937
F* (х)
0
0,0150
0,1000
0,4250
0,8250
0,9750
1,000
F(x)
0,0008
0,0128
0,1151
0,4350
0,8085
0,9715
0,9984
* .
1
11
<1
0,0008
0,0022
0,0151
0,0100
0,0175
0,0035
0,0016
3-3. ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ
Классическая теория проверки статистических гипотез, в основном
разработанная Нейманом — Пирсоном, занимается проверкой гипотез
о значении параметра а для плотности распределения вероятности
д-мерной случайной величины
f(x\a)=fa(x)=fa(X1, Х2,	Хп)\
Х = {ХЪ Х2 Хп).
Наиболее разработана теория статистического выбора между двумя
гипотезами Я0 и Нг о значении параметра а:
Н0 = Н0 (а = а0) и Н1 = Н1(а = а1>а0).
При этом истинное значение параметра а может не совпадать ни с од¬
ним из гипотетических значений а0 и аг.
Вводятся в рассмотрение вероятности ошибок первого и второго
рода: а и р. Ошибка первого рода происходит всякий раз, когда при¬
нимается гипотеза Нъ а на самом деле справедлива Н0. Ошибка вто¬
рого рода имеет место, когда принимается гипотеза Н0 при истинности
гипотезы Я1. Кроме того, следует сразу заметить, что в данном разделе
будут рассматриваться только простые гипотезы Я0 и Яь т. е. такие,
которые в отличие от сложных не могут быть сведены к более простым.
При проверке простых гипотез принимается, по существу, только одно
решение: справедлива гипотеза Я0 (Ях ложна), тогда как при сложной
гипотезе появляется несколько возможных решений. Так, при конт¬
роле качества продукции возникает задача проверки гипотезы Я о
том, что неизвестный параметр а в распределении случайной величины
X не превосходит некоторого значения а'. Здесь имеет место сложная
гипотеза. Как правило, одним из способов сложная гипотеза прибли¬
женно сводится к простой. В рассмотренном выше примере вводят два
значения: а0 < а', а1> а' и считают, что исходная задача будет рав¬
носильна проверке простой гипотезы, состоящей в том, что когда а =
= a0i принимается гипотеза Я0 (а С а'), когда а = аъ принимается ги¬
потеза Нх(а> а') [Л. 34—37].
103

В классическом случае объем выборки п фиксирован заранее — д0
испытаний, правда, одной из основных задач проверки статистических
гипотез является определение оптимального значения п.
Требуется выработать правило или метод разбиения исходной сово¬
купности Rn всевозможных выборок объема п на две непересекаю-
щиеся области Е0 и Еъ причем Ег = Rn — Е0. Если точка попадает
в обл асть Ео, то принимается гипотеза Я0, пр,и попадании точки в об¬
ласть Ег принимается гипотеза Нг. Область Ег называется критиче¬
ской. Это правило разбиения обычно называется критерием проверки
статистической гипотезы. '
Очень часто гипотезы Я0 и Нг бывают противоположными, т. е.
Н± = Я0. Например, в качестве гипотезы Н0 при обнаруженишсигнала
в шумах радиолокации можно принять наличие сигнала (от цели), а за
гипотезу Ях = Н0 — отсутствие сигнала, наличие только шума. Второй
пример: при изготовлении новых лекарстн важно определить степень
их токсичности. В этом'случае гипотеза Я0 означает, что лекарство
токсично, Н± = Н0 — нетоксично. Третий пример: при геологоразве¬
дочных изысканиях проводится серия пробных исследований породы
на предмет обнаружения в ней искомого компонента, например золота.
Гипотеза Н0 означает наличие золота в породе, а Нх — его отсутствие.
Для дальнейшей работы с нашими примерами воспользуемся поняти¬
ями вероятностей ошибок первого и второго рода. В случае изготовле¬
ния нового лекарства величина а должна быть мала по сравнению с р,
так как применение токсичного, лекарства (ошибка первого рода)
наносит больший вред, чем ошибочная браковка (ошибка второго рода).
Перестраховка здесь вполне оправдана. Однако встречаются случаи,
когда веса ошибок первого и второго рода близки. Так бывает при обна¬
ружении сигнала в шумах в радиолокации, когда амплитуда полезного
сигнала соизмерима с амплитудой шумов.
В классической теории проверки статистических гипотез [Л. 36]
вводится понятие функции мощности критерия (или правила пове¬
дения) В (h | Я*), которая определяется как условная вероятность
того, что при любой допустимой гипотезе h критическая область Ех
отвергает испытываемую гипотезу Я. JB простейшем случае двух аль¬
тернативных гипотез Я0 = Я, Ях = Я, который и будет в основном
исследоваться, можно говорить о мощности критической области Еъ
как об условной_вероятности того, что при ложности гипотезы Я (и
справедливости Я) она будет отвергнута. Очевидно, что в этом.случае
В (h \ Ег) = 1 — (3. Для лучшего понимания смысла введенных тер¬
минов рассмотрим числовой пример.
Пример 3-5. Произведено п испытаний породы на предмет определения в ней
уровня содержания золота. Процедура исследования носит статистический характер
и может быть оценена только в вероятностном смысле.
Испытуемая_гипотеза Н0 = Н — порода не содержит золота. Альтернативная
гипотеза Нх = Н — порода содержит золото. Выбор такой испытуемой гипотезы
достаточно условен и в основном определяется тем, что ошибка первого рода была
бы вреднее ошибки второго рода, так как считается, что ошибочное заключение
о содержании золота в пустой породе (ошибка первого.рода) более вредно, чем оши¬
бочное заключение об отсутствии золота в породе, имеющей его (ошибка второго
рода).
104

В результате многолетнего опыта установлено, что вероятность обнаружения
золота в пустой породе = 0,01, а вероятность правильного заключения о наличии
золота в породе р2 = 0,8.
Допустим, что произведено п= 3 независимых испытаний. Введем в рассмотре¬
ние случайную биномиальную величину, принимающую только целые значения 0,
\f 2, 3, равные числу положительных заключений о содержании золота. Заранее
неизвестно, содержит порода золото или не содержит, поэтому функция распределе¬
ния вероятности для величины X неизвестна и может определяться одним из двух
следующих выражений: если золота нет, то
Рх W =	(!-Pi)3-*	(* = 0, 1. 2, 3);
если золото имеется, то
PxW=cfpf (1-Р2)3-к
Вопрос о строительстве предприятия по добыче золота зависит от того, какая из
этих двух функций распределения имеет место на самом деле.
В данном случае выборочное пространство Rn состоит из четырех точек на пря¬
мой К = 0, 1, 2, 3. Для определения критической области Ег требуются дополнитель¬
ные рассуждения. Предположим, что при установившейся практике подтверждается
наличие золота только в случае, когда все три пробы дают положительный результат,
что равносильно отрицанию гипотезы Я. Поэтому критическая область Е1 состоит
из одной точки К = 3, так как при попадании выборочной точки в эту точку гипо¬
теза Я отвергается. Область Е0 состоит из точек К = 0, 1,2.
Подсчитаем вероятности ошибок первого и второго рода. Ошибка первого рода,
состоящая в отрицании гипотезы Я, когда она истинна, будет иметь место тогда,
когда точка X попадет в критическую область Elt т. е. примет значение X = 3:
а = Р {А = 3 | Я} = 0^)" = (0,2)3 = 0,008.
Ошибка второго рода р будет иметь место, когда точка займет положение
X = 0, 1, 2 и будет истинна гипотеза Я (порода золотоносна):
Р = р {X фЗ I Я} = 1—Р {Х = 3 I Я} = 1 -(0,8)3 = 0,488.
Теперь вычислим мощность критерия, равную вероятности того, что будет распознана
ложность гипотезы Я, когда истинна гипотеза Я, т. е.
В (h | Е1) = Р {А' = 3 | Я} = (0,8)3 = 0,512.
а)	Свойства критерия Неймана — Пирсона
В ряде случаев весьма желательно, чтобы обе вероятности аир
были малы. Однако при конечном фиксированном объеме выборки п
и различных значениях Е1 нельзя одновременно получить малые
аир, так как уменьшение одной влечет за собой увеличение другой
величины. При фиксированном п и а процедура Неймана — Пир¬
сона позволяет выбрать такое Еъ для которого В = 1 — р будет мак¬
симальным (т. е. р минимально). Аналогичным образом можно пока¬
зать, что эта процедура обеспечивает Ег с минимальным а при задан¬
ных Р и п или с минимальным п при фиксированных а и р. Фиксация
двух параметров отражается на выборе порога С. Оказывается, что
все эти величины связаны между собой [Л. 34, 37]. В каждом из этих
трех случаев величина С является функцией двух фиксированных
параметров: С (п> а); С (р, /г); С (а, Р). Отношение
(xi, л'2, ...
105

называется коэффициентом правдоподобия, кото¬
рый зависит от п выборочных значений случайной величины X.
Условно при fa, = /а„ = О полагается Ln = 1. Классическая теория
проверки статистических гипотез развита для случая однородной
независимой выборки, когда xt независимы друг от друга и являются
реализациями одной и той же случайной величины X с плотностью
распределения fa (х). Поэтому
п
fo(X1> *2. .... Хп) = Ylfa (Xi).	(3-36)
£=1
Отсюда, если прологарифмировать соотношение
Ln^C,
которое определяет область Е0, а значит, и выбор гипотезы Н0 в случае
применения критерия Неймана—Пирсона, получим:
П
1п = In L„ = 2 Zi ^ 1п С'
i=1
где
г; = 1п-^-,	«	=	1,2	п.
Величины Zi являются реализациями функции
С=1п-
fa, ©
faM)
случайной величины £ с плотностью распределения вероятности fa (х).
Поэтому 1п является реализацией случайной величины
i—\
которая представляет собою сумму независимых, одинаково распреде¬
ленных случайных величин. Отсюда в соответствии с ЦПТ распределе¬
ние случайной величины Хп подчиняется при большом п нормальному
закону, т. е.
Р{К<х)~	(3-37)
где
Da [К] = ^ [in ^Ц-J fa (X) dx - {Ма [К]}*',
—оо	а°
00 f ( )
Ma[K]=\\nfxrLfa{x)dx.	(3-38)
—оо а°
Л
Полагая х = In С = tic, получаем:
L(a) = P {К ^\п С\а}**Ф* {у= Vn),	(3-39)
106

так как
М[К] = пМ[Ъ],
D[K] = nD[tt].
Функция L (а), равная вероятности приня¬
тия гипотезы #0, когда истинное значение
параметра равно а и х=\п С, называется опе¬
рационной характеристикой. Она позволяет вычис¬
лять вероятность правильного выбора между гипотезами при задан¬
ном значении параметра а и связана простыми соотношениями с вели¬
чинами а и р.
Так как ошибка первого рода происходит, когда вместо гипотезы
Н0 (т. е: при истинном значении параметра а = а0) принимается гипо¬
теза #!, то согласно условию Хп ^ In С
При этом учтено, что Ф* (—х) = 1 — Ф* (х).
Аналогичным образом в соответствии с тем, что ошибка второго
рода происходит, когда вместо гипотезы Я (т. е. при истинном значе¬
нии параметра а = аг) принимается гипотеза Я0, согласно условию
%п < In С имеем:
причем величина tp называется р-квантилем нормального распределе¬
ния, так что
В соответствии со свойством функции нормального распределения
Тогда с помощью соотношений (3-40) и (3-41) можно получить следую¬
щие формулы:
р = Р {К < In С | а = й1} = L Ц) Ф* |°VnJ. (3-41)
Введем функцию, обратную вероятностной функции Ф* (х),
tp = а^Ф*.
ф* (tP)=P*
tp	p.
{taVDaJU + bVDai[UY
{МаЛЫ-МаЛЩ* '
„_1п С Maa[l]+Mai[l] yHVDa,V,)-taVDa,[U_Mat[l] + Mai\l\
7Г~	2	2	Vn	2
2Jfn
2
h VDat m-taVDaa ISI
107

Если подставить эти выражения для п и с в формулу (3-39), получим;
Г Ы ^ ф* \МаМ-Ма№ /Р^Ш
()~ \ма1т-мао[и^У Daiu
^.ici-^ta Л/'КМ.	0
мв1[£]-мао[С]г«^/ zueij-
Полагая в этом соотношении соответственно а = а0 к а = аг, получаем:
(3'44)
-М°^'1'г~п+1'УШ	<3-45)
Если величина X подчиняется нормальному закону распределения,
то fa (х) становится нормальной плотностью распределения. При этом
соотношения (3-44) и (3-45) становятся точными. Если использовать
асимптотическую формулу для нормального закона
Ф* (— х) ^ ехр (— *2/2),
справедливую при х-> оо, из (3-44) при п~> оо и фиксированном [3
получим следующее соотношение:
ая^ехр
1 /ма1 К]-мао [и
2\ VDa0m
'"]•
(3-46)
Аналогичным образом, если зафиксировать а в формуле (3-45),
при п -> оо получим:
“	1	/Mai	[£]-Mno	[£]у
Р (=«ехр
2 \	1/ов1 Ш
ft
(3-47)
С помощью соотношений (3-46) и (3-47) нетрудно убедиться, что
при фиксировании одной вероятности а или (3 другая убывает с ростом
п по экспоненциальному закону, а при больших п величины а и (3 не
зависят друг от друга. Можно показать [Л. 34], что предельные соот¬
ношения (3-46) и (3-47) справедливы для любого закона распреде¬
ления fa (х) величины X.
Получим связь между параметрами при классической процедуре
в случае нормального закона распределения
Тогда многие ранее полученные формулы в силу нормального закона
станут точными.
Возможны три варианта задачи проверки статистических гипотез:
известна а, параметр а неизвестен; а неизвестна, параметр а известен;
оба параметра а и о неизвестны. Для простоты рассмотрим только
случай известной дисперсии а2.
108

Логарифм коэффициента правдоподобия 1п определится по формуле
2*
t=i
aL + а0
логарифм элементарного коэффициента правдоподобия — соотно¬
шением
In
Cli  (Xq /+	#j.	+	#o
Так ка^эта величина является линейной функцией £ и последняя рас¬
пределена нормально, то величина £ также будет иметь нормальный
закон распределения с математическим ожиданием
а1 — ао
а-
01+00
и дисперсией
а2	2
(ах—ас)2
Подставив эти выражения в формулы (3-42) — (3-45), получим:
а
P = 0*(«fL=5L1/^ + f1_a);
(3-48)
_ InC __ ,, _ , Ч 0j —0Q =	/р—	tg	(01	—	0О)2	.
л	2а	J+/+	2(>р	+	*а)	а*	’
п_ > + ^)2а2
(01-0о)2*
Из первого соотношения может быть сделан неправильный вывод о не¬
зависимости операционной характеристики от п. Эта зависимость неяв¬
ная, так как в соответствии со второй и третьей формулами ах и а0
при заданных аир зависят от п. Процесс вычислений производится
в следующей последовательности: по’заданным а и |3 с помощью второй
и третьей формул определяют значения а0 и аъ зная которые, вычисляют
все остальные характеристики. Иногда вместо величины 1п рассмат¬
ривают величину
1п — 2 Xif
тогда все соотношения останутся прежними, если заменить величину
С на С', определяемую по формуле
In С' = (in С + п) |	=	1	[■£=£	(а,- а0) + (а, + а0)] п.
109

б)	Последовательный критерий Вальда
В отличие от классического критерия Неймана—Пирсона последо¬
вательная процедура Вальда не предусматривает заранее фиксирован¬
ного объема выборки п и решение о прекращении испытаний выносится
в зависимости от проведенных испытаний [Л. 34, 37].
В критерии Вальда, являющемся обобщением классической проце¬
дуры, на каждой стадии эксперимента совокупность всевозможных
выборок Rn объема п разбивается на три непересекающихся множества
Е[п\ Е[пК При попадании выборки Х=(х19 х29...9 хп) в множество л
Е[п) принимают гипотезу Я0, испытания заканчивают; при попадании
в множество Е[п) принимают гипотезу Нх и испытания заканчивают.
В случае попадания выборки в область EW не принимают ни одной
гипотезы, а производят следующее испытание хп^\ и анализируют ана¬
логично предыдущему выборку (хъ х29 хП9 xn+j).
Нетрудно убедиться, что в процедуре Вал’ьда объем выборки п
является случайной величиной. Поэтому естественно за лучшую (опти¬
мальную) процедуру построения областей E(0h), Е^\ Е[п) принять
такую, которая при одних и тех же а и р имеет по сравнению с дру¬
гими процедурами минимальное среднее значение /г, т. е. М [п] = min.
Можно показать, что классическая процедура является частным
случаем последовательной процедуры. Для этого достаточно выбрать
следующее правило образования области Е^:
Е(п) — f ^п ti—l, 2, ..., Uq 1»	(3-49)
*	\	О	ДЛЯ	П	==	Hqj
где п0 — заданный заранее объем выборки; Rn — совокупность все¬
возможных выборок объема п\ 0 — пустое множество. Соотношение
(3-49) означает, что решение принимается только на п0-м шаге и клас¬
сическая процедура является частным случаем процедуры Вальда
с п0 = М [v], где v — случайное число испытаний. Оказывается, что
последовательная процедура может обеспечить при тех же самых аир
меньшее значение М [v], чем соответствующее классическое число п0.
Вальдом найдена оптимальная последовательная процедура определе¬
ния областей Е^\ Е^\ Е[п\ когда заданы вместо одного порога С,
как в классической процедуре, два порога А и В.
Область Е[п) задается неравенством
Еп(хъ *2> хп)^В.
В этом случае принимается гипотеза Н0 и испытания прекращаются.
Область EW определяется неравенством
В Еп (хХу х%у • • • > Хп) А.
Если выборка удовлетворяет этому соотношению, то испытания про¬
должаются. И, наконец, область Е[п) определяется соотношением
А Еп (хХу х<£У ..., хп).
В этом случае принимается гипотеза Нх и испытания прекращаются,
но

функция Ln (xlt x2, xn), как и в классической процедуре, определя¬
ется формулой
Т /V „	v	\_г	—	~Н)	_	/«.	(%. *2, •••. Хп)
ьп(хъ х2, ...,	-	м^Г4~Т^)'-
Для однородной независимой выборки и двух значений параметра
а = а0, а = ах Вальдом доказана оптимальность последовательной
процедуры, обеспечивающая Л4 [v] = min, и найдены связи между
параметрами а, а0, ai, а, [}, А, В, М [v].
Операционная характеристика [Л. 34] в последовательной процедуре
имеет вид:
где h (а) является корнем уравнения
SP г f (х) (а)
\\7Г&\	(3-51)
—00’ а°
Здесь А и В — два порога для коэффициента правдоподобия Ln (xu
*2» •••> хп)у причем в соответствии с определением a, (}, Ln имеем:
(3-52)
1 — а	а	47
Эти соотношения можно пояснить следующим образом. По определе¬
нию коэффициент правдоподобия Ьп равен отношению вероятностей
того, что данная выборка соответствует гипотезе Нх или Я0, т. е.
_ Р(х\Нг) __ fat(x)
Ln Р (х I Но) fao (х) •
Согласно последовательному критерию вероятность выборки (х19
х2, хп)> приводящей к принятию гипотезы Ях (и отклонению Я0),
по крайней мере в А раз больше при гипотезе Нъ чем при Я0:
Р(х\Н1)^АР(х\Н0),	(3*53)
так как Нг принимается при условии
Ln^A.
Допустим, произведена последовательная процедура оценки гипо¬
тез Я0 'и Нг. При этом получилась последовательность выборок како¬
го-то объема. Рассмотрим подмножество этих выборок, которые при¬
водили к гипотезе Яь и зададимся целью определить вероятность того,
что последовательный процесс выбора закончится принятием гипо¬
тезы Нг (отклонением Я0). Эта вероятность по определению равна или
меньше а в случае, когда на самом деле имеет место гипотеза Я0, и равна
или меньше 1 — |3, если на самом деле имеет место гипотеза Hv Послед¬
нее положение следует из того, что по определению вероятность при¬
нятия Я0, когда верна Нъ равна р. Так как имеется доказательство
сходимости последовательной процедуры за конечное число шагов п
111

с вероятностью, равной единице [Л. 37], то можно утверждать, что
вероятность отклонения Я0 (принятия Я^, когда верна Нъ должна
быть равна 1 — р. Но так как на каждом шаге, включая последний,
справедливо соотношение (3-53), то можно утверждать, что 1 — (3 ^
^ Аа или
А(3-54)
Отсюда следует, что величина (1 — р)/а является верхней границей
для А.
Аналогичным образом доказывается, что
L.	(3-55)
Действительно, вероятность получения любой заданной выборки
(хъ х2, ..., xn)f приводящей к принятию Я0 (отклонению Ях), при гипо¬
тезе Я0 по крайней мере в I/В раз больше вероятности получения этой
выборки, когда верна Нъ т. е.
так как гипотеза Я0 принимается, когда
следовательно, и вероятность принятия Я0 при гипотезе Ях тоже по
крайней мере в l/В раз больше вероятности принятия Hv Так как пер¬
вая вероятность равна (3, а вторая 1 —а, то получаем соотношение
(3-55), которое утверждает, что нижней границей величины В явля¬
ется р/(1—а). Можно также пояснить условия того, что пороги
А и В удовлетворяют соотношениям
■Л 3*1, 0<£<1.	(3-56)
Действительно, в отсутствие шумов разумным решением было бы при¬
нимать гипотезу Н1 всякий раз, когда
т _Р(х\Н1) ^ 1
и гипотезу Я0 в случае Ln <С 1, так как выбор целесообразно делать
в пользу той гипотезы, вероятность которой больше. В этом случае
А = В = 1. Однако в случае наличия шумов или когда гипотезы Ях
и Я0 перекрываются, получается зона неопределенности, требуется
увеличить А и уменьшить В по сравнению с единицей. Зона неопре¬
деленности будет определяться величиной А — В. Эта зона подлежит
дальнейшему исследованию.
При двупороговой, последовательной процедуре величины порогов
определяются статистикой шумов, самой выборкой и величинами а и р.
На практике за величины порогов могут быть взяты их границы, т. е.
Л=-ЬЬ В = -г^~.	(3-57)
112

Следует заметить, что классическая и последовательная процедуры
могут применяться в одних и тех же случаях, причем последняя дает
большую экономию в объеме выборки. Однако иногда последовательная
процедура с двумя порогами следует непосредственно из вида законов
faQ (х)>	(*)• Этот случай часто встречается при распознавании обра¬
зов.
Из формулы (3-52) следует еще одно очень важное соотношение
Действительно, так как а и (3 — вероятности, то они должны быть поло¬
жительными величинами и меньшими единицы, т. е.
Из этой формулы с учетом (3-59) следует формула (3-58), Т. е. величины
аир могут задаваться из априорных соображений, но они должны удов¬
летворять соотношениям (3-58) и (3-59). Практически последовательная
процедура считается законченной, если выборка перестала попадать
в область, определяемую неравенством
Аналогично классической процедуре для нормального закона при
известной дисперсии о2 можно получить выражения для характери¬
стик в явном виде. Последовательная процедура сводится к анализу
величины 1п с постоянным нижним и верхним порогами In В и 1пА
со случайным числом выборок. Для удобства переходим к величине
Для этой величины нижний и верхний пороги будут равны:
В этом случае интегральное уравнение (3-51) имеет точное решение
0<а + Р<1.
(3-58)
0<а<1; 0<р<1.
(3-59)
Далее из соотношения (3-55) следует, что
Р ^ 1-Р
— п.	п.	1
B<Ln{x)<A.
П
hQ + kn, hi-\-kn,
(3-60)
где
так как
In
h=I—2 -——
al—a
(3-61)
113

и операционная характеристика может быть рассчитана по следующей
формуле:
^(а) = ;рт=У*-	(3-62)
Средние числа испытаний определяются по формулам
Ma[v]= L(a)ln_B + [l-L(a)]lnA	'
aL 1	ai— а0 (" ах+о„\	v >
\а 2 )
лл г	1	(1 —а) In В + а\п А	/о ~ .ч
М..М-1—,	■;	(3-64)
2 \ а
MaJv]^plnf+ji1rQPo)12nA,	(3-65)
2
При а = а* = (а{-\-а0)/2, когда Ма*[£\ — 0 и
Ма* [?] = Da. [£] = Da [С] = (М> N2
имеем:
Л/f Г 1	Н ^ Н ^	Ml	/О /?/?\
М= /ах-аИ2 = -	(3-66)
а
Сравнение последовательной и классической
процедур
Произведено достаточно тщательное сравнение эффективности двух
процедур, которое в основном показывает преимущества последова¬
тельной процедуры, так как в ней при одних и тех же а0, аъ а, (3 сред¬
ние числа испытаний MaJv] и Mai [v] меньше, чем фиксированное число
испытаний п в соответствующей классической процедуре. Однако не при
всех значениях параметра а среднее число испытаний в последователь¬
ной процедуре Ма [v] меньше фиксированного числа испытаний в клас¬
сической. Это можно утверждать только для значений а, близких к а =
= а0 и а = av Для сравнительной оценки эффективности последова¬
тельной процедуры вводится величина
а	п	п	аУ
называемая эффективностью последовательного анализа. Для нор¬
мальной плотности fa (х) при близких а и (3, т. е. а « ]3 (так называемый
случай симметричных порогов), и малых по величине, т. е. а « (3 ^
« (0,05^0,1), получено, что еа = еа « 0,5. Таким образом, при после¬
довательной процедуре получается выигрыш в 2 раза. Однако в ряде
случаев последовательный анализ дает и больший выигрыш. Но в не¬
которых случаях он менее эффективен, чем классический [Л. 34].
114

Когда последовательный анализ слишком затягивается, необхо¬
димо выносить решение о прекращении испытаний до выхода за пороги
окончания процедур. В этом заключается проблема усеченного после¬
довательного анализа, которая до сегодняшнего дня не получила удов¬
летворительного для инженерных задач решения.
Пример 3-6. Решение о наличии месторождения минерала X выносится
на основании анализа п проб грунта в пределах исследуемой области. Известно,
что разработка месторождения с содержанием минерала р ^ 1 г/м3 является
нерентабельной, а при р ^ 2 г/м3 рентабельность разработки превышает среднее
значение рентабельности рудных разработок.
Считается, что используемый метод измерений позволяет определить содержание
минерала X в породе с ошибкой, распределенной нормально. Параметры распределе¬
ния ошибки: т = 4 г/м3 и а = 1 г/м3. Содержание минерала X во всех пробах в пре¬
делах предполагаемого месторождения постоянно, и отклонения в замерах происхо¬
дят только из-за ошибок измерений. Требуется построить модели классической и
последовательной проверок статистических гипотез для случая, когда гипотеза
простая. Основная трудность решения практических задач с помощью изложенных
методов заключается в их сведении к проверке простой гипотезы. Поэтому первона¬
чально сформулируем задачу следующим образом. Проблема сводится к задаче про¬
верки гипотезы о значении математического ожидания случайной величины Y (изме¬
рение содержания минерала X) а = т + р, где т — математическое ожидание
ошибки измерений; р — содержание минерала. На основании условий задачи легко
выделить два значения а: а0 = 5 г/ж3 и аг = 6 г/ж3, различение которых является
необходимым. Таким образом, мы приходим к задаче проверки двух простых гипотез
Я а = а0 и Я -> а = av
Необходимо построить критерий проверки этих гипотез, на оперативную харак¬
теристику которого наложены следующие ограничения:
L(a)^L(a0) = 1 —а	при	а<я0;
L (а) ^ L (%) = р	при	а > аъ
где а и р — вероятности ошибок первого и второго рода. На основании предыдущего
опыта принимаем а = р = 0,05.
Для проверки гипотезы используем логарифм отношения (коэффициента) пра¬
вдоподобия
,-1п
"	faAYV	••••	Уп)	'
где Y't — результат измерения содержания минерала X в t-й пробе (i = 1, я)',
fa 0^1» •••> Yn) — плотность распределения вероятности вектора наблюдений с пара¬
метром а.
Поскольку измерения можно считать независимыми, а их распределение нор¬
мальным, то
/  ai — ао
п О2
ai-j~ao п
(3-67)
Рассмотрим две процедуры проверки гипотез Я и Я.
Классическая процедура (критерий Неймана —Пирсона). Согласно критерию
Неймана — Пирсона решающее правило имеет вид:
принять Я при ln ^ In С;
принять Я при ln > In С,
где С в общем случае определяется из условия
'■(У1. ••• . </п) = (
(3-68)
5 fao(Y)dY = а;
> ] п С
У = (У1< ••• . Уп)-
/„>1пС
115

Величина вероятности ошибки второго рода является при этом функцией п и имеет
минимально возможное (при данных а и п) значение.
В данном случае порог проще определять с помощью формул (3-48). Так как
в нашем случае а и (3 заданы, то согласно соотношениям (3-48)
где ta и /р
П («1--«о)2	’
квантили нормального распределения.
Рис. 3-4. Операционные характеристики для при¬
мера 3-6.
— классическая процедура;
ледовательная процедура.
При а = Р = 0,05; а0 = 5 г/м3; ах — 6 г/м3; о = 1 г/м3 получаем п = 10,8
и принимаем п = 11. В соответствии с формулами (3-48)
InC (fp-y (ai-a2)2
п 2 (fp + fo) о2
Поэтому решающее правило принимает вид:
= 0.
d{Y 1, ..., Кп) =
II
принять Н при -j-j- ^ 7^5,5 г/ж3;
1 = 1
и
принять Н при — ^ 7; >5,5 г/ж3,
что непосредственно следует из формул (3-67) и (3-68) для конкретных значений
а, Р, а0, «ь <*•
Операционная характеристика в соответствии с формулами (3-48) задается вы¬
ражением
и показана на рис. 3-4,
116

Последовательная процедура (критерий Вальда). Согласно критерию Вальда
решающее правило имеет вид:
(принять Н при ln ^ In В;
провести еще одно измерение при In В <у/л < In А и повторить
проверку;
принять Н при /л^1пЛ,
где
d iXi> ••• > Yn):
Л =
1-р
В =
Р
1 —а*
Операционная характеристика в соответствии с формулами (3-61), (3-62) задается
выражением
а )
Ца):
-1
1 _ р \/г (а)	( р \h(a)\
а )	\\—а,
где
fll + g0 —2а
fli —а0
Для заданных значений а, (3, а0
/1=11— 2 а;
19И-2а._1
L(a) =
1911-2а	192а-11
Операционная характеристика критерия Вальда показана на рис. 3-4.
Рис. 3-5. Кривая эффективности последовательной
процедуры для примера 3-6.
Среднее число испытаний определяется формулой (3-63):
L(“) 1п7~^ + 11“Да)11пЦг
МаМ=-
а1~а0 (а _ ^1+^0
а2
для конкретных значении параметров
Ма £v] =
2,94 — 5,88 L(a)
а—5,5
117

На рис. 3-5 показана кривая относительной эффективности последовательной
процедуры
п-Ма [v]
п •
Анализ полученных результатов показывает:
1) операционные характеристики обеих процедур почти полностью совпадают
и удовлетворяют поставленным условиям;
2) классическая процедура требует проведения 11 проб грунта для обеспечения
заданной надежности решения;
3) последовательная процедура при любом содержании минерала X обладает
эффективностью не менее е' = 0,21, т. е. среднее число проб не превосходит
Ма [v] ^ (1-0,21) 11 = 8,65.
Глава четвертая
ПРИМЕНЕНИЕ ВЫЧИСЛИТЕЛЬНЫХ МАШИН
ДЛЯ ИССЛЕДОВАНИЯ СЛУЧАЙНЫХ ВЕЛИЧИН
И ПРОЦЕССОВ
Различные методы и приборы для определения параметров и харак¬
теристик случайных процессов можно объединить в две группы. Пер¬
вую группу составляют приборы для определения корреляционных
функций (корреляторы), спектральных плотностей (спектрометры),
математических ожиданий, дисперсий, законов распределения и про¬
чих случайных процессов и величин [Л. 28, 29].
Все приборы первой группы можно разделить на две подгруппы.
Одни определяют характеристики записанных случайных сигналов
за достаточно большое время, намного превышающее время реализации
самого случайного процесса. Другие (они в последнее время вызывают
наибольший интерес) позволяют получать характеристики случайного
процесса оперативно, в такт с поступлением информации при натурных
испытаниях новых систем управления, так как, пользуясь их показа¬
ниями, можно непосредственно изменять процесс управления и в ходе
эксперимента наблюдать за результатами этих изменений.
Вторая группа содержит методы и приборы, предназначенные для
исследования случайных процессов и главным образом систем управ¬
ления, в которых присутствуют случайные сигналы, на универсаль¬
ных цифровых и аналоговых вычислительных машинах. Иногда для
таких исследований приходится создавать специализированные вычис¬
лительные машины цифрового, аналогового или чаще аналого-цифрового
(гибридного) типа, так как существующие типовые машины не приспо¬
соблены для решения некоторых задач.
Широко применяется на практике метод Монте-Карло (метод ста¬
тистических испытаний). Его основная идея чрезвычайно проста и за¬
ключается по существу в математическом моделировании на вычисли¬
тельной машине тех случайных процессов и преобразований с ними,
которые имеют место в реальной системе управления. Этот метод в ос¬
новном реализуется на цифровых и, реже, на аналоговых вычисли¬
тельных машинах.
118

Можно утверждать, что метод Монте-Карло остается чистым мето¬
дом моделирования случайных процессов, чистым математическим
экспериментом, в известном смысле лишенным ограничений, свойст¬
венных другим методам. В данном разделе он будет рассмотрен примени¬
тельно к решению различных задач управления.
4-1. ОБЩАЯ ХАРАКТЕРИСТИКА МЕТОДА МОНТЕ-КАРЛО
Как уже указывалось, идея метода Монте-Карло (или метода ста¬
тистического моделирования) очень проста и заключается в том, что
в вычислительной машине создается процесс преобразования цифровых
данных, аналогичный реальному процессу. Вероятностные характе¬
ристики обоих процессов (реального и смоделированного) совпадают
с какой-то точностью [Л. 38—42].
Допустим, необходимо вычислить математическое ожидание слу¬
чайной величины X, подчиняющейся некоторому закону распределе¬
ния F (х). Для этого в машине реализуют датчик случайных чисел,
имеющий данное распределение F (х)у и по формуле, которую легко
запрограммировать, определяют оценку математического ожидания:
Хл Хп —f- . . . —X д г
М[Х]~-1Т Т ",	(4-1)
Каждое значение случайной величины xt представляется в машине
двоичным числом, которое поступает с выхода датчика случайных
чисел на сумматор. Для статистического моделирования рассматрива¬
емой задачи требуется Х-кратное повторение решения.
Рассмотрим еще один пример. Производится десять независимых
выстрелов по мишени. Вероятность попадания при одном выстреле
задана и равна р. Требуется определить вероятность того, что число
попаданий будет четным, т. е. О, 2, 4, 6, 8, 10. Вероятность того, что
число попаданий будет 2&, равна:
с\ЧргЧ	(4-2)
откуда искомая вероятность
5
Р =	\\р*	(1	-	p)™-*k.	(4-3)
k=\
Если эта формула неизвестна, то можно осуществить физический эк¬
сперимент, произведя несколько партий выстрелов (по 10 в каждой)
по реальной мишени. Но проще выполнить математический экспери¬
мент на вычислительной машине следующим образом. Датчик случай¬
ных чисел выдаст в цифровом виде значение случайной величины £,
подчиняющейся равномерному закону распределения в интервале
[0, 1]. Вероятность неравенства £ < р равна р> т. е.
Р{1<Р}=Р-	(4*4)
Для пояснения целесообразно обратиться к рис. 4-1, на котором весь
набор случайных чисел представляется в виде точек отрезка [0, 1].
119

Вероятность попадания случайной величины |, имеющей равномерное
распределение в интервале [0, 1], в интервал [0, р] (где р ^ 1) равна
длине этого отрезка, т. е. р. Поэтому на каждом такте моделирования
полученное число £ сравнивают с заданной вероятностью р. Если £
< /?, то регистрируется попадание в мишень, в противном случае —
промах. Далее проводят серию из десяти тактов и подсчитывают чет¬
ное или нечетное число попаданий. При большом числе серий (100
1 ООО) получается вероятность, близкая к той, которая определяется
по формуле (4-3).
Различают две области применения метода Монте-Карло. Во-пер¬
вых, для исследования на вычислительных машинах таких случайных
явлений и процессов, как прохождение элементарных ядерных
частиц (нейтронов, протонов и пр.) через вещество, системы мас¬
сового обслуживания (телефонная сеть, система парикмахерских,
система противовоздушной обороны и пр.), надежность сложных систем,
в которых выход из строя элементов и устранение неисправностей яв¬
ляются случайными процессами, статистическое распознавание обра¬
зов. Это — применение стати¬
стического моделирования к изу-
Р	 1 чению так называемых, вероят-
™	1 ностных систем управления.
Рис. 4-1. Пояснение к процессу получе- Этот метод широко Приме¬
нил случайных чисел с равномерным зако- няется и для исследования ди-
ном распределения.	скретных систем управления,
когда используются кибернети¬
ческие модели в виде вероятностного графа (например, сетевое плани¬
рование с P-распределением времени выполнения работ) или вероят¬
ностного автомата.
Если динамика системы управления описывается дифференциаль¬
ными или разностными уравнениями (случай детерминированных
систем управления) и на систему, например угловую следящую систему
радиолокационной станции, воздействуют случайные сигналы, то ста¬
тистическое моделирование также позволяет получить необходимые
точностные характеристики. В данном случае с успехом применяются
как аналоговые, так и цифровые вычислительные машины. Однако,
учитывая более широкое применение при статистическом моделирова¬
нии цифровых машин, рассмотрим в данном разделе вопросы, связан¬
ные только с этим типом машин.
Вторая область применения метода Монте-Карло охватывает чисто
детерминированные, закономерные задачи, например нахождение зна¬
чений определенных одномерных и многомерных интегралов. Особенно
проявляется преимущество этого метода по сравнению с другими чис¬
ленными методами в случае кратных интегралов.
При решении алгебраических уравнений методом Монте-Карло число
операций пропорционально числу уравнений, а при их решении детер¬
минированными численными методами это число пропорционально кубу
числа уравнений. Такое же приблизительно преимущество сохраняется
вообще при выполнении различных вычислений с матрицами и особенно
в операции обращения матрицы. Надо заметить, что универсальные
120

вычислительные машины не приспособлены для матричных вычислений
и метод Монте-Карло, примененный на этих машинах, лишь несколько
улучшает процесс решения, но особенно преимущества вероятностного
счета проявляются при использовании специализированных вероят¬
ностных машин [Л. 13]. Основной идеей, которая используется при ре¬
шении детерминированных задач методом Монте-Карло, является за¬
мена детерминированной задачи эквивалентной статистической задачей,
к которой можно применять этот метод. Естественно, что при такой за¬
мене вместо точного решения задачи получается приближенное реше¬
ние, погрешность которого уменьшается с увеличением числа испыта¬
ний.
Эта идея используется в задачах дискретной оптимизации, которые
возникают при управлении. Часто эти задачи сводятся к перебору
большого числа вариантов, исчисляемого комбинаторными числами
вида N = 22* . Так, задача распределения п видов ресурсов между
отраслями для п > 3 не может быть точно решена на существующих
ЦВМ и ЦВМ ближайшего будущего из-за большого объема перебора
вариантов. Однако таких задач возникает очень много в киберне¬
тике, например синтез конечных автоматов. Если искусственно
ввести вероятностную модель-аналог,, то задача существенно упро¬
стится, правда, решение будет приближенным, но его можно полу¬
чить с помощью современных вычислительных машин за приемлемое
время счета.
При обработке больших массивов информации и управлении сверх¬
большими системами, которые насчитывают свыше 100 тыс. компонен¬
тов (например, видов работ, промышленных изделий и пр.), встает за¬
дача укрупнения или эталонизации, т. е. сведения сверхбольшого мас¬
сива к 100—1 ООО раз меньшему массиву эталонов. Это можно выпол¬
нить с помощью вероятностной модели. Считается, что каждый эталон
может реализоваться или материализоваться в виде конкретного пред¬
ставителя случайным образом с законом вероятности, определяемым
относительной частотой появления этого представителя. Вместо исход¬
ной детерминированной системы вводится эквивалентная вероятност¬
ная модель, которая легче поддается расчету. Можно построить не¬
сколько уровней, строя эталоны эталонов. Во всех этих вероятностных
моделях с успехом применяется метод Монте-Карло.
4-2. ПОЛУЧЕНИЕ ПОСЛЕДОВАТЕЛЬНОСТИ СЛУЧАЙНЫХ
ЧИСЕЛ
Очевидно, что успех и точность статистического моделирования
зависят в основном от качества последовательности случайных чисел
и выбора оптимального алгоритма моделирования.
Задача получения случайных чисел обычно разбивается на две.
Вначале получают последовательность случайных чисел, имеющих
равномерное распределение в интервале [0, 1]. Затем из нее получают
последовательность случайных чисел, имеющих произвольный закон
распределения. Один из способов такого преобразования состоит в ис¬
121

пользовании нелинейных преобразований4. Пусть имеется случайная
величина X, функция распределения вероятности для которой
F(x) = P{X ^х}.	(4-5)
Если у является функцией х, т. е. у = F (х), то 0 F (х) ^ 1 и по¬
этому 0 ^ у ^ 1. Таким образом, для получения последовательности
случайных чисел, имеющих заданную функцию распределения F (х),
необходимо каждое число у с выхода датчика случайных чисел (ДСЧ),
который формирует числа с равномерным законом распределения в ин¬
тервале [0, 1], подать на не¬
линейное устройство (анало-
"	говое или цифровое), в кото¬
ром реализуется функция,
обратная F (*), т. е.
x = F'1(y):	(4-6)
Полученная таким способом
случайная величина X будет
иметь функцию распределе¬
ния F(x). Рассмотренная
выше процедура может быть
использована для графичес¬
кого способа получения слу-
х	чайных чисел, имеющих за¬
данный закон распределения.
Рис. 4-2. Пояснение	к	процессу	получения	Для ЭТОГО на миллиметровой
случайных	чисел	с	любым	законом	распре-	бумаге строится функция F (х)
деления.	и вводится в рассмотрение
другая случайная величина
Y, которая связана со случайной величиной X соотношением (4-6)
(рис. 4-2).
Так как любая функция распределения монотонно неубывающая,
то
P{Y^y} = P{F(X)^F(x)} = P{X^x} = F(x)=y.	(4-7)
Отсюда следует,	что	величина Y имеет равномерный	закон	распределе¬
ния в интервале	[0,	1], так как ее функция распределения	равна самой
величине
Fy(y) = P{Y^y}=y.	(4-8)
Плотность распределения вероятности для Y
fy(y)=—$L= !•	(4-9)
Для получения значения X берется число из таблиц случайных
чисел, имеющих равномерное распределение, которое откладывается
на оси ординат (рис. 4-2), и на оси абсцисс считывается соответствую¬
щее число X. Повторив неоднократно эту процедуру, получим набор
случайных чисел, имеющих закон распределения F (х). Таким обра¬
122

зом, основная проблема заключается в получении равномерно распре¬
деленных в интервале [0, 1] случайных чисел [Л. 38]. Один из методов,
который используется при физическом способе получения случайных
чисел для ЦВМ, состоит в формировании дискретной случайной вели¬
чины, которая может принимать только два значения: 0 или 1 с вероят¬
ностями
Далее будем рассматривать бесконечную последовательность гъ
z2, 2з» ••• как значения разрядов двоичного числа £* вида
Можно доказать, что случайная величина £*, заключенная в ин¬
тервале [0, 1], имеет равномерный закон распределения
В цифровой вычислительной машине имеется конечное число раз¬
рядов k. Поэтому максимальное количество не совпадающих между
собой чисел равно 2к. В связи с этим в машине можно реализовать
дискретную совокупность случайных чисел, т. е. конечное множество
чисел, имеющих равномерный закон распределения. Такое распре¬
деление называется квазиравномерным. Возможные
значения реализации дискретного псевдослучайного числа 1 в вычис¬
лительной машине с k разрядами будут иметь вид:
Вероятность каждого значения (4-13)равна 2 *. Эти значения можно
получить следующим образом:
и выражение для конечной суммы геометрической прогрессии
(4-10)
s* = Zx • 2-1 + z2 • 2-2 +... + z„ • 2-"+. •.
(4-11)
F(x) = P{t*<x}=x.
(4-12)
(4-13)
k
(4-14)
Случайная величина 1 имеет математическое ожидание
k
М[ 1] = 2г-'Л*М.
(4-15)
= o4+i4 = t
(4-16)
П
(4-17)
получаем;
(4-18)
123

Аналогично можно определить дисперсию величины
к
D[l] = ZD^il	(4-19)
где
i=1
1
Т], = гг2--'; М [rjJ - 2,+1 ,
^	=	~2	_	2‘+1	]	~2	["2*	2t+1	]	=	22'4?	8"	’	22‘	’	(4-20)
откуда
k
о[|]=2^ + 2'Г-гт-	<4'21>
1=1 1=1 •
или, используя формулу (4-17), получаем:
0[l] = T(l-2i).	(4-22)
Согласно формуле (4-18) оценка 1 величины получается смещен¬
ной при конечном k. Это смещение особенно сказывается при малом k.
Поэтому вместо § вводят оценку
1 = 11	(4-23)
где
2*
/:
2* — 1 *
Очевидно, что случайная величина £ в соответствии с соотношением
(4-13) может принимать значения
Ь=2^Т>' i = 0, 1, 2, ..., 2k — 1
с вероятностью р = 1/2*.
Математическое ожидание и дисперсию величины £ можно получить
из соотношений (4-18) и (4-22), если учесть (4-23). Действительно,
М [£] = гёт М [|] = 2^5-. Т.	|,	(4-24)
D m _ 22fe щ|1 _ 2^ (2ft+ l) (2»-l) _ 2* +1	5
4 LbJ — (2* — 1)Я LbJ — (2* — 1)2. 12 • 22*	12	(2k — 1)* v*‘ZcV
Отсюда получаем выражение для среднеквадратичного значения в виде
°V
ту/Ш-	<4'26>
2/3
Напомним, что для равномерно распределенной в интервале [0, 1]
величины х илгеем:
М[Х] = Т;

Из формулы (4-26) следует, что при k оо среднеквадратичное от¬
клонение а квазиравномерной совокупности стремится к 1/21/3. Ниже
приведены значения- отношения среднеквадратичных значений двух
величин | и г| в зависимости от числа разрядов [Л. 38], причем вели¬
чина ц имеет равномерное распределение в интервале [0, 1] (табл. 4-1).
Таблица 4-1
10
15
at/dn
1,29
1,14
1,030
1,001
1,00
Из табл. 4-1 видно, что уже при k > 10 различие в дисперсиях не¬
существенно.
На основании вышеизложенного задача получения совокупности
квазиравномерных чисел сводится к получению последовательности
независимых случайных величин zt (i = 1, 2, ..., k), каждая из которых
принимает значение 0 или 1 с вероятностью 1/2. Различают два спо¬
соба получения совокупности этих величин: физический способ гене¬
рирования и алгоритмическое получение так называемых псевдослу¬
чайных чисел. В первом случае требуется специальная электронная
приставка к ЦВМ, во втором случае загружаются блоки машины.
При физическом генерировании чаще всего используются радио¬
активные источники или шумящие электронные устройства. В первом
случае радиоактивные частицы, излучаемые источником, поступают
на счетчик частиц. Если показание счетчика четное, то гь — 1, если
нечетное, то zt = 0. Определим вероятность того, что^г,- = 1. Число
частиц к, которое испускается за время А/, подчиняется закону Пуас¬
сона:
/г!
Wk
(4-28)
Вероятность четного числа частиц
оо
р {Z, -1 (-	-1 г „ - 2	“
k=0
е~ш
k=0
1 + е-2 Ш
(4-29)
Таким образом, при больших ЯДt вероятность Р {Zt = 1} близка
к 1/2.
Второй способ получения случайных чисел zt более удобен и связан
с собственными шумами электронных ламп. При усилении этих шумов
получается напряжение u(t), которое является случайным процессом.
Если брать его значения, достаточно далеко отстоящие друг от друга,
так чтобы они были некоррелированы, то величины и (/*) образуют
125

последовательность независимых случайных величин.Обычно выбирают
уровень отсечки а и полагают
( 0, если u(f)s^a;
zi = { 1	(4-30)
( 1, если u(t)>>a,	!
причем уровень а следует выбрать так, чтобы
P{Zt= 1} = />{«&)> а} .	(4-31)
Простая логика (4-47) обычно не обеспечивает хорошего выполнения
условия (4-48).Поэтому применяют.более сложную логику образования
чисел zi. В первом варианте используют два соседних значения и (О
и и (tiJri), и величина Zt строится по такому правилу:
ч
1 при u(ti)^>a, u(ti+1)^a;
0 при u(ti)^a, м(</+1)>а.	(4	32)
Если пара а (tt) — а и и (ti+1) — а одного знака, то берется сле¬
дующая пара. Требуется определить вероятность при заданной ло¬
гике. Будем считать, что Р {и (U) > а) = W и постоянная для всех
U. Тогда вероятность события A1 = {u(ti)>ai а(^+1)^а} равна
по формуле полной вероятности бесконечной сумме вероятностей про¬
изведений событий AXHV. Здесь Hv — это вероятность того, что v раз
появилась пара одинакового знака
и (tt) — а\ и (ti+1)	— а.	(4-33)
Поэтому вероятность события AXHV
Р {AXHV} = W (1 - W) [Г2 + (1 - Г)2]*.	(4-34)
Это — вероятность того, что после v пар	вида (4-33)	появилось	собы¬
тие Ах.	Оно может появиться сразу с вероятностью	W (1	—	W)y оно
может появиться и после одной пары вида (4-33) с вероятностью
W (1 — №)[№2 + (1 + W)2]
и т. д. В результате
оо	оо
Р {Ла} = 2 р {AiHv} = W (1 - W)2 [W* + (1 - W)*]v	(4-35)
V=0	V=0
ИЛИ
p {z. - n -	_	WX1-W) .	_ I	,4Q6)
r — 4 — \ _W2_(i_Wy —	2W (1 — W) 2*
Отсюда следует, что если W = const, то логика обеспечивает хорошую
последовательность случайных чисел. Второй способ формирования
чисел Zi состоит в следующем:
1, если	и (ti)	>>0,	и (ti+1) ^ 0
или	и (ti)	^ 0,	и (//+1) > 0;
Zi = \		 ..	и. \ ^ f\	(4-37)
0, если и (ti) > 0, и (ti i i) > 0
или и (ti) ^ 0, и (ti:+i) ^ 0,
126

Пусть
Тогда
r = P{«ft)>a}=4 + 8-
P{Zi=\} = 2W (1 — И?) = у —2е2.
(4-38)
(4-39)
Чем меньше е, тем ближе вероятность Р {Zt = 1 } к величине 1/2.
Для получения случайных чисел алгоритмическим путем с по¬
мощью специальных программ на вычислительной машине разрабо¬
тано большое количество методов. Так как на ЦВМ невозможно полу¬
чить идеальную последовательность случайных чисел хотя бы потому,
что на ней можно набрать конечное множество чисел, такие последова¬
тельности называются псевдослучайными. На самом деле повторяемость
или периодичность в последовательности псевдослучайных чисел на¬
ступает значительно раньше и обусловливается спецификой алгоритма
получения случайных чисел. Точные аналитические методы опреде¬
ления периодичности, как правило, отсутствуют, и величина периода
последовательности псевдослучайных чисел определяется эксперимен¬
тально на ЦВМ. Большинство алгоритмов получается эвристически
и уточняется в процессе экспериментальной проверки. Рассмотрение
начнем с так называемого метода усечений [Л. 42]. Пусть задана произ¬
вольная случайная величина а, изменяющаяся в интервале [0, 1],
т. е. О ^ и С 1. Образуем из нее другую случайную величину
ип = и [mod 2'"],	(4-40)
где и [mod Тп\ используется для определения операции получения
остатка от деления числа и на 2~п. Можно доказать, что величины ип
в пределе при п-> оо имеют равномерное распределение в интервале
[0, 1].
По существу с помощью формулы (4-40) осуществляется усечение
исходного числа со стороны старших разрядов. При оставлении дале¬
ких младших разрядов естественно исключается закономерность в чис¬
лах и они более приближаются к случайным. Покажем это на примере.
Пример 4-1. Пусть « = 0,10011101 ...= 1— +0 ^ + 0 ^ + 1 ^ + 1	+
+ 1 & + + 1
Выберем для простоты п = 4. Тогда {« mod 2~4} = 0,1101...
Из рассмотренного свойства ясно, что существует большое количе¬
ство алгоритмов получения псевдослучайных чисел. При этом после
операции усечения со стороны младших разрядов применяется стан¬
дартная процедура нормализации числа в цифровой вычислительной
машине. Так, если усеченное слева число не умещается по длине
в машине, то производится усечение числа справа. Наиболее показа¬
телен метод Н. М. Соболя, используемый в ЦВМ «Стрела» [Л. 43].
Схема расположения разрядов в ячейке машины «Стрела» представ-
127

лена на рис. 4-3. Это — трехадресная машина с плавающей запятой,
работающая с двоичными числами в нормализованной форме:
х = ±Мх-2±р,
где Мх — мантисса числа, удовлетворяющая условию нормализации
0,5 ^ М < 1; р — порядок числа. В /-м разряде может стоять нуль
или единица, т. е. = 0 или 1. Тогда
М = -1 -4- —2- -I-	4-	-2^-	•
lYlx 21	22	' ‘	235	*
Р = ез7 * 25 + е38 • 24 +... + е42 • 2°.
Условие нормализации означает, что г± = 1. Знаки числа и порядка
изображаются: плюс — нулем, минус — единицей. Число ak+1 полу-
0
1
2
J
32
33
34
35
36
37
38
39
40
41
42
\3нак	Т	п°Ряд0К
• мантиссы	I Знак
порядка
Рис. 4-3. Схема расположения разрядов в ячейке ма¬
шины «Стрела».
чается из числа ak с помощью следующей рекуррентной процедуры,
состоящей из трех операций:
1) умножения ak на большую константу К = Ю17;
2) сдвига изображения числа 1017 в сетке машины на 7 разрядов
влево [т. е. в формуле (4-40) п = 7]. При этом первые семь разрядов
произведения пропадают и в разрядах с 3-го по 42-й оказываются нули;
3) определения абсолютной величины полученного числа, при кото¬
рой происходит нормализация числа.
При а0 = 1 можно таким способом получить 80 ООО различных чи¬
сел ak, после чего в последовательности чисел возникает периодич¬
ность. Вероятность вырождения чисел, т. е. обращения ал+1, а следо¬
вательно, и всех последующих чисел в нуль, очень мала. Действительно,
сх/е+1 обратится в 0 только тогда, когда
0,5<а/гД017<1,	(4-41)
так как в противном случае в порядке произведения окажутся цифры,
отличные от нуля, и при сдвиге они попадут в мантиссу числа ал+1.
Но условие (4-41) можно переписать в виде
0,5 - 10~17<а*< Ю-17,
т. е. для вырождения число ak должно попасть в очень узкий интервал
значений. Отсюда следует, что чем больше число К, тем меньше веро¬
ятность вырождения.
При проверке качества псевдослучайных чисел прежде всего инте¬
ресуются длиной отрезка апериодичности и длиной периода (рис. 4-4).
128

Под длиной отрезка апериодичности L понимается совокупность после¬
довательно полученных случайных чисел аъ ...yaLf таких, что at =£a,j
при 1 < i	1 < / ^ i ^ /, но а^! равно одному из ak (1 ^ k ^
^L).
Под длиной периода последовательности псевдослучайных чисел
понимается Т = L — i + 1. Начиная с некоторого номера i числа
будут периодически повторяться с этим периодом (рис. 4-4).
4/ина отрезка апериодичности
Г		 	'	ч
di <*2	Ж'И	°4+/	°4+/	^ZL-L+l
У	Н-—		И-—1_ ■ I ^  Н 4:-	1	1
периодаS
Рис. 4-4. Поведение последовательности псевдослучайных чисел.
Как правило, эти два параметра (длины апериодичности и периода)
определяются экспериментально. Так, для рассмотренной выше прог¬
раммы Н. М. Соболя L = 80 ООО, а длина периода а = 50 ООО. Каче¬
ство совпадения закона распределения случайных чисел с равномер¬
ным законом проверяется с помощью критериев согласия, рассмот¬
ренных в предыдущих разделах.
4-3. ТОЧНОСТЬ МЕТОДА МОНТЕ-КАРЛО
Метод Монте-Карло применяется там, где не требуется высокой
точности. Например, если определяют вероятность поражения мишени
при стрельбе, то разница между рх = 0,8 и р2 = 0,805 несущественна.*
Обычно считается, что метод Монте-Карло позволяет получить точ¬
ность примерно 0,01—0,05 максимального значения определяемой
величины.
Получим некоторые рабочие формулы [Л. 38]. Определим по ме¬
тоду Монте-Карло вероятность пребывания системы в некотором со¬
стоянии. Эта вероятность оценивается отношением
М
~N^P>
где М — число пребываний системы в этом состоянии, в результате
N моделирований. Учитывая выражение для дисперсии величины MIN
Р (1 — Р)
и неравенство Чебышева
Р {| X - тх 15S Ках\ <	=	р0,	(4-42)
напишем
Величина
p{|T-H</£ib£l}sl-R'	<4-43)
(4-44)
б Основы кибернетики	129

есть не что иное, как ошибка моделирования по методу Монте-Карло
С помощью формулы (4-42) можно написать следующую формулу дЛя
величины (4-43):
6 =
или
N' Рv p0N ’
(4-45)
Y:
м Л^-лГ рО—р)
Роб2
где р0 — вероятность невыполнения этой оценки. Из соотношения
(4-41) следует, что погрешность метода Монте-Карло
<4-4б)
следовательно, для уменьшения погрешности 6 в 10 раз число реализа¬
ций необходимо увеличить в 100 раз. Этим обстоятельством и обуслов¬
ливается невысокая точность моделирования по методу Монте-Карло.
Аналогично с помощью частоты M/N может быть получена оценка
математического ожидания тх некоторой случайной величины X.
Ошибка этой оценки
* М
6=-Fr-mx
находится с помощью соотношения
6 =
м
т*—аГ
<4-47>
Отсюда видно, что ошибка моделирования находится в квадратичной
зависимости от числа реализаций, т. е.
Vn
Пример 4-2. Допустим, что определяется математическое ожидание ошибки х
поражения мишени. Процесс стрельбы и поражения моделируется на ЦВМ по
методу Монте-Карло. Требуется точность моделирования б = 0,1 м с вероятностью
р = 1 — ро = 0,9 при заданной дисперсии ох= 1 м. Необходимо определить коли¬
чество моделирований N. По формуле (4-66) получаем:
N >—— •
" е*р0 ’
N^W^oJ=l °00-
При таком количестве реализаций обеспечивается б = 0,1 м с вероятностью
Р = 0,9.
Можно получить еще более удобные выражения, чем (4-45) и (4-47),
если учесть, что оценка величины /?.* подчиняется нормальному распре¬
делению вероятности. Известно правило За (см. гл. 1), в соответствии
с которым вероятность превышения в три раза среднеквадратичного
значения отклонения от математического ожидания меньше 0,003, т. е.
Р{\Х-тх\^ За*} < 0,003.	(4-48)
130

Тогда вместо формулы (4-45) имеем:
6 =
или
м
-N-P
N^5
>3 у В^Й.
N
9Р'(1—Р)
б2
(4-49)
(4-50)
Отсюда может создаться мнение, что при малых р ж 0 и больших
р & 1 требуется малое число испытаний, но на самом деле это неверно.
Как будет показано ниже, для этих двух случаев не удовлетворяются
условия Ляпунова предельной теоремы и нельзя использовать нормаль¬
ный закон распределения. Аналогичным образом для больших р
(например, р = 0,996) 6 следует брать тоже малой (6 = 0,005). Поэтому
отношение р (1 — р)1 S2 будет большим.
Аналогично вместо формулы (4-47) можно написать:
6 =
м
N
— тх
'/т
или
N:
9ст2
62
(4-51)
(4-52)
Из формул (4-50) и (4-51) видна обратная квадратичная зависимость
между точностью вычисления 6 и числом реализаций /V, что позволяет
получить высокую точность метода Монте-Карло с помощью цифровых
или аналоговых вычислительных машин. Если ввести понятие довери¬
тельной вероятности (3 получения параметров по методу Монте-Карло
и применить положения, полученные в разделе теории оценок, можно
вывести ряд полезных формул для точности статистического модели¬
рования. Пользуясь неравенством Чебышева и учитывая, что средне¬
квадратичное значение величины X при N моделированиях определя¬
ется по формуле 8%х = qJYN, получаем:
(4-53)
где
Тогда для ошибки с доверительной вероятностью |3 можно написать:
6 = |*-m,|^/p^j=.	(4-54)
Поэтому
(4-55)
Эта формула дает выражение для числа испытаний, при которых обес¬
печивается требуемая точность 6 при заданной доверительной вероят¬
ности (3 и исходной дисперсии о% исследуемой величины X.
б*
131

Для случая определения вероятности имеем:
(4-56)
Пример 4-3.'Для условий примера 4-2 найдем необходимое число реализаций д/
для определения вероятности поражения мишени с заданной точностью б = 0,01.
Доверительная вероятность задается равной р = 0,99. Считается, что оценка вероят¬
ности р подчиняется нормальному закону, т. е. величина р — не малая и не боль¬
шая, и число реализаций большое.
Используя формулу (4-55), получаем:
*р = аг&Ф* (1) =0,84.
В практических расчетах можно считать приближенно, что для не очень боль¬
ших и не очень малых р произведение
Получим важные для практики формулы, введя вместо абсолютной
ошибки б относительную ошибку
Если ввести в рассмотрение максимально допустимое значение отно¬
сительной ошибки dMaKc, то вместо формулы (4-55) можно написать:
Применительно к определению вероятности формулы (4-58) и (4-59)
запишутся в виде
Пример 4-4. Для условия примера 4-3 определим необходимое число испытаний
для получения максимальной относительной ошибки dMaKC= 0,01 при условии,
что р = 0,5.
Подставив цифровые данные в формулу (4-61), получим:
р (1~р)	0,5	(1-0,5)	=0,25.
В районе точки р — 0,5 это произведение изменяется слабо. Поэтому
О
0,842=1 780 ^ 2 000.
(4-57)
Учитывая соотношение (4-54), получаем:
(4-58)
(4-59)
(4-60) •
N = tUl-p)
pduaKC
(4-61)
УУ = М1 = 0,7 . 104 = 7 000.
132

Отсюда следует, что получение относительной точности порядка 1% при довери¬
тельной вероятности Р = 0,99 по методу Монте-Карло сопряжено с большим коли¬
чеством испытаний.
Аналогичные оценки точности моделирования 6 = | D — а2|
можно получить для дисперсии. МьГуже отмечали, что оценка дисперсии
вх= Л/_1	 (4-62)
асимптотически распределена нормально. Вспомним формулу для
оценки дисперсии
0[D] = F|TD>--5f|^0*_io*.	(4-63)
Применив неравенство Чебышева к нормально распределенной вели¬
чине (4-62) и учитывая, что
м [d] =D — o2,
получим:
P{|D-o*|</p£)[6]}^p,	(4-64)
откуда
ta 2а4
(4-65)
Из этой формулы можно сделать ошибочный вывод о том, что при опре¬
делении дисперсии по методу Монте-Карло требуется меньше реали¬
заций для получения той же самой точности *6, чем при определении
математического ожидания по формуле (4-55). На самом деле это не так,
потому что необходимо устанавливать для определения среднеквадра¬
тичного значения ох такую же ошибку б, как и для тХ1 а для дисперсии,
следовательно, необходимо требовать эквивалентной ошибки б2,
т. е. по-прежнему действует зависимость
б~йг	(4'66)
Статистическое моделирование с целью определения малых значе¬
ний вероятности затруднительно, так как N обратно пропорционально
р [формула (4-61)]. Поэтому задачу необходимо преобразовать. Можно
показать, что при малых р частота события р* = M/N не подчиняется
нормальному закону распределения и формулы для оценки точности
моделирования по методу Монте-Карло, основанные на ЦПТ, не спра¬
ведливы. Известно, что величина М подчиняется биномиальному закону
распределения. Если при устремлении числа опытов N к со одновре¬
менно р -->■ 0, так что
pN = a,	(4-67)
то из биномиального закона	получается закон	Пуассона	с	параметром
а [Л. 21]. Покажем,	что	в	этом	случае при	малых р не удовлетворяются
133

условия центральной предельной теоремы Ляпунова. Действительно,
N
J*m Т~й Ш2 = ®’	(4-68)
Ы
bk = М\ \ Хк |3} = р3 [Хь].
Полагая, что третьи моменты и дисперсии замеров одинаковы
bk = by Dk = D = o2,	(4-69)
получаем:
Zb»=Nb>
k=\
N \ 3/2
/ /V	хб/4	__
|2DftJ =nVno\
Поэтому формула (4-68) может быть записана в виде
(4-70)
lim -4= = 0.	(4-71)
N-*co&VN	'	’
В соответствии с формулами (4-69) и (4-70), а также учитывая, что для
биномиального распределения а = Ур (1 — р), получаем:
H3[X] = Nb=*Npq (q-p);
b = pq(q-p)f*>p(l-р)2. J	^4?2^
Поэтому
—, р (1	-7= = (- ~р}1/'2- ^ (1 /а - 1 /IV)1/2 -> 1 /а, (4-73)
o*Vn pi/2(l-p)i/2v N VpN —-
т. е. условия предельной теоремы не выполняются.
Очевидно, что все изложенное здесь остается в силе, если мало q =
= 1 — р и lim qN = а, так как во все формулы р и q входят симмет-
N ->• со
рично. Поэтому как при малых /?, так и при /?, близких к 1, закон рас¬
пределения величины р* может не стремиться к нормальному, и фор¬
мулы, связанные с предположением нормальности, не справедливы.
Формулами, не связанными с" нормальным распределением (4-42) —
(4-47), пользоваться можно, но следует иметь в виду, что они дают не¬
сколько завышенный (примерно на 30%) результат.
4-4. ПРИМЕРЫ РАСЧЕТОВ ПО МЕТОДУ МОНТЕ-КАРЛО
Рассмотрим несколько примеров на применение метода Монте-
Карло.
Определение площадей и объемов. Остановимся вначале на прин¬
ципе определения площадей. Допустим, требуется определить интеграл
1
I=\f(x)dx.
0
134

Если пределы произвольные, то изменением масштабов по осям абс¬
цисс и ординат всегда можно добиться, чтобы величина х изменялась
в пределах [0, 1], а функция f{x) — в пределах от 0 до 1 при 0 ^ х ^
^ 1 (рис. 4-5). Требуется определить площадь, ограниченную кривой
f(x), осью абсцисс и прямыми х = 0 и х = 1. Для этого необходимо
иметь два независимых датчика случайных чисел (ДСЧ), которые вы¬
дают две последовательности случайных чисел хну, равномерно рас¬
пределенных в интервале
[О, 1]. Пусть в квадрат
случайно попала точка
(£, г]). Вероятность попада
ния точки под кривую рав
на площади, т. е. интегралу
Берем пару первых слу
чайных величин £, ц и про¬
веряем условие
Ш<Л. (4-74)
Если оно выполнено, то
точка попала под кривую.
Проделав этот эксперимент
N раз и определив, сколько
раз точка оказывалась под
кривой М, получим, что
1
M-^p=\f(x)dx. (4-75)
™	J	Рис.	4-5.	Пояснение	к процессу подсчета пло¬
щади по методу Монте-Карло.
Тем самым задача решена.
Однако проще использовать способ, требующий для вычислений
один датчик случайных чисел [Л. 43]. При этом заметим, что интеграл
ь
I =^f(x) dx
а
можно записать в виде
J = \ [/ (х) | Р1 (х)] Н (х) dx = M {л}.	(4-76)
а
где г] = / (£)//?£ (|) — некоторая вспомогательная случайная величина,
зависящая от случайной величины £, которая задается таблицей или
получается с помощью ДСЧ.
Слева в формуле (4-76) выражение равно математическому ожиданию
случайной величины тр Поэтому приближенно интеграл можно вычис¬
лять по формуле
7=1
где lj(j = 1, 2, ..., N) — случайно выбранные точки; N — число испы¬
таний по методу Монте-Карло.
135

Пример 4-5. Определим [Л. 43] значение интеграла
Я/2
/ == ^ sin х dx.
о
Допустим, что числа 5/ имеют равномерный закон распределения вероятности на
интервале [0, л/2]
р^(х) = 2/л.
В соответствии с методикой (см. § 4-2) получения случайных чисел с заданным зако¬
ном распределения р^ (х) из случайной величины у, имеющей равномерный закон
распределения в интервале [0,1] необходимо аналитически или графически опре¬
делить £, пользуясь уравнением
\{х) dx = y.
о
Получаем:
V-	(4-78)
Эта процедура увеличивает интервал [0,1] до [0, л/2]. В качестве случайных
чисел используем случайно выбранные тройки чисел из последовательности слу¬
чайных чисел, помещенных в приложении 6. Эта таблица содержит 400 случайных
чисел, которые имеют следующий закон распределения:
0	1	2	...	9
0,1	0,1	0,1	...	0,1
Можно убедиться, что в этой последовательности из 400 чисел каждая из цифр
0, 1, ..., 9 встречается в среднем примерно 10%. Для удобства все цифры сгруппиро¬
ваны по пятеркам, но надо всегда иметь в виду, что имеется последовательность,
состоящая из 400 цифр вида 8 651 569 186 ... Эти числа можно получить с помощью
следующего физического. эксперимента: на десяти одинаковых бумажках пишут
цифры 0, 1, ..., 9, вытаскивают бумажку наугад, записывают номер и возвращают на
место. Такой опыт проделывают 400 раз.
Учитывая, что в данном случае f (х) = sin х и принимая во внимание соотно¬
шение (4-78), формулу (4-77) перепишем в виде
N
(4‘79)
/ = 1
Полагаем N = 10, выбираем случайным образом десять троек случайных цифр
из приложения 6 и умножаем их на 0,001. Результаты расчетов сводим в табл. 4-2.
Таблица 4-2
/
1
2
3
4
5
6
7
8
9
10
Vi
0,480
0,791
0,347
0,452
0,847
0,908
0,152
0,865
0,424
0,389
Ь
0,753
1,24
0,545
0,710
1,33
1,42
0,248.
1,36
0,665
0,61
sin 1]
0,682
0,946
0,514
0,652
0,97
0,99
0,247
0,978
0,613
0,573
Подставив эти данные в формулу (4-78), получим I = 1,12 вместо точного зна¬
чения / = 1. Таким образом, точность будет равна 12%.
136

Аналогичная методика может быть применена для взятия кратных
интегралов. При кратности п > 3 метод Монте-Карло экономичнее
по времени счета, чем классический численный метод кубатур. В табл.
4-3 приведены сравнительные данные [Л. 38] времени счета для одних
и тех же задач, выполненных этими двумя методами (быстродействие
машины 5 ООО операций!сек).
Таблица 4-3
Кратность
интеграла
п
Численный метод кубатур
Метод статистического
моделирования
Число
операций
К
Время счета при
числе повторений
5 000
Т
Число
операций
К
Время счета при
числе повторений
5 000
Т
2
4 - Ю3
0,8 сек
2- 105
40 сек
7
8-105
2 мин 40 сек
7- 105
1 мин 20 сек
6
1,2- Ю3
6 ч 30 мин
6-105
2 мин
8
1,6 • 10Ю
880 ч
8 - Ю5
2 мин 40 сек
10
2 • 1012
110 000 ч
1 - 100
3 мин 20 сек
Моделирование систем массового обслуживания. В кибернетике
для описания работы сложных систем широко применяются модели
теории массового обслуживания. К примеру, работу телефонного узла
города или парикмахерских можно описать с помощью набора систем
массового обслуживания, соединенных определенным образом, или
сети массового обслуживания. Заявки, поступающие на телефонную
станцию, или клиенты, приходящие в парикмахерскую, изобража¬
ются в виде случайных точек на оси времени, расположение которых
определяется законом распределения вероятности. Каждый мастер
в парикмахерской или телефонная линия связи представляется отдель¬
ной системой массового обслуживания, которая характеризуется слу¬
чайным временем обслуживания с известным законом распределения
вероятности. В качестве исходных данных должны быть также заданы
законы распределения времени ожидания заявок в очереди перед обслу¬
живанием (дисциплина очереди).
Сложные системы массового обслуживания аналитически не рас¬
считываются, и для определения их параметров прибегают к стати¬
стическому моделированию. На ЦВМ в виде числа набирается время
поступления заявки. По существу с помощью программы псевдослу¬
чайных чисел последовательно набираются интервалы между заяв¬
ками в соответствии с заданным законом распределения этих интер¬
валов. Каждая заявка-число проходит все стадии обслуживания, т. е.
задерживается на случайные времена обслуживания и появляется на
выходе модели. Для получения статистических характеристик в алго¬
ритме решения задачи предусмотрены специальные блоки подсчета
среднего времени ожидания в очереди и пр.
На рис. 4-6 приведена схема моделирования одноканальной системы массового
обслуживания с отказами [Л. 39]. В этой схеме использованы четыре типа блоков:
137

1) формирователи заданного набора случайных чисел, представляющих времещ
ные интервалы (1, 4, 9)\
2) операторы проверки условий (обозначены кружочками). Если условие вы-
полняется, то управление от предыдущего оператора передается к следующему,
обозначенному цифрой «1», если нет — то к оператору с цифрой «О»;
3) блоки, вычисляющие момент начала обслуживания (7, <$);
4) прочие вычислительные блоки.
Рис. 4-6. Схема моделирования на ЦВМ однока¬
нальной системы массового обслуживания.
В блоке 1 формируются случайные числа, которые имитируют однородный поток
событий в соответствии с заданным законом распределения. Случайное число, полу¬
чившееся в блоке /, поступает в блок проверки условия tj < Т, где Т•— время,
отведенное на весь процесс моделирования всех заявок. При удовлетворении усло¬
вий, задаваемых блоком 2, число-заявка поступает на блок 3 проверки условия
tj < fjl_j— свободен ли канал обслуживания. Если условие удовлетворяется, канал
не свободен, то управление передается к блоку 4, где формируется случайное число,
равное времени ожидания /-й заявки. Оператор 5 вычисляет момент предполагае¬
ма

мого поступления /-й заявки № = tj + т* в соответствии с заданной дисциплиной
очереди. Блок-оператор 6 проверяет, может ли данная заявка быть обслужена с уче¬
том времени ожидания и обслуживания. Для этого в блоке сравниваются предпола¬
гаемое время начала обслуживания /-й заявки и окончания обслуживания пре¬
дыдущей заявки Если условие оператора 6 выполняется, то /-я заявка не может
быть обслужена и получает отказ, управление передается блоку 14 подсчета числа
отказов. Если это условие не выполняется, то управление передается по стрелке «О»
к блоку 7 вычисления момента начала обслуживания. Число с выхода этого блока
поступает на блок 9, формирующий время обслуживания /-й заявки. На этот же блок
поступает число с блока 8, формирующего начало обслуживания t* ■= tj /'-й заявки,
если в момент прихода канал свободен. Оператор 10 формирует момент освобождения
канала от у-й заявки. Это время снова поступает на блок 11 проверки условия
Т. Если канал освободился позже этого времени, управление поступает на
блок 14 подсчета отказов. Если условие удовлетворяется, управление поступает на
блок 12 подсчета числа обслужен¬
ных заявок. Оператор 13 служит
для вычисления времени пребыва¬
ния заявок в системе —/у. От это
го блока управление передается к
блоку 1 для формирования следую¬
щей заявки, т. е. канал освобожден.
Если условие блока 11 не вы¬
полняется, данная заявка подсчи¬
тывается как получившая отказ и
эта команда служит для начала мо¬
делирования следующей заявки.
Наконец, если условие оператора 2
не выполняется, к числу реализаций
добавляется единица (блок 15), и,
если это число не превысило задан¬
ное N* (блок 16), дается команда
на переход к следующей реализа¬
ции (блок 17).
Расчет прохождения нейт¬
ронов сквозь пластинку. Наи¬
большее распространение ме¬
тод Монте-Карло получил в
нейтронной физике. Ниже
будет рассмотрена упрощенная задача о прохождении нейтронов
через пластинку [Л. 43]. На однородную бесконечную пластинку
толщиной h падает под углом 90° поток нейтронов с энергией Е0.
При прохождении нейтронов через вещество, из которого состоит пла¬
стинка, происходят столкновения с атомами этого вещества. Для про¬
стоты предполагается, что возможны два вида удара: идеально упру¬
гий и неупругий, когда нейтрон поглощается. В первом случае счита¬
ется, что нейтрон рассеивается равновероятно в любом направлении
и энергия его сохраняется. Могут представиться три случая, изобра¬
женные на рис. 4-7. Ставится задача определить вероятности этих
событий: р+, р°у р~ — прохождения, поглощения и отражения ней¬
трона. В нейтронной физике вводятся характеристики взаимодей¬
ствия нейтронов с веществом, называемые сечениями поглощения 2С и
рассеяния Эти величины определяют вероятность поглощения ней-
Рис. 4-7. Возможные случаи при прохожде¬
нии нейтронов через пластинку.
1 — прохождение' сквозь пластинку; 2 — погло¬
щение; 3 — отражение.
139

трона и вероятность его рассеяния	при	столкновении с ато¬
мами вещества. Здесь 2 = 2с 2$ и называется полным сечением.
Считается, что длина свободного пробега нейтрона X (расстояние от
столкновения до столкновения) является положительной случайной
величиной с экспоненциальной плотностью распределения вероят¬
ности
Рх М =
Математическое ожидание свободного пробега К обратно пропорций-
нально полному сечению:
лщ]=4.
Для получения случайной величины X из случайной величины у, имею¬
щей равномерный закон распределения, необходимо осуществить опе¬
рацию разыгрывания в соответствии с формулой
к
\p(x)dx = у
О
или
л
^	dx = у.
о
После взятия интеграла в левой части получим окончательно формулу
для разыгрывания в виде
— Т- In (1 — Y).	(4-80)
Так как величина у положительная и равномерно распределенная,
то формулу (4-80) можно переписать:
Ji=-TlnY>	(4-81)
имея в виду, что закон распределения величины 1 — у также равномер¬
ный в интервале [0, 1].
Теперь необходимо выяснить, как выбирать направление нейтрона
после удара. Оно может быть определено углом ср между осью ОХ и на¬
правлением движения нейтрона. Покажем, что условие равновероят¬
ности любого направления эквивалентно равномерности распределе¬
ния величины р = cos ср в интервале [—1,1].
Переходя к пространственной задаче, условие равновероятности
можно сформулировать как требование того, что точка Л на сфере
единичного радиуса с центром в точке столкновения нейтрона с ато¬
мом окажется равновероятным образом в любом элементе поверхности
сферы dS с вероятностью dSI4я. В данном случае точка А может'рас¬
сматриваться как точка пересечения траектории нейтрона после столк¬
новения. Выбираем сферические координаты (ср, ф) с полярной осью ОХ,
причем О^ф^я, 0 ^ ф ^ 2л. Очевидно, что dS = sin ф^ф^ф.
Используя это соотношение и условие независимости координат <р й ф,
140

напишем для плотности распределения точки А на сфере с координа¬
тами ср и ф выражение:
Р (ф. Ч>) = Рч> (ф) РФ (Ф) ==-^Г'-
Интегрируя это выражение по ф от 0 до 2л и учитывая, что
2л
I Рф(Ф)^Ф= 1,
О
/ ч sin ф
рф (ф)=—
получаем:
откуда
Ръ (Ф) =
2
J_
2я
т. е. величина ф имеет равномерный закон распределения в интервале
[О, 2л], и для разыгрывания Ф следует использовать формулу
ф = 2лу\
Соответствующая формула разыгрывания для величины ф получа¬
ется из соотношения
ф
у ^ sinxdx = y.
Следовательно,
[х = cos ф = 1 — 2у.	(4-82)
Из (4-82) следует, что при изменении у в интервале [0, 1] р изменяется
в интервале [—1, 1] или
|л = 2у—L	(4-83)
Формула (4-83) получается из (4-82) заменой у на 1 — у, а обе эти вели¬
чины имеют одинаковое распределение. Таким образом, для разыгры¬
вания угла ф следует использовать формулу (4-83), примененную для
разыгрывания cos ф.
Перейдем к построению схемы моделирования (рис. 4-8). Обозначим абсциссы
двух последовательных столкновений нейтрона с атомами Xf{ и хь+и номер траек¬
тории /(/=1, ..., АО, номер столкновения к. Разыграем длину свободного пробега
после k-то столкновения (блок 4) по формуле
= — (1/Е) In?
и вычислим абсциссу следующего столкновения (блок 3):
== */г +
где (ял = cos ф/г — направление движения нейтрона после к-то столкновения.
Далее проверим условие прохождения нейтрона сквозь пластинку (блок 6)
*a+i > h.
При удовлетворении этого условия (выход «1») расчет траектории заканчивается и
добавляется единица к счетчику прошедших частиц (блок 7). Если это условие не
выполняется (выход «О»), то следует проверить к + 1 столкновений на отражение
141

блок 8). Для этого выбираем очередное значение у и
ния (блок 10)
Не
v< д-.
проверяем условие поглоцщ-
При выполнении этого
условия расчет траектории за¬
канчивается и добавляется
единица к счетчику погло¬
щенных частиц (блок 11).
В противном случае электрон
испытал рассеяние в точке
*6+1» и разыгрывается новое
направление скорости движе¬
ния нейтрона (блок 12) по
формуле
Рб+i =	—	1.
По существу для расчета
k-ro шага требуются три зна¬
чения у. Начальные значе¬
ния для всех траекторий
можно выбрать следующие:
*о = 0,	Ц0=1«
В результате /V-кратного рас¬
чета траекторий определяют¬
ся числа нейтронов, прошед¬
ших сквозь пластинку №}
отразившихся от нее N~ и
поглощенных веществом пла¬
стинки №. Соответственно
вероятности определяются по
формулам:
+ N+
D ^	•
р	N »
п
П° г=&	•
н	N ’
№
Р ~~ N '
Рис. 4-8. Схема моделирова¬
ния на ЦВМ процесса про¬
хождения частиц через пла¬
стинку.

ЧАСТЬ ВТОРАЯ
ТЕОРИЯ ИНФОРМАЦИИ И КОДИРОВАНИЯ
Понятие информации — одно из основных категорий кибернетики,
так как при автоматизации любых процессов управления на первый
план выдвигаются процессы преобразования информации. Поэтому
кибернетику часто называют наукой о преобразовании информации
с целью управления.
Как уже отмечалось, понятия информации, удовлетворяющего
кибернетику, пока не существует. То понятие информации, которое
обычно используется, заимствовано из теории связи. Основная его
особенность состоит в абстрагировании от смыслового содержания
информации, использовании ее количественной меры по Шеннону.
Однако для разрешения большинства задач кибернетики необходимо
оперировать именно количественными характеристиками смыслового
или семантического содержания информации.
Следует заметить, что в ряде случаев классическое понятие количе¬
ства информации бывает полезно при изучении процессов управления.
Именно отвлечение от смыслового содержания информации позволяет
получать обобщенные характеристики по загрузке каналов связи,
памяти ЦВМ, каналов преобразования информации в ЦВМ и АСУ
и т. д. Поэтому в этой части будут в основном рассмотрены две концеп¬
ции информации: одна, характерная для теории связи и основанная
на вероятностном подходе к процессам преобразования информации,
и вторая, сформировавшаяся при машинных способах обработки ин¬
формации, в которой используется понятие тезауруса информации.
Глава пятая
СИГНАЛ
Теория информации имеет дело с определенной моделью системы
связи.
На рис. 5-1 представлена типичная структурная схема передачи
сообщений, используемая в теории связи. Объясняя ее, попутно введем
необходимые для теории связи понятия.
143

Система связи начинается с источника информации, создающего
сообщение или их последовательность для передачи по линии связи.
Сообщениями могут быть: человеческая речь [в этом случае радиосо¬
общение или телефонное представляет собой некоторую функцию вре¬
мени / (/)]; последовательность букв и цифр (телеграф); некоторая функ¬
ция двух координат и времени / (х, у, t) (черно-белое телевидение),
которая представляет интенсивность света в точке с координатами
х, у передаваемого изображения и т. д.
Сообщения передаются на передатчик, который перерабатывает их
в сигналы в соответствии с данным каналом связи. В простейшем слу¬
чае (телефон) акустические волны человеческого голоса преобразуются
в электрический ток. При радиоприеме эти низкочастотные сигналы
наполняются радиочастотой, усиливаются по мощности и пр., а при
радиорелейной передаче человеческого голоса необходима специаль¬
ная система импульсного кодирования. В общем случае передающее
Рис. 5-1. Общая структурная схема системы связи.
устройство имеет преобразователь (микрофон), кодирующее устрой¬
ство, модулятор, передатчик, выходные устройства передатчика (ан¬
тенну).
Из передатчика сигналы поступают в канал передачи или среду,
в качестве которой могут выступать пара проводов (телефонная .связь),
коаксиальный кабель (телевизионная передача), полоса радиочастот
(радиоприем), луч света видимого или инфракрасного диапазона или
лазер. В канале связи (среде), как правило, на сигнал действуют помехи,
которые искажают его, поэтому прием—восстановление информации
осуществляется в условиях шумов (помех). Шумы при радиоприеме —
это искровые разряды в атмосфере, промышленные помехи, искрение
контактов в транспортных средствах и др. Работе радиолокационных
систем мешают помехи, специально создаваемые противником.
В приемнике сообщение восстанавливается, здесь обычно выполня¬
ются операции, обратные тем, которые имеют место в передатчике:
усиление сигнала, демодуляция, декодирование. С выхода приемника
расшифрованное сообщение поступает адресату.
Рассмотренную модель системы связи можно принять как некото¬
рую кибернетическую модель наравне с моделями массового обслужи¬
вания, автоматического регулирования и прочими для решения задач
144

оптимального управления. Ее можно применять, например, к решению
задачи разведки и контрразведки, где помехами будут ложные агенты,
ложная информация,% фиктивные документы и операции.
Анализ общей структурной схемы связи показывает, что классиче¬
ская теория информации в основном состоит из двух частей: теории
преобразования сообщений и сигналов, основную долю в которой со¬
ставляют вопросы кодирования и декодирования, и собственно теории
передачи сообщений и сигналов без шумов и с шумами в канале связи.
Носителем сообщения или информации является сигнал. Следует
различать физические (реальные) сигналы и их математические модели.
Разновидностей реальных сигналов много, однако большинство из них
описывается сравнительно небольшим количеством математических
моделей. Очевидно, что при таком описании допускается какая-то
погрешность, которая в одних случаях (моделях) существенно, а в дру¬
гих несущественно искажает природу реального сигнала. Сложность
сведения реального сигнала к его математической модели состоит
в том, что для этого нет достаточно общих правил. Кроме того, в зави¬
симости от задачи при формализации уровень детализации может изме¬
няться.
5-1. ПРИМЕРЫ СИГНАЛОВ. МОДЕЛИ СИГНАЛА
Рассмотрим импульсный сигнал, отраженный от цели в импульсной
радиолокации [Л. 46]. Радиолокатор периодически, с периодом Г, по¬
сылает импульсы определенной формы в сторону цели, которые, отра¬
зившись, возвращаются на вход приемника (рис. 5-2, а). Задержка
этих импульсов относительно излученных пропорциональна даль¬
ности до цели D. Построение математической модели реального физи¬
ческого сигнала заключается в замене его амплитудно-модулированным
сигналом (рис. 5-2, б), состоящим из последовательности 6-импульсов,
145

Рис. 5-3. Дискретный по времени сиг¬
нал при цифровой системе передачи
данных.
а — исходный непрерывный сигнал; б —
соответствующий дискретный сигнал; в —
последовательность кодированных им¬
пульсов.
амплитуда которых равна дискрет¬
ным значениям дальности до цели
или времени задержки отраженных
импульсов относительно излучен¬
ных.
Математические модели в зависи¬
мости от природы сигналов делятся
на детерминированные и случай¬
ные. Чаще всего в теории информа¬
ции, как и в кибернетике, исполь¬
зуются случайные модели сигналов,
которые могут быть стационарными
и нестационарными, марковскими
и немарковскими, непрерывными и
дискретными. Дискретные сигналы
различаются по времени и амплиту¬
де и в соответствии с этим их назы¬
вают квантованными по времени
или амплитуде. При квантовании
по времени берутся значения непрерывного сигнала в дискретные мо¬
менты времени. Интервал квантования по времени равен периоду излу¬
чения импульсов пере¬
датчиком. В общем слу¬
чае интервалы между мо¬
ментами времени. могут
не быть равными [Л.
47, 48].
В качестве примера
сигнала, квантованного
по амплитуде и времени,
рассмотрим сигнал, за¬
кодированный двоичным
кодом, который часто
применяется для пере¬
дачи сообщения на рас¬
стояние (рис. 5-3) при
цифровой системе переда¬
чи данных. На рис. 5-3, а
представлен непрерыв¬
ный сигнал, на рис.
5-3, б — тот же сигнал,
но квантованный по вре-
Рис. 5-4. Процесс квантова¬
ния непрерывного сигнала
по времени и амплитуде.
а — исходный непрерывный сиг¬
нал; б — квантование по амп¬
литуде; в — квантование по амп¬
литуде и времени.
146

мени, на рис. 5-3, в каждое из этих дискретных значений сигнала
представлено в виде последовательности импульсов, закодированных
двоичным кодом. Каждая кодовая комбинация отделяется от другой
маркерным импульсом. Естественно, что с помощью конечного числа
двоичных разрядов (в данном
случае их три) нельзя пред¬
ставить точно дискретное зна¬
чение. Прежде чем сигнал
(рис. 5-4, а) закодировать дво¬
ичным кодом, его необходимо
проквантовать с уровнем кван¬
тования, определяемым вели¬
чиной младшего двоичного
разряда. На рис. 5-4, б пред¬
ставлен сигнал, дискретный
по амплитуде. Если его про¬
пустить через ключ, который
замыкается с периодом Г, то
получится сигнал, квантован¬
ный по амплитуде и времени
(рис. 5-4, в). Для получения из непрерывного сигнала x(t) сигнала
*х (/), квантованного по амплитуде, необходимо пропустить его че¬
рез нелинейный элемент, характеристика которого представлена на
рис. 5-5. Условное изображение элемента квантования ЭК показано
нй рис. 5-6, а, квантователя по
виде ключа — на
При пропускании
X*
ц-
|
ч-
1	'
%-
Г ■ ! |
1.1 \ Х
1
ъЧсм
		1
1 a+i 2а+1
-2*2 *2
|—1 -ч-
	1 -ц-
Рис. 5-5. Характеристика квантователя.
, X(t)
эк
x(t)
времени в
рис. 5-6, б.
<*)
X(t)
-Я (t)
5)
x(t)
^ x*(t)
ЭК
x(t)
эк
*x(t)
г)
Рис. 5-6. Квантование сигнала по ампли¬
туде и времени.
а — по амплитуде; б — по времени; в — по
времени и амплитуде; а — по амплитуде и
времени.
Рис. 5-7. Непрерывный (а) и дис¬
кретный (б) по времени сигналы.
непрерывного сигнала х (/) (рис. 5-7, а) через такой элемент на вы¬
ходе получается дискретный (квантованный по времени) сигнал х* (/),
представленный на рис. 5-7, б. Если непрерывный сигнал x(t) пропу¬
стить через последовательно соединенные ключ и элемент квантова-
147

ния по уровню (рис. 5-6, в), то на выходе получим сигнал *х* (/),
квантованный по времени и амплитуде, причем очевидно, что ключ
и элемент квантования можно поменять местами (рис. 5-6, г).
5-2. ЧАСТОТНЫЕ СВОЙСТВА СИГНАЛА
(ТЕОРЕМА КОТЕЛЬНИКОВА)
Следует заметить, что с точки зрения кибернетики при получении
информации человек с помощью приборов может воспринимать только
квантованный по времени и амплитуде сигнал. Но ни человек,
ни приборы не могут отличить сигнал квантованный от непрерыв¬
ного. Дело в том, что как у человека, так и у приборов есть порог
чувствительности А, из-за которого невозможно отличить два значения
сигнала, если они отличаются друг от друга меньше, чем на этот по¬
рог [Л. 49]. Тем самым вводится квантование по амплитуде с уровнем
q = 2А. Ниже будет доказана теорема Котельникова о том, что непре¬
рывный сигнал, спектр частот которого ограничен частотой /с, можно
заменить квантованным по времени сигналом с интервалом кванто¬
вания
При этом не произойдет никакой потери информации.
Частотные свойства сигнала, квантованного по времени. Задачу
поставим следующим образом. По заданному преобразованию Лапла¬
са—Фурье для непрерывного сигнала X (со) найдем это преобразование
для соответствующего дискретного сигнала X* (со) (см. рис. 5-7). Не¬
много нарушая строгость, обозначим преобразование Лапласа—Фурье
от функции x(t) через X (со) и X (s). Аналитически дискретную функ¬
цию, представленную на рис. 5-7, б, можно записать в виде
Ниже для функции X* (со) будет дан вывод применительно к преобра¬
зованию Лапласа—Фурье, поэтому в формуле (5-1) суммирование про¬
водится от 0 до +оо, т. е. считается, что функция равна нулю для отри¬
цательных значений времени. Однако полученные ниже формулы оста¬
ются в силе для произвольных функций времени, в чем можно убедиться
с помощью других методов [Л. 46]. Если ввести в рассмотрение функ¬
цию
оо
** (0= 2 x(t)8(t-nT),
(5-1)
где
$ <P&)S(/i — т)Л1 = ф(т).
—ОО
ОО
6т(0 = Еб«-пТ),
(5*2)
о
148

т0 отношение (5-1) перепишется как
х* (t) = х (t) 8Т (t).
Чтобы определить преобразование Лапласа — Фурье для функции
х* (t) в соответствии с этим соотношением, необходимо применить фор¬
мулу свертки в области комп¬
лексного переменного
L {хг (0 *2 (/)} =
с Н- /оо
=	^	XiWX2(s-X)dl,
с— /оо
(5-3)
где
*i(s) =
ОО
= L{Xl(t)}=\ xx{t) e~st dt-,
О
X2.(s) =
оо
= L {x2 (0}. = 5 x2 (0 e~st di>
о	Рис.	5-8. Пояснение к выводу выражения
для преобразования Лапласа дискретного по
а с определяет положение пря- вРемени сигнала.
мой интегрирования, которая
должна лежать правее полюсов функций Хг и Х2 (рис. 5-8).
Взяв от обеих частей соотношения (5-2) преобразование Лапласа —
Фурье и используя формулу для бесконечной геометрической прогрес¬
сии, получим:
мыог 1
-sr*
Полагая
\—е~
*2(0 = МО; *i (0=* (0>
с помощью формулы (5-3) имеем:
С+/0О
**<*)=2	)г~'±	j
п= 0	с	—	/оо
T)dk.
Интеграл в правой части будем брать с помощью вычетов. Для этого
интегрирование произведем по замкнутому контуру, состоящему из
прямой s = с и полуокружности большого радиуса, расположенной
справа от этой прямой. Положим, что при больших значениях модуля
| s | функция F (s) стремится к нулю; для этого достаточно, чтобы сте¬
пень числителя была меньше степени знаменателя. Значение интеграла
будет равно сумме вычетов в полюсах подынтегрального выражения,
расположенных внутри замкнутого контура интегрирования. Так как
полюсы функции F (к) расположены левее прямой к = с, то учитывать
149

следует только полюсы выражения 1/(1—g-ns-я)). Они располо¬
жены на примой, параллельной оси ординат и находящейся на рассто-
о)
x(t)
X
d=i
Т 2Т ЗТ 4Т >
8)
VS 2Л\
ф-у)
Рис. 5-9. Спектры непрерывного (а и б) и дискретного (в и г) по
времени сигналов.
янии от прямой к = с, определяемом действительной частью величины
s (рис. 5-8). В результате можем написать:
С+/СО
X5
<S) = £, J	2	, Ш1. [l-C-V<—»]• (5'4)
с — /оо	п = —оо — S “Ь т in
В соответствии с правилами теории вычетов
Ф (s)l
выч
s = s„
)1 = Г ф (д) 1
1.Ф (sjj	L^' (s)Js = s^ »
где s„ — нуль функции ф (s), поэтому
- выч Г *(*■)	1	= f
(	2„.	{dri_e-(S-
M Tlr 2я ;
JjX=s -f- -yr in
= 'x(s + ^jn
Подставив это выражение в формулу (5-4), запишем:
оо
1 Y1 /	.	2я
х*(*)=4 2 x{s+Tn])>
п = — оо
и, перейдя к соответствующим преобразованиям Фурье, получим:
оо
Х*(ю)= 2 х(пТ)е-п^т,
П= О
ОО
Л*(ю)=4 2 xU+Щп),
п = — СО
150

где
Х(ю) = $ x(()e~iafdt
— преобразование Фурье для функции x(t).
Таким образом, спектр (преобразование Фурье) для дискретного
сигнала получается из спектра непрерывного сигнала суммированием
его смещенных спектров X [со +
т
+ (2я/Г) п] (рис; 5-9).
В зависимости от интервала
дискретности Т для ограничен¬
ного по частоте спектра непре¬
рывного сигнала (рис. 5-10, а)
смещенные спектры могут не
перекрываться (рис. 5-10,6), при¬
мыкать вплотную друг к дру¬
гу (рис. 5-10,в), перекрываться
(рис. 5-10,г).
Напомним, что речь идет о
замене непрерывного сигнала
дискретным (о передаче непре¬
рывного сообщения его дискрет¬
ными значениями). Очевидно,
что восстановить спектр непре¬
рывного сигнала из спектра со¬
ответствующего дискретного сиг-
~CJ
Т с Т~ с
Рис. 5-10. К доказательству теоремы Ко¬
тельникова.
Х(и)
1
CJ
-ис
сос
Рис. 5-11. Частотная характеристика
идеального фильтра.
нала можно только в случаях, показанных на рис. 5-10, б, в. Сделать
это в принципе можно с помощью идеального фильтра с прямо¬
угольной частотной характеристикой (рис. 5-11), которую реально
получить невозможно. В случае, показанном на рис. 5-10, г, в ре¬
зультате перекрытия спектров информация о непрерывном сигнале
безвозмездно потеряна и ее невозможно восстановить даже с помощью
идеального фильтра с частотной характеристикой. Поэтому Макси¬
мально допустимое значение интервала дискретности определяется
случаем, показанным на рис. 5-10, в, и равно;
т=ё.-к-'	<5-5>
151

Следовательно, допустимые интервалы дискретности определяются
соотношением
<и>
В этом и состоит теорема Котельникова. Часто в теории связи ее фор¬
мулируют для случая сообщения, передаваемого в течение конечного
интервала времени t0. Тогда в соответствии с формулами (5-5) и (5-6)
непрерывное сообщение со спектром, ограниченным частотой., можно
X((J)
Рис. 5-12. Пояснение к теореме Котельникова для дискретного
по частоте сигнала.
передать конечным числом дискретных значений, которое определя¬
ется по формуле
N = ^ = 2fct0.	(5-7)
Очевидно, что передавать непрерывное сообщение большим числом
дискретных значений (т. е.- с меньшим интервалом дискретности)
не имеет смысла, так как при этом перегружается канал связи, а вы¬
игрыша в точности не получается.
Следует заметить, что приведенная выше формулировка теоремы
Котельникова [формула (5-7)] не является строгой, так как не суще¬
ствует сигналов, ограниченных по времени и частоте: если сигнал обла¬
дает ограниченным спектром, то он простирается до бесконечности во
времени, и, наоборот, если сигнал ограничен во времени, то он обла¬
дает бесконечным спектром.
В инженерных руководствах часто приводится частотный аналог
теоремы Котельникова, который был известен значительно раньше
работ Котельникова и заключается в следующем. Допустим, что име¬
ется сигнал х (0, ограниченный во времени (рис. 5-12, а), т. е. вне ин¬
тервала времени (0, ^0) сигнал равен нулю. Из теории преобразования
152

Фурье известно, что такую функцию можно разложить в ряд Фурье
оо	.2л	,
*(0= 2 С*'*",
к = —оо
где коэффициенты ряда
tо	.	2л	,,
1 С	—1-j-kt
Ck = y\x(t)e	° dt.
0 о
Эти коэффициенты представляют значения спектра функции (с точ¬
ностью до постоянного коэффициента)
X (со) = I х (/) е~ш dt.
—ОО
Отсюда
с»=<д(2!*).
Поэтому временной сигнал, ограниченный по длительности величиной
/0, можно передавать не непрерывным спектром по частоте (рис. 5-12, б),
а совокупностью дискретных значений, отстоящих на величину 2n/t0
(и меньше этого значения) (рис. 5-12, г). Такому дискретному спектру
будет соответствовать периодическая во времени функция с периодом
/0 (рис. 5-12, в). Если сигнал можно ограничить по частоте величиной
сос = 2nfc, то для передачи без искажений такого сообщения необхо¬
димо передать конечное число дискретных значений спектра (ампли¬
туд гармоник), равное
(5-8)
Полное совпадение с формулой (5-7) получится, если сигнал будет рас¬
сматриваться на временном интервале (—/0, t0)> а не (0, t0). В этом слу¬
чае формула (5-8) перепишется в виде
(5-9>
Таким образом, непрерывный сигнал, ограниченный интервалами по
времени (—/0, t0) и по частоте (—сос, сос), можно передавать конечным
числом дискретных значений функции времени или спектра, которые от¬
стоят друг от друга на величины
Т = 2я/сос = 1 If с или Асо = 2nl2t0 = n/t0
соответственно. Общее число дискретных значений определяется фор¬
мулой (5-9).
5-3. ЭЛЕМЕНТЫ КВАНТОВОЙ ТЕОРИИ ИНФОРМАЦИИ
В теории информации известен принцип неопределенности, анало¬
гичный тому, который имеется в квантовой механике.
Известно, что для передачи импульса (сигнала) шириной At тре¬
буется полоса пропускания по частоте Af ^'l/At.
153

Пример 5-1. При полосе А/ « 6 для передачи телевизионных сигналов при
525 строках, 30 кадрах в секунду и 360 импульсах на строку при условии неиска-
• женной передачи допускается примерно следующий минимальный период повторения
(или ширина) импульсов
Д^ = 525 • 30 • 360 = ~5J 10 * СвК)
при этом
Д/ = 6 • 10“® -Л-10-«= 1,05,
5,7
т. е. Д/А/ ^ 1.
Таким образом, произведение А/А/ имеет нижний предел для передачи сооб¬
щений без искажения.
Покажем это еще несколько другим способом [Л. 50]. Введем неко¬
торые эффективные значения длительности и полосы сигнала x(t):
со
д^1 = 7(0) $ x(t)dt\
—оо
оо
$ x®df'
где
X(f)= $ x(t)e~,M,ldt	(5-10)
—ОО
есть преобразование Фурье для сигнала;
оо
X(t)= ^ X (f) df.	(5-11)
—ОО
Но в соответствии с формулами (5-10) и (5-11)
оо
X (0)= 5 x(t)dt\
—ОО
*(0)= f X(f)df,
поэтому
Отсюда
л* _*(°). Af _ *(0)
х (0) *	'1 X (0)'
Д/хД/х = 1.
Физический смысл введения эффективных полос и времени сигнала
заключается в замене реального сигнала эквивалентным, имеющим
прямоугольную форму кривой, зависящую от времени и частоты
(рис. 5-13). Ординаты этих прямоугольных кривых соответственно
равны х(0) и X (0), а максимальные значения абсцисс Д/х и А/х. Пло¬
щади, ограниченные кривыми реальных сигналов и их эквивалентов,
равны, причем площадь берется со своим знаком: если кривая располо¬
жена над осью абсцисс, площадь положительная, если под осью абс¬
цисс, площадь отрицательная. Очевидно, что отрицательные значения
154

кривой сигнала, например, в зависимости от времени могут достигать
больших значений и оказывать существенное влияние на характер сиг¬
нала, а эффективная длительность сигнала будет тем меньше, чем
Рис. 5-13. Пояснение к введению эквивалентных по
времени (а) и частоте (б) сигналов (первый вариант).
больше эти отрицательные значения и чем больше их длительность.
Рассуждения относительно эффективной полосы пропускания по часто¬
те аналогичны. Поэтому более разумно вводить эффективные значения
Рис. 5-14. Пояснение к введению эквивалентного по частоте
сигнала (второй вариант).
длительности и полосы сигнала, используя абсолютные значения сиг¬
нала в зависимости от времени и частоты (рис. 5-14):
| х (0) I А/ = J \x(t)\dt&
—оо
оо
| X (0) I А/ = 5 \X(f)\df:
$ x(t)dt
—оо
f X(f)df
155

Согласно этим определениям
At^At^ Д/^Д/ь |
Д/Д/^Д/iA/^l;	(5-12)
Д/Д/^1.	)
В этих соотношениях и состоит принцип неопределенности теории ин¬
формации. В квантовой механике принцип неопределенности Гейзен¬
берга заключается в том, что переменная (координата) q и ее сопряжен¬
ный импульс Р не могут быть измерены одновременное любой заранее
заданной высокой точностью. Если обозначить ошибки измерения этих
величин соответственно через Дq и ДР, то
AqAP^a.	(5-13)
В физике а равна постоянной Планка h = 6,6252 «10 дж *сек или
U = h/2n (в зависимости от размерности q и Р).
В теоретической и квантовой механике энергия Е является сопря¬
женным импульсом переменной времени t и
АЕ At	(5-14)
Далее, энергия колебания частоты / равна Е = hf. Отсюда
Д Е= АД/.
С помощью этого соотношения и учитывая (5-14), получаем:
ДЕ At = h Af At ^ h.
Отсюда снова получаем соотношение (5-12), определяющее принцип
неопределенности в теории* информации.
В связи с изложенным встает вопрос об оптимальном сигнале. Ка¬
кая форма зависимости сигнала от времени и частоты является наи¬
лучшей? Из свойства преобразования Фурье следует, что чем короче
сигнал во времени, тем более широкой полосой частот он обладает.
И наоборот, чем уже полоса частот сигнала, тем большую протяжен¬
ность он имеет во времени. Аналитически эти свойства могут быть запи¬
саны в виде
Хв(а)=$*Ие-/м' dt=4*(?)>
откуда следует, что с увеличением масштаба времени в а раз масштаб,
по частоте уменьшается в а раз. Множитель На в правой части формулы
принципиальной роли не играет и связан с уменьшением энергии сиг¬
нала. Это свойство сигналов отражает принцип неопределенности. Если
пытаются сэкономить на времени передачи сигнала, то проигрывают
в полосе частот, и наоборот. Известно, что при радиоприеме на корот¬
ких волнах для лучшей избирательности делают очень узкие резонанс¬
ные контуры. Однако при этом приходится очень долго ждать, пока
сигнал нарастет до нужной амплитуды (медленно вращать ручку
настройки).
156

Аналогичные ситуации часто возникают в радиолокации. В настоя¬
щее время радиолокационные станции не строятся без систем защиты
0т помех. Для определения дальности до цели измеряют задержку отра¬
женного импульса относительно излученного. В целях помехозащиты
требуется еще замерять скорость движения цели на радиолокационную
станцию, которая измеряется по изменению частоты принятого сигнала
относительно излученного, т. е. по частоте Допплера. Для определе¬
ния дальности до цели, по существу, требуется измерять фазу (за¬
держку), а при помехозащите — скорость изменения фазы, т. е. ча¬
стоту. В силу принципа неопределенности нельзя одновременно точно
измерить время задержки (дальность до цели) и изменение частоты (ско¬
рость движения цели), так как увеличение точности измерения одной
величины ухудшает точность измерения другой [Л. 47].
Из рассмотренного следует, что критерием оптимальности формы
сигнала может служить минимум площади, занимаемой этим сигналом
на плоскости время — частота (t, f) (рис. 5-15). Показано [Л. 47], что
наилучшей формой сигнала в этом смысле являются синусоидальные
колебания, промодулированные по амплитуде гауссовой или колоколо¬
образной кривой (рис. 5-16). Такой сигнал может быть аналитически
записан в виде
хц)=е-а2(*-п> е2^.	(5-15)
Оказывается, что эта форма записи инвариантна по отношению к пре¬
образованию Фурье, т. е. преобразование Фурье для сигнала (5-15)
имеет тот же вид:
х (ш) =<?-(“) e-wu.	(5-16)
Реальный сигнал может иметь синусоидальное или косинусоидальное
заполнение колоколообразного импульса (рис. 5-16).
157

Как уже отмечалось, практически ограничение сигнала по длитель¬
ности /0 и полосе частот fc носит условный характер. Малыми значениями
сигнала часто можно пренебречь, так как составляющие, например,
на больших частотах не представляют интереса (не будут пропущены
фильтром). Практически сигнал можно наблюдать только в течение
f	конечного	интервала	времени.
Поэтому сигнал при значе¬
ниях времени, больших некот
торого tQy можно считать рав¬
ным нулю.
fa
1
I г
I I
—I T-
I I
—4—
I I
--i—e
 I I
I Y//
	,	f—
I I
—I
I I
НП
I
_T-
I
I
__L_
I
I
"T"
I
t
Рис. 5-17. Пояснение
квантами информации.
158
к передаче сигнала
5-4. ПЕРЕДАЧА
СООБЩЕНИЯ
КВАНТАМИ
ИНФОРМАЦИИ
Допустим, задано какое-то
сообщение или сигнал, огра¬
ниченный полосой fc и дли¬
тельностью (0 (рис. 5-17). Тре¬
буется передать его тем или
иным способом. Ниже будет
изложен метод Габора, кото¬
рый иногда называется мето¬
дом информационных ячеек
или фильтром Габора.
Разделим прямоугольник
(/с, t0) на (/, t)-плоскости эле¬
ментарными ячейками единич¬
ной площади А/А/ (рис. 5-17,а).
Значения А/ и А/ можно вы¬
бирать различными, лишь бы
их произведение равнялось

единице. В частности, можно выбрать Д/ = t0y тогда Д/ = l/tQ и сиг¬
нал будет передаваться дискретными отсчетами по частоте с амплиту¬
дами гармоник сигнала, кратными Д/ = l/t0 (рис. 5-17, б). В другом
крайнем случае можно принять Д/ = /с, тогда Дt = 1 lfc. Двойка
в знаменателе этой формулы отсутствует по сравнению с формулой
Щеннона — Котельникова, так как в данном случае ширина спектра
равна fC) а в формуле Шеннона — Котельникова 2/с. В этом случае
сигнал будет передаваться дискретными значениями во времени, от¬
стоящими друг от друга на интервал Ы = 1 lfc (рис. 5-17, в). В обоих
случаях непрерывное сообщение передается квантами: в первом слу¬
чае передаются дискретные значения временной функции, во втором —
дискретные значения по частоте. Возможен третий промежуточный
случай, когда Д^ Ф t0 и Д/ Ф\СУ но Д/Д/ = 1 (рис. 5-17, а), и сообще¬
ние передается своими значениями, дискретными, как по частоте, так
и по времени.
Сообщение передается квантами, каждому кванту соответствует
квадрат на (/, /)-плоскости единичной площади. Естественно (как пред¬
лагает Габор), каждый квант следует передавать с помощью самого эко¬
номичного сигнала: гармонической составляющей (синусоидальной
или косинусоидальной), промодулированной колоколообразным им¬
пульсом [формулы (5-15) и (5-16)]. Значения t° и /0 в этих формулах
определяются положением соответствующего квадрата на (/, ^-пло¬
скости. Амплитуда импульса определяется значениями временной
и частотной зависимостей сигнала, соответствующих данному квадрату-
кванту сообщения.
Глава шестая
КОЛИЧЕСТВО ИНФОРМАЦИИ И ЭНТРОПИЯ
СООБЩЕНИЙ
В классической теории информации известно по крайней мере два
определения количества информации. Оба определения очень близки
между собой, принципиальное различие между ними появляется лишь
при попытке ввести смысловое содержание информации. Первое опре¬
деление (по Хартли) использует комбинаторный подход, второе (по
Шеннону) распространяет на передачу и переработку информации
вероятностную точку зрения. Чем больше неопределенности в приня¬
том сообщении, тем больше информации в нем содержится. Поэтому
количество информации определяют следующим образом:
Вероятность данного события
после поступления сообщения на
Количество = j	вход	приемника
информации	Вероятность	данного события
до поступления сообщения на
вход приемника
159

Если шумы отсутствуют, то можно считать, что вероятность данного
события после поступления на вход приемника сообщения о нем равна
единице, т. е.
Количество информации
(в отсутствие шумов)
За основание логарифма принимают чаще всего цифру 2, но иногда
используются также десятичный и натуральный логарифмы [Л. 47,
48, 50—54].
Для измерения количества информации введена специальная еди¬
ница измерения, которая называется бит (bit) информации. Коли¬
чество информации <& в битах равно правой части приведенных выше
равенств. Так, при наличии двух равновероятных событий в отсутст¬
вие шумов
Сообщение, как правило, набирается или составляется из символов
или элементов: буквенного алфавита, цифр, слов или фраз, названий
цвета, предметов и т. д. Обозначим общее число символов в алфавите
через т. Если сообщение формируется из двух независимо и равно¬
вероятно появляющихся символов, то нетрудно видеть, что число воз¬
можных комбинаций равно т2. Действительно, зафиксировав один
из двух символов сообщения (п = 2) и комбинируя его со всеми воз¬
можными т символами алфавита, получим т различных сообщений.
После этого фиксируем следующий символ алфавита и снова его ком¬
бинируем со всеми символами алфавита, получим еще т сообщений.
С учетом предыдущего имеем 2т сообщений. Продолжив этот процесс
до тех пор пока будет зафиксирован последний из т символов алфа¬
вита, получим всего тт = т2 сообщений. В общем случае, если сооб¬
щение содержит п элементов (п — длина сообщения), число возможных
сообщений
Пример 6-1. Предположим, имеется набор из трех букв А, В, С, а сообщение
формируется из двух.
Согласно формуле	(6-1)	число возможных сообщений будет	АА,	BA, СА, АВ,
ВВ, СВ, АС, ВС, СС,	т. е.	N = З2 = 9.
Однако нетрудно видеть, что выражение (6-1) неудобно брать в ка¬
честве меры количества информации, так как, во-первых, если все
множество или ансамбль возможных сообщений состоит из одного
сообщения (N — 1), то	информация в нем	должна	отсутствовать,
во-вторых, если	есть	два независимых	источника	сообщений,
каждый из которых имеет в своем ансамбле NL и N2 сообщений,
= — log2 ~2 = Г бит.
6-1. КОМБИНАТОРНОЕ ОПРЕДЕЛЕНИЕ КОЛИЧЕСТВА
ИНФОРМАЦИИ ПО ХАРТЛИ
(6-1)
160

то общее число возможных сообщений от этих двух источников
N = N±N2f
т> е. является произведением, тогда как количества информации
должны складываться, и общее количество должно быть прямо про¬
порционально числу символов в сообщении. Поэтому за количество
информации берут логарифм числа возможных сообщений
Q? — log N = п log 171.	(6-2)
По существу при выводе этого соотношения считалось, что появ¬
ление символов в сообщении равновероятно и они статистически неза¬
висимы. Чаще бывает наоборот. Так, в русском языке одни буквы
встречаются чаще, другие — реже, после согласных, как правило,
следуют гласные. Очевидно, в этом случае информации будет меньше.
6-2. ВЕРОЯТНОСТНОЕ ОПРЕДЕЛЕНИЕ КОЛИЧЕСТВА
ИНФОРМАЦИИ ПО ШЕННОНУ
Как правило, при приеме по телеграфу после первых слов можно
с достаточной точностью предсказать следующие слова. Поэтому го¬
ворят о взаимосвязи элементов в сообщении. Связь понимается в ве¬
роятностном смысле, т. е. существует условная вероятность появления
(при данном алфавите) символа А вслед символу В:
Р{А\В\.
Так, в русском тексте после гласной не может следовать мягкий знак
или подряд четыре гласные буквы, т. е. условная вероятность равна
нулю. Если понятно, какие символы последуют дальше, сообщение
представляет мало интереса и содержит меньше информации, чем оно
содержало бы, если бы взаимная связь его элементов не была оче¬
видна. В качестве примера взаимных связей можно привести прямой
порядок слов в предложении, согласно которому после подлежащего
должно следовать сказуемое: если принимается сообщение «Весна
пришла», то достаточно принять «Весна при...» и прием следующих
символов уже не добавит информации. Это свойство сообщений харак¬
теризуется величиной, называемой избыточностью.
Количество информации может уменьшаться также из-за того, что
в силу особенностей языка различные символы с разной вероятностью
появляются в тексте сообщения. Так, на 1000 букв приходится сле¬
дующее количество повторений:
Английский язык	Русский	язык
Буква
Частота
Буква
Частота
повторения
повторения
Е
131
О
110
Т
105
Е
87
А
86
А
75
О
80
И
75
N
71
Т
65
R
68
Н
65
I
63
С
55
б Основы кибернетики
161

Так, свойство буквы Е в английском языке встречаться чаще буквы /
позволяет предсказывать, предопределять сообщение, т. е. неравно¬
вероятное, неравномерное появление символов в сообщении (если,
конечно, оно заранее известно) уменьшает количество сведений, ко¬
личество информации в принимаемом сообщении.
Современный развитый язык насчитывает в своем составе до 100 тыс.
слов. Однако не все они одинаково часто употребляются. В среднем
достаточно знать несколько тысяч слов, чтобы изъясняться. Слова
в языке также обладают разной вероятностью появления. Очевидно,
что неравномерное распределение вероятностей появления отдельных
слов в языке (максимум одних и минимум других) также уменьшает
количество информации, так как можно предсказать появление тех
или иных слов в сообщении.
Так же как в теории вероятностей, в теории информации к вероят¬
ности возможны два подхода. В первом случае, который эквивалентен
усреднению по времени, рассматриваются бесконечно длинные (а прак¬
тически просто длинные) сообщения. В процессе наблюдения во времени
за длинным сообщением исследуется статистика появления отдельных
символов или их комбинаций. Во втором случае рассматривается мно¬
жество (теоретически бесконечно большое) конечных сообщений и стати¬
стические характеристики определяются путем усреднения по ансамблю
сообщений. При этом всегда предполагается, что число сообщений
(или символов) такое большое, что применим закон больших чисел.
Приведем простейший вывод выражения для количества информации,
предполагая отсутствие связей элементов. Пусть имеем алфавит, сос¬
тоящий из ш элементов (символов) hlf Л2, ..., hit ..., hm. Вероятности
появления этих элементов в сообщении соответственно равны р1у р2,...
..., ph ..., рт. Составим из этих элементов сообщение, содержащее п
элементов. Среди них будет ^ элементов hu я2 элементов ft2, •••> пт
элементов hm. Вероятность появления каждой комбинации из п эле¬
ментов выразится произведением вероятностей отдельных элементов,
так как предполагается, что появление каждого элемента есть независи¬
мое событие. С учетом повторяющихся элементов вероятность некото¬
рого сообщения
т
р=р>пг-рУ=Пр"{>
1 = 1
вероятность появления i-ro символа
Можно считать, что все N возможных сообщений (все перестановки)
равновероятны. Поэтому
откуда число возможных сообщений
162

Логарифмируя, получаем количество информации в сообщении длиной
п при неравновероятности его элементов:
т
3 = log N = — л 2] Pi log Pi.	(6-3)
1 = 1
Можно дать другой вывод этой формулы. Число сообщений можно за¬
писать в виде
N-.
В данном случае предполагается, что число элементов в сообщении я
всегда больше числа символов в алфавите m, я > т. Кроме того, счи¬
тается, что в сообщении присутствуют все символы алфавита (хотя
бы с малой вероятностью). В этом состоит основная особенность вероят¬
ностного рассмотрения. Поэтому общее число сообщений может быть
найдено как число возможных перестановок я элементов я!. Однако
из этого, количества следует исключить число перестановок одинаковых
между собой символов, которое равно:
т
иМ! ... nm\ = PJ лг1.
1 = 1
По формуле Стирлинга при я большом
log (я!) ti log л — я я log л.
Эта формула дает хороший результат при л > 100. С другой стороны,
т	т
log N = log л! — log Л;! = Л log Л — У] Л; log щ —
i = 0	i	=	0
т	т
= л log л - У] Pitt log pi - Pitt log л;
1=1 1 = 1
m
N = П log Я — Pin log Pill.
i = l
Учитывая, что
получаем:
2 А-я log я = я log я,
3 = log N = — л 2] pi log
1 = 1
Пример 6-2. Имеются символы а, в, с.. В этом случае т= 3, пх = 2, щ = 3,
ti3= 1, п = 2 + 3 + 1 = 6. Возможные сообщения будут выглядеть следующим
образом: 1 — аааввс; 2 — ваавввс; 3 — вваас; 4 — ввваас; ... Общее число сообще¬
ний
N =	—	•
пг1 п2\ п3\ ’
6!	5-4-3-2
2! 31 II	2	_
Отсюда при длине сообщения п = 6 количество информации будет равно:
£7 = log., 60 ^ 6 бит,
6*	163

Из формулы (6-3) нетрудно получить формулу (6-2) для случая рав¬
новероятных событий, надо только положить все pt = 1/т. Если веро¬
ятность какого-нибудь элемента равна единице, а остальных нулю, то
количество информации равно нулю, так как очевидно, что никакой
информации сообщение не имеет, т. е. в этом случае заранее известно,
что придет символ, вероятность которого равна единице. Наоборот,
в случае pi = 1/m ситуация наиболее неопределенная и сообщение
содержит максимальное количество информации.
6-3. ПОНЯТИЕ ЭНТРОПИИ
Количество информации на один символ сообщения носит название
энтропии
т
Н = Т= “2 Pil°SPi-
i = \
Энтропия характеризует данный ансамбль сообщений с заданным
алфавитом и является мерой неопределенности, которая имеется в ан¬
самбле сообщений. Действительно, длина сообщения п имеет в извест¬
ном смысле второстепенный характер: можно посылать длинные или
короткие телеграммы, сочинять длинные или короткие стихотворные
произведения, писать маленькие или большие полотна. Главное — оп¬
ределить, узнать статистические свойства данного ансамбля сообщений
независимо от длины сообщения. Например, интересно узнать статис¬
тические особенности ансамбля стихотворных произведений Лермон¬
това, музыкальных произведений Бетховена. Одним из таких пара¬
метров, которые характеризуют свойства ансамбля сообщений, и яв¬
ляется энтропия.
Можно говорить об энтропии не на отдельный символ, а на п сим¬
волов, где п = const для всех сообщений. В этом случае, очевидно, что
понятия энтропии и количества информации совпадают. Чем больше
энтропия, тем больше информации несет, в себе сообщение.
а)	Понятие энтропии при наличии связей
между элементами
Предположим теперь, что'помимо неравновероятности появления
элементов в сообщении имеется вероятностная связь между их появ¬
лениями (например, вероятность появления мягкого знака после глас¬
ной буквы равна нулю). Считаем, как и раньше, что число символов
в алфавите т, заданы вероятность pt появления в сообщении i-го сим¬
вола, а также условная вероятность р (/ | i) появления /-го символа
после /-го. Допустим, что символ / задан, т. е. известно, что с вероят¬
ностью, равной единице, этот символ присутствует в сообщении. Тогда
согласно ранее выведенному выражению энтропия такого ансамбля
сообщений
т
Ht= Е р (/' 10 log р UI 0.
/ = 1
164

ибо при заданном i-м символе вероятность появления символа / в сооб¬
щении будет р (/ | i). Но на самом деле символ i появляется в сообще¬
нии с вероятностью ph Величину Я; можно рассматривать как слу¬
чайную,•зависящую от номера i. Так как элемент i появляется в сооб¬
щении случайно, то и эта величина тоже будет случайной. Вероят¬
ность появления ее также равна pt. За энтропию сообщения принимают
среднее математическое ожидание величины Я*. По определению
имеем:
т т.
Нг = — 2 Pi 2 Р (/ I 0 log р (/ | i)	(6-4)
i = i /=1
• г JTTT	tTl ТП
й*=2 2 p(i, i)iogp(/io.
i = 0 / = о
так как вероятность одновременного появления символов i и /
p(i, j)=p(t)p(j\i).
Если элементы сообщения равновероятны pt = 1/m, то энтропия
таких сообщений
H--^2Zpiili)]ogpUli)-	(6'5)
i /'
Нетрудно видеть, что при взаимосвязи символов энтропия меньше,
чем без нее. Действительно, положив в предыдущей формуле Pij = ph
получим:
т
Hi = — 2 fttogp*.
1 = 1
Можно распространить формулы (6-4) и (6-5) на случай, когда име¬
ется	связь	не	только между парами символов, а между	п	символами,
где п> 2.	Тогда	для описания ансамбля сообщений	используется ма¬
тематическая модель сложномарковской, а не простейшей марковской
поел едовател ьности.
С помощью рассмотренной процедуры были подсчитаны энтропии
сообщений в русском и английском языках с учетом различной степени
статистической связи между буквами. Предлагаем результаты этого
расчета:
Русский язык	Английский	язык
Я0 = 5	Я0	=	4,72
Я1 = 4,31	Ях	=	4,0
Я2 = 3,5	Я2	=	3,3
Я з = 2,98	Я3	=	3,08
Я8 = 1,98
Для русского языка считалось т = 32, е = ё, ь = ъ и один символ за¬
нимался под промежуток (интервал) между'словами. Для английского
языка подсчет был такой же, только т = 27, причем считалось, что
165

имеется 26 букв и один промежуток. Основание логарифмов равнялось
двум, #0 соответствовало случаю равновероятных и независимых друг
от друга символов, Нх — случаю разновероятных независимых сим¬
волов и т. д.
Пример 6-3. Пусть имеется всего два элемента а и Ь, так что т — 2.
Рассмотрим случай первый, когда элементы зависимы друг от друга и неравно¬
вероятны.. Вероятности их появления найдутся как
р (а) = 3/4; р (Ь) = 1/4; р (а \ Ь) = 1;
р(а\а) = 2/3; р (Ь | а) = 1/3; р (Ь \ Ь) = 0,
используя формулу (6-4), получаем:
Я2 = 0,685.
Рассмотрим второй случай, когда элементы независимы, но неравновероятны;
р (а) = 3/4; р (Ь) = 1/4
”	Нх = 0,815.
Наконец, для случая, когда все символы равновероятны и независимы,
Н0 = log т = log2 2=1.
Ка^ и следовало ожидать, максимальное значение энтропии получается в послед¬
нем случае, минимальное — в первом.
б)	Термодинамическая и информационная
энтропии
Термин «энтропия» заимствован из термодинамики и статистической физики.
Известно, что движения молекулы в жидкостях и газах подчинены вероятностным
законам распределения. Для характеристики состояния системы, состоящей из моле¬
кул, вводят понятие энтропии. Формула для нее имеет тот же вид, только под вели¬
чиной pi понимается вероятность существования в некотором состоянии i-й под¬
системы исходной системы. Так же как и в теории информации, в статистической
физике эта величина является мерой необратимости процесса преобразования тепло¬
вой энергии в механическую. Если процесс обратимый, то его энтропия равна нулю.
В необратимых процессах величина энтропии определяет энергию, потерянную без¬
возмездно при ее преобразовании.
В теории информации имеют место такие же закономерности, что и в термодина¬
мике [Л. 50]. Наибольший интерес с точки зрения теории информации представляет
статистическая трактовка второго начала термодинамики, данная Больцманом:
во всякой изолированной системе происходят такие изменения, которые приводят
систему к ее наиболее вероятному состоянию.
Аналогичные закономерности имеют место в кибернетике при исследовании
больших систем. Так, работа телефонной сети города может быть исследована как
набор систем массового обслуживания, и такая большая система стремится к наи¬
более вероятному состоянию. Необратимые процессы в замкнутых системах при¬
водят к наиболее вероятному состоянию, при этом возрастает энтропия, которая
становится максимальной в равновесном состоянии системы. Поэтому вполне есте¬
ственно предположить, что энтропия является функцией вероятности состояния
системы, т. е.
5 = / (р).
Можно показать [Л. 50], что
5= — К In р + const.	(6-6)
Величину К достаточно определить для любого частного случая, так как для всех
систем она должна иметь одно и то же значение:
/< = jj- = 1,38 • 1СГ23 дж'град,
166

т> е. равна постоянной Больцмана. Теперь, если в формуле (6-6) положить аддитив¬
ную постоянную равной нулю, то выражения для термодинамической 5 и информа¬
ционной Н энтропий совпадут с точностью до множителя, т. е.
S = — К 1п/? = — Ка lga/7,	а = 1п 2;	(6-7)
tf = -lg2p.	(6-8)
Разницу в множителях можно рассматривать как результат разных единиц измере¬
ния термодинамической и информационной энтропий. Если число	возможных состоя¬
ний в	системе	N	и все они равновероятны, то /V =	1/р и формулы	(6-7)	и (6-8)	пере¬
пишутся в виде
S = I<\n N;
Н = lg2 /V.
Иногда в физике величину N называют числом популяций в системе (числом микро¬
состояний).
в)	Энтропия непрерывных сообщений
Прежде всего энтропию непрерывных сообщений можно ввести
сведением непрерывных сообщений к дискретным с помощью теоремы
Котельникова. Однако имеется и другой способ, о котором речь пой¬
дет ниже. Строго говоря, энтропия непрерывных сообщений равна
бесконечности, так как бесконечны количество возможных сообщений
р(х)
Л
W

X
Хк —
АХ'
X,
~ h+f
Рис. 6-1. Замена непрерывного сообщения соответствую¬
щим дискретным.
(мы имеем дело с континуумом), его логарифм и неопределенность вы¬
бора значений случайной величины.
В случае непрерывных сообщений роль функции распределения
их вероятности играет плотность распределения вероятности р (х).
Можно считать, что эта функция, так же как величина х, безразмерна:
всегда можно свести размерную величину х к безразмерной х, поде¬
лив ее на масштабный множитель х0, т. е.
Заменим непрерывное сообщение соответствующим дискретным,
введя процесс квантования (рис. 6-1). Дискретная квантованная ве¬
личина характеризуется распределением, в котором вероятность k-ro
167

состояния определяется как
Рк = $ р мdx ■
Ах
2
Ах
При стремлении Дх в пределе к нулю получим исходный непрерывный
сигнал. Поэтому рассмотрим энтропию этого квантованного сигнала,
которая, очевидно, будет зависеть от Дх, после чего устремим -Дх к нулю
и получим искомое выражение для энтропии непрерывного сигнала:
Н(*Х) = - £ РкЫРк = - Z
k = — 00	k	=	—	оо
, Ах
?k+—
§ р (х) dx
Ах
X
xlog
Ад:
Т
^ р (х) dx
Ах
При достаточно малой Ах и гладкой функции р (х) можно считать, что
xk+~2
$	p(x)dx = p (xk) Ах,
Ах
поэтому
lim Я(*л:)я»Пт!— 2 р (xh) Ax\g[p {xk) АхЦ =
&x->Q	'	,	I	_оо	)
= lim j— |] p(Jcft)[lgp(A:ft)]AJ+ lim I—J] PW [lgAxJ Ax) =
Д*-о { fto	J	Д*~о I "	J
ОО	Г	00	1
= — \ P (x) !gP (x) dx + Jim ]— [lg Ax] 2 P {xk) Ax\ =
(6-9)
Дл:-*0
= — \ p (x) lg p (x) dx — lim lg Дх.
A*-*0
Как и следовало ожидать, энтропия квантованного сигнала стремится
к бесконечности при Ах 0.
Таким образом, непрерывные сигналы-сообщения не имеют аб¬
солютной меры энтропии. Поэтому для них вводят понятие относитель¬
ной энтропии (неопределенности). В качестве эталона чаще всего вы¬
бирается непрерывный сигнал х', имеющий равномерный закон рас¬
пределения в интервале е. Формула (6-9) для такого сигнала перепи¬
шется в виде
lim Я (х') = lg е — lim \gAxf
Ах-кО
Ах-* О
168

так как
00	8
р (х’) dx = \i dx' = г.
— оо	О
Неопределенность непрерывной величины л: характеризуется чис¬
лом, к которому стремится разность энтропий сигналов *л; и х':
Не(х)= lim [Н(*х)-Н(х')] =
Ах-+0
оо	оо
= — 5 р(х) lgp(x) dx— lg е = $ р (х) lg гр (х) dx. (6-10)
— 00	—00
Если положить е = 1 (т. е. стандартная величина имеет равномерный
закон распределения в единичном интервале), то формула (6-10) пере¬
пишется в виде
оо
НгЛ(х) = — 5 p(x)\gp(x)dx.
— 00
Это выражение не означает, что получена абсолютная мера энтропии
непрерывного сигнала. Следует помнить, что это — относительная
энтропия, где за стандарт взята равномерно распределенная в единич¬
ном интервале величина. Иногда величину Не_1 (х) называют диффе¬
ренциальной е-энтропией й часто опускают индекс е = 1.
г)	Экстремальные свойства энтропии
непрерывных сообщений
Представляет интерес решение следующей задачи. Задан какой-то
ансамбль сообщений или сигналов, о котором известны некоторые па¬
раметры. Например, пределы изменения, дисперсия, математическое
ожидание. Требуется подобрать такой закон распределения этого ан¬
самбля, при котором энтропия была бы максимальной. Можно дать
две физические интерпретации принципа максимальной энтропии.
К примеру, требуется'создать помеху каналу связи противника, чтобы
создать в нем максимум неопределенности. Очевидно, что наилучший
эффект будет достигнут при заданных параметрах, если будет выбран
такой закон распределения помехи, при котором энтропия принимает
максимальное значение.
Второй пример можно привести из области задач, которые в мате¬
матической статистике объединяются под названием «критерии согла¬
сия». На практике очень часто встает задача подбора наилучшего
в известном смысле закона распределения случайного сигнала, о ко¬
тором известны некоторые данные, упоминавшиеся выше. В данном
случае предлагается критерий максимальной энтропии. В этом слу¬
чае гарантируется отсутствие субъективизма, так как из всех законов,
которые обладают заданными параметрами, выбран такой, который
обеспечивает максимум неопределенности.
169

Первый случай. Рассмотрим ограниченную на интервале \а> Ъ] не¬
прерывную случайную величину с неизвестной плотностью распре¬
деления р (х), причем
ь
^p(x)dx=* 1.	(6-11)
о
Требуется найти аналитическое выражение для . функции р (я), ко¬
торое дает максимум энтропии, задаваемой выражением
ь
Н (х) = — ^р (х) lg р (х) dx.
а
Согласно вариационному исчислению в соответствии с формализмом
Лагранжа —Эйлера необходимо составить дифференциальное урав¬
нение Эйлера относительно подынтегральной функции F (.х, р),"входя¬
щей в функционал, который подлежит минимизации
b	ь
\F [х, р {x)\dx — ^[— р (х) lg р (х) + кр (х)] dx.
а	а
Соответствующее уравнение Эйлера может быть записано в виде
«iiiJ-i-i-igp+ij-o.
Отсюда
р = ехр (Я — 1).
Используя соотношение (6-11), получаем уравнение для определения
неизвестной постоянной X в виде
ъ
^ exp (X— 1) dx = [ехр (Я — 1)] (6 —а) = 1.
а
Поэтому
О,	х с а;
1	а^Ь;
? — а'
О, х>Ь.
Тем самым получено уже известное положение, что для ограниченной
на конечном отрезке случайной величины максимальная энтропия по¬
лучается при равномерном распределении (факт, известный для слу¬
чая дискретных сообщений). Очевидно, это свойство является неко¬
торым оправданием для выбора в качестве эталонного сообщения при
введении дифференциальной энтропии, имеющего равномерный закон
распределения в интервале квантования г.
Второй случай. Будем считать., что область изменения случайной
величины неограниченна:—оо ^ х ^ оо, задано среднее значение
х = а и дисперсия (х — а)2 = а2. Требуется найти закон распреде-
170

ления р (х), при котором функционал, равный энтропии, обращается
в максимум
при условиях
Н(х) — — § р (х) \og р (х) dx = max
— ОО
00
§ (х — а)2 р (х) dx = о2;
— оо
оо
^ xp(x)dx=a\
— ОО
ОО
§ р (x) dx = 1.
(6-12)
(6-13)
(6-14)
(6-15)
Вводя неопределенные множители Лагранжа А,,, Я2, А3, получим урав¬
нение для определения искомой функции р (х) в виде
— 1 — log р + (х — а)2 + Я2х + А3 = О,
откуда
р = ехр [Я,1 (лг — a)2 + A2x-f А3 — 1].	(6-16)
Используя условие (6-15), получаем:
ОО	оо
$ pdx — exp (Х3 — 1) $ ехр [Ах(х —о)2 + А2х] <2х= 1.
— ОО	—	00
Из этого соотношения следует, что для сходимости интеграла пере¬
менная должна быть отрицательная. Поэтому, используя таблицы
интегралов [Л. 55], получаем:
00	оо
$ ехр [Ад. (х — а)2 + А2х] dx = exp (Я2а) $ exp (Хгу2 -ф Х2У) dy =
— 00	— оо
= exp (А2а) exp ( -	j/~zr£ •	(6-17)
Отсюда
Соотношение (6-13) с использованием (6-16) и (6-17) после неслож¬
ных преобразований примет вид:
ехр (А3 - 1) = У ехр	- А2а
1
— A.J V п
Vn , AJVк . К с
2	4	(-	Яа)	2	V^Ti	'
е г dz
= а3.
(6-18)
Для ограниченности левой части этого соотношения А2 — 0. Поэтому
^1	2о2-
171

Окончательно соотношение (6-16) запишется в виде
(6-19)
т. е. экстремальное распределение является нормальным распреде¬
лением.
Аналогичным образом можно показать, что для случайной вели¬
чины х, ограниченной положительной полуосью 0 ^ х ^ + оо, эк¬
стремальным распределением будет экспоненциальное распределение
р(*) = 1ехр(-£),	(6-20)
где а — математическое ожидание х.
д)	Энтропийная мощность непрерывных
сообщений
Покажем, что дифференциальная энтропия белого нормального
шума при 8=1 на один отсчет определяется по формуле
Н = \og2]/r2neo2=\og2}f2neS1,	(6-21)
где е — основание натуральных логарифмов; а2 — дисперсия белого
шума; = о2 — средняя мощность белого шума на единичную поло¬
су. Считается, что для белого шума а2 = SJc.
Один отсчет понимается таким образом, что непрерывный по вре¬
мени сигнал заменяется дискретным по времени сигналом с интервалом
дискретности, определяемым в соответствии с теоремой Котельникова:
Т = 2-^,	(6-22)
Тс
где fc — ширина спектра непрерывного сигнала (амплитудами состав¬
ляющих сигнала, имеющими частоты выше этой частоты, можно пре¬
небречь), т. е. заменяем непрерывный сигнал с шириной полосы fc
на интервале t0 дискретными значениями, число которых подсчиты¬
вается по формуле Котельникова:
Л^ = | = 2/Л.	(6-23)
Докажем формулу (6-21). Для нормального сигнала х плотность рас¬
пределения вероятности определяется по формуле .
р (*)=
х2
'2а2
У 2л а
Отсюда, логарифмируя, получаем:
— log р (лг) = log V2n о +	.	(6-24)
172

По определению энтропии непрерывных сообщений (а точнее, диффе¬
ренциальной энтропии при е = 1) имеем:
Н(х) = — ^р (х) log p{x)dx = \p (х) log V 2я a dx +
+ § Р М S dx = 1°ёУ2й<У + -2^ = logV2jxo + log Ve = log V2neo2.
(6-25)
Тем самым формула (6*21) доказана. В соотношениях (6-25) исполь¬
зована формула (6-24) и следующая формула, определяющая дисперсию:
о2 = J р (х) х2 dx.
По теореме Котельникова [формула (6-23)] среднее число отсчетов или
степеней свободы сигнала с шириной спектра составляет 2fc в 1 сек.
Поэтому энтропия рассматриваемого сигнала на единицу времени
равна:
H1 = fc\og2neS1.	(6-26)
Энтропийная мощность Sx произвольного случайного сигнала, имею¬
щего ширину спектра fc и энтропию Нъ определяется как средняя
мощность белого нормального шума с такой же полосой пропускания
и с такой же энтропией на степень свободы, т. е.
■5, = ^"..	(6-27)
Здесь просто перевернуто выражение (6-21), т. е. хотя процесс не имеет
нормального распределения, заменяем его эквивалентным сигналом
(с нормальным законом) и считаем, что справедливо соотношение (6-21).
Рассмотрим некоторые свойства энтропийной мощности. Энтро¬
пийная мощность 6*! случайного сигнала с произвольным законом
распределения не превышает его действительной средней мощности Sl9
т. е. S± ^ Slf так как при заданной средней мощности (дисперсии)
нормальный процесс обладает максимальной энтропией, если этот
процесс	х	изменяется	от	— оо до + оо. Пусть	п± — сигнал	с нормаль¬
ным законом	распределения, а п — сигнал	с	произвольным	законом
распределения при
' Нп=Нп.	(6-28)
Требуется доказать, что если
Vds'”'4.	<6-29>
ТО
Sni — SnjL — Ghj — Sn ^ On-
Это соотношение следует из того, что нормальный процесс обладает
максимальной энтропией.
173

Это положение позволяет брать в качестве верхней границы энтропий¬
ной мощности действительную мощность сигнала, когда неизвестно
распределение этого сигнала.
Докажем очень важную формулу для энтропийной мощности небе¬
лого нормального шума через его спектральную плотность мощности
S(f):
5 = exp jl
I fc	I
Для доказательства будем считать функцию S (/) дифференцируемой,
за исключением конечного числа точек. Разобьем весь интервал частот
(О, /) на узкие полоски df> в пределах которых можно считать спек¬
тральную плотность постоянной величиной. Будем считать, что исход¬
ный процесс состоит из суммы сигналов белых шумов, имеющих в интер¬
вале lfc f + df) значение средней мощности 5 (/). Величина энтропии
на единицу времени для такого процесса равна:
df log [2neS (/)].
Будем считать, что все эти сигналы независимы друг от друга. Это
положение, конечно, требует своего обоснования. Тогда энтропия
сигнала равна сумме энтропий:
Htc=l\og[2neS(f)}df.	(6-31)
fc
Учитывая, что среднее число степеней свободы процесса с шириной
полосы fc равно 1/2/с, получаем, что энтропия сигнала на одну степень
свободы равна:
^ = 2)7 $ \0g[2neS (f)]df.	(6-32)
Т С
Очевидно, что энтропийная мощность в соответствии с формулами
(6-32) и	(6-27)	может быть записана в виде (6-30). Действительно,
5 = i e'Hl =	i ехР {/; J 1о§ 12яе5 (/)] #}=exp|i j |о§	s'(f) #} -
что и требовалось доказать.
е)	Изменение дифференциальной энтропии при
линейной фильтрации
Допустим, что на вход фильтра с частотной характеристикой У (/)
подается случайный сигнал л: (/). Известно [Л. 28], что спектральные
плотности входного и выходного сигналов связаны соотношением
Sy(f) = \Y(f)\*Sx(f),
где Y (f) — частотная характеристика фильтра; Sx (/) и Sy (/) — спек¬
тральные плотности мощности входного и выходного сигналов. Для
174
/
( log S(f)df\.
(6-30)

энтропии на единицу степени свободы получаем:
Н(у)=^с \ lQg [2JtcS, (/)] df = ± jj log [2iteS, (/) | Y (/) j*] df =
fc
=щ: jj log [2jwSx (/)] d/ + T_ ^ log | У (/) |« df =
fc
= H(x) + ±-^\og\Y(f)\*df.
Отсюда изменение энтропии на степень свободы при прохождении
через фильтр
ДЯ = ^Г$ log| Y(f)\*df. (6-33)
fr
Полученная формула предпола¬
гает нормальные законы распреде¬
ления вероятностей входного и
выходного сигналов. Из формулы
(6-33) следует, что для фильтра из
пассивных элементов | Y (/) | ^ 1
и АН ^ 0. (рис. 6-2, а), поэтому
говорят о потерях информации в
линейных фильтрах. Если линей
ный фильтр содержит усилитель¬
ные элементы (рис. 6-2, б), то энт¬
ропия сигнала может как умень¬
шаться, так и увеличиваться или
оставаться неизменной.
Рис. 6-2. Изменение энтропии сигнала
при прохождении через фильтр.
Глава седьмая
ПЕРЕДАЧА СООБЩЕНИЙ ПО КАНАЛУ СВЯЗИ
7-1. ПОНЯТИЕ ОТНОСИТЕЛЬНОЙ ИНФОРМАЦИИ
Следует заметить, что различие между количеством информации
и энтропией в ряде случаев носит условный характер. Так, если рас¬
сматривать энтропию всех возможных сообщений длиной п, то эта
величина будет совпадать с количеством информации, задаваемой
формулой (6-3). И наоборот, если нас интересует информация на один
символ, содержащаяся в ансамбле сообщений, то эта величина опре^
деляется величиной энтропии этого ансамбля. При передаче сообщений
необходимо дать математическую формулировку данного в начале
второй части определения количества информации как меры снятия
175

неопределенности, которая численно равна разности априорной и
апостериорной энтропий принимаемого сигнала:
^ = Я-Я0,	(7-1)
где Я — априорная, Я0 — апостериорная энтропии. При этом опре¬
делении, которое иногда называется третьим определением количества
информации (имея в виду, что первое — по Хартли, второе — по Шен¬
нону), считается, что информация относится к одному символу сооб¬
щения или энтропия — к определенной длине п сообщения. Это опре¬
деление одинаково справедливо для дискретных и непрерывных сооб¬
щений. В последнем случае вообще трудно установить существенную
разницу между количеством информации и энтропией. Если обозна¬
чить через
Я (х) — энтропию множества передаваемых символов (на входе
канала связи);
Я (у) — энтропию множества принимаемых символов;
Я (х, у)—энтропию множества всевозможных пар (xiy yk)\
Я (х | уи) — энтропию множества отправляемых символов, остав¬
шуюся после приема символа yk\
Я {у | xk) — энтропию множества принимаемых символов при
условии, что известен отправленный символ;
Н (х \ у) и Н (у \ х) — математические ожидания величин Я (л: | yk)
и Я (у | Xi), то в соответствии с формулой (7-1) количество информации
при приеме символа yk определяется по формуле
<&k = Н (х) - Н (х | уь).
Очевидно, что величина k является случайной, и необходимо ее усред¬
нить по всему множеству принимаемых символов, так же как это было
сделано при выводе формулы (6-4):
& = M[&k\ = H{x)--M[H{x\yk)] = H{x)-H{x\y).	(7-2)
Учитывая свойства взаимной плотности распределения вероятностей
двух случайных величин [Л. 21], нетрудно убедиться в справедливости
формулы
Н (х, у) = Н(х)-£Н (у \х) = Н (у) + Н (х |у)	(7-3)
или
Н(х) = Н(у) + Н(х\у)-Н(у\х).
Подставив это выражение в формулу (7-2), получим:
& = Н(у)-Н(у\х).	(7-4)
Формулы (7-2) и (7-4) определяют свойство симметрии, заключающееся
в том, что средняя неопределенность того, какой символ будет полученf
снимаемая	при посылке конкретного символа, равна средней	неопреде¬
ленности того, какой символ был отправлен,	снимаемой	при	приеме
176

символа. С помощью полученной формулы (7-2) нетрудно вывести выра¬
жение для <& (х; у) через соответствующие вероятности
т
<&(х, у) = Н(х)-Н{х\у) = — 2 p(Xi) logp(x,) +
i= 1
mm	.	m m
+ 2 p ы 2 p (*<• I <//e) log p (a i y*)=— 2 p (*/» y*) lo§ p-(**)+
/г = 1	i	= 1	6=1 t=l
mm	mm
+ 2	i/fr)	!°g p (xi \ Ук) = 2 2 p(*h lQg"'p	(7_5)
A = 1 i = 1	A = I i = 1	1
Аналогичным образом, используя формулу (7-4), получаем:
т т
&(х, у)=2 2 р у*>log £Шг'	(7'6)
k = 1 i = !
При этом следует учитывать, что
т	т
2 р (*;. №) = р (xi); 2 р (х,, у и) = р Ы;
k = 1	;=	1
Р (*ь I/a) = Р (Xi | Ра) р (pa) = Р (Ра I *;) Р (*«)•
Оба выражения в правых частях (7-5) и (7-6) могут быть сведены к одной
симметричной форме, если умножить дроби под знаком логарифма
в формуле (7-5) на р (yk), в формуле (7-6) на р (xt) соответственно.
В результате получим:
^ (*. у) - 2 2 Р <*„ у.) log -fifyjftly ■	(7-7)
Аналогичным образом могут быть получены соотношения для
непрерывных сигналов х и у:
& (X, у) = Я8 (х) - М [Яе (х I у)] = Яе (у) - Af [Яе (у I х)] =
= — $ Р (*) l°g Р (*)	- log s + 5 Р (*) [S Р (* I У) 1о§ (х I y)d* + log е] аУ>
&{x, p) = 5 J P(JC, P) log ■pw’p'iyf- dx dy ■	(7-8)
В большинстве теоретических работ используется формула (7-8)
и при этом специально не оговариваются непрерывные или дискрет¬
ные сигналы.
В частности, в формуле (7-8) величину (х, у) можно интерпре¬
тировать, как относительную информацию объекта х относительно
объекта у (или объекта у относительно объекта х), равную разности
априорной и апостериорной энтропий объекта у (или х). Причем оба
объекта могут быть или дискретными, или непрерывными (в последнем
случае используются дифференциальные энтропии с одинаковым
уровнем квантования е).. Один из объектов х может быть дискретен,
а другой у непрерывен. В этом случае формула (7-8) определяет коли¬
чество информации, равное разности априорной и апостериорной
177

энтропий дискретного объекта х или разности априорной и апосте¬
риорной дифференциальных энтропий непрерывного объекта у
&(х, у) = Н(х)-М[Н(х\у)] =
т
= не(у)-м[Не(у\хд]='У1 5 р{Xh у) Xog-fwtWdy- (7'9)
/ = 1 1
Симметрия является важным свойством информации, которое
заключается, в том, что (х'су) одинаковым образом зависит от х и у
и количество информации об объекте х, содержащееся в объекте у,
равно количеству информации об объекте у, содержащемуся в объекте
х. Отсюда можно сформулировать четвертое определение количества
информации: среднее количество информации есть мера соответствия
двух случайных объектов, численное значение которой определяется
формулой (7-8).
7-2. ПРОПУСКНАЯ СПОСОБНОСТЬ КАНАЛОВ СВЯЗИ
Рассмотрим канал связи, представленный на рис. 5-1. На его пере¬
дающий конец подается сигнал х (t), который поступает на вход
приемника в искаженном шумом п (/) виде у (t) [Л. 47, 53]. Введем
понятие пропускной способности канала
связи. Пропускная способность канала
связи определяется как максимальная
величина относительной информации вы¬
ходного сигнала относительно входного:
С= lim (х’ у)-,	(7-10)
t0 —*■ ОО
где о? (х, у) — относительная информа¬
ция, задаваемая формулой (7-8), причем
все сигналы рассматриваются как экви¬
валентные дискретные (рис. 7-1), так
что
Н{у) = Н{уъ у2,	y2fctoyt
Н(п) — Н (пь п2,	n2fctoy,
Н(х) = Н(хъ хг x2fc(o).
Иногда величина V =^ Д назы-
*0
вается скоростью передачи информаций
по каналу связи. Эта величина равна
количеству относительной информации,
передаваемой в единицу времени. За
единицу времени при дискретном канале
связи удобно считать время передачи
одного символа. В этом случае в формулах для скорости передачи
информации понимают энтропии, и количества информации на один
символ. Для непрерывных каналов связи используются две единицы
д
L	г ~
t. 1
		1
жтк ! .
n(t) I
Л
ТУ. ,цуй1~х.1
"№) |
И
1
1
1
Т^ТТТгГГГГ
Рис. 7-1. Пояснения к определе¬
нию пропускной способности
канала связи.
178

измерения или обычная единица (к примеру, секунда), или интервал
/	1	\	и
времени между отсчетами (др, оек^ в этом последнем случае в фор¬
мулах понимаются дифференциальные энтропии на один отсчет (или
степень свободы). Нередко в руководствах специально не указыва¬
ется, какая конкретно из двух единиц применяется. В связи с этим
часто используют другую формулу для средней скорости передачи
информации
Т7_е7(х, у)
V ~ N
где N ^ 2fct0. Если отсчеты независимы, то V =	(х, у). Очевидно,
что с помощью величины V пропускная способность канала связи
может быть определена по формуле
C = max V.
Р (X)
Для энтропии шума можно написать:
И (п) = 2fct0H1 (п),
где
#i (п) = log У2пео'п
— энтропия шума на один отсчет для нормального шума.
Аналогичные формулы можно записать для нормальных сигналов
х и у.
Формулу (7-10) для единицы отсчета можно записать в виде
C = S \р(х’ y)XogTwfkdxdy- (7'П)
Смысл этого определения требуется разъяснить. Отметим, что макси¬
мум здесь взят по множеству распределений вероятности входных
сигналов при неизменном шуме, которое предполагается заданным.
В частном случае это множество распределений может состоять из
одного нормального, как это часто и считается.
Если пропускная способность одного канала связи больше, чем
другого (Сх > С2) при остальных одинаковых условиях, то физически
это означает, что в первом случае совместная плотность распределения
вероятности входного и выходного сигналов больше, чем во втором, так
как с помощью формулы (7-11) нетрудно убедиться, что пропускная спо¬
собность определяется в основном величиной совместной плотности
распределения вероятности. Если относительная информация (или
энтропия) выходного сигнала относительно входного больше, то канал
обладает большей пропускной способностью. Ясно, что если шумы
возрастают, то пропускная способность падает.
Если вероятностная связь выходного и входного сигналов пропа¬
дает, то
Р(х, у) = р{х)р(у)
и в формуле (7-11) логарифм и, следовательно, пропускная способность
становятся равными нулю.
179

Другой случай, когда
р(х, у) = р(х\у)р(у)
стремится к нулю, требует детального рассмотрения, так как log р (х, у)
стремится к — оо. Если р (у) ->■ 0, то
log Р(х’ У) — 1оС Р (* 1 у)
Р (х) Р (у)	р(х) ■
Рассуждения можно продолжить следующим образом. Так как веро-
ятность появления выходного сигнала стремится к нулю, то можно
положить, что вероятность появления сигнала л: не зависит от у, т. е.
и	Р(х\у)	=	Р(х)
s р М р (у)
В этом случае пропускная способность равна нулю, что согласуется
с физической интерпретацией, т. е. если на выходе канала связи не
появляется никакого сигнала [ни полезного х (t), ни шумов п (/)],
это означает, что в канале есть «пробка» (разрыв). Во всех остальных
случаях пропускная способность отлична от нуля.
Естественно определить пропускную способность канала связи
так, чтобы она не зависела от входного сигнала. Для этого введена
операция максимизации, которая в соответствии с экстремальными
свойствами энтропии чаще всего определяет входной сигнал с нор¬
мальным законом распределения. Покажем, что если л; (/) и п (t) неза¬
висимы и у (/) = х (t) + п (/), то
&(х, у) = Н (у) -Н (п),	(7-12)
где Н (у) и Н (п) — дифференциальные энтропии принимаемых сиг¬
нала и шума. Условие (7-12) означает линейность канала связи в том
смысле, что шум просто добавляется к сигналу как слагаемое. Оно
непосредственно следует из
&(х, y) = H(x)-H(x\y) = H(jf)-H(jy\x).
Так как х и п статистически независимы, то
Н(у\х) = н{^) = Н{х\х)-Н(п\х) = Н(п).
Подставив это соотношение в предыдущее, получим (7-12). Очевидно,
если шум аддитивен и не зависит от входного сигнала, то максимальная
скорость передачи сообщений по каналу связи (максимальная пропуск¬
ная способность) достигается при max Н (у)у так как
р(х)
С = max	(х, у) = max {Н (у) — Н (п)} = max Н (у).	(7-13)
Р (х)	р {X)	р (X)
Рассмотрим гауссов канал связи, исходя из следующих предполо¬
жений: ширина полосы частот канала ограничена частотой /с; шум
в канале — нормальный белый со средней мощностью на единицу
полосы Sn = Sn2'y средняя мощность полезного сигнала Рх\ сигнал
180

и шум статистически независимы; выходной сигнал равен сумме по¬
лезного сигнала и шума.
Очевидно, что в соответствии с формулой (7-4) пропускная спо¬
собность такого канала определится как
С = max [Н (у) — Н (л)].
Далее согласно первым двум условиям имеем для энтропии на
единицу времени (t0 = 1)
Н (n) = F log 2neSnfc.	(7-14)
Так как сигнал и шум статистически независимы, то они не корре-
лированы между собой, поэтому средняя мощность суммарного сигнала
Py = Px + Snfc = Px + Pn,
В соответствии с формулой (7-13) необходимо найти максимум
энтропии сигнала у (t) на один отсчет при заданной средней мощности.
В силу экстремальных свойств энтропии (см. гл. 6) сигнал у (t) дол¬
жен быть распределен нормально. Белый шум S1 в полосе fc эквива¬
лентен сигналу в этой же полосе со спектральной плотностью S, если
равны их средние мощности, т. е.
P = S1fc = \S(f)dfc = o2.
fc
Действительно, для нормального сигнала была доказана формула
для энтропии на один отсчет
Н = log ~\/~ 2лео2,
из которой видно, что характер сигнала (белый шум или нет) здесь
безразличен, важна только дисперсия. Из физических соображений
очевидно, что энтропия белого шума будет максимальной при прочих
одинаковых условиях (законе распределения), так как в белом шуме
отдельные отсчеты независимы. При этом неявно предполагается,
что непрерывный сигнал заменяется эквивалентным дискретным сиг¬
налом, отсчеты которого независимы. Поэтому можно считать, что
сигнал у — белый шум в полосе fc. Из формулы
y(t) = x(t) + n(t)
следует, что и сигнал х (t) имеет вид белого шума. Обозначив
запишем:
шах Я (у) = fc log 2ле (Sxfc + Snfc)	(7-15)
р м
и, вычитая из формулы (7-15) формулу (7-14), получаем:
C = fe log(l + £) = fclog(l+^).
Это — формула Шеннона для пропускной способности, реализуемой
в гауссовом канале связи. Практически пропускная способность всегда
181

меньше главным образом из-за различных статистических свойств
сигнала и помех.
Передача сообщений возможна и в случае, когда Рп >* Рх,только
пропускная способность будет мала. В случае малого отношения сиг¬
нал/шум можно функцию логарифма разложить в ряд Маклорена
л ~	*2	Г
log л: = JC —2“ + • • •»
в результате
с = /е^.
г п
т. е. при малом отношении сигнал/шум пропускная способность про¬
порциональна этому отношению. При большом отношении сигнал/шум
C = fc log ,
г п
т. е. пропускная способность пропорциональна логарифму отноше¬
ния сигнал/шум.
В любом случае для увеличения пропускной способности необхо¬
димо увеличивать мощность полезного сигнала и уменьшать уровень
шумов на входе канала..
7-3. ПОНЯТИЕ ИЗБЫТОЧНОСТИ СООБЩЕНИЯ
Выделение полезного сигнала из шумов — одна из основных проб¬
лем передачи сообщения при наличии помех. Чтобы восстановить
полезный сигнал, приходится в ряде случаев передавать дополнитель¬
ные символы, дополнительные значения сигнала, т. е. вводить в сооб¬
щение избыточность.
Можно привести много примеров применения, этого метода. Так,
в сообщении «Весна пришла» можно исключить две последние буквы
и передать «Весна приш..», но из-за больших шумов может получиться
искажение, например «Весна прошла». Для гарантии надо передать
«Весна пришла, но еще не кончилась».
По теореме Котельникова непрерывные сообщения можно пере¬
давать дискретными значениями минимальным количеством N = 2fct0,
однако при наличии помех следует брать N > 2fct0. Эти особенности
сообщений и характеризуют избыточность R.
Пусть сигнал из п символов содержит количество информации^.
Если он обладает избыточностью, то его можно передать меньшим
количеством символов п0. При этом если ввести количество информа¬
ции на один символ сообщения е71у то во втором случае оно будет больше:
и очевидно, что
М&х = Лоумакс-
182

За меру избыточности принимают относительное удлинение сиг¬
нала при данной избыточности
<2^1макс
Очевидно, могут встречаться различные случаи. Так, если тре¬
буется устранить избыточность, вызванную статистическими свя¬
зями между символами, сохранив при этом разную вероятность
появления символов, с помощью количества информации на один сим¬
вол
^ \ =<2^макс>
то можно ввести избыточность, обусловленную связью между симво¬
лами:
/?Р= 1 —
*
Кроме этой может быть избыточность, вызванная неэкстремаль¬
ным распределением символов. Известно, что при конечном числе сим¬
волов т максимальная информация на символ получается при рав¬
номерном их распределении и равна о7'0 = log т. Поэтому избы¬
точность, вызванная неэкстремальностью распределения,
D 	 1	О?	1
Полная избыточность
р 1	1
где £Г1— информация на один символ при наличии связей и неэкстре¬
мальное™ распределения символов. Рассмотренные характеристики
частной избыточности связаны между собой соотношением
R = Rp ~Ь Rq> — RpRq><
Если частные избыточности малы, то
RpR4> = 0
и
R = Rp~\~ Ry
7-4. НЕКОТОРЫЕ ВОПРОСЫ ПОМЕХОУСТОЙЧИВОСТИ
До сих пор рассматривались вопросы эффективности связи, в част¬
ности передача определенного количества информации при минималь¬
ной загрузке канала связи. Однако не меньшее значение имеет вторая
проблема — надежности системы связи. Надежность есть мера соот¬
ветствия принятого сообщения переданному. При данных условиях
связи (заданной помехе, условиях распространения и пр.) надежность
зависит от свойств системы, главным образом способности противо¬
стоять вредному действию помех. Это свойство называется помехо¬
устойчивостью. Как правило, сокращение избыточности увеличивает
183

эффективность, но ухудшает надежность связи. Произведение этих
двух величин, а чаще всего некоторая возрастающая функция их
произведения является мерой качества системы связи. Введем коли¬
чественную меру помехоустойчивости или надежности при заданных
условиях. Надежность нами определена как мера достоверности, т. е.
мера соответствия принятых сообщений переданным. Несоответствие
выражается в ошибках принятого сообщения. Появление ошибки
может быть охарактеризовано вероятностью ее появления р0: Надеж¬
ность или помехоустойчивость обратно пропорциональна этой вели¬
чине. В силу малости р0 удобнее выбрать логарифмический масштаб.
Выбор основания логарифма не имеет значения, удобнее пользоваться
десятичным. Итак, помехоустойчивость
n = lg(±)-_lgP„.
Дадим краткое перечисление методов повышения помехоустойчи¬
вости.
а)	Метод накопления
Так как помеха носит случайный характер, то возможны как по¬
ложительные, так и отрицательные значения помехи и многократной
передачей одного и того же сигнала можно свести ее влияние к нулю.
Рассмотрим способ, часто применяемый в радиорелейных линиях
связи. В современных системах управления части системы, как пра¬
вило, находятся далеко друг от друга. Поэтому для передачи сообще¬
ний используют двоичные цифровые каналы связи. При передаче
двоичных чисел (от ЦВМ) их обязательно повторяют несколько раз.
Можно считать, что помеха не искажает посылку тока (единичное
сообщение) и искажает нуль. Вследствие этого для повышения поме¬
хоустойчивости вводят накопитель, который суммирует единицы по
модулю 2, но там, где хоть раз появился нуль, так и выдается нуль.
Например,
Передаваемая комбинация	01001
Первая принимаемая комбинация	01011
Вторая	»	»	11001
Третья	»	»	01101
Комбинация на выходе накопителя	01001
Легко видеть, что этот метод повышает помехоустойчивость. Пусть
вероятность ошибки р0. Так как отдельная ошибка есть событие неза¬
висимое, то вероятность одной и той же ошибки при каждом из п
повторений будет pnQ. Если при одной передаче помехоустойчивость
то при n-кратной передаче
■Siш = IS pi = ftS.
184

На этом же принципе основан метод дублирования аппаратуры
для повышения надежности. Если сбои в п параллельных дублирующих
системах независимы, то надежность /г-кратно резервированной сис¬
темы повышается в п раз.
б)	Метод фильтрации периодического сигнала
в шумах
Спектральная плотность периодического сигнала a cos с час¬
тотой (00
S(co) = ^- б (со — щ),
корреляционная функция
R (т) = -у cos со0т.
Спектральная плотность помехи обычно имеет вид кривой, пока¬
занной на рис. 7-2. Площадь, ограниченная этой кривой и осью абс¬
цисс, равна средней энергии,
выделяемой помехой в одну *sn((o)
секунду. Физически спект¬
ральная плотность равна энер¬
гии, выделяемой процессом
за одну секунду в полосе
частот, равной единице. Если
взять узкий фильтр малой
ширины Дсо с граничными
частотами со0, со0 + Дсо, то
случайная помеха выделит
на его выходе конечную мощ¬
ность Sn (со0)Д со. Синусои¬
дальный сигнал теоретически
выделит мощность а2/4. Ясно,
что, уменьшив полосу фильт¬
ра Дсо, можно теоретиче¬
ски получить на его выходе
любое превышение сигнала над помехой. Однако чем уже Дсо фильтра,
тем больше его добротность контура и больше время установления
синусоиды. Чем большее превышение желательно получить, тем дольше
необходимо ждать. Фактически здесь имеет место накопление.
(Jn+AGJ
Рис. 7-2. Фильтрация периодического сигна¬
ла в шумах.
в) Корреляционный метод приема
Вычисление корреляционной функции позволяет выделить сину¬
соидальное напряжение в шумах, даже если последние в 100—1 ООО
раз превышают амплитуду синусоиды. Рассмотрим случай с полезным
сигналом х (t) = a cos oV и стационарной помехой £. Корреляционная
функция полезного сигнала — косинусоиды (рис. 7-3):
а2
Rxx = ~2 cos ®оТ.
185

Корреляционная функция помехи затухает со временем. В случае
независимости полезного сигнала и помехи корреляционная функция
Рис. 7-3. Корреляционные функции шума (а), периодического (б)
и суммарного (в) сигналов.
суммарного сигнала определяется как
т
Ry = x(t)x(t + T) + Z(t)£(t + T)+x(t)Z(t + T) + £(t)t(t + i) =
= Rxx + Ri&-
Но, очевидно, необходимо долго ждать, и тем дольше, чем медленнее
затухает функция корреляции
помехи (чем уже спектр) и
чем больше мощность помех
<*2 = % (0).
Однако в отличие от предыду¬
щего здесь теряется начальная
фаза синусоиды.
г) Синхронное
накопление
д.
Д_Л
г
т
а)
t
Рис. 7-4. Пояснение к синхронному накоп¬
лению сигнала.
При синхронном накопле¬
нии, применяемом в импульс¬
ной радиолокации, посылают
импульсный сигнал и, зная,
когда он придет, открывают приемник (рис. 7-4). Отраженные импуль¬
сы (рис. 7-4, а) по нескольку раз приходят на одно и то же место элек¬
тронно-лучевой трубки (не менее .6—10 раз). При этом импульсы
186

складываются и засвечивают экран в надлежащем месте, а шумы
/рйс. 7-4, б\ вычитаются. В этом и состоит эффект накопления. При¬
емник открывается на время прихода импульса специальным строби¬
рующим импульсом, который следит за отраженным импульсом с по¬
мощью специальной следящей системы по дальности.
7-5. ОБЩАЯ ТЕОРИЯ ПОМЕХОУСТОЙЧИВОСТИ
Геометрическая интерпретация в теории информации широко ис¬
пользуется для представления любых сообщений'и сигналов. Чаще
всего к ней прибегают в случае непрерывных сообщений. Различают
пространства сообщений и сигналов [Л. 48, 56]. Если сообщение дис¬
кретно, то при конечном времени передачи оно характеризуется конеч¬
ным числом своих значений, если сообщение непрерывно, то согласно
теореме Котельникова его можно полностью определить дискретными
значениями. В силу этого каждое сообщение можно представить неко¬
торой точкой в пространстве. Число измерений пространства равно
числу N отсчетов или степеней свободы. Система координат — пря¬
моугольная. Вся совокупность сообщений в пространстве сообщений
отражается некоторым объемом. Как уже указывалось, для передачи
сообщений их необходимо преобразовать в сигналы. Например, в
сигналы преобразуются сообщения, поступающие в виде давления
воздуха у микрофона р = f (t) (телефония); в виде тока звуковой
частоты, повторяющего форму / (/) (телефония — сигнал после микро¬
фона); тока высокой частоты, амплитудно-модулированного по закону
/ (/) (радиосвязь); в виде освещенности последовательно передаваемых
элементов (фототелеграфия, телевидение).
Если сообщение непрерывно, то, как правило, сигнал тоже непре¬
рывен.
Для сигнала тоже вводят пространство сигналов размерностью N.
С геометрической точки зрения процесс передачи заключается в том,
что каждой точке пространства сообщений должна однозначно соот¬
ветствовать определенная точка пространства сигналов. В простран¬
стве сообщений точки располагаются неравномерно с разной плот¬
ностью. Распределение точек определяется статистикой сообщений.
При преобразовании пространства сообщений в пространство сигналов
распределение точек меняется. Пусть г/— сообщение, передаваемое
с помощью сигнала, х — принятый сигнал. В общем случае они свя¬
заны некоторым преобразованием х = ф (и). Символ ф— преобразова¬
ние, которое не обязательно задается аналитически. Однако для
простоты суждений предположим, что ф — некоторая функция.
Допустим, имеется функция сообщения и (t), квантованная на т
уровней, с пределами изменения 0< и < амакс. В случае амплитудно¬
импульсной модуляции можно написать:
* = 2^1Г^М-ЬТ).
“макс
где uk= и (ikT)\ (i^l — глубина модуляции; Q (t) — функция, опи¬
сывающая отдельный импульс. Для случая, когда та же функция
187

сообщения преобразуется в сигнал с фазо-импульсной модуляцией
имеем:
x=yQk(t-kT + %-^- т0),
Ьш \	“макс	/
где X ^ 1 — глубина фазовой модуляции; т0 — наибольшее смещение
импульсов, которое можно принять равным Г, если пренебречь дли¬
тельностью импульса по сравнению с периодом чередования Т.
Таким образом, процесс передачи сообщений можно представить
в виде, показанном на рис. 7-5. При передаче сообщения и преобразуются
в сигналы х, т. е. пространство U преобразуется в пространство X.
На приемном конце из сигналов х вновь восстанавливается сообщение
v, т. е. пространство X преобразуется в пространство V. При передаче
X
Рис. 7-5. Геометрическая интерпретация передачи сооб--
щений.
1 — пространство передаваемых сообщений; II — пространство
сигналов; III — пространство принимаемых сообщений.
на сигнал накладывается помеха, которая тоже представляется
некоторым вектором. В отсутствие помехи
v = ф-1 (х) = ф-1 [ф (и)] = и.
Однако помеха существует, и в результате ее воздействия проис¬
ходит искажение сигнала. Можно построить приемник, который будет
воспроизводить сообщение v1 = и1 всякий раз, когда конец результи¬
рующего вектора х = х1 + где помеха | ближе к концу вектора-
сигнала х1, чем к концу ближайшего вектора-сигнала х2. Такой при¬
емник по Котельникову называется идеальным. Его действие харак¬
теризуется тем, что пространство X оказывается разбитым на области,
границы которых представляют собой места точек, равноотстоящих от
точек различных сигналов (концов векторов). Ошибка приема
идеальным приемником, т. е. замена переданного сообщения другим,
возможным, происходит лишь тогда, когда результирующая точка,
представляющая сигнал с наложенной помехой, переходит границу
данной области и оказывается в соседней. Вероятность появления
такого события характеризует помехоустойчивость связи. Для идеаль¬
ного . приемника вероятность ошибки оказывается наименьшей, а,
следовательно, помехоустойчивость — наибольшей, По Котельникову
188

предельно достижимая помехоустойчивость называется потенциаль¬
ной . Очевидно, что помехоустойчивость будет тем больше, чем больше
расстояние d между соседними сигналами (рис. 7-6), т. е. расстояние
между концами векторов, представляющих эти сигналы. Это расстоя¬
ние зависит не только от расстояния
между соседними сообщениями, но и
от функции преобразования, т. е. по¬
мехоустойчивость системы связи за¬
висит от способа модуляции. Ока тем
выше при данном способе модуляции,
чем больше d.
Условие правильной передачи со¬
общения и1 при идеальном приемни¬
ке следующее:
| х — х11 <С | х — х21;
111<|Лх-1|.
Здесь | — помеха; х1 — сигнал, со¬
ответствующий сообщению и1; х =
= х1 + I — сигнал х1, искаженный
аддитивно независимой от сигнала.
Условие безошибочного приема можно записать в виде
ш<4.
где
d = | Дх |. -
Учитывая, что
х = ф (и)
и
получаем:
|Дх |2=^A4 = s(Ua«,)2,
откуда, усредняя, находим:
где N — число дискретных отсчетов сигнала. Здесь предполагается,
что частные производные от функции ф по координатам и приращения
по ним — независимые величины. В общем случае
d2 = ф г2,
где г — среднее расстояние между сообщениями в пространстве сооб¬
щений. Если сигнал квантован, то минимальное расстояние между
сигналами
Г мин =
189
Рис. 7-6. Пояснение к выводу со¬
отношений для идеального прием¬
ника.
помехой, которая считается

где 6 — расстояние между уровнями квантования, поэтому
^мин = ф2б2.	(7-16)
Вероятность ошибки
 d_
2	оо	оо
73! Ш Ss 5 / w dx+ I f(x)dx = 2 f(x)dx.
— oo
~2 2
Учитывая, что для нормально распределенного шума
*	-	х2
f (*) = —е~~^,
а |Л>я
где о2 — дисперсия шума (помехи), в соответствии с формулой (7-16)
получаем:
Р~ = 77Ш S'1
где интеграл вероятности, для которого составлены, таблицы (см. при¬
ложение 1), равен:
X
Ф (х) =	^	e~z*	dz.
Vn J
При этом следует учитывать, что
ОО
^ егр dt — ]/"я,
т. е.
_2
V-
L [ e~*2dz= 1.
Л J
Пример 7-1. Рассмотрим пространства сигналов для трех случаев (рис. 7-6)
модуляции:
амплитудно-импульсной (АИМ);
импульсной модуляции по длительности (ДИМ);
фазо-импульсной (ФИМ).
Допустим, что с помощью этих трех видов сигналов передается ансамбль из
трех сообщений: 1, 2, 3. Необходимо выбрать координаты в пространстве сигналов.
Выберем их в соответствии с рис. 7-7. Для сравнения этих трех случаев сравним
средние энергии сигналов (табл. 7-1). За единицу примем мощность одного импульса
единичной амплитуды.
Для уравнивания средних мощностей возьмем за единицу линейного масштаба
величину, обратно пропорциональную корню квадратному из средней мощности,
В результате получим отношения для длин масштабов
1	1	■	=	0,47:0,71: 1,0.
V 4,6 ■ |/ 2 ’ Щ
190

Таблица 7-1
Параметр
Мощность сигналов
АИМ
ДИМ
ФИМ
Сообщение:
1
1
1
1
2
4
2
1
3
9
3
1
Средняя
4,67
2
1
энергия
Когда передается сообщение, то в пространстве сообщений вектор описывает
некоторую линию сообщений. Под линией сигнала понимается совокупность точек
АИМ
1)	100
2)	20 0
3)	3 0 0
АИМ
1	о	о
1	1	о
1	1	1
ФИМ
! г*
и
1!
г)
_L
1
I
1
.i
1
1
ф-
$
Л-
гп
1
и-
1
1
^	с
,l
1
1
1 Г
—Ин
Ь—
1 о о
О 1 о
00 1
Рис. 7-7. Примеры пространства сигналов для разных случаев
модуляции.
а - АИМ; б — ДИМ; в — ФИМ.
сигнала при передаче сообщения. Можно сказать, что чем длиннее линия сигнала,
тем более помехоустойчива система. Фактически величина
d*=2Axl=2(S;Aukf
есть приращение квадрата длины линии сигнала. Очевидно, помехоустойчивость будет
больше при ФИМ.
Для нашего примера в случае
АИМ: 3 X 0,47 = 1,41;
ДИМ: 3 X 0,71 = 2,13;
ФИМ: 3 X 1 = 3.
В общем случае Af-мерного пространства сигнал с фазовой модуля-
цией изображается некоторой сферой. При непрерывном изменении
191

сообщения	вектор	описывает на этой сфере некоторую	кривую. В на¬
ших примерах мы	имеем	дело с линией сигналов. Если	сигнал кванто¬
ван, то непрерывная линия заменяется совокупностью точек. Пояснить
резкое изменение помехоустойчивости для
ФИМ, начиная с некоторого значения по¬
мехи, можно следующим образом (рис. 7-8).
Для ФИМ все точки сигналов лежат на
сфере, квадрат радиуса которой равен
средней энергии сигнала.	Если помеха
возрастает, то она может	охватить всю
сферу сигнала и помехоустойчивость резко
падает. При АИМ включение точек сигна¬
ла в сферу помехи происходит постепенно
и резкого изменения [помехоустойчивости
нет. Говорят, что резкого порога помехо¬
устойчивости при АИМ не наблюдается.
Глава восьмая
ТЕОРИЯ КОДИРОВАНИЯ
8-1. ПРИМЕРЫ КОДОВ
Сообщения передаются в виде сигналов, имеющих определенную
форму и последовательность. В телеграфе сообщение обычно пере¬
дается при помощи алфавитов, цифр или алфавита и цифр вместе.
Сигналы следуют в определенной последовательности. Например,
в коде Морзе каждой букве и цифре соответствует некоторая после¬
довательность кратких (точки) и длинных (тире) посылок тока, разде¬
ляемых кратковременными паузами по длительности такими же, как и
точки. Пробел между буквами при этом изображается выключением
тока на три единицы времени, а пробел между словами — на шесть
единиц времени (рис. 8-1, а). Если обозначить тире У, а точки 0, то
можно записать:
А	Б	В	Г	Д
01	1000	011	110	100
По коду Бодо, применяемому в современных буквопечатающих
аппаратах, каждой букве соответствует сигнал из пяти импульсов
одинаковой длительности и формы (рис. 8-1,6):
А	10000
Б	00110
В	01101
Г	01010
Д	11110
Этот код равномерен, так как на каждый символ требуется одина¬
ковое время.
Следует различать способ кодирования и способ модуляции
сигнала или сообщения. Так, рассмотренные коды Морзе и Бодо —
Рис. 7-8. Зависимость поме¬
хоустойчивости от превыше¬
ния сигнала над шумом для
случаев ФИМ и АИМ.
192

двоичные, т. е. имеют двойное основание: сообщения передаются с по¬
мощью посылки сигнала (тока) или его отсутствия. Могут быть троич¬
ные коды, когда используются посылки положительного и отрицатель-
м  и	Р
пп	пп	ппп	.
а)
1
* i
Б
1
1
В
1
Г |
4
1
1
10000 1 00110
1
1
■
01101
01010 I
I 11110
1
а
1 i
1
г
пп
1
! i. i
I
I I
I I
I 1
Рис. 8-1. Способы кодирования.
а — код Морзе; б — код Бодо.
ного знака и отсутствие посылки, пятеричные и т. д. Единичная по¬
сылка сигнала может быть в виде напряжения постоянного или пере¬
менного тока (радиоимпульса). Наконец, можно передавать тире тремя
импульсами, а точку — отсут¬
ствием импульсов (рис. 8-2).
Во всех этих случаях код
один и тот .же, а модуляции
разные. В первом 'случае
(рис. 8-2, а) имеет место моду¬
лированный сигнал постоян¬
ного тока, во втором (рис.
8-2, б) — сигнал переменного
тока, модулированный прямо¬
угольным напряжением, так
называемый радиоимпульс
(если частота наполнения ле¬
жит в диапазоне радиочастот).
Наконец, в последнем случае
(рис. 8-2, в) имеет место кодо¬
импульсная модуляция. Поми¬
мо рассмотренных могут быть
и другие виды модуляции.
По физической природе сигналы могут быть электрические, аку¬
стические, механические, радиолокационные и пр. В данном разделе
не исследуются ни физическая природа сигналов, ни виды модуляции.
Здесь будут рассмотрены виды кодирования.
D ОЛ
а)
АДА AAA АЛА
Рис. 8-2. Способы модуляции.
а — модулированный сигнал постоянного тока;
б — модулированный радиоимпульс; в — кодо¬
импульсная модуляция.
7 Основы кибернетики
193

8-2. ОПТИМАЛЬНЫЙ КОД ШЕННОНА — ФЕНО
Для построения оптимального кода Шеннона — Фено все символы
алфавита располагаются в порядке убывания вероятности их появле¬
ния. Символу, встречающемуся чаще всего, присваивается наиболее
короткая комбинация. В английском языке чаще всего встречается
буква Е (р = 0,13). Этой букве отведена самая короткая кодовая
комбинация — точка. В русском языке наиболее повторима буква О
(р = 0,11), но ей отведена далеко не самая короткая кодовая комби¬
нация — три тире. В этом смысле для русского языка принятая
система кодирования в азбуке Морзе не является оптимальной.
Оптимальным считается код, имеющий минимальную среднюю
длину
/ср = min, _
причем
^СР= ^LlP^ki
где суммирование выполняется по всем символам алфавита; lk — длина
кодовой комбинации, равная числу ее элементов, соответствующая
k-y символу алфавита; рк — вероятность появления в сообщениях дан¬
ного ансамбля k-то символа; 2 Pk = 1-
Здесь будут рассмотрены только двоичные коды, хотя все изложен¬
ное справедливо для троичных и других кодов.
Пример 8-1. Рассмотрим табл. 8-1, в которой приведен алфавит, состоящий из
шести символов/
Т а б л и ц а 8-1
Подгруппы
Оптимальные коды
№ сообщения
Вероят¬
ность
Группы
1-го
уровня
2-го
уровня
1-й
вариант
• 2-й
вариант
1
0,3
}■
} I
И
1
2
0,2
} II
10
10
3
4
0,150
0,150
I-
}'
} I
} II
011
010
01
010
5
6
0,100
0,100
}■'
} I
} II
001
000
001
000
Во втором столбце даны вероятности появления символов, в третьем, четвертом,
пятом — разбиение на группы и подгруппы, в шестом и седьмом — кодовые
комбинации, которые строятся так: все символы разбиваются на две группы,
чтобы суммарные вероятности в каждой группе были примерно равны. В нашем
примере в первую группу попали два первых символа, во вторую — все остальные.
Первой группе присваивается символ 1 в первом слева разряде, второй —0. Далее
процесс повторяется: первая группа разбивается на две подгруппы примерно с оди¬
наковыми суммарными вероятностями и т. д. То же самое делается со второй группой.
Процесс деления заканчивается, когда в каждой подгруппе остается по одному сим¬
волу. Графически этот процесс можно изобразить в виде ветвящегося дерева (графа),
представленного на рис. 8-3. В кодовой комбинации каждой левой ветви из какой-
194

нибудь вершины соответствует единица, правой — нуль. Каждому законченному
коду соответствует так называемая висячая вершина на вертикальных линиях, обо¬
значающих различные вероятности.
В предпоследней колонке табл. 8-1 представлен оптимальный код. Его средняя
длина /ср =? 2,5. Очевидно, что возможны модификации рассмотренной процедуры.
Так, в последнем столбце представлен код, обладающий меньшей средней длиной,
Сообщения 1	2	3	4	5	6
Рис. 8-3. Граф построения кода Шеннона — Фэно, требующего раз¬
делительного знака.
однако его составление требует более сложной процедуры (алгоритма), что затруд¬
нительно при большом алфавите, насчитывающем сто, тысяча символов.
По поводу рассмотренной процедуры составления кода можно сделать два заме¬
чания. Во-первых, с точки зрения помехозащищенности предпочтительнее переда¬
вать единицы, а не нули, так как в предположении, что единице соответствует по¬
сылка сигнала, а нулю — ее отсутствие, искажение нуля помехами более вероятное
Рис. 8-4. Граф построения кода Шеннона — Фэно, не требующего раз¬
делительного знака.
событие, чем искажение единицы. Во-вторых, одну кодовую комбинацию необходимо
выделить для обозначения разделительного знака между символами, так как в про¬
тивном случае, если принимается последовательность из единиц и нулей, ее невоз¬
можно правильно расшифровать, т. е. рассмотренный выше код, так же как и
коды Морзе и Бодо, относится к категории кодов, требующих разделительных
знаков.
Однако можно построить код, не требующий разделительных знаков. Для этого
уже применявшаяся комбинация не должна служить началом следующей комбина¬
7
195

ции, т. е. можно применять 10 и 001, но нельзя 10 и 100. Такую процедуру лучш«
всего выполнять графически с помощью дерева кода (рис. 8-4). Кружочками изобра¬
жены используемые комбинации 0, 101, 100, 1111, 1110, 11011, 11010, 11001, 11000.
При таком кодировании, например, последовательность 11011000110001011001110
легко расшифровывается как комбинация символов 11011—0—0—0—11000—101 —
100—1110.
8-3. КОРРЕКТИРУЮЩИЕ КОДЫ
Мощным средством повышения помехоустойчивости систем явля¬
ются корректирующие коды, которые возникли главным образом
в связи с дальнейшим развитием ЦВМ. Их основная идея заключается
в том, что наряду с кодовой группой, несущей полезную информацию,
передаются дополнительные знаки, с помощью которых удается обна¬
руживать и исправлять ошибки, вводить коррекцию. Такая процедура
вносит избыточность, снижает эффективность системы, но повышает
ее помехоустойчивость [Л. 48, 53, 57—59].
а)	Корректирующие коды Хэмминга
В простейшем случае такой код получается добавлением к кодовой
комбинации единицы с тем, чтобы сумма всех единиц была четной (не¬
четность означает появление ошибки). Построим его на примере кода
Бодо:	,
Буквы	А	Б	В	Г	Д	Е
Обычный код	10000	00110	01101	01010	11110	01000
Дополнительный код	100001	001100	011011	010100	111100	010001
Такой код позволяет обнаружить одиночную ошибку, но не в сос¬
тоянии ее локализовать и исправить.
Не только обнаружить, но и исправить ошибку можно с помощью
более мощных кодов, которые строятся следующим образом. Пусть
имеется /г0-значный двоичный код. Общее число комбинаций
N = 2no.
Каждый из таких кодов отличается один от другого хотя бы одним
знаком. Дополним код еще одним знаком, а число кодовых комбина¬
ций оставим неизменным, тогда
N = 2no = y2",
•и можно так подобрать кодовые комбинации, что они будут отличаться
двумя знаками. При этом будет использована только половина всех воз¬
можных комбинаций от 2Д, вторая половина образует запрещенные
комбинации: любое появление одиночной ошибки превращает ее в за¬
прещенную и тем самым ошибка обнаруживается. Дополним теперь
код таким количеством знаков, которое даст возможность двум кодо¬
вым комбинациям отличаться тремя знаками при неизменном числе
N = 2п°. Такой код позволит не только обнаружить, но и исправить
одиночную ошибку. Действительно, если случилась одиночная ошибка
196

в какой-то комбинации, то эта комбинация от других будет отличаться
на два знака, а от своей — на один и ее легко исправить.
Определим общее число дополнительных знаков, необходимых для
обнаружения и исправления одиночных ошибок. Пусть из общего
числа позиций п для передачи информации используется п0, которое
будем считать фиксированным. Остальные позиции k = п — п0 ис¬
пользуются в качестве проверочных. Символы, которые ставятся на k
проверочных позициях, определяются при кодировании проверкой
на четность каждой из k групп информационных символов. Как будет
далее показано, на каждой проверочной позиции при кодировании
ставится 0 или 1, смотря по тому, какая сумма единиц — четная или
нечетная получается при каждой из п проверок на четность. Сигнал
кодируется так, чтобы в результате в каждой из п проверок получа¬
лось четное число. На приемном конце появляются на некоторых пози¬
циях единицы вместо нулей и, наоборот, нули вместо единиц. При
приеме также производится проверка на четность.
Построим код, который позволял бы обнаруживать и исправлять
одиночную ошибку (если произошли две ошибки сразу, код бессилен).
Пусть принята кодовая комбинация с ошибкой или без нее. Произведем
в ней последовательно k проверок. После каждой проверки запишем О,
если результат свидетельствует об отсутствии ошибки на проверяемых
позициях (сумма единиц четная), и 1, если результат свидетельствует
о наличии ошибки (сумма единиц нечетная). Запись справа налево
полученной последовательности единиц и нулей дает двоичное число.
Потребуем, чтобы это число, называемое проверочным, давало номер
позиции, на которой произошло искажение. Отсутствию ошибки в при¬
нятой кодовой комбинации будет соответствовать число, составленное
из нулей. Проверочное число должно описывать (п0 + k + 1) собы¬
тий. Следовательно, число k определяется на основании неравенства
2к:
и так как п = п0 + &, то
2по
(8-1)
п+ I*
Это соотношение позволяет определить максимальное п0 при данном
п или минимальное.п для данного п0. Приведем соответствующие
значения в табл. 8-2.
Т а б л и ц а 8-2
п
п0
k
п
п0
k
1
0
1
6
3
3
2
0
2
7
4
3
3
1
2
8
4
4
4
1
3
9
5
4
5
2
3
10
6
4
Определим теперь позиции, которые надлежит проверить в каж¬
дой из k проверок. Если ошибок нет, то на всех проверяемых позициях
197

будет 0, если в низшем разряде числа стоит 1, это значит, что в резуль¬
тате первой проверки обнаружена ошибка. Будем при первой проверке
проверять те номера позиций, двоичные представления которых имеют
в первом разряде единицы, т. е.
1 =
1
3 =
11
5 =
101
7 =
111
9 = 1001 и т. д.
Таким образом, первая проверка охватывает позиции 1, 3, 5, 7, 9.
Для второй проверки выберем такие позиции, двоичные представления
которых имеют единицу во втором разряде:
2 = 10
3 - 11
6 = 110
7 = 111
10 - 1010
Для третьей проверки имеем:
4 - 100
5 - 101
6 = 110
7 = 111
12 = 1100
13 = 1101
14 - 1110
Такой выбор проверяемых позиций дает возможность определить
номер позиции, в которой произошла одиночная ошибка. Напомним,
что при каждой проверке сумма единиц должна быть четной. Если
произошла ошибка на одной из позиций первой проверки, то в прове¬
рочном числе в низшем (правом) разряде появится единица, как это
и должно быть. Дальнейшую расшифровку проверочного числа дает
вторая проверка: если среди всех позиций второй проверки ошибок
нет, то будет появляться нуль. Если на третьей позиции произошла
ошибка, нарушившая четность как в первой, так и во второй проверке,
то после двух проверок в двух низших разрядах появятся единицы.
В третьей и следующих проверках третья позиция уже отсутствует.
Таким образом, в нашем примере проверочное число равно ООН = 3,
что и дает номер позиции, на которой произошла ошибка. Аналогично
можно убедиться, что любая одиночная ошибка на любой позиции
может быть устранена проверками, дающими проверочное число,
равное номеру позиции, на которой произошла ошибка.
Остается решить, какие позиции использовать под проверочные
символы. Выбор для проверки позиций 1, 2, 4, 8 ... обеспечивает
появление хотя бы одной их этих позиций при каждой проверке; и это
позволяет независимо от знаков передаваемого числа получить при
каждой проверке четное число единиц. Соответствующие проверяе¬
мые числа приведены в табл. 8-3.
198

Т а б л и ц а 8-3
Порядковый номер
Проверочные позиции
Проверяемые числа
1
1
1, 3, 5, 7 9, 11, 13, 15, 17, ...
2
2
2, 3, 6, 7, 10, 11, 14, 15, 18, ...
3
4
4, 5, 6, 7, 12, 13, 14, 15, 20, ...
4
8
8, 9, 10, И, 12, 13, 14, 15, 25, ...
Пример 8-2. Построим код Хэмминга для п = 7. Из табл. 8-3 находим, что п0 = 4,
k = 3. Позиции 1, 2, 4 будут использоваться для передачи проверочных символов.
На остальных четырех позициях разместим двоичные представления чисел от О
до 15. В результате получим кодовые комбинации, приведенные в табл. 8-4.
Таблица 8-4
Позиции
Десятичное представление
1
2
3
4
5
6
7
двоичных чисел, образованных
символами на позициях 3, 5, 6, 7
0
0
0
0
0
0
0
0
1
1
0
1
0
0
1
1
0
1
0
1
0
1
0
2
1
0
0
0
0
1
1
3
1
0
0
1
1
0
0
4
0
1
0
0
1
0
1
5
1
1
0
0
1
1
0
6
0
0
0
1
1
1
1
7
8
9
10
И
0
1
1
1
1
0
0
12
Как видно, семизначный код с обнаружением и исправлением одиночной ошибки
допускает передачу 16 сообщений, при этом 27 — 16= 112 комбинаций не исполь¬
зуются. Рассмотрим комбинацию 0111100, которая соответствует числу 12 в нашей
таблице. Пусть при передаче символ на пятой позиции изменился (1 перешла в 0).
Искаженная кодовая комбинация стала равной 0111000. Определим ошибку по
изложенной выше методике. Из табл. 8-4 найдем позиции первой проверки 1, 3, 5, 7.
Проверка дала нечетное число — ставим 1. Вторая проверка на позициях 2, 3, 6, 7
дала четное число — ставим 01. Третья проверка дала четное число — ставим 1.
В итоге проверочное число 101 = 5. Следовательно, на 5-й позиции произошла
ошибка. Знак на этой позиции необходимо изменить на обратный: 0->- 1.
Корректирующую способность кода можно повышать и дальше: строить коды для
обнаружения r-кратной и исправления s-кратной ошибок. Конечно, при этом будет
расти число дополнительных знаков и общая длина кодовой комбинации (при неиз¬
менном N = 2п°). Обозначим через d наименьшее число знаков, которыми разли¬
чаются между собой две кодовые комбинации. Очевидно, что
d=\ + r + s, r^s.
Возможности различных кодов видны из табл. 8-5.
199

Таблица 8,-5
d
S
Возможности кода
1
0
0
Отличение одной комбинации от другой
2
1
0
Обнаружение одиночной ошибки
3
1
1
Обнаружение и исправление одиночной ошибки
2
0
Обнаружение двукратной ошибки
4
2
1
Обнаружение и исправление двукратной ошибки
3
0
Обнаружение трехкратной ошибки
5
2
2
Обнаружение и исправление двукратной ошибки
3
1
Исправление одиночной и обнаружение трехкратной ошибок
4
0
Обнаружение четырехкратной ошибкй
б) Геометрическая интерпретация
корректирующих кодов
При построении корректирующих кодов часто прибегают к геомет-
рической модели. Допустим, есть алфавит, состоящий из трех символов.
Из них можно составить следующие комбинации: ООО, 001, 010, 011,
100, 101, 111. Возьмем три оси и будем откладывать точки с координа¬
тами, равными коду (рис. 8-5). Помеха
может исказить сигнал, т. е. вместо 0
появится 1 или наоборот. Очевидно,
что когда кодовые комбинации друг от
друга отличаются на длину ребра
d = 1, то помеха переведет один сиг¬
нал в другой и обнаружить ошибку
в этом случае нельзя. Ее можно обна¬
ружить, если кодовые комбинации от¬
стоят друг от друга на два ребра, т. е.
000, 011, 101, 110. Для исправления
необходимо, чтобы комбинации отли¬
чались на три единицы: 000, 111.
Пространство, представленное на
рис. 8-5, называется пространством
Хэмминга, а величина d — расстоянием по Хэммингу. Очевидно,
что это расстояние всегда целое число, равное числу разрядов, в кото¬
рых отличаются двоичные числа, соответствующие точкам в простран¬
стве Хэмминга. В более общем случае пространство Хэмминга имеет
п координат и изображается /г-мерным кубом.
в) Групповые коды
Набор кодов называется групповым кодом, если он составляет
группу в точном математическом смысле [Л. 58]. Основное свойство
группы заключается в замкнутости относительно некоторой .заданной
операции G. Это означает, что если к двум кодовым комбинациям или
словам, принадлежащим группе, применить эту операцию, то полу¬
чится слово, также принадлежащее этой группе, и сколько бы раз
Рис. 8-5. Геометрическая интерпре¬
тация корректирующих кодов.
200

эта операция ни применялась к словам группы, она не дает слов, не
принадлежащих к ней. Если операция G линейная, то код называется
линейным или матричным.
Кроме свойства замкнутости для группы характерно свойство
ассоциативности, которое для операции сложения записывается сле¬
дующим образом:
В групповом коде всегда разрешается нулевой код или слово,
состоящее из нулей.
Количество элементов в группе определяет порядок группы. Поря¬
док может быть равен бесконечности. Операции сложения и умножения
образуют группу с бесконечным порядком, состоящую из всех целых
чисел и нуля. Мы ограничимся двоичными кодами, которые образуют
группу по отношению операции сложения. Логические функции двух
переменных образуют конечную группу. Если кодовое слово конечно,
то группа разрешенных слов тоже конечна.
Групповые коды строят, исходя из количества информационных
символов п0 и минимального кодового расстояния по Хэммингу dMmi.
В соответствии с требуемыми свойствами корректирующего группового
кода выбирают dMHH, минимальную общую длину кода п и число про¬
верочных символов k согласно формуле (8-1). Однако часто ради про¬
стоты реализации алгоритмов идут на некоторую избыточность. По¬
строим группу по отношению к операции сложения. Для этого выберем
g ненулевых ц-разрядных разрешенных кодовых слов и произведем
сложение по два, по три и т. д. и, наконец, по g слов в соответствии
с формулой
где хъ х2, xk —г исходные ц-разрядные кодовые слова, состоящие
из 0 или 1; ily i2, ..., ig — коэффициенты, которые принимают значе¬
ния 0 или 1. Суммирование в этой формуле осуществляется по модулю
2.	Общее количество слов, получаемых с помощью этой формулы, равно:
— число сочетаний из g по k. Если еще добавить g исходных слов, при¬
чем
и 1 в счет нулевого слова, то получим:
(Х\ -f- Х2) + Х3 — Xi -f- (х2 + х3).
Xi = У] ikXk,
где
(8-2)
2Q1

По исходным условиям код должен содержать
N0 = 2'l°
разрешенных кодовых слов. Для этого достаточно положить v = п0>
так как известно, что
Естественно потребовать, чтобы все кодовые слова, количество
которых определяется выражением (8-2), были оригинальными, т. е.
отличались от нулевого слова и исходных g слов. Для этого необходимо,
чтобы результат сложения по модулю два был равен нулю при равен¬
стве между собою обоих слагаемых. Отсюда вытекает требование раз¬
личности исходных слов. Нулевое слово не должно входить в состав
исходных слов, так как при сложении с ним получается результат, сов¬
падающий со слагаемым. Чтобы производные слова не совпали с
исходными, должно, выполняться условие
линейной независимости кодовых слов хъ х2, хПо9 которые полностью
определяют групповой код и называются базовыми словами или базой.
Для обеспечения заданного минимального кодового расстояния
необходимо выполнение двух, условий: каждое базовое слово должно
содержать не менее dMHH единиц, и расстояние между любой парой
базовых слов должно быть не меньше dmm. Число единиц двоичного
слова иногда называется весом слова vt. Тогда первое условие может
быть записано как
Второе условие для всех 1 ^ i ^ п09 1 ^ ^ п0 запишется в виде
Алгоритм построения базовых слов, обеспечивающих это условие
при минимальной избыточности, на сегодняшний день не найден.
Базовые слова принято записывать в виде матрицы
Положив в этой формуле а = b = 1, получим:
Clxl + С2%2 + • • • + Сп0 — 1*л0 — 1 “Ь Сп0Хп0 ^ О
для любых Си отличных от нуля. Это соотношение является условием
мин*
d(Xi, Xj) 32 d.,
'МИН*
202
jcjrto) *(Ло) . . . *("o) . . . Х^о)

1
1
1
0
0
0
v=
1
0
1
1
0
1
0
0
1
1
1
0
Эта матрица содержит п столбцов и п0 строк и называется производя¬
щей матрицей кода (/г, п0).
Пример 8-3. Рассмотрим [Л. 58] случай с п0 = 3 и dmm — 3. Очевидно, что сле¬
дует выбрать k = 3 в соответствии с формулой (8-1), чтобы п = п0 + k = 6, тогда
гарантируется dmm = 3. Образуем производящую матрицу
(8-3)
Нетрудно убедиться, что базовые слова удовлетворяют всем пяти необходимым
условиям:
1)	фхъ\
2) vt-ф 0, / = 1, 2, 3;
3)	-f-	А,2-^2	~\~	^зхз	'	(8“4)
4) Vi^dm 1Ц;
5) d (X't, лу) ^ ^мин*
Первые три разрешенных слова совпадают с базовыми:
*!= 111000, 101101, *3 = 001110;
четвертое слово — нулевое:
х4 = 000000.
Остальные слова получаются суммированием базовых слов в различных сочетаниях:
Ч = *1 + *2 = 010101;
*в'=*1+*з= 1Ю110;
х1 = л:2 + х3 = 100011;
Xq = х-^ -(- Хч -{- х3 = 011011.
Этот код обеспечивает dmm = 3, так как все ненулевые разрешенные слова имеют
вес не менее dmm. Однако если выбрать базовые слова 000111, 111000, 011110, удо¬
влетворяющие всем пяти требованиям, то получим коды с dmm= 2. Действительно,
сложив все три числа, получим 100001 с dmm= 2. Дело в том, что минимальное рас¬
стояние в подмножестве разрешенных слов равно минимальному весу:
^мин = умин»
так как в состав разрешенных слов входит нуль, и, кроме того, при сложении двух
базовых слов хг и х2 получается третье х3 с единицами, стоящими на тех разрядах,
в которых цифры не совпадают.
Так как операции сложения в групповых кодах осуществляются
поразрядно, то можно произвольно перемещать столбцы производя¬
щей матрицы. При этом свойства кода (избыточность и корректирую¬
щие способности) не меняются, хотя разрешенные кодовые слова будут
другими. Поэтому всегда можно сосредоточить информационные сим¬
волы в первых п0 позициях, а проверочные — в последних п пози¬
циях. Эта возможность используется для записи производящей мат¬
рицы в каноническом виде. Такая матрица состоит из квадратной
единичной матрицы ранга я0, соответствующей неизбыточному коду
длиной п0. Она составляет левую подматрицу производящей матрицы.
Справа от нее пишутся k столбцов проверочных символов.
203

Таким образом, производящую матрицу для кода п0) можно
записать в следующем каноническом виде:
1
0
0 ..
.. 0
Cli .
• • cik
0
1
0 ..
0
C2i .
• • Сгк
0
0
0
.. 1
с По 1 •
• • Спок
где Cij — коэффициенты в линейной форме, с помощью которых из
информационного символа получается контрольный, т. е.
хъ х2, хПа, F1(x), F2(x),	Fk(x);
По
Fi (х) = 2 cjtXj.
j = i
Нетрудно из производящей матрицы канонического вида полу»
чить проверочную или контрольную матрицу
С11
С\2 .
.. Cik
С По 1
Сно2 •
• ■ C^k
—1
0 .
о
0
—1 .
.. 0
0
0 .
.. —1
Корректирующий код (п, п0, d) будет построен, если будет найдена соот¬
ветствующая матрица ||	||.	Очевидно, если базисные кодовые слова
выбраны правильно, то, представив производящую матрицу в кано¬
ническом виде, получим полное решение задачи.
Пример 8-4. Для кода, рассмотренного в примере 8-3, матрица для которого
определяется формулой (8-3), получим:
Сц = 0; с12 “ 1 > ^13=== ^»
^21 = ^ > ^22 = 1 > ^23	^	»
С31 = 1» с32 =	С33 =
Нетрудно убедиться, что здесь правило составления корректирующих символов
удовлетворяется:
*!= 100011;	*5 = *1 + *2 = 1.10100;
*2 = 010111;	*б	=	*1-(-*з=	101110;
*з = 001101;	*?	=	*2+ *з = 011010;
*4 = 000000;	*8 = *1+*2. + *з= 111001.
Для х8 в первом корректирующем символе имеем: 0 = 1*0+ Ы + 1 • 1, во втором
0 = 1*1+ 1-1 + 1*0, в третьем 1 = Ы + 1 • 1 + 1*1. Напомним, что в соответ¬
ствии с формулой
п0
fi/ = Ff М = 2 СЧ Xi
i = 1
суммирование производится по первому индексу с/у.
204

Рассмотрим с общих позиций построение групповых корректирую¬
щих двоичных кодов. Обозначим любое кодовое слово на входе линии
, . . , OS/, . . . , QS/z0> Pl> * • •>	•	• •>
на выходе линии
аЪ • • • у &i> • • • » 0&/i0, Pl> • • • у Ру* • • • > Р/г>
где ос/ — информационные, Ру — контрольные символы. Вектор шума
представим в виде
е (<?ъ • • •» £/> . • •, &п0, s1, ... , Sjt ..., S/j).
Тогда
ai = ai+ei\
рJ = рJ +Sj= f] djO.1 +	Sj.	(8-6)
i= 1
На приемном конце линии связи вычислим проверочные символы по
информационным
По
р ? =	(8‘7)
£ = 1
Нетрудно убедиться, что контрольное число (или синдром)
г;- = Ру — Ру = (а+Р)уу,	(8-8)
где уу определяется в соответствии с формулой
w =|Ы-
Контрольное число г должно указывать позицию, на которой произо¬
шел сбой.	Если	подставить	в равенство (8-8)	соответствующие выра¬
жения	(8-6)	и	(8-7)	для Р/	и а/, получим:
По
Zj = ^ j С/у£/ Sj.	(^"^)
i= 1
Отсюда следует, что синдром не зависит от комбинаций кода и
определяется только вектором шума. Нетрудно убедиться, что все
элементы синдрома равны нулю тогда и только тогда, когда принятая
комбинация совпадает с одной из комбинаций кода. Действительно,
если Zj = 0, то из выражения (8-9) следует, что
По
s/= 2 cUei>	(8-10)
i = I
т. е. эта шумовая комбинация совпадает с одной из комбинаций кода,
поэтому принятая комбинация принадлежит коду. Если в векторе
помехи е только одна компонента еь в информационной части отлична
от нуля, то
Zj С/у, j 1, 2, ..., k.
205

Наконец, если ошибка происходит только в одном из контрольных
разрядов, то
z1 = 0] ...; zj-i = 0; Zj = — Sj; zj+1 = 0; zk = 0;
в частности, если элемент ошибки совпадает с обратным едйнице эле¬
ментом Sj = —1, то
Z\ = 0, ..., zj—\ш==- 0, Zj ~==-1, zj0, ..., Zfo 0.	(8-11)
Обратные элементы необходимо вводить для ошибки даже в случае
двоичного кода, чтобы получить формальный математический аппа¬
рат, причем условно считается, что в труппе кодов 1 = —1.
Соотношение (8-11) указывает на то, что номер позиции контроль¬
ного числа, на которой располагается отличный от нуля элемент, сов¬
падает с номером искаженного проверочного символа в случае, когда
происходит однократная ошибка в контрольных символах. Отсюда
не трудно получить правила составления элементов контрольной
матрицы W [формула (8-5)]. Первые п0 строк этой матрицы опреде¬
ляют контрольные числа, соответствующие изменению на +1 i-го ин¬
формационного символа, а последние k строк определяют контроль¬
ные числа, соответствующие изменению на ту же величину /-го про¬
верочного символа. Это при однократных ошибках. Так как для вы¬
числения /-го элемента синдрома используются линейные операции,
то контрольное число, которое соответствует многократным ошибкам,
может быть найдено в виде линейной комбинации строк контроль¬
ной матрицы. Из матрицы W видно, что при умножении искажен¬
ного вектора х' на каждый ее столбец происходит проверка правиль¬
ности линейной связи /-го контрольного символа со всеми инфор¬
мационными символами. Например, если произошел сбой на г-й
позиции информационных символов и все Cij (/ = 1, 2, ..., k) от¬
личны от нуля, т. е. эта позиция участвует во всех проверках, то
во всех разрядах контрольного числа появится единица (при единич¬
ной ошибке). Действительно, можно доказать следующее положение.
Если найдена линейная комбинация>строк матрицы W, совпадающая
с вычисленным контрольным числом, то номера этих строк совпадут
с номерами искаженных позиций, а коэффициенты, с которыми они
складывались, определят, как искажен символ на соответствующей
позиции. Для исправления искаженных позиций необходимо найти
элемент, противоположный каждому из указанных коэффициентов, и
прибавить к соответствующему символу принятой комбинации. Оче¬
видно, что одно и то же корректирующее число может быть получено-
в результате различных линейных комбинаций строк матрицы W.
Поэтому в общем случае задача отыскания ошибки неоднозначна.
Задача определения множества ошибок, которое корректируется
данным кодом, в настоящее время не решена. Однако ясно, что мно¬
жество шумовых комбинаций будет корректироваться данным кодом,
если ошибкам, вызываемым в кодовой комбинации, будет соответст¬
вовать свое, отличное от нуля, контрольное число. Для этого шумовая
комбинация er (г = 1, 2, ..., 2,{ — 1) не должна совпадать ни с одной
из комбинаций данного кода, так же как и разность любых векторов
206

ег и е5. Необходимость первого условия следует из доказательства,
связанного с отношением (8-10).
Теперь докажем, что если разность двух векторов ошибок не обра¬
зует комбинацию кода, то разным ошибкам, порождаемым разными
шумовыми комбинациями, соответствуют разные синдромы. Пусть
имеются два вектора шума
Соответствующие синдромы, как следует из формулы (8-9), опреде¬
ляются соотношениями:
поэтому синдромы (8-12) и (8-13) не будут совпадать, если среди эле¬
ментов числа (8-15) хотя бы один отличен от нуля. Нетрудно убедиться,
что правая часть соотношения (8-14) не обращается в нуль, так как
по условию разность векторов ошибки не принадлежит коду. Отсюда
можно утверждать, что каждое контрольное число может быть полу¬
чено в результате 2п° искажений символов кодовой комбинации.
Действительно, если помехе е± соответствует некоторый синдром, тот
же самый синдром соответствует помехе е2, для которой
где х2 — произвольная комбинация кода. Но, как уже указывалось,
вектор х2 (при фиксированном ех) может принимать 2п° комбинаций
(контрольные символы определяются информационными). Таким обра¬
зом, имеется 2п°-я неоднозначность, которую следует ликвидировать.
Для этого с помощью соотношения (8-16) однозначно разбивают мно¬
жество всех n-значных комбинаций на 2к непересекающихся подмно¬
жеств, каждому из которых соответствует свое контрольное число.
Причем одно из этих подмножеств совпадает с кодовым словом и соот¬
ветствует нулевому синдрому. Эти подмножества обладают всеми
причем
разность их
(8-12)
i = 1
(8-13)
Zy	2	Cifii	€п0	+	J,
(8-14)
i = 1
где / = 1, 2, ..., k. Из этих формул следует, что
(8-15)
(8-16)
207

свойствами так называемых классов смежности. Из общей алгебры
известно, что группу можно разбить на классы смежности, которые
совпадают или не содержат ни одного общего элемента.. В каждом
смежном классе насчитывается 2п° элементов, а всего классов, не считая
класс, соответствующий нулевому коду, 2k — 1. Это значит, что 2к — 1
классов смежности или (2п°)2/г_1 кодовых комбинаций запрещено. Все
это позволяет по-иному сформулировать ранее встречавшееся утверж¬
дение: множество шумовых комбинаций (имеется в виду искаженная
шумом кодовая комбинация) корректируется данным кодом, если
каждая из комбинаций принадлежит разным классам смежности.
Процесс исправления ошибок происходит следующим образом. На
приемном конце линии связи выписываются контрольные числа и
соответствующие им искаженные комбинации (составляющие опреде¬
ленный класс смежности). При этом каждому синдрому ставится в со¬
ответствие только одна помеха. По принятому числу вычисляется конт¬
рольное число, которое с помощью специально составленных таблиц
позволяет исправить код.
Пример 8-5. Рассмотрим [JI. 57] семизначный двоичный код
ХЪ X2i X3i Xl~\~X2t Х2~\г Х3> Xl~\~ X2~\~ X3> х\~\~х3‘
(8-17)
Составим код с dmm= 4. Отведем для контрольного числа четыре позиции,
т. е. на одну больше, чем требуется для семизначного кода Хэмминга. Опять путем
подбора и догадки выбираем базовую систему кодов в виде
:1001011; )
х1~
Х2 “
*3 =
=0101110;
=0010111.
(8-18)
Нетрудно убедиться, что эта база удовлетворяет всем пяти условиям (8-4). С помощью
формул (8-17) получаем еще четыре кодовые комбинации, которые вместе с нулевым
кодовым словом составляют нулевой класс смежности, состоящий из разрешенных
кодовых комбинаций. Справа в соотношениях (8-18) стоит' производящая матрица
канонического вида. Поэтому подматрица, составленная из четырех последних
столбцов с добавлением единичной квадратной матрицы, составит контрольную
матрицу, которая запишется в виде
1011
1110
0111
W= 1000 .	(8-19)
0100
0010
0001
Первый класс смежности получается прибавлением к первой кодовой комбина¬
ции всех кодовых слов нулевого класса. Первая кодовая комбинация этого класса
совпадает с кодом, помехи е = 1000000 искажающей первый символ.
Второй класс смежности получается аналогичным образом с помощью помехи
е= 0100000 и соответствует контрольному числу, составленному из второй строки
контрольной матрицы. Таким образом получаются все классы до седьмого вклю¬
чительно. Классы смежности с восьмого по четырнадцатый соответствуют двукрат¬
ной ошибке. Так, 11-й класс смежности соответствует ошибке е = 0001100..
Его контрольное число 1100 получается в результате сложения четвертой и пятой
строк контрольной матрицы. Заметим, что то же самое контрольное число
208

может быть получено в результате сложения первой и последней строк контрольной
матрицы, что соответствует ошибке е = 1000001. Таким образом, в части обнаруже¬
ния и исправления двукратных ошибок корректирующий код не является одно¬
значным. 15-й класс смежности соответствует трехкратной ошибке вида е = 0001101.
В результате получаем корректирующий код, исправляющий семь одиночных,
семь двукратных и одну трехкратную ошибку, причем следует иметь в виду, что
допускается любая одиночная ошибка, семь двукратных и только одна трехкратная.
Результаты построения кода сведены в табл. 8-6.
Таблица 8-6
№ класса
0
' 1
2
3
4
5
6 | 7
Кон¬
трольное
число
0000
1011
1110
0111
1000
0100
0010
0001
Класс
смеж¬
ности
0000000
0010111
0101110
0111001
1001011
1011100
1100101
1110010
10000000
1010111
1101110
1111001
0001011
0011100
0100101
0110010
0100000
0110111
0001110
0011001
1101011
1111100
1000.101
1010010
0010000
0000111
0111110
0101001
1011011
1001100
1110101
1100010
0001000
0011111
0100110
0110001
1000011
1010100
1101101
1111010
0000100
0010011
0101010
0111101
1001111
1011000
1100001
1110110
0000010
0010101
0101100
0111011
1001001
1011110
1100111
1110000
0000001
0010110
0101111
0111000
1001010
1011101
1100100
1110011
№ класса
8
9
10
и
12
13
14 | 15
Кон¬
трольное
число
0101
1001
1111
1100
0110
ООП
1010
1101
Класс
смеж¬
ности
1100000
1110111
1001110
1011001
0101011
0111100
0000101
0010010
0110000
0100111
0011110
0001001
1111011
1101100
1010101
1000010
0011000
0001111
0110110
0100001
1010011
1000100
1111101
1101010
0001100
0011011
0100010
0110101
1000111
1010000
1101001
1111110
0000110
0010001
0101000
0111111
1001101
1011010
1100011
1110100
0000011
0010100
0101101
0111010
1001000
1011111
1100110
1110001
0001010
0011101
0100100
0110011
1000001
1010110
1101111
1111000
0001101
0011010
0100011
0110100
1000110
1010001
1101000
1111111
Глава девятая
НЕКОТОРЫЕ ВОПРОСЫ ОБРАБОТКИ
ИНФОРМАЦИИ С ПОМОЩЬЮ ЦВМ
Широкое использование ЦВМ для хранения, поиска и обработки
информации, содержащейся в бумажных документах, заставило прин¬
ципиально изменить подход к информационной проблеме, сформиро¬
вавшейся в теории связи.
Перезапись информации с привычных для человека бумажных
носителей на магнитные (ленты, барабаны, диски, магнитное опера¬
тивное запоминающее устройство ЦВМ) привела к разработке новых
методов ее представления и переработки.
209

Несколько упрощая, можно считать, что машинные методы обра¬
ботки информации разрабатывались параллельно двумя путями: по
линии информационно-поисковых систем (ИПС) библиотечного типа
й по линии АСУ. Большая часть разрабатываемых проблем оказалась
общей: представление и хранение информации на машинных носи¬
телях, поиск информации, обработка и преобразование информации.
Дополнительно в АСУ возникают проблемы создания и моделирования
на ЦВМ информационной модели предприятия, в частности схемы
документооборота.
Хотя в области машинной обработки информации и не создано
таких фундаментальных теорий, как теория информации Шеннона
в системах связи, и большинство разработок носит прикладной, инже¬
нерный характер, определенные концепции в части той информации,
которая нужна кибернетике, сформировались и создают у инженера-
кибернетика нужную точку зрения. Цель настоящей главы — позна¬
комить с общей идеологией обработки информации с помощью ЦВМ,
не вдаваясь в технические подробности, с тем чтобы в какой-то мере
нейтрализовать то одностороннее впечатление, которое сформирова¬
лось после чтения предыдущих глав по теории информации.
9-1. ПОНЯТИЕ ТЕЗАУРУСА ИНФОРМАЦИОННОЙ СИСТЕМЫ
Одним из основных новых понятий, появившихся в результате
разработки машинных методов обработки информации, в частности
при переводе с одного языка на другой, поиска научно-технической
информации и создания информационной модели предприятия в АСУ,
явилось понятие тезауруса информационной системы [Л. 15]. Термин
«тезаурус» (его можно переводить как накопитель сокровищ), так же
как и информация (в широком смысле этого слова), трудно поддается
четкому определению. Его энциклопедическое толкование подразу¬
мевает совокупность знаний о внешнем мире — это так называемый
тезаурус мира Г0. Все понятия внешнего мира, выраженные с помощью
естественного языка, составляют тезаурус Rlt из которого можно выде¬
лить частные тезаурусы путем иерархического деления с учетом со¬
подчинения отдельных понятий (микромира, макромира) или путем
выделения частей общего тезауруса мира. В последнем случае появ¬
ляются тезаурусы наук THt (кибернетики й т. д.), технические тезау¬
русы TTj (машиностроительного предприятия, химического предприя¬
тия и т. д.) и научно-технические тезаурусы THTk (электротехниче¬
ский, радиотехнический и т. д.). Последние иногда именуются отрас¬
левыми тезаурусами. Наконец, встречаются еще тезаурусы проблем¬
ные ТП1 (плазменных энергетических установок, управления наслед¬
ственностью и т. д.). Для того чтобы ЦВМ могла работать с конкрет¬
ным частным тезаурусом, он должен быть строго оформлен, жела¬
тельно сразу на машинно-ориентированном документе, с которого
непосредственно можно производить загрузку перфокарт или перфо¬
лент. Простейшим способом тезаурус может быть оформлен в виде
лийейного списка (табл. 9-1).
210

Таблица 9-1
А'»
п/п.
Шифр
Дескрипторы
1
001
Кинетика реакторов
2
010.
Опасность, связанная с работой реакторов
3
011
Параметры решеток реакторов
4
100
Реакторные материалы
Такая таблица редко называется тезаурусом, так как она пред¬
ставляет* собой просто список ключевых терминов иди предметных
рубрик без их раскрытия (подрубрик). Это — одноуровневый список.
Практическое значение имеют многоуровневые списки предметных
рубрик, или многоуровневые тезаурусы. В табл. 9-2 приведен не¬
сколько видоизмененный фрагмент знаменитого тезауруса ASTIA
[Л. 60]. Здесь уже включены смысловые отношения между дескрипто¬
рами «видовой к», «родовой к», «см.», «см. также», определяющие
структуру тезауруса. Не вдаваясь в подробности составления данного
тезауруса, отметим только, что он подчинен правилам, составляющим
синтаксис и семантику тезауруса. В нем явно присутствует не¬
сколько иерархических уровней, соподчинение между которыми строго
определено. Этот тезаурус носит отпечаток информационно-поиско¬
вой службы. В нем выделены соответственно рубрики: «Кинетика
реакторов», «Опасность, связанная с работой реакторов» и т. д. и
группы слов, подчиненные рубрикам: «Цепные реакции» и т. д.,
которые называются дескрипторами (описателями). Важно обратить
внимание на число дескриптивных уровней, которое определяет се¬
мантическую силу тезауруса.
Таблица 9-2
Ко
п/п.
Шифр
Дескрипторы
1
0001
Кинетика реакторов (техника ядерных реакторов) включает:
2
0010
Цепные реакции видовой к:
3
ООП
Работа реакторов (см. также)
4
0100
Теория реакторов
5
0101
Управление реакторами
6
0110
Опасность, связанная с работой реакторов
Тезаурус отличается от простого списка слов или фраз (дескрип¬
торов) — словаря наличием иерархических связей между фразами
(синтаксисом и семантикой).
Геометрически любой тезаурус можно представить в виде древо¬
видного графа со многими начальными вершинами — источниками
(рис. 9-1). На верхнем уровне расположены дескрипторы нулевого уров¬
ня, на других— дескрипторы низших уровней. Каждому дескриптору
нулевого уровня в тезаурусе соответствует дерево дескрипторов,
211

которое иногда называется в информационно-поисковых системах
рабочей ветвью или рабочим кустом тезауруса. В последнее время вне¬
дряется более удачный термин «синдром», означающий совокупность
признаков. Каждый синдром дает расшифровку дескриптора нулевого
уровня, причем чем больше уровней, тем более точно раскрывается
смысл дескриптора нулевого уровня. Раскрытие смысла невозможно без
указания его связей с другими дескрипторами. На рис. 9-1 эта связь
указана общими дескрипторами (зачерненными вершинами). Следует
сразу- заметить, что разделение на дескрипторы нулевого и ненуле¬
вого уровня носит в известном смысле условный характер. В зависи¬
мости от условий конкретного информационного поиска в качестве
нулевого уровня могут фигурировать дескрипторы первого или вто-
««••••	е	•
Рис. 9-1. Граф тезауруса.
рого уровня. Так, в случае рис. 9-2 может появиться запрос о всех
полупроводниках с р-п-р переходами, тогда нулевым уровнем' станет
первый уровень дескрипторов и т. д. В этом проявляется очень важ¬
ное свойство тезаурусов ИПС, часто называемое многоаспектностью.
При машинной обработке информации семантика того или иного
термина задается в виде дерева (рис. 9-2). Чем больше дескриптивных
уровней, тем более точно раскрывается смысл термина. Машина, опе¬
рирующая с кодами (шифрами) дескрипторов, «понимает» смысл тер¬
мина только с помощью его рабочей ветви. При машинной обработке
информации очень часто встает вопрос об идентификации кода с
дескрипторами нулевого уровня. Дело в том, что в машине вы¬
числяются новые документы, новые термины по уже известным и
требуется в конце отождествить (идентифицировать) код с образом,
(дескриптором нулевого уровня). Машина это может сделать только
сравнением рабочих кустов тезауруса, что по существу происходит
при сравнении дескрипторов соответствующих уровней.
В результате путем разработки тезауруса с дескрипторами и ра¬
бочими ветвями в инженерной практике была решена проблема се¬
мантики информации, обрабатываемой ЦВМ. Составление тезауруса —
трудоемкая задача. Как правило, отраслевые тезаурусы содержат
много тысяч дескрипторов, и на их составление уходят годы работы
коллектива численностью несколько сотен человек. Сложность тезау-
212

руса резко возрастает с увеличением числа дескриптивных уровней.
При малом числе уровней возрастают ошибки идентификации (поиска).
Так, при использовании рабочих кустов «полупроводник — электрон¬
ное устройство» и «радиолампа — электронное устройство» машина не
сможет различить исходные термины, так как они совпадают, поэтому
необходимо задать следующие уровни.
Заметим, что в обычной, немашинной практике установления
смысла, семантики терминов по существу также работает изложенная
выше машинная схема.
Путем длительного процесса обучения в памяти человека форми¬
руется его тезаурус мира, а если он осваивает какую-нибудь профес¬
сию, то профессиональный тезаурус. Большим подспорьем для специа¬
листа является тезаурус, сосредоточенный в его личной библиотеке,
библиотеке предприятия и т. д. Инженер, имеющий дело с электро¬
никой, должен помнить, например, весь куст тезауруса (рис. 9-2),
соответствующий ключевому слову «полупроводник», в том числе
расположение его выводов, усиления и т. д. Однако, если спросить
неспециалиста, что такое полупроводник, он с трудом назовет дескрип¬
торы из сферы применения и этим ограничится, т. е. его семантическое
понимание полупроводника ограниченно.
Создание в ЦВМ модели смыслового понимания информации с по¬
мощью тезауруса является крупным достижением кибернетики и ана¬
логично естественному накоплению знаний, веками используемому
в человеческом обществе.
Тезаурусы человека строго не оформлены и не имеют четких син¬
таксиса и семантики, как в информационно-поисковых и других машин¬
ных системах; можно сказать, что у каждого человека своя система
организации тезауруса. Но книги, в особенности технические, а также
единый процесс обучения обеспечивают большое сходство организации
тезаурусов у всех образованных людей. Определенная самобытность
213

в организации тезаурусов создает предпосылки для творческой сво¬
боды и творческого многообразия, необходимые для развития интел¬
лекта.
Однако с внедрением машинных методов" обработки информации
и обучения человеку все чаще и чаще придется переходить на обще¬
принятый машинный стандарт тезауруса. Упомянутые выше свободы
будут отодвигаться в высшие сферы деятельности человеческого ин¬
теллекта.
Уже из приведенной трактовки видно, что информационные теза¬
урусы в кибернетике несколько отличаются от традиционного их
толкования, сложившегося в области информационного поиска. Ки¬
бернетики, взяв идею тезауруса из теории ИПС библиотечного типа,
подвергли ее существенной переработке, особенно для АСУ. Надо
заметить, что технический тезаурус предприятия при разработке АСУ
значительно меньше по объему, чем библиотечный, и может насчи¬
тывать в зависимости от номенклатуры применяемых и изготовляемых
изделий от сотен до нескольких тысяч дескрипторов.. Но, как пра¬
вило, число дескриптивных уровней должно быть большим и насчи¬
тывать десять и более уровней.
9-2. МОДЕЛЬ ПЕРЕДАЧИ ИНФОРМАЦИИ,
ИСПОЛЬЗУЮЩАЯ ТЕЗАУРУСЫ
Для исследования процесса обработки информации с помощью
ЦВМ можно использовать структурную схему, показанную на
рис. 5-1.
В зависимости от направленности диалога человек — машина
в роли источника информации выступает последовательно то человек,
то машина. При загрузке информации в ЦВМ источником информации
выступает человек: Функции передатчика, канала связи и приемника
выполняет комплекс устройств ввода и других машинных средств,
участвующих в процессе переноса информации от человека к устрош
ству внешней памяти — магнитной ленте, барабану или диску.
Основной помехой являются ошибки перфорации.
При использовании ЦВМ и машинного банка данных в качестве
информационно-справочной системы источником информации выступает
банк данных. При этом модель в вид'е структурной схемы, приведенной
на рис. 5-Л, малопригодна, так как часто требуется правильно пере¬
дать смысловое содержание информации, а не ее код. Поэтому более
правильное представление о процессе обмена информацией в любых
системах дает блок-схема на рис. 9-3, в которой используются тезау¬
214

русы источника информации и адресата. Эта схема одинаково при¬
годна для описания процесса передачи информации в системах чело¬
век — человек, человек — машина, машина — человек. Прежде всего
для нормальной передачи семантической информации необходимо,
чтобы тезаурусы источника информации и адресата пересекались.
Математически тезаурус можно представить в виде множества эле¬
ментов или графа. Пересечение двух тезаурусов означает пересечение
множеств этих тезаурусов, т. е. наличие общих элементов (вершин
или ребер графа) (рис. 9-4). '
Для простоты рассмотрим с этих позиций обмен информацией в си¬
стеме человек — человек. Допустим, специалист по электронике хочет
объяснить с помощью видеотелефона неспециалисту, что такое полу¬
проводник. В этом случае тезаурусы источника информации и адре¬
сата не пересекаются (рис. 9-4, а). Какие бы совершенные системы
кодирования, передатчики, линии связи и приемники ни использо¬
вались, передачи семантической информации не будет или она будет
а)	5)
Рис. 9-4. Условия передачи семантической информации.
ничтожно мала. Когда же передача семантической информации про¬
исходит между специалистами одного профиля (рис. 9-4, б), тезаурусы
источника информации и адресата практически совпадают.
Если следовать точке зрения Шеннона, то при совпадении тезауру¬
сов никакой передачи информации быть не может, так как требуется
так называемый элемент новизны или расширения тезауруса. Однако
в инженерной практике и практике общения между людьми такая
концепция часто не подтверждается. Действительно, при обмене ин¬
формацией между специалистами они тем быстрее поймут друг друга,
чем больше совпадают их тезаурусы знаний в данной области. Усвое¬
ние информации одним собеседником будет даже быстрее, если его
тезаурус знаний больше, а тезаурус его собеседника составляет
его часть. Однако следует признать, что в данном примере проис¬
ходит пополнение, расширение тезауруса данных.
В результате таких рассуждений мы приходим к концепции двух
тезаурусов у человека и машины: тезаурусу знаний и тезаурусу дан¬
ных. Оба тезауруса не всегда резко разделены, и имеется небольшой
процент их перекрытия. Но разделение всегда имеет место. Напри¬
мер, если человек получает какую-то информацию, то, чтобы в ней
разобраться, понять ее, он должен привлечь свой тезаурус знаний.
Когда специалисту по электронной технике приходят сведения и циф¬
ровые данные по ядерной технике, соответствующий тезаурус знаний
пуст или беден для того чтобы принять эту информацию. Следует
215

заметить, что некоторое аналогичное разделение наблюдается в про¬
блемно-ориентированных языках типа КОБОЛ для автоматизации
программирования задач по обработке данных на ЦВМ, в котором
имеется описание данных и сами данные, хранимые на разных магнит¬
ных лентах.
9-3. ИНФОРМАЦИОННО-ПОИСКОВЫЕ СИСТЕМЫ
В настоящее время по функциональному назначению информа¬
ционно-поисковые системы можно разделить [Л. 60—62] на следующие
типы:
ИПС для науки (обеспечивает разработчиков максимально доступ¬
ной информацией).
ИПС для промышленности (контролирует производственные про¬
цессы и организует учет и автоматизацию методов обработки инфор¬
мации).
ИПС для руководства промышленными предприятиями, транспор¬
том и торговлей (помогает руководителям находить эффективные ре¬
шения).
ИПС для военных целей (предназначена для оперативной обра¬
ботки входной информации. Например, автоматизированные системы
управления средствами ПВО).
ИПС для библиотек (осуществляет отбор и приобретение книг по¬
средством системы каталогов, соответствующей темпу обновления
фонда).
ИПС для медицинских учреждений (создает систему прогнозирова¬
ния, реализующую принципы машинной диагностики заболеваний).
Перечисленные сферы применения информационно-поисковых си¬
стем дают представление о многообразии предъявляемых к ним функ¬
циональных требований и позволяют разделить их на два класса:
1) фактографические системы, осуществляющие поиск значений дан¬
ных (фактов) в ответ на запрос и 2) документальные системы, осуще¬
ствляющие поиск документов, рассматриваемых как неделимое целое
и выдачу их абоненту.
Для отыскания в массиве определенного элемента информации
необходимо сформулировать на некотором языке (обычно специфично
сокращенном естественном языке) что именно нужно узнать, в каких
записях и массивах это может быть найдено. Затем происходит срав¬
нение требований абонента с хранящейся информацией и, наконец,
извлечение информации. При составлении запроса на информацию,
хранящуюся в документах массива, могут быть произведены две раз¬
личные операции. Одна из них определяет, содержит ли хранящийся
документ данные того типа, который определен запросом (типично для
фактографических систем), другая операция определяет степень реле¬
вантности документов, т. е. соответствия подученного документа за¬
прошенному (типично для документальных'систем).
Для эффективного выполнения поиска термины индексирования
темы документа или запроса, составляющие содержание информаци¬
онно-поискового языка (ИПЯ), должны быть контролируемы. Для
осуществления такого контроля создается некоторый нормативный
216

список или контролируемый словарь терминологии. Индексация до¬
кументов происходит в соответствии с их предметным содержанием
с помощью словаря терминов, т. е. создается поисковый образ или
краткое описание содержания документа. Существует несколько
разновидностей построения ИПЯ.
В языках иерархической классификации в основе лежит пред¬
положение, что темы поиска могут быть подразделены на некоторые
более конкретные вопросы.и этот процесс может быть повторен иерар¬
хически несколько раз, пока не будет создана структура, в данном слу¬
чае иерархия, охватывающая область всех тем, с. которыми будет
работать система. Это фиксированное множество дескрипторов (рубрик),
которые соответствуют допустимым темам, что очень удобно при поль¬
зовании ими. В качестве примера иерархической классификации
можно назвать универсальную десятичную классификацию (УДК).
В системах предметных заголовков, как правило, ИПЯ исполь¬
зуется для описания уже имеющейся, а не ожидаемой в будущем инфор¬
мации (см. табл. 9-1). Типичными представителями этого класса яв¬
ляются каталоги литературы по заголовкам: математика, автоматика,
машиностроение и т. д. Словарный состав языка предметных заголов¬
ков обычно состоит из терминов и фраз естественного языка. Предмет¬
ные заголовки для удобства потребителей иногда располагаются
в алфавитном порядке. В этом языке путем подразделения уже имею¬
щихся предметных заголовков может быть создано некоторое подобие
иерархической структуры. Это упрощает разработку ИПЯ, однако
отсутствие структуры затрудняет его машинное использование. При¬
меры использования языка достаточно часто встречаются в каталогах
малых библиотек.
Характерная особенность описанных выше языков состоит в том,
что число понятий, которые могут быть с их помощью образованы, за¬
ранее фиксировано. Так как иерархически связанный термин вклю¬
чает в себя все вышестоящие термины, уже невозможно изменить его
значение или придать ему другой оттенок. Языковые системы, имею¬
щие такую структуру, часто называются «предкоординированными
системами», т. е. термины должны быть заранее «скоординиро¬
ваны».
В словарных составах «предкоординированных» систем должны
оставаться пробелы для описания предметных областей. Это имеет
особое значение для библиотек научной литературы, в которые по¬
стоянно вводятся новые понятия. Для таких систем разработаны
ИПЯ, позволяющие использовать несколько дескрипторов для поис¬
кового образа. Такое индексирование обычно называется индексиро¬
ванием ключевыми словами или координатным индексированием
(соответственно используется термин дескрипторный ИПЯ). Харак¬
терной особенностью этих языков является использование большого
количества дескрипторов на каждый поисковый образ для описания как
можно большего числа аспектов документа. Здесь исходные термины
(ключевые слова) словаря не влияют друг на друга. Отдельные тер¬
мины «техника» и «ракета» не означают понятия «ракетная техника».
Для его образования необходимо ввести некоторую «связку» понятий
217

«техника» — «ракета»; скоординировать их отношение. Отсутствие
структурных связей между ключевыми словами дает возможность
включать или исключать их из словарного состава. Это делает языки
легко приспосабливаемыми к изменениям охватываемых ими предмет¬
ных областей. Из-за функциональной особенности языков индекси¬
рования ключевыми словами, состоящей в том, что выражение поиско¬
вого образа осуществляется посредством использования комбинаций
классов (понятий) и установления отношения (координации) между
ними, не заложенными заранее в систему словаря, они называются
«посткоординируемыми». Один из языков такого типа, который назы¬
вают языком ключевых слов с фиксированным словарным составом,
лишь незначительно отличается от языка предметных заголовков.
Главное отличие ИПЯ ключевых слов от ИПЯ предметных за¬
головков заключается в том, что ключевые слова обычно короче
предметных заголовков (как правило, это единичные слова), а также
в том, что объем полного словарного состава (возможных обра¬
зованных терминов) значительно больше. Несмотря на практическое
отсутствие синтаксиса языки ключевых слов выполняют свое назна¬
чение, так как их легче приспосабливать к изменениям описываемых
предметов, когда название предмета точно не совпадает с предметным
заголовком. Примером такого языка является язык известного теза¬
уруса ASTIA (см. табл. 9-2).
Иногда индексация документа происходит по тем же словам, кото¬
рые использовал автор, а не по какому-то множеству предварительно
отобранных слов (нормативному словарю), приблизительно синонимич¬
ных желаемым словам. Эти ИПЯ называются языками со свободным
словарным составом или со свободной системой ключевых слов.
Для ИПЯ с наиболее развитым синтаксисом различные дескрип¬
торы изменяют значение друг друга. Одним из простейших примеров
такого синтаксиса является команда вычислительной машины. Пер¬
вая часть команды — операция, вторая—адрес операции. Оба дес¬
криптора (команда и адрес) выражаются с помощью элементов одного
и того же словарного состава — чисел. Однако благодаря приданию
различным позициям чисел' различных значений создается язык,
обладающий большой гибкостью. Такой способ позволяет использо¬
вать контекст для устранения многозначности в искусственных язы¬
ках подобно тому, как это делается в естественном языке. Например,
понятие «лук, оружие» отлично от понятия «лук, растение». Первое
понятие в этих двух примерах интерпретируется так, как подсказы¬
вает более общее второе понятие. Различные роли, которые играют
дескрипторы в таких языках, называются фасетами. Соответст¬
венно язык называется языком фасет н ого индекси¬
рования, представляющим подкласс ИПЯ с синтаксисом. В фа-
сетном индексирующем термине каждый фасет играет точно опреде¬
ленную синтаксическую роль, что позволяет легко разложить термин
на составляющие дескрипторы.
Поисковое предписание или запрос представляет
собой форму связи, с помощью которой потребитель запрашивает
хранилище информации. Авторы создают документы и передают их
218

специалистам, где они индексируются в соответствии с некоторой схе¬
мой кодирования. Процесс формулирования интересов потребителя
в виде поискового предписания аналогичен процессу индексирования
й составления поискового образа.
"Вопрос сопоставления запроса и поискового образа переходит
в вопрос разработки некоторого синтаксиса‘поисковых предписаний,
устанавливающего логические связки между терминами поискового
предписания и необходимые соотношения между значениями термина
в поисковом предписании и в поисковом образе. Можно привести
следующий пример синтаксических правил поискового запроса:
1. Роль связки между терминами поискового предписания могут
играть операторы «И», «ИЛИ», «НЕ».
2. Термин поискового предписания может быть «равен», «не равен»,
«шире» или «уже» термина поискового образа.
3. Если поисковый образ состоит из фасетов, то правила для фасе¬
тов применимы и к поисковому предписанию. В том и другом случае
это — логическое объединение (фасет) терминов.
Функция сопоставления запрос-ответ не обязательно является
двоичной функцией решения (ДА-НЕТ), которая обеспечивает четкое
различие между совпадающими и не совпадающими с запросом поиско¬
выми образами, что типично для фактографических систем. В общем
случае эта мера совпадения называется релевантностью поискового
образа запросу. Для выдачи абоненту того или иного поискового об¬
раза на основании его релевантности требуется функция решения. Эта
функция в конкретных случаях принимает различные формы. От¬
вет на вопрос считается правильным, если значение функции реле¬
вантности превышает некоторое пороговое значение.
В простейших случаях вычисления функции релевантности под¬
разумевается присутствие некоторой меры информативности индек¬
сирующих терминов. Очень часто поисковый образ и поисковое пред¬
писание представляются некоторыми векторами в предметном про¬
странстве с координатами, равными «информативности» отдельных тер¬
минов. В таких случаях в качестве меры релевантности используется
взаимная ориентация векторов, в частности их скалярное произведение.
9-4. ПРЕДСТАВЛЕНИЯ ДАННЫХ НА МАШИННЫХ
НОСИТЕЛЯХ
Решая задачи, ЦВМ имеет дело с представлением информации
в виде множеств символов. Такое представление является одной из
форм кодирования. В системах связи применяется несколько уровней
кодирования. В естественном языке буквы, слова и предложения яв¬
ляются последовательными уровнями кодирования. При передаче
сообщения в линиях связи составляются из двоичных знаков (битов)
и т. д.
В системе обработки данных в качестве базового (нижнего) уровня
принимается поле данных, состоящее из символов, имеющих
определенное значение. Значением поля данных может быть слово
естественного языка, а также число или код." В дальнейшем термины
219

«слово» и «поле» данного будем считать равнозначными [Л. 63—651.
Запись или фраза представляет собой набор полей, описывающий
некоторый отдельный объект или класс объектов. Объединение запи¬
сей по определенному структурному закону образует массив, понятие,
характеризующиеся более высоким уровнем абстракции. В науке,
занимающейся вопросами обработки данных, нет общего названия,
которое можно было бы использовать для обозначения еще более вы¬
сокого уровня абстракции в организации информации. Этот уровень
соответствует набору массивов.
а) Организация массивов информации
Организация массива информации характеризуется содержащи¬
мися в нем данными, размещением записей, видом хранящего записи
носителя. Известно много методов организации массивов. Основные
различия между ними заключаются в способе размещения записей
и форме представления информации об их размещении.
Последовательно-смежное размещение записей ис¬
пользует такое' размещение, при котором (п + 1)-я запись следует
непосредственно за п-й записью. Этот вид организации записей спо¬
собствует экономии памяти, но затрудняет введение изменений в мас¬
сивы. Примером массивов информации, записанных в ЗУ с последова¬
тельным доступом, является магнитная лента (МЛ), перфолента (ПЛ),
перфокарта (ПК).
Списковая структура представляет собой организацию
данных, при которой размещение записей не зависит от их места в ин¬
формационном массиве. Если при последовательно-смежной органи¬
зации нет необходимости в /г-й записи указывать место (адрес) распо¬
ложения (п + 1)-й записи, то п-я запись массива, организованного по
списковой структуре, должна содержать сведения о том, где можно
найти (п + 1)-ю запись. Практически списковая структура эффек¬
тивно может быть реализована только на дисковом запоминающем
устройстве (имеются в виду внешние ЗУ, в которые не входит МОЗУ).
б) Структура записи информационных массивов
Выше было показано, что'запись — лишь одно из звеньев в цепи
последовательного кодирования информации. Хотя число возможных
способов организации информации очень велико, в действительности
имеется почти непрерывная последовательность методов, начиная
с наиболее высокоорганизованной информации и кончая совершенно
неорганизованной. Этот ряд содержит записи инвариантной струк¬
туры, записи, использующие двоично-позиционное кодирование полей
данных, фиксированные поля и т. д. Ряд заканчивается естественным
языком. Естественный язык представляет собой пример наименее
жесткой структуры среди всех способов ^организации информации.
Пример 9-1. В качестве примера структуры записи рассмотрим стандартный и
плотный методы записи массивов на МЛ языка КОБОЛ, ЦВМ «Минск-32» для кон¬
кретного массива, имеющего следующие поля: ШИФР-СЫРЬЯ, КОЛИЧЕСТВО,
ЕДИНИЦА-ИЗМЕРЕНИЯ сырья.
220

Таблица 9-3
Двоичное представление
Двоично-десятичное
Десятичное число
числа
представление числа
11
1 011
0001 0001
25
И 001
0010 0101
В ЦВМ все данные (буквенные и цифровые) представляются в двоичном коде,
состоящем из нулей и единиц. Весь объем информации разделен на отдельные пор¬
ции, называемые словами или ячейками. Ячейка ЦВМ «Минск-32» содержит 37 раз¬
рядов с нумерацией от 0 дЪ 36. При размещении массива на МЛ используют понятие
символа, которым может быть буква русского или латинского алфавита, цифра и
любой знак типа запятой, тире, точки, круглой скобки. На каждый символ отводится
7 двоичных разрядов (байт). В большинстве машин отечественных (ЕС ЭВМ, М-220)
00001
шифр-СЫРЬЯ
ноличестбо
О 1 2 3 и 5 б 1 в 9 1011
о
12 13 Ik 15 16 1718 Iff 20 2! 22 23 2ч 25 26 27 2д 29 30 3132333k
Г
А Место десятичной точны
00002
00003
Рис. 9-5. Представление данных на МЛ.
и зарубежных (IBM, ICL) применяется 8 разрядов. В одной ячейке «Минск-32» можно
разместить 5 символов (5X7= 35), причем при плотном методе записи на МЛ 35-й
и 36-й разряды не используются. Если данное содержит только цифры, в большинстве
случаев для их представления применяется двоично-десятичная система кодирова¬
ния, которая обязательна в языке КОБОЛ. В этой системе отдельное десятичное
число представляется четырьмя двоичными разрядами (тетрадой), двузначное деся¬
тичное число — двумя тетрадами, трехзначное — тремя и т. д. (табл. 9-3).
Тетрадное представление чисел существенно облегчает их кодирование, так как
кодируется отдельно каждая цифра. Такое кодирование удобно для хранения данных
и вывода их на печать,, хотя при этом затрудняется выполнение вычислительных
операций процессором ЦВМ.
На рис. 9-5, а показана запись массива ЛИМИТЫ-СЫРЬЯ плотным ме¬
тодом. Физическая запись информации располагается посимвольно поперек МЛ,
для чего в ЦВМ «Минск-32» поперек ленты расположены восемь читающих головок,
221

соответственно по одной головке на каждый разряд в символе и одна головка длл
контроля четности. Каждая запись в этом массиве занимает две ячейки. В первой
под номером 00001 в первых трех тетрадах располагается ШИФР-СЫРЬЯ (десятич¬
ное число 210), в следующих пяти тетрадах и тетраде, составленной из 32—34-го
разрядов первой ячейки и нулевого разряда, пишется КОЛИЧЕСТВО сырья. Начи¬
ная с первого разряда (по счету второго) 21 разряд второй ячейки отводится под
размещение трех символов ЕДИНИЦЫ-ИЗМЕРЕНИЯ (по 7 разрядов на символ).
Как видно из рисунка, значения признаков, иногда называемых реквизитами, запи¬
сываются подряд без пропусков, откуда и идет название метода — плотный. Этот
метод наиболее экономно использует МЛ.
На рис. 9-5.,б представлен вариант используемой в АСУ записи массива
ЛИМИТЫ-СЫРЬЯ стандартным методом. Запись занимает три ячейки.
Основной принцип стандартного метода заключается в том, что каждое данное зани¬
мает одну или несколько (для символьной информации) ячеек. В нашем случае
ШИФР-СЫРЬЯ занимает последние три тетрады первой ячейки, 6 последних тетрад
второй ячейки отводятся под запись КОЛИЧЕСТВА. В первом 21 разряде третьей
ячейки (7 X 3) записывается ЕДИНИЦА-ИЗМЕРЕНИЯ. Как видно из рисунка,
при стандартном методе по сравнению с плотным не используется большая часть
ячеек (заштриховано). Следует отметить, что при стандартном методе цифровые дан¬
ные располагаются в правом конце ячейки, а символы — в левом. Преимущество
стандартного метода заключается в том, что при перезаписи информации с МЛ в маг¬
нитное оперативное запоминающее устройство (МОЗУ) не требуется так называемой
процедуры распаковки, состоящей в размещении каждого данного в отдельные
ячейки.
в)	Представление информации о структуре
массива
Машинное представление информации характерно разделением
описания данных и самих данных; они хранятся отдельно на разных
машинных носителях. Описание данных — это ключ, с помощью
которого машина распознает, «читает» данные. Некоторым аналогом
описания данных в немашинных носителях информации может, напри¬
мер, служить указание; что книга написана на русском языке, хотя
грамотному человеку это и так ясно.
Информация о структуре массива содержит описание структуры
записи и способа нахождения любого поля данных и новой записи.
Описание полей данных должно отражать следующие свойства дан¬
ных: класс данного, наличие знака в цифровом данном, место десятич¬
ной точки в числе, размер поля данного и место его расположения
в записи. Часто эти сведения хранятся в виде таблиц. Это значит, что
в машинных словах фиксируется место, где записывают информацию
о поле данных. Адресная информация также может представляться
в виде таблиц. Примером этому служит списочная организация мас¬
сивов. Другой подход к хранению адресной информации состоит в том,
чтобы хранить формулу, которую можно использовать для вычисле¬
ния адреса записи.
Пример 9-2. Рассмотрим структуру приближенного описания указанного выше
массива ЛИМИТЫ-СЫРЬЯ для системы организации данных на языке КОБОЛ,
ориентированной на обработку массивов экономической информации:
ОМ ЛИМИТЫ-СЫРЬЯ МЕТОД ПЛОТНЫЙ
1. ЛИМИТЫ.
2. ШИФР-СЫРЬЯ ШАБЛОН 999.
2. КОЛИЧЕСТВО ШАБЛОН 9999Т99.
2. ЕДИНИЦА-ИЗМЕРЕНИЯ ШАБЛОН ААА.
222

Остановимся на основных особенностях описания массивов. Данные, состав¬
ляющие массив, описываются в порядке их следования в массиве. При этом соблю¬
дается определенная иерархия данных. Сначала указываются сведения, характери¬
зующие массив в целом: его название, метод записи. Эти сведения отмечаются бук¬
вами ОМ (описание массива). Ниже следует уровень описания, обозначаемый циф¬
рой 1, в котором помещается название записи. Цифра 2 определяет первое данное
(величину), входящее в запись. В нашем примере таких данных три. Их описания
одинаково отмечены цифрой 2, потому что они равноценны с точки зрения иерархии
вхождения в документ, называемой уровнем вводим ости.
Таким образом, в рассматриваемом массиве есть три уровня входимости величин:
массив (ОМ), запись (1), величина (2). В общем случае в записи может быть больше
уровней входимости.
В строке МО запись ЛИМИТЫ-СЫРЬЯ означает название массива; слова
МЕТОД ПЛОТНЫЙ указывают на метод записи. Во второй строке, отмеченной
цифрой 1, помещается название записи ЛИМИТЫ, так как в массиве, названном
ЛИМИТЫ-СЫРЬЯ, могут быть другие записи, например ПОСТАВЩИК, СТОИ¬
МОСТЬ. Следующий уровень 2 описывает первую величину записи ШИФР-СЫРЬЯ.
Слово ШАБЛОН означает, что данный уровень является последним в иерархии дан¬
ных массива. Следующие за словом ШАБЛОН три цифры 9 указывают, что значение
величины ШИФР-СЫРЬЯ может состоять только из цифр, причем не более трех
десятичных. Данное того же уровня 2 КОЛИЧЕСТВО является цифровым, имею¬
щим 4 цифры до запятой и 2 после. Запятая указывается буквой Т. При чтении ленты
и ее дадьнейшей обработке буква Т учитывается в соответствии с описанием (см.
рис. 9-5). Последняя строка 2 означает, что величина ЕДИНИЦА-ИЗМЕРЕНИЯ
может принимать буквенные значения, причем не'более трех букв ААА (7 разрядов
на букву).
Таким образом, для возможности использования данных на МЛ,
составленных на одной ЦВМ, специалистами другой ЦВМ необхо¬
димо выполнение по крайней мере двух условий: одинакового распо¬
ложения записей на МЛ (плотным или стандартным методом) и оди¬
накового описания данных.
г)	Роль запоминающей среды при организации
массивов
Конструкция ЗУ оказывает влияние на стоимость и скорость вы¬
полнения операций в массиве, а это и есть основные параметры, харак¬
теризующие любую систему обработки данных. Оценим ЗУ разных
типов с точки зрения,времени доступа к отдельной записи.
Запоминающее устройство с равным временем доступа. Этот тип ЗУ
характеризуется одинаковым временем доступа по всем его адресам.
Классическим примером устройства с произвольным доступом может
служить ЗУ на магнитных сердечниках, используемое в оперативной
памяти большинства ЦВМ (МОЗУ). Нужная информация в этом слу¬
чае может быть получена за несколько микросекунд. Объем памяти
МОЗУ сравнительно невелик и изменяется в зависимости от числа
модулей от 16 тыс. слов до нескольких млн. слов.
Запоминающее устройство с непосредственным доступом. Приме¬
ром этого типа ЗУ могут служить магнитные диски (ДЗУ). Данные
с магнитных дисков выбираются перемещением читающего механизма
к нужной дорожке без считывания данных промежуточных дорожек.
В пределах дорожки информация считывается последовательно.
Нужная-информация с диска, если известен адрес ее хранения, может
быть получена за несколько миллисекунд. В зависимости от конструк¬
223

ции диска объем памяти одного модуля, представляющего собою пакет
из нескольких дисков, составляет несколько миллионов слов. Общий
объем в зависимости от числа модулей может доходить до нескольких
сотен миллионов слов. ЗУ на магнитных барабанах БЗУ также можно
отнести к ЗУ с непосредственным доступом. Объем одного модуля БЗУ,
состоящего из одного барабана, сравнительно невелик и составляет
для большинства ЦВМ 64 тыс. слов. Обычно общий объем БЗУ не
превышает 1 млн. слов. Очевидно, что ЗУ с непосредственным досту¬
пом не характеризуются одинаковым временем доступа по всем запи¬
сям, которое зависит от ее расположения на диске, однако они позво¬
ляют считывающему устройству непосредственно переходить к тре¬
буемой информации без считывания промежуточных порций.
Запоминающее устройство с последовательным доступом. Приме¬
ром ЗУ с последовательным доступом может служить магнитная, бу¬
мажная лента, перфолента. Для осуществления поиска информации
необходимо просматривать массив с начала. Для обычной магнитной
ленты (ЛЗУ) время доступа может доходить до нескольких минут. В за¬
висимости от конструкции объем одного модуля ЛЗУ (одной бобины
магнитной ленты) может составлять свыше одного миллиона слов.
Количество лентопротяжных механизмов определяет объем ЛЗУ,
который участвует в вычислениях и может составлять несколько десят¬
ков миллионов слов.
Если организация самого массива такова, что не допускает непо¬
средственного доступа к данным, нет смысла использовать для него
ЗУ с непосредственным доступом, и наоборот, рациональная органи¬
зация массива иногда помогает преодолеть известные недостатки
памяти. Соответственно стоимость хранения единицы информации
(одного слова) на магнитных носителях увеличивается с улучшением
качественных-показателей информации. Наиболее дорогостояще хра¬
нение на МОЗУ и наименее на ЛЗУ.
Структурная информация о массиве тогда имеет ценность, когда
процессор способен ее использовать. Например, если чтение и поиск
данных, хранящихся на МЛ, не могут быть совмещены с другой опе¬
рацией, выполняемой в вычислительной машине, польза от такого раз¬
мещения записей в массиве невелика, так как каждую запись все равно
придется просмотреть. Но если тот же массив хранится на магнитном
диске и если можно за время, когда ЦВМ производит вычисление (не
по массиву), установить считывающую головку диска в нужное поло¬
жение, наличие указателей размещения записей может сократить
время доступа. Большое значение имеет прямая загрузка информации
с клавиатуры на магнитный носитель. Теоретически при наличии
богатого ассортимента ЗУ проектирование информационного обеспе¬
чения системы может вестись независимо от машинных носителей
информации.
После создания системы обработки данных начинается процесс
«погружения», привязки ее к конкретным машинным носителям ин¬
формации, к конкретной ЦВМ. Однако практически проектировщик
ограничен в своих возможностях предоставленными в его распоряже¬
ние техническими средствами с машинно-ориентированным информа¬
224

ционно-программным обеспечением. С широким использованием проб¬
лемно-ориентированных языков для систем организации данных
(таких, как КОБОЛ) «жесткая привязка» проектировщика к машинно¬
ориентированному информационно-программному обеспечению суще¬
ственно ослабевает или совсем исчезает, так как для всех существую¬
щих и вновь разрабатываемых ЦВМ наиболее распространенные языки
программирования входят в состав их математического обеспечения.
Однако стоимость будущей системы долго будет являться ограниче¬
нием при проектировании и при системном подходе ее необходимо с пер¬
вых шагов учитывать, чтобы в завершенном виде система была опти¬
мальной.
• Так, для оперативного информационного поиска, необходимого
в АСУ, приемлемым является, по-видимому, только ДЗУ, так как
только этот тип внешних ЗУ позволяет загрузить многоуровневые
(списковые) информационные структуры типа тезаурусов и сохранять
необходимое для работы быстродействие.
Имеются примеры построения медленно действующей ИПС с исполь¬
зованием ЛЗУ. Однако этот тип ЗУ наиболее применим в долговре¬
менных хранилищах информации, которые по запросу поставляют
необходимую информацию посредством установки оператором соот¬
ветствующей кассеты МЛ на лентопротяжный механизм. Такие хра¬
нилища в настоящее время насчитывают до нескольких миллиардов
слов. На ЛЗУ могут храниться и тезаурусы, которые для работы с ними
машинными средствами частично или полностью переносятся в ДЗУ.
Конкурентоспособным с ЛЗУ долговременным средством хранения
информации может в настоящее время выступать постоянное запоми¬
нающее устройство электронно-оптического типа, объем которого
может достигать биллионов слов. Однако этот тип памяти существенно
уступает магнитной ЛЗУ в части удобства обновления памяти.
9-5. МАТЕМАТИЧЕСКОЕ ОБЕСПЕЧЕНИЕ
В СИСТЕМАХ АВТОМАТИЗИРОВАННОЙ ОБРАБОТКИ
ДАННЫХ (САОД)
Для эффективного создания, развития и эксплуатации информа¬
ционного обеспечения используется или- разрабатывается комплекс
средств, объединяемых термином «математическое обеспечение», кото¬
рый включает в себя три группы средств: математические модели обра¬
ботки информации, алгоритмы (алгоритмическое обеспечение) и про¬
граммы (программное обеспечение).
Математическое обеспечение информационных мо¬
делей больших систем — это средства эффективного отражения со¬
стояния системы, ведения массивного хозяйства, реализации опти¬
мизационных процедур, организаций эксплуатации всего програм¬
много комплекса.
Существуют два способа построения программного обеспечения
в САОД. В первом случае используется библиотека стандартных
программ БСП-КОБОЛ и сам язык КОБОЛ как средство программи¬
рования (или язык ФОРТРАН со своей БСП). Это наиболее перспек-
8 Основы кибернетики
225

гивная система. Во втором случае разрабатываются и используются
БСП, частично или полностью несовместимые с первой схемой, исполь¬
зующей язык КОБОЛ. БСП стали создаваться в результате того, что
по мере накопления опыта машинного решения задач было замечено,
что отдельные части программ однотипны и могут быть стандартизо¬
ваны. В некоторых библиотеках имеется информационная совмести¬
мость с БСП-КОБОЛ для стандартного метода записи на МЛ, но ее
нет для плотного метода. В одних БСП (типа БСП-I) используют руч¬
ной способ описания данных, и при этом отсутствует совместимость
в описании данных. В других БСП (типа БСП-И) отсутствуют инфор¬
мационная совместимость и совместимость в описании данных, что
приводит к невозможности использования одной и той же МЛ для
языка КОБОЛ и этой БСП. Несмотря на большое количество проблем¬
ных языков, предназначенных для обработки информации, наиболь¬
шую популярность и распространение получили КОБОЛ (специально
ориентированный на обработку экономической информации), ФОРТ¬
РАН (используемый для обработки результатов экспериментов физи¬
ческого, химического и т. д. планов, а также для обработки экономиче¬
ской информации), АЛГАМС (представляющий собою развитие АЛ¬
ГОЛа за счет добавления раздела обработки данных) и ПЛ-1, содер¬
жащий в себе в значительной степени особенности всех предыдущих
языков. Рассмотренные выше вопросы информационного единства в
значительной мере справедливы и по отношению к САОДам, ориенти¬
рованным на языки ФОРТРАН, АЛГАМС, ПЛ-1.
Основное требование к любым САОДам заключается в едином
представлении информации на машинных носителях и единой системе
обращения к этим носителям. Это позволит обмениваться информацией
на машинных носителях между различными организациями, так как
при единой системе они могут быть «прочитаны» любым абонентом.
Эта ситуация напоминает представление информации на бумажных,
«ручных» носителях информации (книги, статьи и т. д.). Любой чело¬
век может прочитать любую книгу, если знает язык, на котором она
написана. В случае, когда книга написана на неизвестном для чита¬
теля языке, он прибегает к помощи переводчика, роль которого в ЦВМ
выполняет транслятор (с языка КОБОЛ, АЛГОЛ и т. д.).
9-6. СТРУКТУРНЫЕ МЕТОДЫ ПРЕОБРАЗОВАНИЯ
ИНФОРМАЦИИ
При проектировании систем автоматизированной обработки дан¬
ных широко используются структурные методы. Весь процесс пере¬
работки информации представляется в виде графа, вершины которого
отождествляются с определенным массивом, а ребра — с операторами,
осуществляющими определенное преобразование информации.
а)	Основные операторы
При обработке массивов выполняется комплекс операций, в ре¬
зультате чего в массив вводятся новые записи, исключаются устарев¬
шие, изменяется порядок записей, меняется значение полей данных.
226

На основе анализа экономических задач, решаемых на различ¬
ных уровнях управления, был выявлен набор типовых операторов
[Л. 65], достаточно полно описывающих процедуры переработки боль¬
ших массивов информации. Это — упорядочение массивов, выборка,
поиск, редактирование массивов, выполнение арифметических и логи¬
ческих операций над полями данных. Рассмотрим четыре класса,
на которые подразделяются типовые операторы. Для этих операторов
составлены стандартные программы, включенные в БСП САОДа.
Операторы структурного преобразования массивов (С). В резуль¬
тате действия таких операторов изменяется расположение фраз внутри
массивов, слов внутри фраз и состава массивов. При этом значения
полей данных, входящих в массив, не меняются. В качестве примера
можно привести оператор упорядочения (сортировки) массива. В ре¬
зультате действия этого оператора фразы массива располагаются в
определенной последовательности в зависимости от данного, по кото¬
рому осуществляется сортировка.
Операторы выборки изменяют состав обрабатываемого массива,
формируя в. результате массив, фразы которого удовлетворяют усло¬
вию, задаваемому оператором. Так, оператор выборки экстремальных
фраз записывает в результирующий массив те фразы исходного мас¬
сива, у которых значение поля данного, указанного оператором, мак¬
симально (минимально).
В класс структурного преобразования массивов также входят
операторы по анализу массивов. Они, например, осуществляют под¬
счет фраз, слова которых удовлетворяют определенным условиям.
Операторы вычисления (изменения) значений полей данных (Выч.).
В результате действия этих операторов формируется массив, поля
данных которого есть результат выполнения арифметических и логи¬
ческих операций над соответствующими словами обрабатываемых
массивов.
Операторы перемещения данных (Пер.). Под воздействием этих
операторов происходит перемещение массивов информации: ввод, вы¬
вод, дублирование и т. д.
Операторы управления (Упр.). Эти операторы определяют последо¬
вательность выполнения операторов программы в процессе обработки
информации. В зависимости от истинности логических высказываний
происходит ветвление программы, построение циклов, обращение
к подпрограммам и пр.
Приведенный набор операторов получен в результате анализа
широкого класса экономических задач, характеризующихся обработ¬
кой больших массивов информации. Кроме основного назначения для
описания алгоритмов решения набор операторов является средством
статистического изучения этих задач, выявления наиболее трудоемких
процессов обработки массивов. В частности было установлено, что
при использовании электронных вычислительных машин для коммер¬
ческих расчетов только на сортировку массивов на МЛ уходит до 70%
и на дисках и барабанах — до 30% общего машинного времени.
Частота использования оператора сортировки в экономических зада¬
чах достигает 40%.
*
8*	227

Как следует из вышесказанного, при решении задач по обработке
массивов информации наиболее широко применяются операторы
структурного преобразования массивов, в особенности операторы сор¬
тировки. Очевидно, эффективность решения задач на ЦВМ опреде¬
ляется главным образом тем, насколько эффективно реализуются
операторы класса С.
б)	Схемы документооборота
Значительное количество информации, циркулирующее в больших
системах, группируется в определенные комплексы и помещается
в документы, облик и структура которых годами сформировались при
немашинных методах обработки информации и управления. Можно
утверждать, что любое промышленное предприятие управляется с по¬
мощью документов, в которых содержится информация фактографиче¬
ского характера, т. е. устанавливающего фактическое состояние не¬
которого явления или процесса (наряд на работу, акт окончания
Рис. 9-6. Структура документа.
работы и т. д.). Поэтому большинство структурных схем преобразо¬
вания информации носит характер схем преобразования документов
или документооборота, особенно это имеет место в АСУ.
Характерная особенность машинной обработки и преобразования
одних документов в другие заключается в том, что новый документ
вычисляется по исходным документам, а не составляется, как
при ручном способе, так как машина может только вычислять. Правда,
ЦВМ может еще перемещать, сортировать, объединять, разъединять
массивы. Поэтому требуется представить существующую форму.доку¬
мента в виде, удобном для вычислений на ЦВМ. Для этого, анализируя
документ, прежде всего выделяют его наименование, наименование
показателей, наименование признаков показателей, значение призна¬
ков (рис. 9-6). Так как информация в ЦВМ циркулирует последова¬
тельно, то все содержание документа, состоящее из признаков, объе¬
диненных в показатели, вытягивается в строчку. Проще всего понять
228

методику- составления машинно-ориентированной модели документа
на примере.
Пример 9-3. Рассмотрим на примере документа «Расход материалов за год»,
характерного для АСУ, процедуру составления его модели.
Документ «Расход материалов за год» представлен в табл. 9-4. Его схема
показана на рис. 9-7. Эта схема позволяет представить весь документ в виде одной
строчки (табл. 9-5).
Каждому признаку документа отводится самостоятельная позиция (клетка)
с соответствующим номером ац, где i — номер показателя в документе, а / — номер
признака в показателе. Преобразование документа или образование нового доку¬
мента осуществляется изменением значений признаков или добавлением новых
признаков, показателей и соответствующим изменением наименования (шифра)
документа.
Т а б л и ц а 9-4
№
п/п.
Статья
расхода
Обозначение
материала
(at)
Количество
материала
(аз) .
Единица
измерения
(а4)
1
2
3
4
5
Производство
(А)
Ремонт и эксплуа¬
тация (Л2)
Строительно-мон¬
тажные работы
ш
Всего (Л4)
Таблица 9-5
«11
Дата расхода на производство
«12
Обозначение материала, израсходованного на производство
«43
Количество расхода суммарное
«44
Единица измерения суммарного расхода материала
С помощью рассмотренной модели документа можно составлять
машинно-ориентированные схемы документооборота. При этом ис¬
пользуется формальный операторный язык (ФОЯ) обработки инфор¬
мации: структурного преобразования и вычислительного типа.
На рис. 9-8 показан фрагмент схемы документооборота. В соответ¬
ствии с этой схемой с помощью оператора вычислительного типа
(Выч, 1) суммируются признаки а3 и а4 и их сумма заносится в клетку
229

признака аб. Преобразованный документ Дг остается в подразделе¬
нии Пг. С помощью оператора (Вын. 2) формируется новый документ Д2у
пришедший из другого подраз¬
деления. В нем рассчитывается
только показатель
Рз = К + а4) «в»
а остальные показатели остаются
без изменения. Затем признаки
документа Д2 подвергаются опе¬
рации редактирования (Ред. 1)
с помощью оператора структур¬
ного типа. По предписанию,
составленному служебной про¬
граммой, каждому признаку
присваивается свой номер, в со¬
ответствии с которым он должен
занимать место в документе,
например номер по порядку, фа¬
милия, имя, отчество и т. д. На
рис. 9-8 оператор (Ред. 1) распо¬
лагает показатели (32,Р4» Ре в со¬
ответствии с предписанными но¬
мерами, остальные показатели
остаются без изменения. В ре¬
зультате воздействия этого опе¬
ратора образуется новый доку¬
мент Д3, в котором
та
Ч
та
к
Он
н
та
2
Ч
о
X
а
та
а,
Yi=p4!
Тз = Рг!
Ye= Рб!
Y2 = Р«;
Y4 = Pi;
У? = Рт-
Ye — Рз!
Пример 9-4. Рассмотрим упрощен¬
ную схему расчета зарплаты (рис. 9-9).
Исходными документами (массивами)
будут список сотрудников Дг с долж¬
ностями и окладами, табель посещае¬
мости Д2, таблица вычетов подоход¬
ного налога Д3, список дополнительных
отчислений и начислений Д4. Прежде
всего документы Д -f- Д3 проходят
сортировку по признакам: фамилия,
имя, отчество, в результате чего они
располагаются в алфавитном порядке.
Упорядочение необходимо, для того
чтобы следующие операторы (Выч.
1—3) работали, осуществляя однора¬
зовый просмотр документов. Сумма,
заработанная каждым сотрудником, определяется оператором Выч.1. Он вы¬
полняет следующие функции: объединяет документы по ключу ах = blt вычис¬
ляет заработанную сумму и формирует новый документ Д7, содержащий список
сотрудников с должностными окладами и фактически заработанной суммой, в кото-
230

рой учитывается только отработанное время. Из документа Д7 с помощью группы
структурных операторов типа выборки по ключу « > сх», « <с2» и оператора вычисли¬
тельного типа (Выч.2) формируется документ Д8, в котором записывается сумма
подоходного налога. И, наконец, из документов Д8 и Д9, в которых содержатся све¬
дения о дополнительных вычетах и начислениях, оператор Выч. 3 вместе с оператором
выборки по ключу «равенство ФИО» строит окончательный документ Д10 «Ведомость
зарплаты».
В целом рассмотренная схема документооборота является форма¬
лизованным отображением существующего ручного способа обработки
сС|
А
А
л,
ЧПг -Д Л
й,
Bom I
et.
оС,.
Выч 2
А
А
Т
А
Л
_ЕГ
П,
А
Pei
Н
1
Г,
h
h
h
к
Рис. 9-8. Фрагмент схемы документооборота на уров¬
не бумажных документов, использующий ФОЯ.
информации и поэтому очень сложна для ручного и машинного моде¬
лирования.
Возможности, заложенные в автоматизированных средствах орга¬
низации данных и программирования типа языка КОБОЛ, позволяют
без особого труда составлять алгоритм получения документа по фор¬
мульному (не машинно-ориентированному описанию) расчету его
показателей. Так, на рис. 9-10 для сравнения приведены структуры
схем документов о начислении зарплаты, составленных с помощью
КОБОЛа и рассмотренного выше языка формальных операторов
ФОЯ, где А — программа на языке КОБОЛ, реализующая расчет
документа Д10. Схема на языке КОБОЛ имеет типичную машинную
ориентацию, исключающую получение ненужных для данной задачи
промежуточных документов, но необходимых для ручных методов
управления. Здесь уже можно усмотреть эволюцию существующей
схемы документооборота, ее синтез. В плане эволюции, обусловленной
применением ЦВМ, можно предложить схему документооборота на
231

Список сотрудниноб	Табель	посещаемости
Таблица бычетоб
подоходного налога
л5
ФМ.О
Должность
Онлад
4
ФМ.О.
Ноличестбо отра¬
ботанных дней
а,
д2
03
Ь,
ьг
Сортиробна
Сортиробна 1
Ф.и.О
Долш-
ность
Онлад
4
Ф.и.О
Ноличестбо от¬
работанных дней
а.
02
аз
Ь,
Ьг
1
1
1
I
Выч. /
1
Онлад
минималь¬
ный
Онлад
мансираль-
ныи
%
о1
с2
сз
Ф.и.О
Онлад
Заработанная
сумма
Ot
03
а*
с,<а <сг
Выч. 2
I too /
Дополнительные отчислений
Ф.и.О
Онлад
Заработан¬
ная сумма
Налог
Ot
0э
*0
0s
д
Ф.и.О.
Д ополнительные
отчисления
dr
d2
Сортиробна . |
Ф.и.О.
Д ополнительные
отчисления
с
1,
*2
Выя. 3 ~~| (a<l-a}-d2)
Ведомость зарплаты
Ф.и.О
Заработан¬
ная
сумма
Налог
Дополнитель¬
ные отчис¬
ления
Выдано
0,
0s
06
Рис. 9-9. Пример схемы документооборота для начисления зарплаты.
232

Рис. 9-10. Схема на¬
числения зарплаты на
уровне документов с
помощью ФОЯ (а) и на
языке КОБОЛ (б).
Расчет зарадот- Расчет суммы Расчет
ной суммы (aJ	налога (а5)	„Выдано”(а6)
о)
9
Рис. 9-11. Схема до¬
кументооборота на
уровне показателей
и признаков в виде
дерева.
233

уровне показателей и их признаков в виде дерева. Строится дерево
показателей (рис. 9-11). На самом нижнем уровне располагаются пер¬
вичные показатели, отражающие нормы расхода ресурсов, отчетные
показатели цеха, состав изделий (А,). Все более высокие уровни заняты
расчетными и сводными отчетными показателями, показателями себе¬
стоимости продукции (Вр. Самый высокий уровень характеризует
работу предприятия в целом: рентабельность, использование фондов
зарплаты, оборудования и т. п. (С,-). При создании дерева показателей
за основу берется не структура управления и документооборот, а вы¬
ясняются формулы расчета показателей при переходе с яруса на ярус.
Моделирование составленной схемы документооборота на ЦВМ дает
возможность получать по запросу документы (Дх), содержащие пока¬
затели, находящиеся на разных уровнях дерева. В запросе должны
содержаться сведения о структуре документа, а алгоритмы расчета
его показателей содержатся в самой схеме документооборота. Но сов¬
сем не учитывать сложившиеся методы управления (структурный со¬
став предприятия) нельзя, так как по отчетности участков, цехов
завода, по связям показателей разных уровней выясняется и осуще¬
ствляется моделирование схемы документооборота. Работы по состав¬
лению дерева показателей в конечном счете приведут к созданию
технико-экономического тезауруса системы.-

ЧАСТЬ ТРЕТЬЯ
МЕТОДЫ ОПТИМИЗАЦИИ
Глава десятая
ОБЩИЕ СВЕДЕНИЯ О МЕТОДАХ ОПТИМИЗАЦИИ
10-1. О СИСТЕМНОМ ПОДХОДЕ ПРИ ОПТИМИЗАЦИИ
Оптимальная система управления может быть реализована в виде
набора правил, в виде стратегии или способа управления, согласно
которым следует поступать в той или иной ситуации (военной, произ¬
водственной, политической) или в виде комплекса технических средств
управления (космическим или морским кораблем, домной и т. д.).
Сущность системного подхода заключается в комплексном, едином
рассмотрении всех частей системы и гармоническом их сочетании. Так,
при космических полетах можно, увеличивая вес корабля, добиться
максимальной автономии управления, независимости от Земли. Можно,
наоборот, обеспечив хорошую связь с кораблем, больше аппаратуры
разместить на Земле, максимально уменьшив вес корабля. Где опти¬
мальная граница распределения веса наземной и бортовой аппаратуры,
эту задачу должны решать методы оптимизации исходя из критерия
оптимальности и состояния техники на сегодняшний день.
Особенно ценна роль системного подхода в поэтапном решении
задачи оптимизации. Процесс проектирования любой системы включает
в себя почти одни и те же этапы (или задачи), состоящие в разра¬
ботке:
1) математической модели процесса, которым требуется управлять
(объекта управления), и всей системы управления с обратными свя¬
зями (контура управления);
2) формульной схемы закона управления для управляющей вычи¬
слительной машины (УВМ);
3) программ для УВМ;
4) структуры УВМ и других технических средств и выборе ее
элементов.
На каждом из этих этапов встает проблема формулировки крите¬
риев оптимальности и оптимизации. Однако системный подход подра¬
зумевает общую оптимизацию четырех этапов: в отдельности каждый
из них может и не быть оптимальным.
Для решения задачи оптимизации необходимо прежде всего уметь
формулировать критерии оптимальности и владеть методами (или
процедурами) оптимизации.
235

10-2. О КРИТЕРИЯХ ОПТИМИЗАЦИИ
Вопрос о критериях оптимизации — один из самых важных в ки¬
бернетике, и в то же время он далек от удовлетворительного решения.
В последнее время интенсивное развитие получила наука, назы¬
ваемая прагматикой, которая занимается определением целей и задач
управления, изучением значения и ценности результатов поведения,
движения, развития и управления системами. До последнего времени
эта наука носила чисто качественный, неформализованный характер.
Однако с развитием кибернетики появились первые попытки форма¬
лизации методов прагматики с помощью семиотики и математической
лингвистики. В качестве практической реализации кибернетических
методов в этой области можно указать на американскую человеко-
машинную систему «Паттерн», предназначенную для научно-техниче¬
ского прогнозирования и определения оптимальных по значению и по
времени реализации целей [Л. 15, 68].-Следует заметить, что, по-види¬
мому, прагматика никогда не станет полностью формализованной нау¬
кой, так как с формализацией целей низшего уровня будут появляться
новые цели целей на качественном уровне и такой процесс будет бес¬
конечным. Тем не менее именно прагматика является той наукой,
с помощью которой можно достаточно грамотно формулировать кри¬
терии управления.
В настоящее время выделяют два вида критериев оптимизации.
Это, во-первых, выработанные практикой качественные или количе¬
ственные характеристики оптимальности работы различных систем
и, во-вторых, разработанные математиками математические критерии
оптимальности, положенные в основу аналитических, графоаналити¬
ческих, численных и машинных методов оптимизации. Однако они
часто далеки от потребностей практики. В последнее время наблюдается
сближение этих двух видов критериев: с одной стороны, появляются
новые математические методы оптимизации, такие как принцип мак¬
симума и динамическое программирование, которые лучше приспо¬
соблены для решения практических задач оптимизации, с другой сто¬
роны, практика проектирования все чаще пользуется критериями оп¬
тимальности, удобными в математическом смысле. Так произошло
с критерием среднеквадратичной ошибки, принятым в качестве оценки
точности работы АСР, и критерием вероятности, утвердившимся как
количественная оценка эффективности работы системы. Такой про¬
цесс стал возможным в связи с ростом математических знаний инже¬
неров.
Критериев оптимизации в кибернетике много. Выбор того или
иного критерия зависит от конструктура системы управления, и
в этом содержится элемент нестрогости. Однако все чаще практика
предлагает типовые критерии, которые становятся общепринятыми
и заносятся в технические задания.
Наиболее распространенные в кибернетике методы оптимизации
используют понятие минимума (или максимума) функции или функ¬
ционала. В первом случае находят значение п переменных хъ хъ ...,
хпу при которых функция F (xlt х2, хп) принимает экстремальное
236

значение F = min (max). В простейшем случае дифференцируемости
функции и неравенства нулю вторых производных задача сводится
к решению п алгебраических (в общем случае нелинейных) уравнений
Л = °.	”=1.2 п.	(10-1)
При оптимизации управления приходится оперировать с большим
числом переменных (п = 103— 105). В этом специфика задач оптими¬
зации, и это затрудняет решение уравнений (10-1) даже с помощью ЦВМ.
В качестве оптимизируемой функции могут выступать, например,
величина дохода промышленного предприятия в рублях, количество;
энергии, потребляемой системой. Однако часто требуется определить
закон управления в виде некоторой функции времени .или других
переменных. Если функция Е (х), где х = {хъ х2, хл}, помимо пере¬
менных хъ х2, хп зависит еще (параметрически) от другой пере¬
менной X (или переменных Хъ Х2, ..., Хп), то решение для каждого зна¬
чения X соотношения (10-1) дает оптимальный закон управления
х(к) = {х1(к), х2(Ц,
Здесь мы уже переходим, по существу, к понятию функционала,
частным случаем которого является функция. Методы оптимизации,
использующие этот критерий, возникли задолго до кибернетики и
составили содержание раздела математики, названного вариацион¬
ным исчислением. Понятие функционала в математике является даль¬
нейшим обобщением понятия функции. Не очень строго функционал
можно определить как функцию от функции, т. е. функцию, в которой
в качестве независимой переменной выступает функция. Это определе¬
ние ошибочно относят к функционалам функции вида F [ф (х)], [х2]3
и т. д., которые, однако, являясь функциями, представляют частный
случай функционала.
Если одному множеству М значений величины х (х е М) соответ¬
ствует другое множество N значений величины у, то говорят, что у
является функцией х, т. е. у = / (х). Например, М {1, 4, 9, 8} и
N {20, 70, 90, 110}. Каждому значению из множества М соответствует
одно значение из множества N. Это — метод задания функции в виде
таблиц. Он чаще всего встречается в кибернетике. Аналитически
функция может быть задана в виде у = х3, у = sin х.
Если М — множество функций и каждой функции f (х), принадле¬
жащей М {/ (х) е М}, ставится в соответствие определенное значение
величины у из множества N, то говорят, что на множестве М задан
функционал. Например,
М {sin х, cos х, tgx, ctgx},
N{3, 4, 5, 18}.
Другим примером функционала может служить определенный
интеграл
I = I {У (*)} = ^ У (*) dx.
0
237

Каждой функции у (.х) будет соответствовать числовое значение /.
Так, при у = х I = 1/2, при у = х2 I = 1/3. Можно поставить задачу
отыскания такой функции у (х), которая обращала бы этот функционал
в минимум (максимум), т. е.
I {у} = min (шах).
В общем случае подынтегральное выражение в функционале может
зависеть явно от аргумента х> у и производной ух:
ъ
I {y} = \F(x, у, у) dx.	(10-2)
Интеграл в формуле (10-2) может пониматься в смысле Лебега —
Стильтьеса или интеграла от обобщенной функции (в частности,
содержащей дельта-функции). Тогда нетрудно показать, что запись
(10-2) включает в себя функцию.
Так, если положить .
Р(х, у, y) = f (х) 6 (t — x),
то
ъ
I ^^f(x)8(t — x)dx = f (t)
а
при a <it Cb.
Аналогично, если положить
Р (х, у, у) = 2 Cifi (х) б (ti - х),
1=1
то
1=^сми).
1 = 1
Xq-(X
Рис. 10-1. К замене функционала сум¬
мой.
Иногда считают, что функционал является функцией бесконечного
числа переменных. Соответственно вариационное исчисление можно
рассматривать как обобщение методов отыскания экстремума функции
на случай большого или бесконечного числа переменных. Действи¬
тельно, функцию у (х) в формуле (10-2) можно заменить приближенно
ломаной линией (рис. 10-1) с вершинами у0 = у (х0) = у (а), у± =
= У (хо +	•••»	Уп = У (Х0 + п&х) = у {Ь)у а функционал — суммой
/= 2 F(xh yiyj^-) Ьх.
i = 0
После этого вариационная задача приближенно решается как
обычная задача на отыскание экстремума функции п переменных:
I = (Уъ Уъ •••> Уп)- Именно так выводил свое основное уравнение
вариационного исчисления Эйлер [Л. 69, 70].
Особое место в методах оптимизации занимает критерий оптимиза¬
ции с ограничениями. В случае функционала этот критерий может
238

быть записан в виде
ъ
l = ^F(x, у, y)dx = min;
а
У, У) ^ 0;
А= 1, 2, 3,	,	т,
где ф/г — некоторые функции. Смысл этих соотношений состоит в том,
что отыскивается не любая функция у (х), обращающая функционал
в минимум, а такая; которая удовлетворяет системе ограничений.
Нетрудно убедиться, что тем самым значение условного экстремума
не может быть меньше значения абсолютного экстремума (без огра¬
ничений). Аналогичным образом формулируется критерий оптималь¬
ности (с ограничениями) для функции
В классическом вариационном исчислении в функционале интеграл
понимается в обычном смысле как предел сумм Дарбу, а не как инте¬
грал Лебега — Стильтьеса [Л. 69]. В целях соблюдения инженерного
уровня изложения здесь будет использовано это классическое понятие
функционала (если не дано специальных оговорок).
Следует заметить, что во всех приведенных формулах переменные
х и у могут быть векторами
Такая форма записи широко используется, и, в частности, она учиты¬
вает случаи оптимизации функции многих переменных и оптимизации
нескольких функций.
Задачи оптимизации при наличии ограничений, по существу, при¬
вели к пересмотру классических методов и созданию новых методов,
известных под названием методов программирования. Если в формулах
(10-3) все функции линейные, налицо задача линейного программиро¬
вания. В общем случае эти соотношения определяют задачу нелиней¬
ного программирования.
Этот критерий применяется при оценке качества работы АСР и
удобен при решении математических задач оптимизации. Физически
требование минимума дисперсии или квадрата ошибки (рис. 10-2)
между заданным (или желаемым) h (t) и выходным х (t) сигналами си¬
стемы
(10-3)
У = {Уь У2 yi}\
F = {fi, F2,	Fp}.
а)	Критерий среднего квадрата ошибки
е2 = [h (t) — х (^)]2 = min
.239

означает большую нежелательность по сравнению с линейным законом
больших (чем малых) по значению ошибок (рис. 10-3). Причем в соот¬
ветствии с рис. 10-2 h (t) получается из полезного входного сигнала
т (t) с помощью заданного оператора х(/), в то время как реальный
Рис. 10-2. К определению ошибки АСР.
сигнал x(t) получается из входного сигнала системы ср(/) с помощью
оператора k(t), который следует найти. При использовании критерия
|е| = |й(/) — *(f)| = min,
где черта сверху означает усреднение по ансамблю, считается, что
вред, наносимый ошибкой,
пропорционален ее величине;
Средний квадрат ошибки
АСР е2 — это функционал
[Л. 71] от ее импульсной пере¬
ходной функции и для ста¬
ционарных сигналов и линей¬
ной системы имеет вид:
оо
?=Яа(0)-2$*(т)ЯДф(т)Л+
0
оо	оо
+ 5 k (т) dx 5 k (tj) /?ф(т—Tl) dxb
о	о
(10-4)
где Rh (т) и Rq (т) — функции
корреляции желаемого h (t) и
входного ф(/) сигналов; R^ (т) — их взаимная функция корреляции.
Если при минимизации требуется обеспечить заданное значение
динамической ошибки, то добавляются условия:
ОО
\k (т) (— t)s di = s = 1, 2 m,	(10-5)
о
где — заданные числа, и задача становится вариационной задачей
на условный экстремум.
240
Рис. 10-3. Оценка качества работы АСР по ве¬
личинам дисперсии или модуля ошибки.

Заметим, что критерии (10-4) и (10-5) широко используются при
синтезе АСР, начало которому было положено Винером, Колмогоро¬
вым, Солодовниковым и др. [Л. 71].
б)	Интегральный критерий
Этот критерий используется для определения параметров АСР,
оптимальной в переходном режиме, и в качестве него иногда выби¬
рается минимум функционала
оо
/i=.Ue2+r©2]^	(10'6)
6
где е — ошибка рассогласования в системе (рис. 10-4). Требованием
минимума функционала (10-6)
Ii = min
можно обеспечить в системе переход¬
ный процесс с малыми отклонениями,
величина которых определяет вели-
оо
чину интеграла Je2dt, и достаточно
о
плавный, без резких колебаний, что
определяется величиной интеграла
0
Второй член в (10-6) по существу
включает управление по производ¬
ной. Дело в том, что при переходе
нулевого значения ошибки е произ¬
водная е принимает большие значе¬
ния и из-за этого возникают боль¬
шие переколебания. Наличие второго члена уменьшает значение
производной, способствуя меньшим переколебаниям.
Критерий (10-6) требует минимума суммарной площади, ограни¬
ченной кривыми ошибки, ее производной и осью абсцисс, причем
последняя площадь берется с весом Т. Из рисунка видно, что эти две
кривые «работают» со сдвигом примерно на 90°. Коэффициент Т
осуществляет оптимальный баланс между управлением по ошибке
и по производной.
в)	Критерий максимального быстродействия
При определении параметров АСР в режиме переходного процесса
чаще используется другой критерий оптимальности, который обеспе¬
чивает максимальное ее быстродействие. В простейшем и наиболее
качества.
241

распространенном случае задача оптимизации по быстродействию
сводится к получению переходного процесса, заканчивающегося в крат¬
чайшее время. В АСР, будь то система управления ракетой или антен¬
ной радиолокационной станции, требуется, чтобы переходный про¬
цесс, к примеру при ступенчатом воздействии, заканчивался в мини¬
мальное время [Л. 72]. Дело в
том, что до окончания переход¬
ного процесса АСР не может вы¬
полнить своего основного назна¬
чения как следящей системы, к
примеру, антенна радиолокаци¬
онной станции не может следить
за входным сигналом. Следящая
система должна отрабатывать
входной сигнал, а не колебаться
(рис. 10-5). Для этого случая
в функционале (10-2) необходимо
положить:
F (х, ху /) = 1
и, изменив х ->■ ty у -> х, у х,
получить:
‘к
/2 = ^ F (Ху Ху t) dt =
'о
= tK — /o = niin,
причем t0 соответствует началь¬
ным координатам процесса, а
tK—конечным. Наиболее распространено получение оптимального пере¬
ходного процесса с включением максимального ускорения в начале
с последующим переходом на максимальное торможение. В этом слу¬
чае необходимо только определить момент переключения /п. Задача
максимального быстродействия может возникнуть необязательно в
связи с переходным процессом следящих систем. Если, например,
требуется за наименьшее время доставить летательный аппарат с Земли
на Луну, то эта задача также сведется к задаче о максимальном быстро¬
действии.
г)	Критерий минимума стоимости
функционирования системы в единицу времени
В качестве другого примера функционала, встречающегося в прак¬
тике проектирования оптимальных систем, можно привести стоимость
функционирования совокупности систем массового обслуживания
(или сети массового обслуживания) в единицу времени
Г = С\0 -\-C2Wy	(10-7)
где р — среднее число свободных приборов; w — среднее число
емакс
~£макс
Рис. 10-5. Оптимальная по быстродейст¬
вию система.
242

заявок, ожидающих своей очереди; сх и с2 — стоимости простоев
одного прибора и заявки соответственно в единицу времени.
Из-за случайности потока заявок и времени их обслуживания
всегда имеется какое-то среднее число простаивающих приборов или
ожидающих заявок. Требуется так распределить число приборов по
разным системам, чтобы Г = mi п. Такая кибернетическая модель и
критерий широко используются при создании оптимальных систем
управления в сфере обслуживания, например управления системой
парикмахерских города. В качестве заявок здесь выступают клиенты,
в качестве приборов — мастера. Поток клиентов и время их обслужи¬
вания — случайные величины. Одинаково плохо, когда простаивают
мастера и ожидают клиенты. Минимум функционала (10-7) означает
оптимальный выбор числа мастеров, основанный на определенной
статистике потока клиентов. Для решения задачи должны быть из¬
вестны значения стоимости простоя клиентов и мастеров. Величины
р и w являются функциями числа приборов на отдельных участках.
В отличие от предыдущих случаев эта задача имеет дело с дискрет¬
ным изменением параметров, так как число приборов может изме¬
няться только дискретным образом. Поэтому здесь неприменимо клас¬
сическое вариационное исчисление, и необходимо разработать спе¬
циальные методы типа дискретного и целочисленного программиро¬
вания.
д)	Критерий минимума критического бремени
выполнения работы
В последнее время в связи с интенсивным внедрением сетевых
методов планирования и управления возникают задачи о критическом
пути. Например, выполнение сложного проекта сводится к последо¬
вательности выполнения какого-то
определенного количества работ. Для	Н	tcj tj
отображения этого процесса прибе¬
гают к геометрической интерпрета¬
ции с помощью графа (рис. 10-6).
Узел графа обозначает конец одной
работы и начало другой. Дуга или
ребро графа — работа, а длина ребра
пропорциональна времени выполне¬
ния работы. Пусть длительность ВЫ-	Рис. 10-6. Пример сетевого графи-
полнения отдельной работы ty = tj — ка веДения комплексной работы.
— th где ti и tj — моменты времени,
соответствующие началу и концу работы. Критическим в графе будет
такой путь, на котором суммарное время выполнения работ макси¬
мально. Этот путь задерживает всю разработку: без его уменьшения
невозможно сократить время выполнения всей разработки. Критиче¬
ский путь определяется решением экстремальной задачи, в которой
обращается в максимум следующее выражение:
*кр = 2^ = тах*
h /
243

Суммирование в этой двойной сумме необходимо производить
таким образом, чтобы получить путь из начальной вершины t0 в конеч¬
ную tK без разрыва и дважды не пройти по одной и той же дуге. Кри¬
терий минимуму критического времени
I = tKV = min
означает минимизацию критического пути при ограниченных ресурсах.
При этом наличные ресурсы распределяются на те работы, которые
лежат на критическом пути. В данном случае, по существу, решается
минимаксная задача, характерная для теории игр:
min max 2 Uj = ?>
i, i
причем максимум выбирается среди всех путей в графе по времени
выполнения работ, а минимум берется 1ю ресурсам для работ, лежащих
на критическом пути.
е)	Минимаксный критерий
Минимаксный критерий широко используется для определения
оптимальной стратегии при наличии конфликтной ситуации, когда
интересы двух сторон противоположны. Так, в военных ситуациях
выигрыш одной стороны означает проигрыш другой. В этом случае
часто приходится выбирать среди худших для себя стратегий против¬
ника наименее худшую, т. е. брать максимум по множеству стратегий
противника и минимум по собственным стратегиям. В этом и заклю¬
чается минимаксный критерий, широко используемый в теории игр.
В теории матричных игр задается матрица платежей
/= 1, 2, ,, т;
/= 1, 2 п.
Каждый элемент этой матрицы означает платеж противнику в случае,
когда он применяет стратегию /, а наша сторона — стратегию i. Тре¬
буется найти среди множества худших для нас стратегий противника
наименее плохую, т. е. решить минимаксную задачу
min max а// = ?
i J
Нетрудно убедиться, что если поменять знаки atj на обратные,- а это
физически означает замену проигрыша нашей стороны на выигрыш,
то будет решаться максиминная задача
max min (—аи) = ?
i /
В некоторых задачах, имеющих так называемую седловую точку,
min max atj = max min aijt
i j	i	i
Обе эти задачи оптимизации — минимаксная и максиминная — не
решаются классическими методами.
244

10-3. КЛАССИФИКАЦИЯ МЕТОДОВ ОПТИМИЗАЦИИ
Классификация методов оптимизации представляет собой доста¬
точно сложную задачу, так как в основном они исторически разви¬
вались независимо один от другого с использованием различных
концепций, математических аппаратов и т. д. Однако инженеру-
кибернетику необходимо знать их во всем многообразии.
Следует заметить, что приводимая классификация (как и любая
классификация) носит условный характер и страдает недостатками.
Поэтому относительно приводимых ниже схем можно высказывать
замечания, но в целом они
позволяют сразу охватить все
особенности методов. .
Возможно несколько под¬
ходов к классификации. Сле¬
дует различать методы опре¬
деления экстремума функции
и функционала (рис. 10-7).
Хотя функция и является
частным случаем функцио¬
нала, методы отыскания экст¬
ремума функции проще. Ме¬
тоды динамического програм¬
мирования и принципа мак¬
симума с успехом применяются
для отыскания экстремума
функционала и функции. Пря¬
мые методы вариационного
исчисления (методы Ритца,
Эйлера и др.), как и дискрет¬
ный вариант уравнения Эйле¬
ра, СВОДЯТ задачу отыскания Рис. 10-7. Общая структурная схема методов
экстремума функционала к оптимизации,
экстремуму функции. Методы
отыскания экстремума функции получили , такое большое развитие
в кибернетике в связи с вычислительными трудностями решения
системы алгебраических уравнений вида
дР{Хъ ХЦ----Хп) =Ъ, У = 1. 2, ..., п,	(10-8)
особенно при наличии ограничений на координаты xj.
Классическая математика ограничивалась разработкой методов
решения и доказательствами принципиальной разрешимости уравне¬
ний вида (10-8), что привело к созданию так называемых аналити¬
ческих методов оптимизации. Однако при решении конкретных инже¬
нерных задач важно владеть процедурами, позволяющими доводить
решение до числовых данных. Это заставило искать и разрабатывать
численные методы оптимизации.
Спор между сторонниками аналитических и численных методов
с позиций кибернетики в известном смысле потерял свою остроту,
245

так как практика проектирования конкретных систем управления
требует применения обоих методов. За аналитическими методами
остается преимущество, заключающееся в возможности определения
качественной картины поведения оптимальной системы при изменении
ее параметров и структуры. Численные же методы обеспечивают полу¬
чение конкретных числовых значений параметров управления. Неко¬
торую попытку рационального объединения этих методов можно
усматривать в интенсивной разработке человеко-машинных методов
оптимизации, использующих язык диалога человека и ЦВМ, большие
банки данных и возможности современных операционных систем.
При этом удается повторять вычисления при разных условиях, исполь¬
зовать, где необходимо, аналитические методы, представленные в виде
Рис. 10-8. Методы отыскания экстремума функции.
стандартных программных блоков, и, самое главное, оперативно
включать в процедуру отыскания оптимального управления интеллек¬
туальные способности человека.
Интересно отметить, что при таком способе оптимизации исходный
критерий оптимальности может быть нестрого математически форма¬
лизован в виде функции или функционала. Так, он может состоять
из нескольких положений, сформулированных достаточно четко на
словесном, содержательном уровне, что при наличии диалога чело¬
век — машина вполне допустимо.
Сложность решения уравнений (10-8) резко возрастает с увеличе¬
нием числа переменных и ограничений на них. Поэтому большое раз¬
витие получили методы линейного и нелинейного программирования,
прямые методы отыскания экстремума функции, а также дискретные
принципы максимума и динамическое программирование (рис. 10-8).
Методы отыскания экстремума функционала ведут свое начало
от классических методов Эйлера — Лагранжа — Гамильтона, и закан¬
чиваются динамическим программированием и принципом максимума
(рис. 10-9). В них также содержатся прямые методы отыскания экстре¬
мума функционала и различные частные методы.
В соответствии со схемой на рис. 10-7 почти во всех методах (Эйле¬
ра — Лагранжа — Гамильтона, принципе максимума, динамическом
94R

программировании, прямых методах отыскания экстремума функции)
можно выделить дискретные и непрерывные модификации, детермини¬
рованные и случайные варианты.
Дискретная задача оптимизации возникает всякий раз, когда
требуется найти оптимальное значение переменных, которые заданы,
так же как и функция от них, в виде набора дискретных значений.
В последнее время в связи с разработкой и внедрением АСУ чрез¬
вычайно большое значение приобрели методы целочисленного програм¬
мирования. Заметим, что одна из основных задач АСУ — оперативно¬
календарное планирование — относится к задачам целочисленного
программирования. Единого общего метода решения задач целочис¬
ленного программирования нет. Разработано много способов решения
пригодных для частного класса
задач, среди которых большое
место занимают нестрогие эври¬
стические методы. Особого вни¬
мания среди них заслуживают
лингвистические методы оптими¬
зации. Они ближе всего подходят
к человеческому способу мышле¬
ния и удобны для реализации на
ЦВМ с помощью проблемно-ори¬
ентированных языков. Здесь
уместно снова упомянуть о чело¬
веко-машинных методах решения
целочисленных задач оптимиза¬
ции, являющихся по существу
своему лингвистическими в ши¬
роком смысле, так как они ими¬
тируют применяемые человеком методы оптимизации и планирования
с добавлением эффективных аналитических и числовых процедур.
В заключение надо отметить, что в данном пособии одни и те же
методы с разных точек зрения рассматриваются в разных разделах.
Так, градиентный метод излагается в прямых методах отыскания
экстремума функции и методах нелинейного (квадратичного и выпук¬
лого) программирования. Во втором случае он используется как
аналитический, в первом — как численный метод.
Замечание может вызвать имеющееся в пособии смешение двух
принципов рассмотрения методов: по задачам и методу (или процедуре)
решения. Динамическое программирование, принцип максимума и
метод Эйлера — Лагранжа (в ограниченном плане) являются реали¬
зациями процедурного подхода. Первые два метода принципиально
применимы ко всем задачам. Позадачные методы представлены симп¬
лекс-методом для линейного программирования, различными процеду¬
рами решения задач нелинейного и целочисленного программирования.
Хотя с академической точки зрения такое разнообразие подходов
может вызвать большие нарекания, но с точки зрения инженера-ки-
бернетика, который должен иметь на вооружении весь комплекс ме¬
тодов, такое изложение нам кажется оправданным.
Рис. 10-9. Методы отыскания экстремум
функционала.
247

Глава одиннадцатая
МЕТОДЫ КЛАССИЧЕСКОГО ВАРИАЦИОННОГО
ИСЧИСЛЕНИЯ
Прежде чем начать изложение аппарата классического вариацион¬
ного исчисления, следует остановиться на некоторых понятиях.
Определим класс функций, с которыми имеет дело классическое
вариационное исчисление. Это непрерывные, кусочно-непрерывные,
гладкие и кусочно-гладкие функции. График непрерывной функции
представляет собой плавную кривую
без разрывов (рис. 11-1, а). Кусочно¬
непрерывные функции имеют конечное
число разрывов, которые по величине
могут быть бесконечными и конечными
(рис. 11-1,6): если при подходе к точке
разрыва значение функции устрем¬
ляется к бесконечности — это беско¬
нечный разрыв (точка с), если у функ¬
ции в точке разрыва существуют
пределы слева и справа и разность
между пределами конечная, то разрыв
непрерывности называется конечным
или разрывом первого рода (точка d)..
Разрыв считается устранимым, если
пределы слева и справа в точке раз¬
рыва равны между собой, но значение
функции в этой точке отлично от них.
Решения вариационных задач иногда
находят в классе гладких функций,
у которых в заданном интервале не¬
прерывна первая производная (учас¬
ток cb на рис. 11-1, 6), или кусочно¬
гладких, имеющих конечное число
точек разрыва первого рода первой
производной (рис. 11-1, г).
Классические методы вариацион¬
ного исчисления не применимы к
отысканию функций, оптимальных
в классе функций, графики которых изображаются в виде, представ¬
ленном на рис. 11-1, в. Для таких функций характерно наличие
вертикальных участков, где первая производная принимает бесконеч¬
ные значения. Однако такой вид оптимального управления наиболее
интересен с практической точки зрения, в частности для задач макси¬
мального быстродействия. Это привело к необходимости разработки
новых методов оптимизации типа методов Веллмана — Понтрягина—
Кротова [JI. 69—75].
Теперь рассмотрим понятия глобального и локаль¬
ного экстремумов. Глобальный экстремум достигается срав-
248
г)
Рис. 11-1. Графики
функций управления.
Ь
различных

нением всех кривых данного класса, а локальный — сравнением
только близких кривых. Например, требуется проложить кратчайшую
дорогу между двумя пунктами, разделенными горой. Естественно, что
ее следует искать среди путей, огибающих гору слева или справа.
Допустим, наикратчайший путь слева короче, чем справа. Тогда путь
слева будет давать глобальный экстремум, а путь справа — локаль¬
ный.
Всякий глобальный экстремум одновременно и локальный, так
как при определении глобального экстремума сравниваются все
кривые данного класса, а при локальном — только соседние.
Классическое вариационное исчисление основано на методе вариа¬
ций и дифференциальном уравнении Эйлера, вывод которого будет
дан ниже. Это уравнение в различных модификациях встречается
практически во всех методах вариационного исчисления, и поэтому
ему уделяется особое внимание.
11-1. УРАВНЕНИЕ ЭЙЛЕРА
Допустим, что на некоторой гладкой кривой, проходящей через
точки а и Ьу достигается экстремум функционала
ь
I = \F(x, у, у) dx.	(11-1)
а
Определим необходимые условия, которым должна удовлетворять
функция	у(х),	чтобы	на	ней достигался	минимум.	Сравним	значе¬
ния	функционалов	для	близких к у{х)	функций.	Для	этого при¬
дадим у (х) вариацию
у(х) + аг|(*),
где а — число; г] (х) — произвольная гладкая функция, удовлетво¬
ряющая условиям г] (а) = г\(Ь) = 0 и t](x) ^ 0.
Рассмотрим разность функционалов
ь	ь
А/ =\F (х, у+ ац, у + ац) dx-\F{xy у, y)dx,
а	а
которая зависит от а. Разложим это приращение в ряд Маклорена
по а (производные берутся при а = 0):
л г	I d? I I	/11 o\
A1	= ate + Yd^ + ---	(lb2)
Выражение
с r dl
оУ= оь-j-,
da'
являющееся главной линейной частью функционала, называется
первой вариацией функционала.
Аналогично
a2 d2 I
Q1 = -о- т-т
2 da2
249

называют второй вариацией функционала. При малых ос
всеми членами в выражении (11-2), кроме первого, можно пренебречь,
т, е.
Д/ » 6/.
Минимум на кривой у (х) достигается при условии
ЫъЫ = а-^0,	(11-3)
которое должно выполняться при любых а, положительных или
отрицательных, если di/da = 0. Это же условие справедливо и для
максимума, только тогда в соотношении (11-3) перед нулем запишем
знак «о.
Для получения уравнения Эйлера используем формулы (11-1)
и (11-2):
ь
У + а^ il + a4)dx =
а
= Г Ш dJy + шЪ + 3F dU+Щ ^ = Р fdF_ ^+dF^\dX'
J [ду da	ду	da ]	J \ду	ду	)
Проинтегрируем второй член по частям
ь	ь ъ
Так как rj (.х) обращается в нуль в точках а и Ь, то
Lf i'dx=-\''-se-.dx-
а	а
В результате
(и4)
а
Теперь к выражению (11-4) требуется применить лемму Лагранжа,
которая формулируется следующим образом: если непрерывная функ¬
ция М (х) обладает тем свойством, что
ь
\М{х) т](*) = 0	(11-5)
а
для любой гладкой функции т] (х), то обязательно
М(х) = 0	(11-6)
для всех а ^ х ^ Ъ.
Действительно, предположим противное: пусть хотя бы в одной
точке с, где а ^ с ^ Ь, М (с) > 0. Тогда выберем в качестве произ¬
250

вольной функции г] (х) такую, которая больше нуля в окрестностях
точки с, а на остальном интервале равна, нулю (рис. 11-2). При таком
выборе произведение М(х)ч\(х) в окрестности точки х = с и интеграл
будут отличны от нуля, что противоречит исходному условию. Тем
самым лемма Лагранжа доказана. Поэтому в соответствии с формулами
(11-4) — (11-6) необходимое условие экстремума запишется как
Это — знаменитое уравнение Эйлера. Общее решение его содержит
две неопределенные постоянные, для определения которых требуется
удовлетворение двух условий. Как правило, в качестве таких условий
задаются значения функции у(х) в начале и конце интервала у (а)
И. у(Ь).
Таким образом, экстремальная задача сводится к решению нели¬
нейного дифференциального уравнения с переменными параметрами,
так как в общем случае функция F не¬
линейна относительно у и у. Заметим, что
d	dF.
dx %у dx
dx	dF.	dy	dF.	dy
dx	dy	dx	dy	dx
Подставляем это выражение в уравне¬
ние Эйлера и получаем:
ry-Flx-Fky-F^ = 0. (11-8)
Рис. 11-2. Пояснение к теореме
Лагранжа.
Отсюда следует, что в общем случае
уравнение Эйлера является нелиней¬
ным дифференциальным уравнением второго порядка и поэтому его
решить не удается.
При нашем выводе для справедливости этого уравнения требуется
непрерывность как первой, так и второй производных функции у (.х),
т. е. заранее ставится условие непрерывности первых двух производ¬
ных на экстремали. Это условие необходимо для применения леммы
Лагранжа, так как она справедлива при непрерывности функции
М (х), совпадающей с левой частью уравнения (11-8). Но требование
непрерывности не дает возможности рассматривать очень важные для
кибернетики функции управления в виде ступенчатых кривых с насы¬
щением (рис. 11-1, в). Такая возможность появляется, как будет
видно из дальнейшего, с применением принципа максимума Понтря-
гина, для которого характерно введение разрывных вариационных
функций игольчатого вида. Заметим также, что вариация т] (х) является
гладкой функцией в классическом вариационном исчислении.
Пример 11-1. Рассмотрим задачу о длине кривой
I
I = S = [Vl+j>2dx.
261

В данном случае
F(x, у, y)=Vi+y2;
У
Fy = 0; F
у Vl+P’
dx У [1 +у2?/2’
и уравнение Эйлера имеет вид:
dF.
dx
откуда дифференциальное уравнение для экстремалей и решение запишутся как
*/= о;
y==C1x-\-C2t
где Сг и С2 — постоянные интегрирования. Как и следовало ожидать, прямая линия
обеспечивает кратчайшее расстояние между двумя, точками.
Пример 11-2. Если в функционале (11-1) придать функции k (т) вариацию аг] (т)
и проделать необходимые преобразования, то условие dll da | а_0 = 0 запишется
[Л. 71] в виде интегрального уравнения Винера — Хопфа
Рассмотрим частные случаи уравнения Эйлера.
1. Пусть F не зависит от у. Тогда
4-Р'= 0.
dx у 9
откуда
F-= const.
Из последнего уравнения можно определить у как функцию х и за¬
тем — искомую функцию у (х) как интеграл от этого решения.
2. Пусть F не зависит явно от х, т. е.
F = F (у, у).
Тогда уравнение (11-8) запишется в следующем виде:
(11-9).
Умножив все члены на у, получим выражение,
откуда
F-yF.y = C.	(11-10)
Уравнение (11-10) принято называть первым интегралом Эйлера.
Умножать на г/ уравнение (11-9) можно только при условии, что у не
обращается в нуль. Следовательно, умножая на у, можно потерять
следующие решения вариационной задачи: у =.0, у = Л, где А —
корень уравнения Fy (Af 0) = 0.
252

3. Допустим, что F зависит только от у. В этом случае уравнение
Эйлера принимает вид:
dx гУ и’
следовательно, у = const = k, и уравнение экстремалей запишется
как
у = kx + by
т. е. экстремали будут прямыми линиями.
4. Наконец, допустим, что F-y-y = 0. В частности, это может быть,
когда F = F (х, у) или F = М (х, у) + N (х, у) у, т. е. функционал
или совсем не зависит от производной у, или зависит от нее линейно.
Функционалы, для которых F*y-y = 0, называются вырожденными
в силу следующих соображений. Перепишем формулу (11-8)
F —F. —F. .у
д =	..УУ.'	(11-11)
уу
Из (11-11) видно, что для вырожденных функционалов не существует
второй производной для экстремали, она не является кусочно-гладкой
и, следовательно, допустимой функцией, для которой выводилось
уравнение Эйлера.
Для невырожденных функционалов Fyy может обращаться в нуль
только в отдельных точках, за исключением которых формула (11-11)
дает значение второй производной, т. е. экстремаль невырожденного
функционала является кусочно-гладкой функцией, имеющей на от¬
дельных участках непрерывную вторую производную. Изломы кривой
могут быть в тех точках, в которых или F-y-y = 0, или числитель правой
части формулы (11-11) терпит разрыв.
Эйлер получал уравнение другим методом, заменяя функционал
ъ
I = \F(x, у, у) dx	(П-12)
а
приближенно суммой вида
i = N	i	=	N
I**h= 2 F{Xh Уь yi~AxUl)Ax = 2 F^^x>	(11-13)
8=1
где
= a;
yi = y i*i) = У (а)я>
Хм = Ь\
yN = y(xN) = y(b);
F(t) = F(xh yh y-L~
Благодаря такой замене вариационная задача о минимуме функцио¬
нала (11-12) сводится к задаче о минимуме функции. Необходимым
253

условием минимума функции является равенство нулю частных
производных:
где VF (0 = F (i + 1) — F (i).
Устремление Ах к нулю в пределе переводит дифференциально¬
разностное уравнение (11-14) в дифференциальное уравнение Эйлера
Меняя местами операции дифференцирования и взятия разности
в уравнении (11-14) и опуская индекс iy получаем:
Это — дифференциально-разностное уравнение, определяющее зна¬
чения yiy которые обращают в минимум сумму (11-13).
Величины xt определяют разбиение на дискретные значения.
В частности, можно считать, что Ах = I. Тогда
На эти уравнения можно посмотреть с другой точки зрения, счи¬
тая, что требуется определить значения yt (при заданных лгг), обра¬
щающие в минимум сумму (11-15), в которой, в частности, может
быть одно слагаемое (N = 1). Эта задача сводится к дифференциально¬
разностному уравнению (11-16). Можно еще упростить выражение
(11-15), исключив переменные х{. Для этого следует принять xt =
= 1,2,3..., что, по существу, уже было сделано, когда положили Ах = 1
(теперь только изменено начала отсчета, т. е. хх = 1). Благодаря’
такому приему практически исчезла зависимость от переменных xt
и соотношения (11-15) и (11-16) можно переписать в виде
dyi dyt	dyt	dyt
dI _ dF{i)Ax 1 dF.(0 dF{i.+ l) = 0
или
dF (i) _ d VF (i)
dyt dyi A*
(11-14)
(11-7).
или
где
dF_' p. _дЛ
i = N
i2] F(xi> Hi> Д^);
(11-15)
(11-16)
N
/1= Ц F{yh A yd;
(11-17)
(11-18)
254

byi = yi-yi-\;
Эти соотношения могут служить основой при получении уравнений
для дискретного динамического программирования и дискретного
принципа максимума (см. гл. 12—14).
Однако в принципе максимума Понтрягина (и аналогичных соот¬
ношениях динамического программирования Веллмана) вместо функ¬
ционала (11-12) рассматривается функционал вида
ь	х
I = \F [у,и) dx,	(11-19)
а
гдеу — координаты системы; и — управляющие, координаты.
Формально функционал (11-19) получается из (11-12) заменой
уи, а его дискретный аналог — из соотношения (11-17):
h= 2 F(yh щ).
i — 1
Получение уравнений, аналогичных (11-18), для случая такого
задания оптимизируемой функции при определенных ограничениях
на координаты уг и составляет предмет дискретного принципа макси¬
мума (см. гл. 14). Заметим, что в выражении (11-17) зависимость от
Atji носит весьма условный характер, так как величина может
быть заменена через tji и уи1 в соответствии с формулой
byi = yi — yi-1*
11-2. УСЛОВИЕ ЛЕЖАНДРА
Помимо уравнения Эйлера можно было бы остановиться еще по
крайней мере на трех необходимых условиях экстремума: Лежандра,
Вейерштрасса и Якоби. Здесь будет рассмотрено только условие
Лежандра, которое, помимо прочего, позволяет отличать минимум
от максимума. Так как на экстремали первая вариация б/ обращается
в нуль, то знак приращения определяется в основном второй вариа¬
цией, поэтому в случае минимума б2/ ^ 0, в случае максимума б2/ ^ 0.
Очевидно, что
ь	ъ
Ш= \та?р{х’ У + ^а’ У + afl) dx=\ {рууЦ2 + ZFy-уЩ + Fy-yif) dx.
а	а
Преобразуем второй член этого выражения, взяв интеграл по
частям:
b	x	=	b	Ь
2 5 РууЦЦ dx = 5 Fyy dr? = FyyTi* |* “ ‘ - 5 ± Fy. rf dx =
a	x	=	a	a
b
{-Fyyv?dx,
и
S
255

откуда
ь
g = 2 § (Prf + Rrfldx;	(11-20)
a
p~H
p~iFa-
Из формулы (11-20) следует, что для-выполнения условия минимума
(п-21)
необходимо, чтобы
Руу^ 0-	(11-22)
Действительно, поскольку функция ц(х) произвольная, то ее
всегда можно подобрать так, чтобы функция г\2 была мала, а гf велика.
Выбор	следует	остановить на функции т](лг),	малой	по	абсолютной
величине,	но	быстро	и	резко изменяющейся.	У	такой	функции знак
второй вариации совпадает со знаком Напоминаем, что речь идет,
об определении необходимого условия минимума, т. е. если есть
минимум, то это условие выполняется для любых г). Покажем, что
для выбранной таким образом функции из формулы (11-21) следует
(11-22). Для этого предположим обратное, т. е. что
-^0	0.	(11-23)
При таком выборе функция г\ получается малой, а ее производная —
большой. Знак интеграла (11-20) определяется знаком R, т. е. знаком
функции F-y-y, а следовательно, соотношения (11-23) противоречивы
и из выражения (11-21) следует (11-22). Тем самым условие Лежандра
доказано.
Аналогичным образом можно показать, что для максимума
11-3. ЗАДАЧА С ПОДВИЖНЫМИ КОНЦАМИ
Могут встречаться задачи более сложные, в частности такие,
в которых концы кривых не закреплены: задачи с незакрепленными
или подвижными концами. В этом случае вариация функционала
зависит от вариации искомой функции и ее концов. На рис. 11-3
изображены исходная у (*) и проварьированная у(х) + h (*) функции.
256

Приращение функционала представим в форме
А/ = / (y + h) — I (у)=	$	F(x,	y	+	h,	y + h)dx~
х0 -f- бл-о
Xi	Xl
— \F(x, у, у) dx= 5 [F(x, y + h, y + 'h) — F(x, y, y)]dx +
x0	Ao
X\ "Ь	^	Xq	-(-	6a*0
-4-	^	F (x, y + h, y + h) dx— § F (x, y + h, y + h) dx.
X,	л-„
Здесь первый интеграл — вариация кривой, а два последних —
вариации концов. Выделим главную линейную часть приращения—
вариацию 81, для чего положим малыми h, h, бх0, бх^
61= X{[Fl/h + Fih]dx + F\x-Xi6x1-F\x=X'6x0.	(11-24)
Второй член подынтегрального выражения в формуле (11-24) проинте¬
грируем по частям, в результате чего получим:
6/
-s
Xq
бх„.
Ха
С точностью до бесконечно малых высшего порядка можно написать
(см. рис. 11-3):
Ь(х0) = 8у0 — у8х0-,
h (хх) = 8уг - y8xlt
и тогда окончательно получим:
6I-${F>-sFi)hdx+
Х0
+ F
+ {Р- У?ь)
~ Р-у U,0 % -{F- yF•) \х=х<1 бх0,
(11-25)
Рис. 11-3. Пояснение к вариацион¬
ной задаче с подвижными концами.
где есть интегральный член, зависящий от вариации кривой внутри
первоначального интервала, и члены без интеграла, зависящие от
вариации концов. Ниже с помощью этого соотношения получим ряд
важных формул.
11-4. УСЛОВИЕ ТРАНСВЕРСАЛЬНОСТИ
Часто требуется определить экстремум функционала среди, кривых
у(х), концы которых могут перемещаться по двум кривым
у = ф (*);
у = у (х).
9 Основы кибернетики	257

В общем случае в качестве границ могут выступать трехмерные и
/г-мерные кривые и поверхности в задачах, связанных с морскими пере¬
ходами с одного материка на другой
или космическими полетами между
близко расположенными небесными
телами. Примером такой задачи
может быть определение минималь¬
ного расстояния между окружно¬
стями (рис. 11-4). Для решения
необходимо определить не только
кривую, но и положение ее концов
Л и В, которые могут быть найдены
из условия трансверсальности. Оче-
Рис. 11-4. Пояснение к задаче опреде- видно, что эта кривая должна
ления минимального расстояния меж- быть экстремалью, так как В про-
ду окружностями.	тивном случае через те же точки
А и В можно было бы провести
другую кривую, дающую минимум расстояния, поэтому первый
член в формуле (11-25) обращается в нуль и
б/ = F-y \х=хЬу1 + (F- yF•)	8Xl - F- (х=Хо бу0 - (F — yF-) \х=х8х0.
С точностью до бесконечно малых высшего порядка запишем:
6t/o = Ф (*) бх0;
бг/х = ф (х) 8хь
откуда условие экстремума б/ — 0 приобретет вид:
(F-ц + F- yFi) \х=х, 8^1 - (^Ф + F- yF-) |,=,о бх0 = 0.
Так как блг0 и бхх — независимые друг от друга приращения, то
(i?F-y + F-yF-)\x^x=0-,
(yF-y + F-yF-y)\x^Xo = 0.
Эти соотношения называются условиями трансверсальности. Входя¬
щие в решение уравнения Эйлера две неопределенные константы
могут быть определены из этих условий. Положения концов экстре¬
мали (точки х0 и хг) могут быть найдены как точки пересечения экст¬
ремали с кривыми: у = ср — первый конец; у = ф — второй конец.
Условию трансверсальности можно дать интересную геометриче¬
скую интерпретацию, если рассмотреть функционал вида
I = \ f(x,y)V\+y*dx.	(11-26)
В этом случае
Fy=f(x> У) , /-Цг = - Ду
"	м+у2	1+У
258

и условие трансверсальности запишется как
/7(1+УФ) = 0
1+ У2
откуда следует, что
ФУ +1 = 0;, фу = — 1	(11-27)
или у = — I /ф. Аналогично для второго конца
j = -i	(11-28)
Но условия (11-27) и (11-28) означают, что кривая у (х) пересекает
кривые	ср	(я) и	ф (х)	под прямым углом, поэтому	для	функционалов
вида	(11-26) условие	трансверсальности совпадает	с	условием	ортого¬
нальности. К такого рода функциона¬
лам относится функционал, который
определяет расстояние
s=i у 1+уdx•
Отсюда можно утверждать, что крат¬
чайшее расстояние между двумя кри¬
выми получается вдоль третьей, им
перпендикулярной. Так, для двух ок¬
ружностей это будет перпендикуляр,
проходящий через их центры.
Функционалу (11-26) также мож¬
но дать геометрическую интерпре¬
тацию (рис. 11-5). Функция z = f (х, у) определяет некоторую
поверхность в трехмерном пространстве и физически может означать,
например, расход топлива на единицу длины. Таким образом, интеграл
означает полный расход топлива вдоль траектории, соединяющей две
граничные кривые. Вариационная задача на минимум означает опре¬
деление такой траектории у (х), соединяющей кривые у = у (х) и
У = Ф М» вдоль которой расход топлива был бы минимален. Если
рассмотреть интеграл вида
I = \ f(x, у) V 1+У2 dx,
xt
то его можно интерпретировать, в частности, с помощью поверхности
вращения, которую описывает в трехмерном пространстве кривая,
проведенная в плоскости (х, у) между кривыми у = ф (х) и у = ф (х),
при вращении вокруг оси Ох. В этом случае / (х, у) означает вес еди¬
ничной площади. Элемент площади равен у da dS = y\f 1 + у2 dx da.
Физически минимум функционала
2 71	х2	  Х2
/ = ^ da 5 f(x, y)yVl + y2dx=2n $ f (х, у) у V1 + if dx
О	х i	х,
означает определение такой кривой у (х), для которой вес площади
поверхности вращения минимален,
Рис. 11-5. Пояснение к функцио¬
налу (11-26).
9
259

11-5. ЗАДАЧА НА УСЛОВНЫЙ ЭКСТРЕМУМ
Как уже упоминалось, в практике встречаются задачи на отыскание
экстремума функционала при дополнительных условиях, наложенных
на функции, в классе которых ищется экстремум. Это и есть задачи на
условный экстремум. Их примером может служить задача о нахожде¬
нии кратчайшего расстояния между двумя точками при условии, что
кривая, соединяющая эти две точки, лежит на некоторой поверхности,
например на сфере. Решение сводится к определению минимума функ¬
ционала
/ = S = 5 1/1 +У2+ 'г2 dx	(11 -29)
при условии
x2 + y2 + z2-R* = 0.	(11-30)
Прежде всего напрашивается мысль о том, чтобы выразить 2 через
х, у из уравнения (11-30) и, подставив его в соотношение (11-29),
решить обычную задачу на экстремум при одной переменной. Однако
ограничивающие условия (11-30) могут быть очень, сложными, и по¬
этому предпочитают другой путь — метод неопределенных множи¬
телей Лагранжа. Существует следующая теорема: для того чтобы
найти экстремум функционала
1=\Р{х, У, У, г, г) dx
Хо
при условии
У, 2) = 0,
необходимо ввести вспомогательную функцию
Ф = F + X (х) ф,
где X (х) — пока неизвестная функция (неопределенный множитель
Лагранжа), и искать обычными методами экстремум функционала
х^
-ll=*\<bdx.	'	(11-33)
*о
Таким образом, в задаче требуется определить три неизвестные функ¬
ции у (х), г (х), X (х), удовлетворяющие трем уравнениям: двум урав¬
нениям Эйлера для функционала (11-33)
®rs"rf.-iiVVW-‘
и одному уравнению связи
$(*, уг г) = 0.	(11-34)
(11-31)
(11-32)
260

Докажем справедливость этой теоремы. Если исключить из рас-
сМ0ТреНия особые случаи, то можно считать, что принципиально урав¬
нение (И-32) разрешимо относительно г:
г = \|)i (х, у).
Подставив это выражение в функционал (11-31), получим:
ач
I=\F(x, у, у, % Ци + У>1уУ)(1х.	(11-35)
Х0
Если исходная задача имеет решение в виде пространственной
кривой, которая обращает функционал (11-31) в минимум, то проек¬
ция этой кривой на плоскость (х, у) будет обращать в минимум функ¬
ционал (11-35). Обозначив через F функцию аргументов х, у, у> кото¬
рая получается из функции F (х, у, у, г, г) заменой г =	(х, у),
можем написать:
Л р
щ = Fy + FAly + Fx .№*у+Ъуу&)1
dF
ду
dx dy dx V 1 ^{ydx	г\У1хуТУ\уу)
Учитывая эти соотношения, уравнения Эйлера для функции F
dF__d_dJL = о
ду dx ду
можно переписать в виде
F,+Mp‘-EF;)-sFi=0-
Дифференцируя условие (11-32) по у, получаем:
Фу+Фгф1у = °-
После исключения из этих двух последних уравнений получаем
искомые соотношения:
F- — F- Fs-^-F.
У dx у	dx	z	,	,	ч
- = Цх).
%	ь
Тем самым теорема доказана, и доказан метод неопределенных мно-
жителей Лагранжа для задачи на отыскание условного экстремума.
Это. правило остается справедливым и для случая с несколькими
ограничивающими условиями типа (11-32). При этом ищут экстремум
функции
Ф = F (л:, i/o> Уъ • • •» Ум Уоу Уъ • • •» Уп) 4~
п
+ 2	Уь	Уг>	•••>	Уп)-
/= 1
261

Наконец, правило неопределенных множителей Лагранжа сохра¬
няется и тогда, когда ограничивающее условие содержит производные
Ф (*> У, У, z). В этом случае экстремальная задача называется обоб¬
щенной задачей Лагранжа.
Для задачи на условный экстремум можно записать условие
трансверсальности, при этом роль функции F будет играть функция
Ф = F + А,ф.
Примером задачи на условный экстремум является изопериметрическая задача,
которая получила tanoe название из-за частной задачи определения среди всех кри¬
вых равной длины (изопериметрических) одной кривой, ограничивающей максималь¬
ную площадь. Здесь экстремум функционала
xt
I = §F (х, у, у) dx	(11-36)
хо
определяется при ограничивающем условии в виде интеграла
1 — ^К(х} у у у) dx — const.
Хо
Данная задача сводится к обобщенной задаче Лагранжа введением функции Ф =
= F + А,0К, после чего решается задача на глобальный экстремум функционала
/ = ^ ф dx.
х0
Интересно обратить внимание на принцип взаимности в изопери-
метрической задаче. Уравнение экстремалей не изменится, если в этом
функционале Ф умножить на постоянное число. Тогда функция Ф запи¬
шется в виде
ф = k01F -|- Я02К,
что означает возможность отыскания экстремума функционала /
xt
при постоянстве /г = $ Kdx и, наоборот, экстремума функционала 1Х
хг
при постоянстве I — экстремали будут одни и те же. При этом не исклю¬
чается случай с Х01 = Х02 = 0.
11-6. ОБОБЩЕННАЯ ЗАДАЧА ЛАГРАНЖА. ЗАДАЧИ
МАЙЕРА И БОЛЬЦА
К обобщенной задаче Лагранжа сводятся почти все частные задачи
вариационного исчисления. Так, при зависимости функционала
от высших производных задача также решается методом Лагранжа.
Действительно, если имеется функционал
*i
/ = \ F (х, у, у, у) dx
Х°
и введена новая функция у = г, у = z, то решение сведется к отыска¬
нию экстремума функционала
/ = $ F (х, у, у, z) dx
хо
262

при условии
у — г = 0.
(11-37)
Задача Майера формулируется следующим образом. На проме¬
жутке [а, Ь] задана система т дифференциальных или алгебраиче¬
ских уравнений с п неизвестными функциями yj (х):
Фх (*, Уъ ..., уп, Уъ .. •, Уп) = 0; )
	;	•	   •	*	‘	(П-38)
Фт (■*'> Уъ • • • » Упу Уъ Уп) —	1
причем п < т. Если n = т, то уравнения (11-38) с граничными усло¬
виями полностью определяют функции у;- (х) и никакой вариацион¬
ной задачи нет. При п> т имеется свобода варьирования и можно
ставить задачу об отыскании п — т функций yj (х), которые на одном
из концов интервала [а, Ь] достигали бы экстремального значения.
Примером может служить задача о разгоне двигателя, который должен
достичь в момент Т максимальной скорости вращения со Т.
Задачу Майера легко преобразовать к задаче Лагранжа, если
ввести п — m новых переменных
Uj = yj.	(11-39)
Тогда она будет заключаться в нахождении экстремума функционала
ь
I = ^ (Ui + и2 + ... + un_m) dx
а
при ограничивающих условиях (11-38). Так, в задаче с двигателем
этот функционал запишется как
т
I = (o(T) = ^(bdt.
о
Можно и наоборот задачу Лагранжа свести к задаче Майера,
поэтому правомерно считать их эквивалентными.
Задачей Больца или смешанной называется задача отыскания
экстремума функционалов вида
/ = $ F(x, у, y)dx + Ф[х0, у(х0), хъ у(х^\
*0
при наличии ограничивающих условий или уравнений связи. Эта
задача эквивалентна задаче Лагранжа и сводится к ней, если ввести
переменную
с1Ф
и = -г-.
ах
В этом случае функционал принимает вид:
/ = \ F (х, у, у, и) dx,
гДе	Ъ
F{x, у, у, u) = F(x, у, У) + ^.
263

Можно сказать, что все три задачи обладают одинаковой степенью
общности.
Задача Майера (и задача Больца при F = 0) интересна с той точки
зрения, что формально в ней ищется функция, доставляющая экстре¬
мум функции, а не функционалу, заданному в виде интеграла, и тем
самым как бы перекидывается мост между методами отыскания экстре¬
мума функционала и функции.
11-7. ЗАДАЧА С ОГРАНИЧЕНИЯМИ В КЛАССИЧЕСКОМ
ВАРИАЦИОННОМ ИСЧИСЛЕНИИ
Уже указывалось, что на практике для достижения оптимального
управления часто приходится отыскивать экстремум функционала
при ограничениях, наложенных на класс сравниваемых функций
[Л. 70]. Дело в том, что например, мощности исполнительных устройств
систем управления, как правило, ограничены (например, мощность
электромеханических или гидравлических двигателей). Математически
Рис. 11-6. Пояснение к задаче с ограничениями.
это означает, что для сравнения допускаются функции yjy удовлетво¬
ряющие неравенству
Ф/ {%> Ujy Уj)	Д i = 1, 2,* ..., ш.
Такие задачи удается решать на уровне инженерной строгости введе¬
нием односторонних вариаций и дополнительным усложнением функци¬
оналов. При этом задача, естественно, усложняется. Начнем с простей¬
шего случая, когда заданы функционал вида
ъ
I = \Р(х, у, у) dx	(11-40)
а
и ограничивающее условие
у(*)5з>Ф(*).-	(11-41)
Кривая у = ф (х) определяет границу области, внутри или вне кото¬
рой должна находиться функция, доставляющая'экстремум функци¬
оналу (рис. 11-6). Области, в которые включается граница, назы¬
ваются замкнутыми. Основная трудность в решении таких задач
состоит в следующем. Для замкнутой области кривую у (.х) можно
264

сравнивать только с кривой у + б у, так как если у (х) проходит по
границе [у = ф (*)], то кривая у — 8у (бу > 0) уже выходит за пре¬
делы допустимой области, т. е. на границе допустима только одно¬
сторонняя вариация. При выводе же основного уравнения Эйлера
использовались вариации обоих знаков у + 8у и у — 8у (8у > 0)
и значения функционала на экстремали у (х) сравнивались с его зна¬
чениями для обеих допустимых функций у + 8у и у — 8у. Для того
чтобы устранить это несоответствие, заменяют переменные: вместо у
вводят z, пользуясь уравнением
z\=y-\|ф),
из которого следует, что
2гг — у — ф (х)
или
y = 2zz + ty(x).
Поэтому функционал (11-40) в новых переменных может быть запи¬
сан в виде
ь
I = \F[x,	+ ^(х), 2zz + i>(x)]dx.	(11-42)
а
На новую	функцию г (х)	не наложено никаких	ограничений,	просто
на границе области она принимает значение z = 0,	и экстремум функци¬
онала (11-42) можно искать обычным методом, придавая г двусторон¬
ние вариации. В результате получится уравнение Эйлера для функ¬
ции г:
F'~iFi=°-	(1Ь43)
Но так как
dF dF ду . dF_ dy_F 9 ic.of-
di~V di) dz~rvzz^rUzz’
имеем:
F. =dJL dJi = F.9?
* ду dz «	'
(F-2z) = 2zF- +2z 4- F-
dx z dx У '	у	1 dx у
и уравнение Эйлера (11-43) может быть переписано:
Fz-^F-=2zFy-2z^-F-=0
2 dx 2	у	dx	У
или
d_
dx * у
2* Fy-±Fh) = 0.	(11-44)
Уравнение (11-44) распадается на два: z — 0, которое совпадает с урав¬
нением у = ф (я), и уравнение Эйлера
F — — F. — 0
dx у ~~
Из этих двух уравнений следует, что экстремум при наличии ограни¬
чений может достигаться лишь на кривых, составленных из кусков
265

экстремалей и кусков границы допустимой области. В частных слу.
чаях длина одного из этих кусков может быть равна нулю.
Для полного решения задачи с ограничением необходимо найти
условия перехода экстремали к границе области и наоборот. Допус¬
тим, что экстремум достигается на составной кривой и в точке х0
происходит переход от экстремали к границе области У =	{х).
Для этого случая запишем:
*0	b
I = \F(x, у, y)dx+ \ F[x, if (л:), $(x)]dx,
а	*„
придадим точке перехода вариацию х0 + 6л:0 и вычислим вариацию
функционала, которая будет состоять из двух частей. Первая часть
содержит вариацию на экстремали
*0+6*0	*°
бл= $ F (*> У- y)dx — \ F(x, у, у) dx,
а	а
вторая — на граничной кривой
ь	ь
б/2=	^	F[x,	if (л), ф (*)] dx — ^ F \х, ф(х), ф (x)]dx.
*0 — 6*0	*0
Вариация функционала на экстремали вычисляется по формуле
вариации функционала со свободным правым концом, который пере¬
мещается по кривой у = ф (х), т. е. 8у0 = ф6л;0:
б/l = Fh !^о Ьу0 + (F - ijF-y) \x_Xt 6х0 = [F + (Ф - У) Fb\ бл:0,
вариация функционала на граничной кривой
6/2= -F[x, ф (л:), ф (л:)] U=at0 блг0.
Так как экстремум должен удовлетворяться на составной кривой, то
б/1 + б/2 = 0.
Отсюда, учитывая произвольность 6л;0, получаем:
Р{х, У, y) — F(x, У, Ф)-(*/-Ф)^1*=*0 = 0;	(11-45)
при этом учтено, что
уЬ>(х0) = у(х0).
Преобразуем разность F (х, у, у)—F (х, у, ф), используя теорему
Лагранжа о среднем значении
f(a)-f(b) = {a-b)f(c),	(11-46)
где а^с ^ Ь, откуда
Р(х, У, $)-Р{х, у, ф) = (у - ф) F• (х, у, q)
здесь q лежит между у и ф). Формула (11-45) теперь запишется в виде
соотношения
(у- ф)[^(дс, у, q)-F-y(x, у, у)] \х=Хо = 0,
266

применив к которому снова формулу Лагранжа (11-46), получим:
(У-$)(4-У)Рц(х, У. <7i)] !.*=*„ = О,
где Q\ — промежуточное значение между q и у (х0). Из этой формулы
следует, что если Fy фО в точке перехода х = х0, то у = ф, так как
q = у только при у = ф в силу того, что q — промежуточное значение
между у и ф. Таким образом, в точке сопряжения экстремали и гра¬
ничной кривой касательные к ним должны совпадать. Это условие
может не соблюдаться лишь при F уу = 0, т. е. в отдельных особых
точках функционала (в точках излома экстремали), или для вырож¬
денных функционалов, для которых F" = 0.
Полученное условие непрерывности касательной дает дополни¬
тельное соотношение, необходимое для определения постоянных
интегрирования. Если решается задача типа изображенной на рис. 11-6,
то после нахождения уравнений экстремалей требуется определить
шесть параметров: по две постоянные интегрирования для левого
и правого участков экстремали и две для абсцисс точек перехода
от одной экстремали к граничной кривой и от граничной кривой к дру¬
гой экстремали. Эти константы находятся из шести уравнений, которые
получаются (по два):
1) из граничных условий прохождения экстремалей через точки А
и В;
2) из условия равенства ординат экстремалей ординатам граничной
кривой к точкам сопряжения
у(х1) = \р(х1);
У{* а) = Ф(*2);
3) из условия равенства производных на экстремалях производ¬
ным на границе области в точках сопряжения
У (xi) = Ф (*i);
У (*2) = Ф (*2)-
Теперь рассмотрим условие, которому должна удовлетворять
кривая, обращающая функционал в экстремум на границе области.
Пусть требуется найти функцию у (х), которая дает минимум функцио¬
налу (11-40) при ограничивающем условии (11-41). Придадим у (х)
вариацию б у на границе, где у = ф (х). Чтобы не выйти из области
допустимых функций у (х)9 необходимо иметь б у > 0. Вариацию
функционала при переходе от кривой ф (х) к кривой ф (х) + б у можно
представить в виде
ь
а
Чтобы функция у (х) доставляла минимум, необходимо иметь
S/ ^ 0, но здесь используется односторонняя вариация б у > 0,
поэтому из этого соотношения не следует, что
267

и можно лишь утверждать, что
Отсюда видно, для того чтобы функция у(х) доставляла минимум
функционалу (11-40) при условии (11-41), необходимо выполнение
уравнения Эйлера для участков кривой, состоящей из экстремалей, и
неравенства Эйлера (11-47) для участков, состоящих из граничных кри¬
вых. Из этого неравенства следует очень важное соотношение, которое
может быть получено следующим образом. Проведем в некоторой точке
<Л граничной кривой, доставляющей экстремум, экстремаль ум (х),
касательную к границе области ф (х), так что
Ум —	(11-48)
Так как на экстремали удовлетворяется равенство
F« - TxFh = Fv - Fxy -ру'уУ~ РУуУ =
то, вычитая его из равенства (11-47) и учитывая (11-48), имеем:
Fyy {уж —	^ 0.
Отсюда при условии, что для.минимума Fyy ^0 и полагая Fyy =^0,
получим искомое соотношение
У м _	Фсм
(1+yMf2 "О+'Ы372 ’
(11-49)
означающее, что кривизна экстремали не должна быть меньше кри¬
визны граничной кривой в точке перехода с экстремали на граничную
кривую: Ку ^ /Сф. Соответственно радиус дривизны экстремали
не должен быть больше радиуса кривизны граничной кривой: Ry ^ R
Для максимума знаки в этих соотношениях поменяются на обратные.
Кроме того, условия у ^ ф и Ьу ^ 0 справедливы, когда экстремаль
лежит над ограничивающей кривой. В противном случае все знаки
при условии минимума меняются на противоположные:
Ф(*);
Ry'SzRty
Это правило очень удобно применять для выяснения качественной,
а иногда и точной геометрической конфигурации экстремалей и гра¬
ничных кривых.
Пример 11-3. Найдем кратчайший сухопутный путь между точками А (1; 0,5)
и В (3,5; 3), не заходящий на круглое озеро радиусом 1 и центром в точке О (2; 2)
(рис. 11-7). Для этого определим минимум функционала
3,5
' = \ V\+y2dx;
1/(1) = 0,5; у (3,5) = 3
268

При
наличии ограничении
(*_2)2 + fo-2)a^l.
пряхмые линии. Экстремум достигается
Экстремали приведенного интеграла
на составных кривых. Если
Fyu= (1— у2У3/2Ф0,
то в точках сопряжения касательные непрерывны. Искомый путь пройдет из точки А
по касательной к окружности, далее по окружности и затем снова по касательной
к ней, проходящей через точку В.
Действительно, если рассматривать i n
нижний участок АА^В, то для ®
него яр > 0 и область допустимых
экстремалей лежит под окружно¬
стью. Поэтому бг/ < 0 и яр > j).
Так, переход с экстремальной кри¬
вой, представляющей собой прямую
линию АА1} на нижнюю часть
окружности разрешается, но только
в точке касания прямой и окруж
ности. Аналогично на участке
АА2В2В для перехода на окруж¬
ность необходимо, чтобы
яр <0; 6*/>0; у ^ яр.
Переход на окружность разрешае-
/	2	5
Рис. 11-7. Пояснение
вый случай).
4	5
примеру 11-3 (пер-
реход с окружности на прямые В±В
и В2В разрешается в точках каса¬
ния	и В2. Задача имеет	два ре¬
шения:	на нижней кривой	ААгВ1В	достигается	абсолютный	экстремум, на верх¬
ней кривой АА2В2В — относительный. v_
Для случая, когда озеро не круглое (рис. 11-8), с помощью формулы (11-49)
можно	графически построить путь, соединяющий	точки А и	F	и не заходящий на
озеро. От точки	А	до точки В движе-
ние происходит по прямой линии,пред¬
ставляющей собой экстремаль. В точке
касания В этой прямой с кривой кон¬
тура озера осуществляется переход на
эту кривую, который разрешается при
< 0; ф > 0; г/ =<: ф.
В точке С, для которой еще сохраняется
условие ф ^ 0 (не доходя до точки пере¬
гиба), осуществляется переход на пря¬
мую CD, имеющую с контуром озера
касания в точках С к D. Движение по
участку контура CCXD не разрешается,
так как для него не выполняется тре¬
бование ф ^ (/, обусловленное тем, что
б у < 0, так как ф < 0, а у -- 0.
Ограничения могут быть более сложного вида, чем формула (11-41).
В частности, ограничение может быть наложено на производную
i(x, у).
В этом случае неравенство заменяем равенством
У = Ых> У)
х
Рис. 11-8. Пояснение к примеру 11-3 (вто¬
рой случай).
269

и, решив, его, получаем:
y = ty(x, С).
Переменные здесь целесообразно заменить в соответствии с формулой
z2 = y — ^(x, С).
Могут встретиться экстремумы, зависящие от нескольких функций:
ь
I =\F(x, уъ Уъ .... уп, Уъ Уъ Уп)	(11-50)
Ых,	Уъ	• ••> //„)<0	(11-51)
или
■tiC*. Уъ •■■Лп, Уъ .... уп)^ 0.
Допустим, что экстремум тогда достигается на кривой
г/i (х) уп (х),
и, придавая поочередно вариации каждой из этих функций при неиз¬
менных	остальных,	получим	тот	же результат.	Касательные	в точке
сопряжения	равны,	поэтому	на	границе области	неравенство	(11-51)
перейдет в равенство, т. е.
Ч>(*,	Уъ	.•>, уп) = 0,	(11-52)
а при зависимости функционала от одной функции
'Ж у) = о,
откуда сразу найдется искомая функция у (х). Для функционала от п
функций в уравнение границы входят п неизвестных функций, и чтобы
определить участки границы, необходимо найти экстремум функци¬
онала (11-50) при связях (11-52).
Пример 11-4. Рассмотрим задачу, в которой решение имеет место только на гра¬
нице. Определим минимум функционала
п
/ = 2 9 */ = min
/= I
при ограничениях
п
2 aij Xf^bi, ' i = 1, 2, ..., m;. m < n.
/ = 1
Сведем задачу к задаче Майера, вводя дополнительную переменную
п
*п+1= 2 с1х/
/= 1
и считая, что ограничения имеют форму равенств:
Л+1
(11-53)
— ^j^ij Xf bt — 0,
/=1
п
Фт+i = 2 ci xi xn+i = 0 5
/= 1
xn+i = min.	(11-54J
ai>n+i — й,
i = 1, 2, ...» m,
270

Ее можно свести к обобщенной задаче Лагранжа, считая xi дифференцируемыми
функциями некоторой переменной t. Тогда, если ввести переменную ип+1 = хп+ь
условие (11-54) сведется к минимуму функционала
/ = j «„+, dt.
Функция Лагранжа определяется по формуле
т+1
ф==/7+ 2
i = \
где фг находится из (11-53), а функция
F = xn+i = J un+i dt.
Очевидно, что здесь = 0 и имеет место особый случай с вырожденным функцио¬
налом.
Пример 11-5. Заданы неголономные, т. е. зависящие от производных, ограни¬
чения
dxt п
—L=z'2lai/xf+biu, /=1,2,..., п.
/= 1
Определим координаты х системы и управляющее воздействие и таким образом,
чтобы функционал
т
/ = j <^ = min, xj (7) = 0,
и при условии, что на и (t) наложено ограничение:
Нетрудно видеть, что здесь тоже имеет место вырожденный случай, когда Ф"= 0»
так как
11-8. ВЫРОЖДЕННЫЕ ФУНКЦИОНАЛЫ
В классическом вариационном исчислении, как правило, не рассматривается
случай вырожденного функционала Т7.. = 0. Однако разработано много методов
для частных случаев вырожденных функционалов. Потребностям инженера-матема-
тика наиболее отвечает метод Кротова [Л. 75].
Метод Кротова позволяет находить решения, геометрически изображаемые
кривыми с вертикальными участками или, более строго, с участками бесконечных
значений первой производной.
Из предыдущих рассуждений следует, что равенство нулю второй производной
F,, может приводить к скачкам первой производной, в результате которых происхо¬
дит излом экстремали. При конечном числе скачков решение можно получить, исполь¬
зуя условия (11-25), которые в данном случае будут иметь вид условий Вейерштрас-
са — Эрдмана [Л. 70, 75]. Однако эти условия не позволяют определять решения,
содержащие участки с бесконечными значениями первой производной.
Как уже указывалось, если F.. = 0, то функционал можно представить в виде
ъ
I = $ [М (х, у) + N {х, у) у] dx.	(11-55)
а
271

dxF	дУ
- = Щх, */);• ^- = N{x, y)9
Уравнение Эйлера при	этом	запишется	как
Р d г	дМ	, dN •	dN	-	dN	_	дМ	dN	_Л
у dx у	ду	ду У	ду	У	дх	ду	дх	»	(	0	)
откуда видно, что оно является не дифференциальным, а алгебраическим или конеч¬
ным уравнением, не содержащим производной от искомой функции. Отсюда могут
иметь место два случая.
1.	Алгебраическое уравнение (11-56) удовлетворяется тождественно. Тогда,
учитывая, что у dx — dy, напишем:
Ъ
/ = J М dx-\-N dy
а
ИЛИ
Ь
I = j 04 (х, у) = V (хь, Уь) — ¥ (ха, уа),
а
где
~дх~1,1^'!*;’ ду
откуда в силу уравнения (11-56) имеем:
д2 гР	дМ _ dN = д2Ч
дхду	ду	дх	ду дх	'
Таким образом, можно утверждать, что условие (11-56) является необходимым
и достаточным (при непрерывности и дифференцируемости функций), для того чтобы
подынтегральная функция была бы полным дифференциалом. В этом случае функ¬
ционал не зависит от пути интегрирования, а зависит только от начальных и конеч¬
ных точек. Для любой функции у (х) функционал сохраняет одно и то же значение.
Поэтому в известной степени вариационная задача об экстремуме функционала теряет
свой смысл.
Пример 11-6. Найдем экстремум функционала
1
1 = \{у+ху) dx\ у(0) = 0г у(1) = 1.
о
В этом случае уравнение Эйлера превращается в тождество 1 = 1 и функционал не
зависит от пути интегрирования. Действительно,
^ (у + х'у) dx = ^ydx+xdy= ^ d (ху)=ху
х~ 1, У= 1
х—0, у=О
т. е. при любой кривой, соединяющей точки (0; 0), (1; 1), значение функционала
будет одно и то же.
2.	Алгебраическое уравнение (11-56) выполняется не тождественно. Тогда оно
определяет одну или несколько экстремальных кривых.
Метод Кротова отыскивает экстремали в классе кусочно-непрерывных кривых
с вертикальными отрезками.
Пример 11-7. Найдем экстремаль, которая дает минимум функционалу
1
/= \х2уЧх\ уф 1)=-1* у{ 1) = 1.
-I
Здесь F.. = 2 х2. Это выражение обращается в нуль при х = 0, что означает наличие
вертикальных участков экстремалей при х = 0. Данный пример хорошо показывает,
что равенство F., = 0 не исчерпывается функционалом вида (11-55).
272

Уравнение Эйлера в данном случае имеет вид:
2 х2у = Съ
и его решением будут гиперболы
однако ни одна из них не проходит через точки (—1, —1), (1; 1), а минимум функцио-
*1 (
Г
i
1 Я
1 i
-/I
I
*1
I
L
Ч
У
w={
Рис. 11-9. Пояснение к примеру 11-7.
нала существует и равен нулю. Нулевое значение функционалу будет придавать
функция, показанная на рис. 11-9:
— 1	— 1 ^ л; < 0;
1	9	<d	х	^	1,
которая в точке х = 0 терпит скачок.
11-9. КАНОНИЧЕСКАЯ ФОРМА УРАВНЕНИЙ ЭЙЛЕРА
При оптимизации можно пользоваться симметричной или кано¬
нической формой дифференциальных уравнении, ведущих свое начало
из вариационной механики Гамильтона — Лагранжа.
Если ввести вместо у новую переменную
p = F.y,	(11-57)
то можно считать, что для случая неособого функционала из нее можно
выразить у = ф (ху у у р). Поэтому если ввести функцию, называемую
гамильтонианом
Н(х, у, р) = -F(x, у, у) + уР-у(х, у, у),
где у = ф (р), т. е.
Н(х, у, p)=-F[x, у, Ф(р)] + рф(р),
то прямым дифференцированием можно получить следующие уравне¬
ния:
^L-^d±n~ F
ду dy ^ у у dy ’
дН п дер .	/	ч	,	дф
(11-58)
(11-59)
273

Затем, подставив в уравнение Эйлера
формулу (11-57), получим:
Fu-4-F-= о
у dx У
р  dp
Fy~dx-
С учетом последнего соотношения и формулы (11-57) уравнения (11-58)
и (11-59) примут вид:
-f=s-	<и-“>
%-%■	01-е.)
Это — гамильтонова форма уравнений Эйлера, представляющая собой
связанную пару дифференциальных уравнений в частных производ¬
ных. Иначе их называют канонической формой уравнений Эйлера
или уравнениями Гамильтона — Эйлера.
Иногда вводят функцию Нг = —Я, тогда из первого уравнения
знак «минус» переходит во второе. Переменные риг/ называются
каноническими. С их применением условие Вейерштрасса — Эрдмана
записывается в виде
Рх+о ~ Рх-0 *>
Я л:+о = Н х-о*
Если имеется задача Лагранжа, то для вспомогательной функции
Ф = F+
i= i
можно записать уравнение Эйлера
%~гЛг°-	/-°.	'•2	»
и уравнения Гамильтона —Эйлера
дН dpj
dyj dx *
дН
dpj dx f
где
Я=-Ф+2у,Ф.;
/= 0 /
Если имеется обычная задача на экстремум для случая п перемен¬
ных, то вместо п уравнений Эйлера

можно записать 2п уравнений Гамильтона — Эйлера
дН   dpj'
дуj	dx *
dH___dyj_
dpj ~~ dx *
где гамильтониан
H= -F+ 2
i = i 1
Функция Гамильтона H выбрана равной левой части первого интег¬
рала Эйлера [формула (11-10)1, так как во многих задачах это выраже¬
ние сохраняет постоянное значение, если функция F или Ф явно не зави¬
сит от х. Такой независимости можно достичь специально путем выбора
переменных и ограничивающих условий, как это делается в принципе
максимума Понтрягина. Этот метод целиком заимствован из вариаци¬
онной механики, где часто истинное движение происходит таким
образом, что функция Гамильтона сохраняет постоянное значение.
Существует такое построение теоретической механики [Л. 76], в котором все
основано на уравнениях движения Гамильтона и функции Гамильтона, которая
принимается как
Я(р, Ч, <) = S3 iiLn -L= 23q;Pi-L=T+U,
i=1 qj	j=1
где t соответствует x; q (в простейшем случае) — обобщенная координата; р (в про¬
стейшем случае р = mv = ту) — обобщенный импульс системы; L — функция
Лагранжа, которая в простейших случаях равняется разности кинетической и потен¬
циальной энергий
L=ntf-u=T-u
?Г ^aik (q) 4i 9/г —^ (ч)-
^=2
i.k
Состояние любой физической или механической системы характеризуется в опре¬
деленный момент времени t координатами q и их производными q или импульсами Р,
поэтому состояние системы в момент времени t может быть представлено точкой
в фазовом пространстве 2п измерений, по осям координат которого отложены pt и qi.
Вследствие этого функции L и Н зависят только от q и q и не содержат более высоких
производных.
В простейшем случае функция Н равна сумме кинетической и потенциальной
энергий системы. Действительно, величина pq = ту2 равна удвоенной кинетической
энергии, поэтому
H — L+pg—J!£+ U + my^Bt+U.
В механике есть принцип наименьшего действия или принцип Гамильтона,
который формулируется следующим образом. Переход системы из одного состояния
{q(1)} в момент в другое состояние {q<2)} в момент t2 происходит по такой траектории
в фазовом пространстве, на которой интеграл действия обращается в минимум:
^ 2
S = J L{q, q, t)dt%	(11-62)
it
275

т. е. траектория движения системы в фазовом пространстве представляет собой
экстремаль, которая дает минимум функционалу (11-62). Очевидно, что задача оты¬
скания этой траектории может быть сведена к решению дифференциального урав¬
нения Эйлера вида
dL __d_ dL==0
dq dt dq
которое в механике носит название уравнения Лагранжа второго рода. Тем самым
устанавливается связь теории вариационного исчисления и вариационной механики
Лагранжа — Гамильтона.
При введении функции Гамильтона
п
Я= У. q<L. -L
/=i' qj
для получения уравнений движения Гамильтона, эквивалентных уравнениям Ла¬
гранжа второго рода, поступаем так же, как и в вариационном исчислении, т. е.
вводим новую переменную — обобщенный импульс
Pj=L.(/(q, q);	/	=	1,	2,	п.	(11-63)
Считая, что эти уравнения можно разрешить в виде
?/ = 0/(Я..Р).	(11-64)
получаем выражение гамильтониана Н через канонические переменные ру и qf.
Н(q. P)=SQ/P;— Ь(я, Q).
' = 1
Дифференцируя это выражение аналогично уравнениям (11-58) и (11-59), с помощью
равенств (11-39) получаем уравнения Гамильтона — Эйлера:
дН _ dpj
(11-65)
dqj dt
дН _ dqj
dpj dt
Важно отметить, что если рассматривать функции
<7/(0. Р/(0»	/=1.	2» •••» п	(11-66)
как произвольно	и	независимо заданные, в частности не связанные соотношением
(11-64),	то	уравнения (11-65) будут двумя уравнениями Эйлера	для	функционала
( F (я. Я, р) dt = $ [2 q! Pj—H (Я. Р)] dt.	(11-67)
t,	ti	i=	i
П ,
Действительно, если подставить выражение F (q, q, p) = У qjPj — H (q, p) в уравне-
/= 1
ние Эйлера
dF_ d
dqf . dt F-qJ °-
то получим второе уравнение (11-65), а если это же выражение подставить в
— =0,	/=1,2
dpj dt Pj ’ '	’ ’
то получим первое уравнение (11-65). Поэтому принцип Гамильтона иначе форму¬
лируется следующим образом: траектории (11-65) в консервативном поле сил, для
которого гамильтониан не зависит от времени, являются стационарными кривыми
функционала (11-67), где Н (q, р) является соответствующим гамильтонианом, вдоль
которых он сохраняет постоянное значение, так как является первым интегралом
Эйлера. Термин «стационарный», а не «экстремальный» используется потому, что
если р и q— независимые переменные, то интеграл (11-67) не имеет ни минимизи-
276

рукядих, ни максимизирующих кривых. Хотя данный вариационный принцип
не является принципом максимума или минимума (если рассматривать р и q как
независимые переменные), он может быть сформулирован как минимаксный принцип,
что будет показано ниже.
Для наиболее распространенного случая
Pj—mqf, Г= 2j
( = 1
П
Pi Pi
Pi Pi
2 m
/=i
и канонические уравнения будут иметь вид:
p/=-v9.
Пример 11-8. Проследим движение груза, закрепленного на двух пружинах
(рис. 11-10). Кинетическая и потенциальная энергии груза равны:
тх2 e	kx2
2т ’	2	*
где т — масса груза; k!2 — жесткость каждой пружины. Введем обобщенную коор¬
динату q и импульс р. Тогда выражения для кинетической и потенциальной энергий
прИмут вид:	ы
Т--_ п2- и = —а2
2т 2	I—\ААЛ/—I	I—Ш—Ъ
а функция Лагранжа
j *2 | о	Рис. 11-10. Пояснение к задаче с
2	2^*	пружиной.
Соответствующее уравнение Эйлера запишется следующим образом:
dL d, dL и •• л
 	 	г	=	kq	— m а = 0.
Это есть не что иное, как уравнение Ньютона
тх = kx,
которое отражает второй закон Ньютона из механики, утверждающий, что сила
F = kx пропорциональна ускорению х.
Таким образом, принцип минимума (максимума) находит широкое применение
в теоретической механике. Понтрягин создал аналогичный формальный аппарат для
систем управления — принцип максимума.
При решении задач оптимального управления специально вводят функцию Н
таким образом, чтобы она явно не зависела от переменных t или х (как в случае
принципа максимума Понтрягина). В этом случае существует первый интеграл задачи
Эйлера — Лагранжа, который запишется в виде
п
2 У/Р- = — F [х, у, у2, ..., I/„; ср, (р), <р2 (р), ..., ф„ (р)] +
/ = 1	yJ
П
+ 2 Р/Ф/(Р) = const.
/=|
Далее показывается, что постоянное значение при оптимальном управлении имеет
экстремальное (максимальное) значение.
Интересно отметить, что вариационная задача, которая формулируется в виде
канонических уравнений Гамильтона — Эйлера, может быть сформулирована как
минимаксная. Будем здесь использовать формализм вариационной механики, но
• 277

очевидно, что полученные соотношения без труда могут быть записаны и для задач
управления. При этом просто следует иметь в виду, что х< > t, у< *q, р-«
Будем считать pj и qj независимыми переменными и допустим, что рассматривается
фиксированный путь:
qjz== Qj (0»	t	<Zt2i	/	“	11 2, ..., я.
Исследуем интеграл
h (p)iР) dt,
и
где •
п
F iu р)= 2 ч/ w р>~ н [я (0. р]
/=1
и
я[чю. р]= 2 9/4—L-
/= 1
Нетрудно убедиться, что максимального значения этот интеграл достигнет в случае,
если функции pj (t), tx < f< t2 удовлетворяют условиям
0 = FPj = b—HPj.	(11-68)
Действительно, уравнение (11-68) является уравнением Эйлера для подынтегральной
п
функции/7 (/, р)= 2 Я/ (0 Pj — H [Я (О» Pi- В этом нетрудно убедиться, если подста-
/ = 1
вить это выражение в соответствующее уравнение Эйлера:,
dF____d_ — = 0
dpj dt dpj
Существование максимума в данном случае обеспечивается тем, что функция F яв¬
ляется полиномом второго порядка относительно переменных р, у которого члены
второго порядка образуют отрицательно определенную квадратичную форму. Так,
для я = 1
рр<р)=я-£\
(это — максимум, потому что т > 0). Так как уравнение (11-68) совпадает со вторым
уравнением Гамильтона — Эйлера qj= Нр у которое эквивалентно
Pj = FqiЯ. ч)>
то условие максимизации интеграла (11-68) эквивалентно замене L. = pj в выраже¬
нии для Н (q, р) или
п	п
<?//>/—я (Р. Ч)= 2 Pj Pi— 2 <lfPf+L = L>
/=1	/= 1
поэтому
t2 п	t2
m ах И 2	Pi Pi~ Н (Р>	Ч)] dt = \L	(?>	p)'dt
Р s h / = 1	tx
В соответствии с принципом	наименьшего действия	Гамильтона движение про¬
исходит так, что
t2
/ = $ L (q, q)dt
tl
278

достигает минимального значения. Поэтому траектории движения qj (t) и р/ (/) в кон¬
сервативном поле сил являются решением минимаксной задачи:
12 П
min шах ( [ У] qjPj — H(р, q)]dt.
Р/ h /= I
физически минимаксный принцип означает, что движение должно происходить по
таким траекториям и таким образом, чтобы максимум интеграла обеспечивался за
счет кинетической, а минимум — за счет потенциальной энергии (или максимум за
счет импульса pj, а минимум за счет координаты qj).
Только что изложенная минимаксная трактовка очень близка к принципу
неопределенности в квантовой механике, когда нельзя одновременно со сколько-
нибудь высокой точностью измерить координату и импульс частицы, и принципу
неопределенности в теории информации, когда нельзя одновременно передавать (или
формировать, получать) сигнал с какой бы то ни было узкой полосой по частоте и
какой бы то ’ни было малой продолжительностью во времени.
Второе уравнение Гамильтона — Эйлера (11-61) в классическом изложении,
т. е. с учетом связи (11-63) между pj и qj, не связано с уравнением Лагранжа —
Эйлера и определяется формализмом обозначений.
Первое уравнение Гамильтона — Эйлера (11-60) определяется уравнением
Лагранжа — Эйлера.
В только что рассмотренной неклассической процедуре, когда qj и pj — незави¬
симые переменные, второе уравнение (11-61) придает интегралу минимум, а первое
уравнение (11-60) — максимум. Следует иметь в виду, что деление уравнений Га¬
мильтона — Эйлера на первое и второе носит условный характер и в разных руковод¬
ствах трактуется по-разному.
Минимаксная трактовка оптимального управления будет рассматриваться и
дальше, особенно в нелинейном программировании в связи с фундаментальной теоре¬
мой Куна — Таккера (см. гл. 17).
11-10. ПРЯМЫЕ МЕТОДЫ ВАРИАЦИОННОГО ИСЧИСЛЕНИЯ
В большинстве практических задач уравнение Эйлера — Лагранжа
не интегрируется. Поэтому большое распространение получили так
называемые прямые методы, которые дают приближенное решение
задачи [Л. 69, 77].
Идея прямых методов заключается в следующем. Пусть требуется
найти функцию у (х), доставляющую экстремум функционалу I (у).
Построим последовательность функций уъ у2,*-ч уПу которая сходится
к функции у, т. е.
lim уп = у,
п —► ОО
и докажем, что при этом функционал также стремится к некоторому
пределу
lim / (уп) = т.
п —*■ СО
Существует много прямых методов. Из них наиболее известны
методы Ритца и Эйлера, для которых с помощью достаточно сложных
математических рассуждений доказывается, при каких условиях обеспе¬
чивается сходимость последовательности функций к экстремали.
а)	Метод Ритца
Допустим, требуется найти минимум функционала
1 {у} = I F (х, У, У) dx
Х9
279

при граничных условиях
у{х0) = А; у(хг) = В.	(11-69)
Введем в рассмотрение функции
п
Уп (X) = Фо (X) + 1] Суфу (х),	(11 -70)
/ = 1
где
Фо (х0) = А; Фо (хг) = В;
ф,(Х0) = фу(Х1)=0.
Функции фг- — линейно-независимые и называются координатными,
т. е. для них тождество с0ф0 + С1Ф1 + ... + спсрп = 0 выполняется
только при су = 0, / = 1,..., п. Если подставить выражение (11-70)
в (11-69), то функционал превратится в функцию п переменных съ
Соу...» £п> т. е.
1 {yn(x)} = Q(Cb с2, ..., сп).
Требуется определить значения с у, которые обращают в минимум
функцию Q, -т. е. задача сводится к решению п алгебраических уравне¬
ний:
1=0,	/=1,2,...,	п.	(11-71)
Во многих случаях найденные таким образом функции уп (х) схо¬
дятся к экстремали. В частности, условия сходимости выполняются
для функционалов вида
1 = \ {р(х)у2 + у (х) у2 + 2~g (х) у} dx;
Хо
у(х0) = А; у{хх) = В,
где р {х) > 0, q (х) Ss 0, g (х) — известные непрерывные функции.
Для этого функционала уравнение Эйлера имеет вид:
Р (х)У + РУ - Я (х) У - g (х) = 0,
поэтому такие задачи называются линейными вариационными зада¬
чами.
Для функционалов типа (11-72) алгебраические уравнения (11-71)
получаются линейными с определителем, отличным от нуля. В этом
нетрудно убедиться, если в формулу (11-72) подставить (11-70):
1 Ы = .S аис^/+ 1] Ра-;.	(п-73)
/, / = о	/—о
Ct'i j ~ &ji у
где аг-у, р,- — некоторые постоянные, зависящие от конкретного вида
функционала. После дифференцирования выражения (11-73) получим
280
(11-72)

для определения коэффициентов ct систему линейных алгебраических
уравнений:
2 а*ск + Pi = 0, г= 1, 2, ...
п.
k = 0
Пример 11-9. Минимизируем функционал [JI. 77]
1
/=jty2+</2+2*(/); г/(0) = г/(1)=0.
Для этого выберем координатные функции ф* в виде
Фо (*) = Ol Ф1 М = х2 — х;
ф2 (х) —х3 — х2> •••, (рп(х) = хп+1—хп
и при п = 2 получим:
у2 (х) = сх (х2 — х) + с2 (х3 — х2);
у2 (х) = с1 (2х—\) + с2 (Зх2 — 2х);
I {Уч (*)} =Q (Сй сг) = -gg- cf +	<у2 + у - -1
1
■10
Тогда уравнения для определения значений коэффициентов cL и с2 запишутся как
.11	, Ц_ __ 1
15 Cl + ‘30 Са _ 6 ’
И 2	_ 1
30 Cl+ 7 Сг~ 10-
Отсюда
Ci =
Уч (х) =
69
: 473 ; С2~ 43 '
77х3 — 8х2 — 69х
473
Точное решение в данном случае имеет вид:
е
У =
{ех-е-х)-х.
ех-\
В табл. 11-1 дается сравнение точного и приближенного решений задачи.
Таблица 11-1
X
У
Уг (*)
*
У
Уг (х)
0,0
0,0000
0,0000
0,6
-0,0583
-0,0585
0,2
-0,0287
-0,0285
0,8
-0,0444
-0,0442
0,4
-0,0505
-0,0506
1
1,0
0,0000
-0,0000
6)	Метод Эйлера (метод конечных разностей)
Согласно этому методу, который может рассматриваться как моди¬
фикация метода Ритца, функционал
ь
1 = \F{x, у, у) dx
281

заменяется суммой по одной из приближенных формул численного
интегрирования, которая зависит от значения yt в дискретных точках
хi разбиения интервала изменения х (рис. 11-11).
Большинство формул численного интегрирования основано на
замене подынтегральной функции полиномом, полученным из интер¬
поляционной формулы Ньютона:
(х) = л((Ах) + i	(, Лх) +	V’y(Ax)+...
+, - a,) „. (, - > a,+v(Лх) +	.
i Ал: ^ л: ^ i Ax + Ax;
Vy (i Ax) = у (i Ax) — у (i Ax + A*),
где Ax — интервал дискретности.
(11-74)
'f
!h
%
%
X
Рис. 11-11. Пояснение к методу
Эйлера.
a	X'L	б
Рис. 11-12. Пояснение к методу Эйлера
для случая аппроксимации прямоуголь¬
никами.
В случае функционала / {х, у, у} следует сделать замены
У = Ук(х)\ У = Ук(х)\
а = х0; Ь = хп = п Ах + х0,
в результате которых функционал выразится суммой
Ь = хп
I {х, у, у}= $ F(x> У’ уУЛхъ*
а~х о
ti— 1 .v0 + (/-|- 1) Лд:	п	—	1
] Flx> Ун(х), h(x)]dx= 2 Qi- (11-75)
i = 0 х0 -f- i Ах	i	=	О
Подставив в это соотношение формулу (11-74) и выполнив интегриро¬
вание, получим функционал, зависящий только от значений yt:
п — 1
I {х, у, у}т 2 Qi=Q(yo> Уъ .... Уп)-
i = О
В результате задача сведется к решению системы алгебраических
уравнений вида
dQ
= 0, i = 0,l,
, п.
282

В зависимости от числа членов k в соотношении (11-74) получаются
различные приближенные формулы. Так, если использовать аппрокси¬
мацию в виде прямоугольников (рис. 11-12), то в формуле (11-74) следует
положить k = 0 и за производные внутри i-го интервала брать выра¬
жения
У1 = Ук (i Ах) = у (i Ах);
тогда вместо формулы (11-75) получим:
п — 1
L =0
I {х, у, у}^ Ал: 2 F[xh Уь i)i\,	(11-76)
L =0
где xi = iAx.
Пример 11-10. Минимизируем функционал [JI. 77]
1
/ = $ (у2 + У + 2ху) dx\ у (0) = у (1) = 0.
о
Положим Дл: = (1 — 0)/5 = 0,2; тогда
У (0) = 0; уг = у( 0,2), ..., у^ = у (0,8); у( 1) = 0.
В качестве производных примем значения
/П\   У1 '■ 6	•	/Л о\  У% У\	*	/Гк	о\	  6	У4
0,2 ’ -V’^0»2)	0,2	’	У(°>8)—	0,2	•
Воспользовавшись формулой (11-76), получим:
С(Уь У2» Уз, ^ =	(^0	2^]	+	У?	+	+	%	2^2
+ + 0,8у2 + (Д 2^3j +Уз++	+У|	+	l,6f/4j	0,2;
выполнив дифференцирование по г//, имеем:
dQ _ 2уг	2(у2 — у1)
ду1 0,04	0,04
dQ 2(уа —у,)	2{у3	—	у2)
ду, 0,04	0,04
dQ _2(Уз— У3)	2(j/4	—	уз)
ду3 0,04	0,04
dQ  2 (г/4 — г/3)	2у4
f 2^ + 0,4 = 0;
f2</2 + 0,8 = 0;
J~2y3 +1,2 = 0;
■2у4 + 1,6 = 0.
<fy4 0,04	0,04
Решениями этих уравнений будут
г/1==—0,0286; г/2 = — 0,0503; г/3 = — 0,0580; у4 = —0,0442.
Точное решение (с точностью до четвертого десятичного знака):
ух = — 0,0287; уъ = — 0,0505;
р8 = — 0,0583; уг = — 0,0444.
283

Глава двенадцата я
НЕПРЕРЫВНЫЙ ПРИНЦИП МАКСИМУМА
ПОНТРЯГИНА
Как уже отмечалось, наибольший интерес представляет собой
оптимальное управление, связанное с разрывными функциями, состав¬
ленными из кусочно-непрерывных и кусочно-гладких кривых, содер¬
жащих точки с бесконечными значениями первых производных.
Наложение ограничений в виде неравенств приводит к образованию
среди них участков, состоящих попеременно из внутренних кривых,
которые являются экстремалями, и граничных кривых. Переходы
между такими участками носят сложный характер.
Распространить на эти случаи методы классического вариационного
исчисления оказалось довольно сложно. Было разработано множество
частных методов, пригодных для решения узкого класса задач (некото¬
рые из них рассмотрены в предыдущей главе). Однако этих методов
возникло чересчур много (чуть ли не свой метод на каждую задачу),
а строгость их теоретического обоснования оставляет желать лучшего.
Это заставило искать новые общие методы оптимизации, которые,
за исключением отдельных случаев’, обладали бы достаточной степенью
общности и перекрыли бы большинство методов решения вариаци¬
онных задач.
Одним из таких методов явился непрерывный принцип максимума
Понтрягина. Изложение этого метода, к которому мы приступаем,
будет дано на уровне инженерной строгости без привлечения
аппарата функциональных пространств для случая непрерывных систем
управления, поведение которых описывается дифференциальными
уравнениями и критерий оптимальности для которых задается в виде
функционала. В связи с этим используется термин «непрерывный
принцип максимума».
Основная особенность изложения, принятого в данном разделе,
состоит в том, что этот метод рассматривается как естественное обоб¬
щение и расширение классического вариационного исчисления [Л. 72,
77—81].
Принцип максимума Понтрягина основан на строгой формализации
исходной постановки задачи, которая в некоторых деталях отличается
от классической постановки Эйлера — Лагранжа и заключается в
следующем. Система управления задается уравнениями
•^J = f(x, u, t),	(12-1)
где
X1
Hi
h
х2
; и =
«2
; f =
h
Хп
щ
in
В развернутом виде это векторное дифференциальное уравнение может
284

быть записано так:
dx1
Hi
хъ Хъ Хп\ иъ «2, .... и [У,
= ХЪ х2, ..., хп\ иъ и2,	щ).
Предположим, что на управление наложено ограничение
|И,|<1
или в более общем виде
Ф (и)<; А.
Требуется определить такое управление щ, которое обеспечивало бы
минимум функционала
t х
I = ^ F (х, u, t) dt = min
*0
при
■х(/0) = х0;	x(t1)	=	x1.
Заметим, что случай максимума функционала сводится к отысканию
его минимума введением новой подынтегральной функции F1 = — F.
Из приведенных формул следует, что в отличие от формализма
Эйлера — Лагранжа Понтрягин использует в качестве независимой
переменной время /, т. е. рассматривает динамические системы,
изменяющие свое состояние во времени. Соответственно для обозна¬
чения фазовых координат системы вводятся переменные х вместо у.
Далее, в принципе максимума вместо производных от фазовых коорди¬
нат системы i, (или у) используются координаты управления и =
= {ult иъ..., Ui}> а в качестве ограничений выбраны дифференци¬
альные уравнения, описывающие поведение системы (неголономные
связи). Правые части этих уравнений зависят в общем от фазовых
и управляющих координат и времени t.
Понтрягин особым образом выбирает функцию Гамильтона Н
и преобразует исходную систему уравнений. Сртл^сно'егс^щринципу:
1) преобразованная функция Лагранжу; Ф = р+У\ А,гД не\ави-
/=i уУг\
сит явно от времени. Поэтому формализм Понтрягтт- допускает суще¬
ствование первого интеграла Эйлера вдоль оптимальной траекторий
Н =