Статистический синтез при априорной неопределенности и адаптация информационных систем - Репин В.Г., Тартаковский Г.П.

Автор: Репин В.Г. Тартаковский Г.П.
Теги: электротехника теория вероятностей и математическая статистика статистика информационные технологии радиоэлектроника обработка информации
Год: 1977
Похожие
Многомерный статистический анализ
Статистические методы интеллектуального анализа данных
Алгоритмы статистических измерений
Многомерные статистические методы
Текст
                    
В. Г. РЕПИН, Г. П. ТАРТАКОВСКИЙ
СТАТИСТИЧЕСКИЙ
СИНТЕЗ ПРИ АПРИОРНОЙ
НЕОПРЕДЕЛЕННОСТИ
И АДАПТАЦИЯ
ИНФОРМАЦИОННЫХ СИСТЕМ
МОСКВА «СОВЕТСКОЕ РАДИО» 1977
УДК 621.391:519.2
Репин В. Г., Тартаковский Г. П. Статистический синтез
при априорной неопределенности и адаптация информацион-
ных систем. М., «Советское радио», 1977, 432 с.
Книга посвящена вопросам статистического синтеза широ-
кого класса систем, называемых информационными, поскольку
они функционируют под воздействием получаемой информа-
ции. Синтез осуществляется при априорной неопределенности,
когда неизвестны те или иные условия работы систем, а сле-
довательно, частично или полностью неизвестны законы рас-
пределения для соответствующих величин или ситуаций На
основе применения теории статистических решений и ее даль-
нейшего развития предлагается общая методология синтеза
и решается широкий круг задач, относящихся к разным клас-
сам. Получаемые оптимальные системы и процессы оказы-
ваются в рассматриваемых условиях адаптивными.
Книга представит интерес для научных работников, инже-
неров , аспирантов и студентов, занимающихся решением
задач передачи н обработки информации, а также оптималь-
ного управления в различных областях техники, экономики
и т. д.
Рис. 36, табл. 1, библ. 43 пазв.
Редакция литературы по вопросам космической радиоэлек-
троники
ИБ № 138
Владислав Георгиевич Репин
Георгий Петрович Тартаковский
Статистический синтез при априорной неопределенности
и адаптация информационных систем
Редактор Н. К. Калинина
Художественный редактор А Н. Алтунин
Обложка художника Б. Л. Николаева
Технические редакторы О. Д. Кузнецова, В. А. Позднякова
Корректор Н. М. Давыдова
Сдано в набор 29/XI 1976 г. Подписано в печать 29, III 1977 г.
Т-07412 Формат 70Х1001/16	Бумага типографская № 1
Объем 35,1 усл. п. л., 31,662 уч.-нзд. л.
Тираж 7000 экз. Зак. 899 Цена 2 р. 37 к.
Издательство «Советское радио», Москва, Главпочтамт, а,я 693
Московская типография № 10 «Союзполиграфпрома»
при Государственном Комитете Совета Министров СССР
по делам издательств, полиграфии и книжной торговли
Москва, М-114, Шлюзовая наб., 10.
„ 30401—041
Р 046(01)	28—77
© Издательство «Советское радио» 1977
ПРЕДИСЛОВИЕ
Статистический синтез динамических систем, подверженных слу-
чайным воздействиям, давно интересует исследователей и ему посвяще-
ны многие опубликованные работы, содержащие как различные частные
задачи, так и теоретические обобщения. Среди последних следует преж-
де всего отметить теорию статистических решений, дающую общую
методологию статистического синтеза.
Для осуществления статистического синтеза необходимы априорные
сведения, которые в наилучшем случае полной априорной определенно-
сти сводятся к заданию законов распределения вероятностей для всех
величин, ситуаций, процессов, относящихся к синтезируемой системе.
К этому наилучшему случаю относится большая часть результатов,
известных из литературы и соответствующих положений теории ре-
шений.
Однако довольно быстро исследователи поняли, что полная априор-
ная определенность является экзотикой применительно к практическим
задачам. Априорные сведения сводятся лишь к частичному знанию
видов законов распределения и ограниченного числа их параметров. Чем
очевиднее становилось это положение, тем чаще в литературе стали
появляться пессимистические оценки возможностей статистических ме-
тодов синтеза вообще и теории статистических решений в особенности.
Одновременно появились эмпирические идеи, связанные с обучением,
самообучением, адаптацией систем, подверженных случайным воздейст-
виям, в частности различные алгоритмы обучения ЭВМ. Возникла так-
же идея воспроизведения способов функционирования живой природы
в соответствующих условиях.
Вслед за эмпирическим начался период теоретического осмыслива-
ния идей статистического синтеза при априорной неопределенности и
в связи с этим появился ряд методов и подходов, не всегда обеспечи-
вающих оптимальные свойства систем, но представляющих заметный
прогресс. Эти методы, неоднократно комментируемые ниже, являются
до настоящего времени довольно разобщенными, их возможности не
сопоставлены и не оценены с каких-либо единых теоретических позиций.
Идеи адаптации в соответствующих работах часто привлекались на
основе интуитивных соображений об адаптивной сущности оптималь-
ных систем, а не вытекали из процедуры статистического синтеза. По-
этому представлялось интересным применить основные идеи теории ста-
тистических решений для синтеза систем, выполняющих свои функции
на основе использования получаемой информации при полной или ча-
стичной априорной неопределенности. Это давало возможность опре-
делить структуру и потенциальные свойства оптимальных систем и най-
ти способы их адаптации к изменяющимся или неизвестным условиям
функционирования.
3
Предлагаемая монография является попыткой последовательного
применения теории решений с необходимым ее развитием для синтеза
широкого класса систем, называемых далее информационными, в усло-
виях априорной неопределенности. Кроме решения этой основной зада-
чи, в книге сопоставлены с единых позиций различные методы синтеза
адаптивных систем. Приведены решения многих задач, имеющих прак-
тическое значение и относящихся к таким конкретным проблемам, как
оценка параметров, фильтрация процессов, проверка гипотез, в частно-
сти обнаружение сигналов и распознавание образов, управление объек-
тами и наблюдениями и т. д.
Часть результатов, помещенных в книге, публиковалась в статьях
авторов, начиная с 1967 г. Однако многие результаты были получены
непосредственно при работе над рукописью. Поэтому не все идеи можно
считать одинаково устоявшимися, некоторые из них, безусловно, тре-
буют обсуждения и дальнейшего развития. Авторы заранее выражают
благодарность всем, кто пожелает участвовать в подобном обсуждении
и выскажет свои замечания по затронутым в книге вопросам.
Часть I
ОБЩИЕ ПОЛОЖЕНИЯ
Глава 1
ИНФОРМАЦИОННЫЕ СИСТЕМЫ, ИХ СИНТЕЗ И АДАПТАЦИЯ
1.1.	ИНФОРМАЦИОННЫЕ СИСТЕМЫ
В книге рассматривается широкий класс систем, которые можно на-
звать информационными. К ним будем относить динамические системы,
выполняющие свои функции на основе использования некоторой инфор-
мации о событиях, ситуациях, процессах и т. д., происходящих вне рас-
сматриваемых систем либо в самих системах. (В последнем случае
информация поступает от датчиков внутренних состояний системы.)
Процессы, связанные с выполнением функций рассматриваемых систем,
назовем информационными процессами. Таким образом, подчеркивается
общая сущность разнообразных динамических систем и процессов, ко-
торая позволяет (как это будет видно далее) применять единые методы
их анализа и синтеза.
Как известно [12], информация поступает в систему закодирован-
ной в физических агентах — разнообразных сигналах, являющихся но-
сителями информации. Это могут быть электрические сигналы, переда-
ваемые по проводам, радиосигналы, световые, звуковые сигналы, биохи-
мические процессы и т. п.
Примерами информационных систем могут служить телеграф, теле-
фон, радиосвязь и радиовещание, телевидение, радиолокация, системы
управления космическими объектами, вообще любые системы управле-
ния различными объектами и процессами, живые существа, в частности
человек, все человеческое общество и т. д. Разумеется, не все динами-
ческие системы можно отнести к информационным. Так, например, си-
стема планет, вращающихся вокруг Солнца, не является информацион-
ной, ибо выполняет свою функцию вне связи с какой-либо поступающей
информацией. То же можно сказать относительно генератора с самовоз-
буждением и вообще о любой электрической или механической системе,
находящейся в режиме свободных колебаний или автоколебаний. Более
того, системы, совершающие вынужденные колебания под действием
заданных и заранее известных внешних сил, также не относятся
к информационным системам.
Для информационных систем характерно наличие случайных вход-
ных воздействий. Это объясняется двумя факторами. Во-первых, когда
мы говорим о поступлении некоторой информации на входы системы, то
при этом подразумеваем, что те или иные сведения, закодированные во
входных сигналах, или величины, превращенные в параметры этих сиг-
налов, заранее неизвестны. В большинстве случаев эти сведения и вели-
5
чины следует считать случайными, подчиненными известным или неиз-
вестным законам распределения вероятностей. Уже по этой причине
входные воздействия информационных систем случайны, если даже сиг-
налы — носители информации имеют детерминированный вид. Возмож-
ны, правда, случаи неизвестных, но не случайных величин или параме-
тров, закодированных во входных сигналах. Это, однако, более редкие
случаи, которые при теоретическом рассмотрении можно свести к воз-
действию некоторых случайных величин.
Во-вторых, природа устроена так, что физические сигналы — носи-
тели информации всегда случайны из-за наличия многих неучитывае-
мых факторов случайного происхождения. Эти факторы приводят к по-
явлению шумов и помех, с которыми взаимодействуют полезные сигна-
лы. Сами сигналы при передаче по различным каналам, входящим
в состав информационной системы, подвергаются случайным измене-
ниям. Примерами таких изменений могут служить флюктуации радио-
сигналов при распространении радиоволн через ионизированные среды
либо флюктуации радиолокационных сигналов в процессе их рассеяния
объектами, совершающими случайные движения вокруг центров масс,
и случайные перемещения одних элементов объекта относительно дру-
гих при нежестких конструкциях. Впрочем, флюктуационные изменения
сигналов при распространении радиоволн через ионизированные среды
некоторых помех или шумов. Поэтому все случайные изменения сигна-
лов можно связать с помехами. Обычные же виды шумов оказываются
аддитивными по отношению к сигналам. К таким шумам прежде всего
относятся шумы всевозможных приемников. Приемники и шумы в них
в зависимости от вида сигнала совершенно различны. Например, радио-
приемники с тепловыми шумами в сопротивлениях и дробовым эффек-
том в электронных лампах; приемники световых сигналов с дробовым
эффектом в фотодетекторах и др.
Таким образом, ситуация при работе любой информационной си-
стемы состоит в том, что на ее вход (входы) поступает искаженный
случайными помехами сигнал (сигналы), в котором закодированы не-
которые сведения, величины параметров, реализации процессов. Эти
сведения и параметры, в свою очередь, случайны. Информационная си-
стема содержит приемник (или приемники) сигналов — носителей
информации, в котором происходят необходимые для извлечения инфор-
мации преобразования. Вслед за ними совершается обработка информа-
ции, предназначенная для обеспечения выполнения системой ее функции
(функций).
Указанные функции называют также решениями. Этим подчеркива-
ется неопределенность ситуаций, заложенных в случайных входных сиг-
налах, благодаря которой система должна произвести выбор из некото-
рого множества возможностей или, что то же самое, принять решение
в пользу какой-то из них и на этой основе выполнить определенную
функцию. Поэтому способы приема и обработки сигналов в иформа-
ционных системах вплоть до формирования выходных эффектов или
величин можно назвать правилами решений. Виды решений могут быть
различными. Информационные системы в зависимости от этого можно
относить к различным классам. Приведем самые распространенные
из них.
1.	Системы оценки некоторых величин, закодированных во входных
сигналах. Оцениваемые величины могут быть скалярными или вектор-
ными либо представлять собой функции времени, пространственных
6
координат или любых других независимых переменных. К этому классу
относятся системы, устройства, приборы, предназначенные для всевоз-
можных физических и других измерений. Сюда относятся системы, осу-
ществляющие фильтрацию реализаций случайных процессов из их сме-
сей с мешающими случайными процессами; системы прогнозирования
значений случайных величин или процессов, экстраполяции и интерпо-
ляции этих значений. Ясно, что данный класс охватывает весьма боль-
шое число всевозможных систем, существующих в природе, а также
создаваемых человеком в процессе развития разнообразных областей
техники. Характерной особенностью здесь является то, что случайные
величины, в которых заложена информация, описываются непрерывны-
ми распределениями вероятностей.
2.	Системы проверки некоторых фиксированных гипотез, информа-
ция о которых заложена во входных сигналах. Гипотезы эти могут быть
двух- и многоальтернативными, простыми (не зависящими от дополни-
тельных случайных или неизвестных факторов) и сложными. Физиче-
ский смысл этих гипотез может быть самым разнообразным. К этому
классу относятся, в частности, различные системы обнаружения сигна-
лов в шумах и помехах. Это системы обнаружения объектов на основе
приема создаваемых ими излучений различных диапазонов электромаг-
нитных волн (световые, инфракрасные, радиоволны и т. д.); системы
обнаружения, использующие радио- и лазерные локаторы, гидроакусти-
ческие приборы и др.
Еще более широкой разновидностью систем, осуществляющих про-
верку гипотез, являются системы распознавания образов или, что то же,
классификаторы различных ситуаций, процессов, объектов наблюдения.
Можно привести огромное количество примеров, относящихся к распо-
знаванию образов и имеющих отношение к разнообразным явлениям
природы, видам человеческой деятельности, техническим системам раз-
личных назначений. Достаточно упомянуть, например, медицинскую
диагностику заболеваний на основе наблюдения случайных признаков,
принимающих те или иные значения у больных; распознавание объектов
на основе анализа отраженных от них радиолокационных сигналов; рас-
познавание людей по их голосам или почерку; выявление скрытых де-
фектов в металлических изделиях на основе анализа рассеянных ими
радиационных облучений; определение видов животных по остаткам их
костей и т. д.
Рассматриваемый класс систем и процессов характеризуется тем,
что величины, несущие информацию, описываются дискретными распре-
делениями вероятностей. Иначе можно сказать, что существует дискрет-
ное множество ситуаций (видов объектов наблюдения, процессов, прин-
ципиально отличающихся друг от друга состояний системы), одна из
которых реализуется при работе системы. На основе наблюдения сигна-
лов, поступающих на входы системы, она должна принять решение
в пользу одной из всех ситуаций и в связи с этим выполнить определен-
ные функции.
3.	Системы проверки гипотез совместно с оценкой параметров сиг-
налов или объектов наблюдения, соответствующих проверяемым гипоте-
зам. Это, например, системы радиолокационного обнаружения объектов
с определением их числа и измерением координат; системы различения
видов передаваемых сигналов с целью извлечения информации, закоди-
рованной в их параметрах; диагностика заболеваний с измерением па-
раметров, от величин которых зависит применение тех или иных спосо-
7
бов лечения, и др. При функционировании систем этого класса
существуют некоторые величины, описываемые дискретными распреде-
лениями вероятностей, либо ситуации, различающиеся видами распреде-
лений вероятностей для соответствующих им сигналов, а также неизве-
стные параметры в связи с каждой такой ситуацией, описываемые не-
прерывными распределениями.
4.	Системы управления различными объектами, наблюдениями или
экспериментами. В первом случае существует объект, функционирова-
ние которого зависит от параметров, называемых управлениями, их зна-
чения определяются информацией о качестве выполнения объектом его
функции, заложенной в случайных сигналах, поступающих по некото-
рым каналам. Управления выбираются для улучшения качества выпол-
нения функций или, что то же, принятия решений.
Во втором случае наблюдаются сигналы, статистически зависящие
не только от информативных параметров, в связи с которыми должны
быть приняты определенные решения, но и от дополнительных выбирае-
мых параметров — управлений. Последние выбираются системой так,
чтобы обеспечить наилучшие качества принятия решений.
Системы управления объектами распространены очень широко, и
читатель, безусловно, знает неограниченное число примеров таких
систем. Сюда относятся системы автоматического управления самолета-
ми, космическими объектами, кораблями, процессами в доменных
печах и т. д.
К системам управления наблюдениями можно отнести, например,
управление лучом антенны радиолокатора, осуществляющего обзор не-
которой области пространства при наблюдении за объектами, располо-
женными в этой области.
Для всех систем управления характерно то, что законы распреде-
ления вероятностей некоторых сигналов, представляющих собой либо
управляемые наблюдения, либо сигналы, несущие информацию о состоя-
ниях объекта управления, зависят от параметров, называемых управле-
ниями и регулируемых системой в процессе ее работы.
5.	Сложные или, как еще иначе говорят, большие системы, состоя-
щие из большого числа частей, разобщенных в пространстве и времени
и выполняющих разные функции на основе многообразных критериев
качества. В эти функции входят и проверки гипотез, и оценки параме-
тров, и фильтрация процессов, и управление объектами, процессами и
наблюдениями. В целом такой системой выполняется некоторая единая
комплексная функция (выносится комплексное решение), на качество
выполнения которой влияют частные решения, принимаемые частями
системы.
К таким системам может быть отнесена система народного хозяй-
ства государства, система обороны и т. д.
Таким образом, мы использовали обобщающее понятие информа-
ционной системы. Введение подобных обобщающих понятий просто для
классификации вряд ли оправдано, однако оно приобретает ясный
смысл, когда удается обосновать единый метод анализа и синтеза, рас-
пространяющийся на весь обобщенный класс. Применение и развитие
такого метода в условиях так называемой априорной неопределенности
является основным содержанием этой книги.
8
1.2.	СТАТИСТИЧЕСКИЙ СИНТЕЗ
Синтез оптимальных динамических систем давно является одним из
основных разделов их теории. Однако его сущность довольно резко ме-
нялась в зависимости от видов решаемых задач. Так, при инженерном
проектировании различных технических систем и устройств под синте-
зом часто понимают выбор параметров устройств заданных видов. Этот
выбор должен удовлетворять тому или иному частному критерию опти-
мальности, связанному с предъявляемыми к устройству техническими
требованиями.
При развитии теории линейных систем с постоянными параметрами
под синтезом часто понимали нахождение вида и параметров линейной
системы, обеспечивающей максимальное быстродействие при заданной
степени устойчивости. Степень устойчивости определялась видом ча-
стотной характеристики системы, с которым связана возможность само-
возбуждения при малых изменениях параметров, а быстродействие
определялось видом реакции системы на единичный перепад или еди-
ничный импульс.
В рамках детерминистской теории различных видов систем приме-
нялись и многочисленные другие подходы к их синтезу. Во всех случаях
эти подходы связаны с минимизацией или максимизацией некоторого
критерия качества выбором вида или параметров системы при задан-
ных ограничениях, которые могут иметь разнообразный вид.
При нахождении оптимальных динамических систем, подверженных
случайным воздействиям, применение критериев качества, связанных
с реакцией на возмущения заданных видов, очевидно, бессмысленно.
Для таких систем применяют статистические критерии качества, с по-
мощью которых оценивают выходные эффекты в среднем для большого
числа реализаций процессов на входах системы. Часто применяемыми
примерами таких статистических критериев качества являются: отноше-
ние мощности сигнала к мощности шума или энергии сигнала к спек-
тральной плотности шума на выходе приемника; величина среднего
квадрата ошибки оценки (или измерения) некоторой физической вели-
чины; вероятности ошибок при проверке всевозможных гипотез; среднее
время до принятия решения с заданными вероятностями ошибок при
нефиксированном времени наблюдения случайных входных величии
(при применении последовательного анализа, описанного в гл. 11);
квадратичная форма, описывающая корреляции ошибок фильтрации
некоторого случайного процесса из его смеси с шумом.
Синтез оптимальных систем при случайных входных воздействиях
сводится к выбору параметров или вида систем, минимизирующих или
максимизирующих соответствующие статистические критерии качества.
Это и называется статистическим синтезом динамических систем.
К статистическому синтезу могут быть отнесены такие известные
задачи, как выбор оптимальной полосы пропускания приемника задан-
ного вида для обеспечения максимума отношения сигнал/шум; выбор
вида оптимального линейного фильтра этого приемника для еще более
качественного решения той же задачи; решение классической задачи
фильтрации случайного сигнала из аддитивной его смеси со случайным
шумом при известных их корреляционных функциях и при применении
критерия минимума среднеквадратической ошибки фильтрации в каж-
дый данный момент времени.
9
Применяются разные методы статистического синтеза Это связано
с многообразием видов задач и систем, а также конкретных частных
критериев их оптимальности. Мы не будем здесь останаплчьаться на
обзоре этих методов, так как описание и сопоставление многих из них
в современных сложных условиях, при которых должны решаться зада-
чи синтеза, содержатся в последующих главах.
Подчеркнем весьма важные для дальнейшего изложения обстоя-
тельства. Из приведенного в предыдущем параграфе определения
информационных систем вытекает, во-первых, что их синтез может быть
только статистическим, ибо эти системы обязательно подвержены слу-
чайным входным воздействиям и их работа связана с извлечением
информации о случайных величинах, фактах, событиях. Во-вторых, каж-
дая информационная система выполняет какие-то вполне определенные
функции и, следовательно, статистический критерий ее качества должен
быть связан с этими функциями, а не выбираться произвольно Эти
рассуждения приводят к очень важным общим выводам, которые дают
возможность найти единый для всех информационных систем подход
к их статистическому синтезу, а не ограничиваться различными подхо-
дами, возникающими при решении частных задач.
Такой общий подход был предложен А. Вальдом [9] и назван
теорией статистических решений. Его формулировка не связана с кон-
кретными видами задач, решаемых информационными системами или
конкретными критериями их оптимальности, он подходит как к нахож-
дению оптимальных параметров систем заданных видов, так и к поиску
самих этих видов оптимальных систем С помощью общих критериев
теории решений могут быть не только синтезированы оптимальные
информационные системы, но и единым образом проанализированы
качества как оптимальных, так и многочисленных неоптимальных си-
стем. Эта теория дает также возможность с единых позиций сопоставить
различные подходы к синтезу оптимальных систем, подверженных слу-
чайным воздействиям, и в качестве частных случаев получить резуль-
таты, соответствующие этим подходам.
Оставляя более подробное изложение сущности теории статистиче-
ских решений до гл. 2, отметим здесь лишь следующее В информа-
ционных системах, являющихся системами принятия решении, при
любых их конкретных функциях за счет случайности входных воздейст-
вий возникают ошибочные решения Эти ошибки, а также правильные
решения приводят к некоторым последствиям: потерям или выигрышам.
Если бы это было не так, то вид системы или способ выполнения ее
функций был бы безразличен и понятия оптимальности системы не су-
ществовало. Будем для конкретности говорить о потерях, возникающих
при принятии решений В силу случайности ситуации, выявляемых для
принятий решений, сигналов, несущих информацию об этих ситуациях,
и самих принимаемых решений, потери также случайны. Теория реше-
ний связана с минимизацией средних значений этих потерь, получаемых
при разных способах осреднения, зависящих от знания законов распре-
деления вероятностей случайных величин, по которым производится
осреднение. В частности, при полном знании всех вероятностных мер на
множествах, соответствующих рассматриваемым задачам, или, иначе,
при полной априорной определенности минимизируется безусловное
среднее значение функции потерь, называемое средним риском Соответ-
ствующее оптимальное решение, определяющее наилучшую информа-
ционную систему или процесс, в ней происходящий, называется байесо-
10
вым решением. В очень многих задачах, связанных со статистическим
синтезом информационных систем, имеет место полное априорное зна-
ние и, следовательно, по крайней мере в принципе могут быть найдены
байесовы решения. На этом пути получено очень большое количество
результатов, относящихся к разным областям знаний.
По-видимому, одной из первых областей, в которых была успешно
применена теория статистических решений при полной априорной опре-
деленности, была теория радиолокации. Затем теория решений распро-
странилась на другие области приема и обработки информации и, нако-
нец, стала применяться в наиболее сложных задачах автоматического
управления объектами, наблюдениями, экспериментами и т. д.
Однако так же, как в свое время от решения детерминистских
задач в частных областях технических наук и в их обобщениях пришли
к решению стохастических задач, в настоящее время происходит пере-
ход от решения задач с полной априорной определенностью к задачам
с априорной неопределенностью. Под этим термином понимается незна-
ние или неполное знание законов распределения различных случайных
величин, от которых зависят принимаемые информационными система-
ми решения. Вопросам синтеза в условиях априорной неопределенности
посвящена эта книга, поэтому остановимся на объяснении их сущности
и особенностях решений и систем, получающихся в этих условиях, более
подробно.
1.3.	АПРИОРНАЯ НЕОПРЕДЕЛЕННОСТЬ И АДАПТАЦИЯ
Степень априорной неопределенности может быть различной. В ча-
стности, встречаются задачи с полной априорной неопределенностью,
когда неизвестны ни виды, ни параметры законов распределения вероят-
ностей для тех ситуаций, сведений, событий, величин, информация
о которых приводит к выполнению системой ее функций, а также для
сигналов—носителей этой информации. В ряде случаев может быть не-
известной и зависимость потерь от упомянутых ситуаций, сигналов и от
принимаемых системой решений. На первый взгляд, при такой полной
априорной неопределенности статистический синтез невозможен, потому
что нельзя ни сформулировать, ни вычислить критерий оптимальности.
Однако вместо неизвестных априорных распределений и функциональ-
ной зависимости потерь от поступающей информации и принимаемых
решений могут быть заданы эмпирические данные о вышеуказанных
ситуациях, сигналах, принятых в прошлом решениях и возникающих
при этом потерях. Такие данные иногда называют обучающими выбор-
ками или последовательностями. Они могут иметь разный состав и
объем.
Обучающие выборки представляют собой некоторые ограниченные
априорные сведения, заданные, правда, не в виде законов распределе-
ния, но дающие принципиальную возможность для статистического
синтеза. Можно, в частности, по этим выборкам построить выборочные
распределения, которые затем использовать вместо неизвестных истин-
ных распределений. Оптимальные пути использования эмпирических
данных для синтеза будут рассмотрены далее.
Степень априорной неопределенности может быть и не такой высо-
кой. Так, в большинстве случаев из смысла задачи и обдумывания тре-
бований, предъявляемых к информационной системе, можно задать
зависимость потерь от ситуаций, сигналов, решений. Если при этом no-
li
прежнему неизвестны законы распределения вероятностей для вышеупо-
мянутых величин, то для синтеза систем опять нужны эмпирические
данные, но, как будет видно из дальнейшего изложения, их объем дол-
жен быть существенно меньшим.
Следующим шагом на пути задания априорных сведений является
определение некоторых параметров априорных распределений для
исходных ситуаций и сигналов, несущИХ информацию о них. Это может
быть определение конечных областей пространств, в которых соответ-
ствующие ^величины изменяются, з^данИе тех или иных моментов рас-
пределений вероятностей для них, в частности математических ожида-
ний, дисперсий, функций корреляции. Задание любых данных такого
типа сужает разновидности способов функционирования информацион-
ных систем, среди которых может находиться оптимальный способ, и
накладывает существенный отпечатай на Их синтез.
В громадном большинстве задцч статистического синтеза информа-
ционных систем на основе привлечения различных физических сообра-
жений, теоретического и эксперимецтального изучения соответствующих
явлений и процессов удается устац0Вить вид упомянутых законов рас-
пределения для информативных па^аметр0В1 величин, ситуаций, а так-
же для сигналов — носителей информации. Априорная же неопределен-
ность заключается в том, что эти распределения известны не полностью,
а с точностью до конечного числа некоторых дополнительных параме-
тров. Такими параметрами могут б)ыть, например, неизвестные ампли-
туды или мощности сигналов, корреЛЯцИОННые их свойства, интенсивно-
сти накладываемых на них шумов или помех, задержки сигналов
в каналах передачи информации (в частности, задержки при распрост-
ранении электромагнитных излучений, возникающие из-за ограничен-
ности скорости их распространения от источников). Чем больше число
неизвестных дополнительных параметров, не несущих необходимой
информации, тем выше степень апрИорной неопределенности.
В таком параметрическом виде может быть представлена весьма
существенная априорная неопределенность. Можно, в частности, пред-
ставить некоторые аппроксимирующие законы распределения весьма
общего вида, подбором параметров которых могут варьироваться мате-
матические ожидания, дисперсии, коэффИЦИенты асимметрии, эксцесса
и моменты более высоких порядке^ Примеры таких распределений
будут приведены в этой книге. Неизвестные параметры законов распре-
делений в большинстве задач с параМетрической априорной неопреде-
ленностью могут изменяться в шир0Ких диапазонах. Это вызвано тем
обстоятельством, что при малых изменениях параметров распределений,
как правило, оптимальная система Меняется мало и из обычных сообра-
жений непрерывности вытекает, чт<3 статистический синтез можно осу-
ществить для некоторых средних значений неизвестных параметров
(устранившем самым априорную неопределенность). Качества же синте-
зированной таким образом систему будут мало меняться при малых
уклонениях истинных значений неиЗВестных параметров от указанных
средних значений. Настоящие же ТрудН0СТИ возникают только при ши-
роких диапазонах изменения параметров законов распределения, при
учете которых должны сильно изменяться оптимальные системы.
Указанные неизвестные параметры, характеризующие изменения
условий функционирования информационной системы, можно назвать
параметрами «обстановки» ее работы. Физический смысл и количество
подобных параметров меняется для разных частных задач, однако прак-
12
тически почти всегда априорная неопределенность может быть задана
в описанном виде. Такой способ ее задания, как увидит читатель, позво-
ляет найти достаточно общие методы статистического синтеза с по-
мощью распространения и расширения методов теории статистических
решений, развитых в литературе в основном для случая полной априор-
ной определенности.
Главной идеей, развиваемой авторами в этой книге применительно
к синтезу информационных систем в условиях априорной неопределен-
ности, является формирование оценок среднего риска на основе данных
наблюдения и минимизация этих оценок выбором правил решения. Наи-
более последовательно эту идею удается осуществить в случае параме-
трической априорной неопределенности, выяснив при этом смысл опти-
мальности получаемых решений. Характерной их чертой является то, что
они включают в себя оценку параметров неизвестной «обстановки»,
в результате чего способы функционирования информационных систем
изменяются при изменении этой обстановки или условий их работы.
Иначе говоря, синтезированные таким образом системы подстраивают-
ся, приспосабливаются к изменяющимся или к неизвестным условиям.
Применяя для этого приспособления латинское слово, заимствованное
из описания приспособления живой природы к изменяющимся условиям
жизнедеятельности, назовем его адаптацией.
Адаптация в изменяющихся условиях свойственна не только синте-
зируемым при априорной неопределенности системам, она является
одной из главных отличительных черт информационных систем, которы-
ми являются объекты живой природы. Существует при этом адаптация
целых видов огранизмов в процессе их эволюции под воздействием
изменений окружающей среды, а также адаптация к изменяющейся
обстановке отдельных организмов в процессе их жизнедеятельности
для наилучшего выполнения их функций и, в частности, для выжи-
вания.
Адаптация видов проявляется в течение жизни многих поколений
организмов и основана на действии двух механизмов. Первый связан
с мутациями, т. е. с изменениями наследственной информации, заложен-
ной в генах, вызванными изменением структуры хромосом зародышевой
клетки. Мутации происходят вследствие различных случайных воздейст-
вий на отдельные организмы. Некоторые из них приводят к появле-
нию новых свойств, влекущих за собой большую приспособленность
организмов в изменившихся условиях их существования. Это, в свою
очередь, приводит к выживанию в процессе естественного отбора повы-
шенного процента организмов, у которых проявились соответствующие
свойства. Так при развитии вида за счет его адаптации появляются
новые свойства.
Аналогично действует и второй механизм, связанный с перекрестом
хромосом (кроссинговером). В результате его действия у потомства
появляются новые комбинации родительских признаков. Интересно, что
частота соответствующих рекомбинаций генов возрастает при изменении
внешних условий существования организмов. Это приводит к повыше-
нию наследственной изменчивости при изменении условий существова-
ния. Далее начинает действовать, как и в случае мутаций, естественный
отбор, который приводит к распространению устойчивых в данных усло-
виях генотипов.
Описанные процессы, относящиеся к целым видам, включающие
в себя большое число организмов и их поколений, имеют стохастический
13
характер и направлены на улучшение способов функционирования орга-
низмов, т. е. приводят к появлению оптимальных в том или ином смысле
свойств.
Приспособление к окружающей обстановке наблюдается не только'
в процессе развития целых биологических видов, но и в процессе жизне-
деятельности каждого отдельного организма. Целью такого приспособ-
ления является лучшее выполнение основных функций организма
и прежде всего выживание.
В литературе описываются различные разновидности адаптации
организмов, а также обсуждаются модели, к которым эти виды адапта-
ции сводятся. В частности, одной из первых появилась связанная с го-
меостазом модель, предложенная Эшби [42].
Наиболее популярными примерами адаптации организмов служат
адаптивные механизмы органов чувств, которые вместе с отделами го-
ловного мозга воспринимают и перерабатывают огромное количество
информации, заложенной в физических сигналах, воздействующих на
органы чувств. В настоящее время хорошо изучены адаптивные меха-
низмы глаза: диафрагмирование зрачка, аккомодация хрусталика, адап-
тация сетчатки. Эти виды адаптации направлены на поддержание опти-
мальных условий для выполнения основных функций глаза, связанных
с обнаружением объектов в поле зрения, их распознаванием, измере-
нием всевозможных параметров этих объектов. Такими же свойствами
по отношению к информации, заложенной в звуковых колебаниях, обла-
дают механизмы адаптации уха: происходит ориентация ушной ракови-
ны и изменение коэффициента передачи звукового давления от барабан-
ной перепонки в улитку. Чувствительность органа вкуса — языка — ме-
няется под воздействием внешних условий, то же можно сказать и
о чувствительности осязания.
Организмам свойственна закономерность, связанная с распознава-
нием ситуации, в которой придется функционировать данному организ-
му, по некоторым случайным сигналам. В результате организм приспо-
сабливается к этим ситуациям. Примером является изученный
И. П. Павловым механизм условных рефлексов. На основе оценки неко-
торых параметров поступающих извне физических сигналов (например,
звуковых), изменяется способ функционирования организма, направ-
ленный, например, на наилучшее восприятие пищи. Конечно, условные
рефлексы вырабатываются на основе безусловных, т. е. наряду с оцен-
кой «обстановки» имеет место привлечение и априорных данных, обу-
словленных генотипом.
Поиск организмами оптимальных реакций часто бывает связан еще
с одной закономерностью. Она заключается в фиксации физических
сигналов, соответствующих реакций организма и результатов этих реак-
ций на прошлых шагах (в предыдущие моменты времени). В результате
определение оптимального способа функционирования организма на
данном «шаге» (в данный момент или на данном интервале времени)
происходит не только на основании использования физических сигналов
и заключенных в них параметров «обстановки», связанных с данным
«шагом», но и на основании фиксации результатов функционирования
организма на прошлых «шагах». Описанный способ адаптации иногда
считают даже основным для живых организмов [42].
Принцип адаптации как отдельных живых организмов, так и целых
их видов, а также многочисленные конкретные их проявления являются
предметом исследований многих ученых и описаны в специальной лите-
14
ратуре. Приведенные выше краткие сведения из этой области служили
лишь единственной цели — сделать некоторый качественный вывод
о сущности адаптации в живой природе. Из них следует, во-первых, что
механизмы адаптации организмов основаны на использовании априор-
ных данных, заложенных в генотипе. Во-вторых, по-видимому, все меха-
низмы организмов связаны с оценкой «обстановки», в которой эти орга-
низмы должны функционировать. Обычно эта «обстановка» характери-
зуется некоторым небольшим числом параметров (в описываемых
в литературе простых случаях обычно фигурирует один параметр). Спо-
соб функционирования организма меняется либо скачкообразно (как
описывает Эшби), либо с помощью непрерывного изменения некоторых
параметров организма в связи с оценкой параметров обстановки для
наилучшего удовлетворения некоторому, также заложенному априори,
критерию оптимальности.
Таким образом, адаптация живой природы имеет в принципе те же
характерные черты, что и адаптация информационных систем, появляю-
щаяся в результате статистического синтеза в условиях априорной не-
определенности.
Адаптация, понимаемая как приспособление к неизвестным или из-
меняющимся условиям, характерна не только для живой природы, но и
для систем, создаваемых человеком в процессе развития различных
областей техники. К адаптивным системам могут быть отнесены, напри-
мер, приемники с автоматической регулировкой усиления, обеспечиваю-
щей отсутствие нелинейных искажений сигналов, которые приводят
к ухудшению качества передачи информации; фотоаппарат или кинока-
мера с автоматической регулировкой диафрагмы в соответствии с общей
освещенностью фотографируемого объекта, с помощью чего достигаются
наименьшие искажения изображения фотопленкой; телевизор с автома-
тической регулировкой яркости в соответствии с общей освещенностью
помещения, что позволяет человеческому глазу лучше воспринять дета-
ли изображения на телевизионной трубке и т. д.
Приведенный краткий экскурс в области функционирования и раз-
вития живой природы и техники свидетельствует о том, что адаптив-
ные информационные системы возникают не только в результате стати-
стического синтеза информационных систем в условиях априорной не-
определенности, но и имеют большое практическое распространение при
неизвестной изменяющейся в широких пределах «обстановке». При этом
адаптивность служит для улучшения качества систем и свойств проис-
ходящих в них процессов в соответствии с некоторыми обычно извест-
ными (а иногда не полностью известными) критериями. Однако
найденные эмпирически адаптивные системы могут и не обладать наи-
лучшими свойствами, получение которых при больших диапазонах усло-
вий работы систем может оказаться не только желательным, но и не-
обходимым. Это подчеркивает актуальность синтеза оптимальных
систем, которые при априорной неопределенности являются адаптив-
ными и обладают наилучшими свойствами.
Из приведенных соображений ясно, что общий метод такого синте-
за дает теория статистических решений, основы которой изложены
в следующей главе.
Гл а в a 2
ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ СТАТИСТИЧЕСКИХ РЕШЕНИЙ
2.1.	РЕШЕНИЯ
Повседневная необходимость и разнообразные практические потреб-
ности заставляют человека и создаваемые им автоматы или системы
заниматься получением и обработкой информации, направленными на
достижение той или иной цели. В соответствии со сложившейся терми-
нологией и для краткости изложения будем называть всякий целена-
правленный результат обработки имеющейся информации решением.
При этом такие разнородные задачи, как выбор между поездкой на
лыжную прогулку и созерцанием экрана телевизора в воскресный день
на основе информации, содержащейся в прогнозе погоды, или оценка
параметров траектории космического объекта с помощью ограниченной
совокупности замеров его координат приобретают общую математиче-
скую формулировку и могут рассматриваться с единых методологиче-
ских позиций. Сам процесс обработки информации, заканчивающийся
тем или иным результатом — решением, мы часто для сокращения сло-
весного описания будет называть просто принятием решения.
Процесс обработки информации и принятия решений имеет ряд ха-
рактерных особенностей, из которых главными являются следующие:
1.	Всякое решение направлено на достижение какой-то цели, выби-
рается из ряда возможных альтернатив (конечного или бесконечного)
и приводит к некоторым последствиям, по которым и должно оценивать-
ся качество этого решения.
2.	Решение принимается с помощью доступной к моменту его при-
нятия информации двоякого рода. Одна ее часть обобщает прошлый
опыт и представляет собой совокупность априорных сведений. Другая —
это совокупность данных наблюдения, получаемых в процессе выработ-
ки решения непосредственно перед его принятием. Последняя совокуп-
ность, которую мы будем обозначать через х, и является как раз
объектом обработки в процессе принятия решений. В практических за-
дачах объемы обеих совокупностей могут изменяться в весьма широких
пределах и существенно влияют на правила принятия решений (алго-
ритмы обработки информации) и их качество. В частности, совокуп-
ность данных наблюдения х может иметь самую разную физическую
природу в соответствии с конкретным содержанием задачи. Это могут
быть величины, векторы, процессы, векторные процессы и т. д.
3.	За редким исключением доступная при принятии решения инфор-
мация и последствия от принятия того или иного решения имеют стати-
стическую природу. Она обусловлена незнанием тех или иных скрытых
случайных факторов (параметров), влияющих на последствия принятого
решения, статистическим характером имеющегося прошлого опыта, слу-
чайностью используемых при принятии решения данных наблюде-
ния и т. п. Все это придает процедуре принятия решений статистический
характер и исключает возможность вполне однозначно (в детермини-
стском смысле) предсказать последствия выбора того или иного ре-
шения.
4.	Во многих случаях необходимо принимать целую совокупность
частных решений, которые тем самым носят «многомерный» «вектор-
ный» характер. Компоненты этой совокупности могут приниматься по-
16
следовательно, и тогда они образуют временной процесс. Существенней-
шей чертой процесса последовательного принятия решений является то,
что в общем случае предыдущие решения влияют на состояние наших
знаний перед принятием очередного решения и изменяют возможные
последствия очередного и следующего решений, которые могут быть
разными в зависимости от того, какие решения были приняты ранее.
5.	Выбор решения из имеющихся альтернатив не обязательно одно-
значно определяется имеющейся информацией. Он может, а иногда и
должен допускать элементы случайности или, как принято говорить,
рандомизации. Процедура случайного выбора решения предполагает,
что для каждого значения совокупности данных наблюдения х и для
каждого из возможных альтернативных решений определены вероятно-
сти, в соответствии с которыми и может быть принято любое из воз-
можных решений. Крайним случаем такой рандомизированной процеду-
ры является выбор решения наугад.
Задачей человека или автомата, принимающего решение, является
выбор такого решения, которое, исходя из поставленной цели, приводило
бы к наиболее благоприятным последствиям. Соответствующие правила
принятия решения, определяющие порядок его выбора с использованием
имеющейся информации, называются оптимальными. Для их нахожде-
ния существует довольно основательный математический аппарат,
основными элементами которого являются теория игр и статистических
решений [9, 6] и теория динамического программирования, особенно
в ее общей стохастической форме [3, 30], позволяющие рассматривать
громадное многообразие задач с единых позиций.
Введем некоторые обозначения. Пусть U — множество возможных
решений, a u^U—его элементы. В соответствии со сказанным ранее
решение и формируется с использованием имеющихся данных х, являясь
результатом их обработки, и, естественно, зависит от х. В общем случае
и может состоять из целой совокупности частных решений, например
представлять собой совокупность оценок координат объекта в различ-
ные моменты времени, совокупность управляющих воздействий в какой-
либо системе автоматического управления и т. п. Элементы и могут
иметь достаточно произвольную природу. Они могут быть дискретными
либо непрерывными величинами, векторами, процессами, логическими
операциями, какими-либо действиями и т. п. Однако все это многооб-
разие с формальной точки зрения может быть сведено к нескольким
основным случаям в соответствии с классификацией гл. I.
А. Пространство решений дискретно. Множество U состоит из
элементов Ui, иг, ..., ип, число которых конечно или счетно, а решение
состоит в выборе по имеющейся информации (данным наблюдения х)
одной из возможных альтернатив Uj или просто /=1, 2, ..., п. Приме-
ры— радиолокационное обнаружение (решение о наличии либо отсутст-
вии сигнала от отражающего объекта), распознавание образов (отожде-
ствление данных наблюдения х с одним из заданных классов объектов),
выбор варианта состава и последовательности работ при планирова-
нии и т. п.
Б. Пространство решений U непрерывно. В зависимости от конкрет-
ного содержания задачи оно может быть ограниченным или бесконеч-
ным, одномерным, многомерным, функциональным, векторным функцио-
нальным и т. д. Примерами подобных решений являются задачи оценки
тех или иных параметров (скаляров, векторов, матриц, функций) с не-
прерывной областью изменения, содержащихся (закодированных)
2—899	17
з данных наблюдения х, выбор числовых параметров в задачах плани-
рования и распределения ресурсов, формирование управляющих воздей-
ствий в системах автоматического управления и т. п.
В. Пространство решений дискретно — непрерывно. Множество U
состоит из совокупности подмножеств Ui, U2, Un, все или часть из
которых имеют непрерывную структуру, как в случае Б. Этому типу
соответствуют, например, задачи обнаружения с одновременной оценкой
параметров полезного сигнала, задачи классификации с определением
значений параметров, характерных для данного класса, выбор варианта
плана с одновременным выбором параметров этого варианта, например
продолжительности работ и величины затрат (имеется в виду, что ва-
рианты различаются не только параметрами, но и содержанием и после-
довательностью работ).
Этими случаями исчерпываются возможные типы решений. Стоит
подчеркнуть только, что в случае А каждый из элементов и3 может
иметь весьма сложную структуру, например соответствовать целой про-
грамме действий, включающей в себя самые разнородные частные опе-
рации. Вторая особенность связана с многошаговыми решениями, в ко-
торых на каждом шаге, вообще говоря, могут приниматься решения раз-
личных типов (А, Б или В).
Введем теперь формальное описание правила принятия решения
(решающего правила)—алгоритма обработки информации (данных
наблюдения х), превращающего эти данные в конечный результат — ре-
шение. При отсутствии рандомизации задание этого правила есть
задание какого-либо однозначного соответствия между х и и, т. е. пре-
образования и—и(х), определенного для всех возможных значении
хеА и ие!7. В зависимости от конкретного способа задания мно-
жеств X и U это преобразование может быть обычной функцией ска-
лярного или векторного аргумента, функционалом, функцией множества
или иным отображением х в множество U более общего вида.
Совокупность различных преобразований и(х) (любых или ограни-
ченных какими-либо условиями, характерными для данной конкретной
задачи) образует множество U(х) всех нерандомизированных решаю-
щих правил — алгоритмов обработки данных наблюдения х.
Во избежание недоразумений следует подчеркнуть, что U и U (х) —
это совсем разные множества: первое — множество возможных решении,
а второе — множество всех возможных правил (алгоритмов) принятия
решения с использованием данных наблюдения х. Их общность прояв-
ляется только в том, что любой элемент и(х)е!7(х) принимает значе-
ния u(x)=u, которые принадлежат множеству U. Естественно, что мно-
жество t/(x) может быть существенно богаче множества U. Например,
для случая А множество U содержит всего п элементов, а множество
U(х) может быть несчетным.
При наличии рандомизации допускается, что при данном значении
хеА могут приниматься различные решения uet7. При этом правило
принятия решения устанавливает, что для всякого хеА то или иное
решение и может быть принято с некоторой вероятностью, зависящей
от х. Таким образом, рандомизированное решающее правило определя-
ется заданием на множестве U условной вероятностной меры Ф(и|х),
которая и определяет вероятность принятия конкретного решения и при
данном х. Процедура принятия решения заключается в том, что после
наблюдения х=х0, определения значений Ф(и|х) при этом значении х0
для всех возможных и с помощью дополнительного случайного меха-
18
низма с вероятностной мерой его исходов Ф(и|х0) производится случай-
ный выбор значений и.
Нерандомизированное правило принятия решения соответствует
вероятностной мере Ф(и|х), которая при данном х всюду равна нулю,
кроме точки u=u(x), где она принимает значение, равное единице, или
плотности вероятности <p(u|x)=6(u—u(x)), где u(x) — однозначная
функция х.
2.2.	ПОТЕРИ
Рассмотрим вопрос об оценке последствий, к которым приводит вы-
бор того или иного решения. Очевидно, что эти последствия разумно
оценивать по степени соответствия их поставленной цели. Это позволяет
по крайней мере в принципе для каждого из возможных альтернатив-
ных решений указать получающийся в результате принятия этого реше-
ния эффект и ввести для него количественную меру, задающую вы-
игрыш или потери от принятия данного решения. Соответствующая
мера называется функцией потерь (выигрыша) и определяется для каж-
дого из возможных в данной задаче решения. Для определенности
в дальнейшем будем пользоваться, как правило, понятием потерь,
в связи с чем будем считать, что выбранное решение приводит к наибо-
лее благоприятным последствиям, если оно минимизирует величину
этих потерь. При использовании понятия выигрыша минимизация за-
меняется на максимизацию.
Пусть (и, ...)—значение функции потерь для данного решения.
Если бы последствия решений и и их количественная мера g(u, ...)
зависели только от и, то, очевидно, вопрос о выборе оптимального ре-
шения решался бы тривиально: нужно было бы выбрать то решение и,
для которого функция g(u, ...) имеет наименьшее значение. На самом
деле последствия принятия решения и связанные с ними потери зави-
сят еще от ряда факторов и могут существенно изменяться в зависи-
мости от реально складывающейся ситуации. Например, последствия
от принятия решения о наличии отражающего объекта при радиолока-
ционном обнаружении или о приемке партии продукции различаются
в зависимости от того, есть ли объект на самом деле или нет и добро-
качественна ли партия продукции или содержит брак.
Таким образом, функция потерь £(и, ...) зависит от некоторых
параметров X, описывающих неопределенность в величине потерь при
принятии данного решения и характеризующих реальную ситуацию,
в которой или относительно которой принимаются решения. Эти пара-
метры образуют некоторое множество Л, такое, что для каждого u^U
и ХеЛ можно по крайней мере в принципе определить значение функ-
ции потерь g (u, X), описывающей последствия принятия решения и
в данной ситуации X. Параметры X могут иметь столь же или еще бо-
лее многообразную природу, что и решения и. Они могут быть дискрет-
ными и непрерывными величинами, векторами, процессами, состояния-
ми и т. д. При этом независимо от их конкретной природы параметры X
можно считать случайными элементами множества Л, на котором опре-
делена некоторая (известная или неизвестная) вероятностная мера.
Во многих случаях структура множества Л соответствует структуре
множества решений U. Так, для дискретного пространства (случай А
§ 2.1), когда решение заключается в выборе одной из возможных аль-
тернатив, во многих задачах последствия выбора и соответствующая
2*	19
им функция потерь зависят только от выбранного решения и истинной
ситуации, число которых конечно. Например, в задаче распознавания
требуется по данным наблюдения х принять решение о том, что наблю-
даемый объект относится к одному из заданных классов с номером /
(/=1, 2, ..., п), а истинная ситуация может заключаться в том, что
этот объект относится к классу с номером i. Потери зависят от выбран-
ной альтернативы j и истинной ситуации I, а неизвестный параметр X—
это просто номер i, характеризующий истинную ситуацию. При этом
функция потерь g(u, k)—g3i, где j — номер решения, i — номер истин-
ной ситуации.
Аналогично в задачах с непрерывным множеством решений (слу-
чай Б § 2.1) параметры X по своей структуре часто идентичны реше-
ниям и. Так, в задачах оценки X —это неизвестное истинное значение
оцениваемого параметра, решение и — его оценочное значение, а поте-
ри обычно зависят от их разности, т. е. £(и, X)=g’(u—X). В общем
случае структуры множеств U и Л могут быть различными.
Функция потерь g(u, X) представляет собой априорную оценку по-
следствий принятия решения и в ситуации, характеризуемой некоторы-
ми не наблюдаемыми непосредственно параметрами X. Эта априорная
оценка может зависеть и от ожидаемых значений наблюдаемых дан-
ных х, поскольку получение тех или иных значений х может быть свя-
зано с различными затратами. Поэтому, вообще говоря, функция потерь
g(u, X)=g’(u, X, х), где хевХ— совокупность имеющихся при принятии
решения наблюдаемых данных, а X— множество возможных значений
этой совокупности.
Как уже отмечено ранее, данные наблюдения х могут иметь самую
различную физическую природу и соответствовать различному объему
входной информации. Это могут быть величины, векторы, процессы
и т. д. Весьма существенны два обстоятельства:
—	наблюдаемые данные х из-за стохастической сущности процес-
са наблюдения имеют вероятностный характер;
—	эти данные всегда в той или иной степени связаны с ненаблю-
даемыми параметрами X, характеризующими ситуацию, в которой при-
нимается решение, и влияющими на последствия от его принятия.
Только при наличии взаимосвязи между ненаблюдаемыми параметра-
ми X и наблюдаемыми данными х эти последние имеют ценность с точ-
ки зрения возможности уменьшения неопределенности значений X и
ожидаемых потерь от принятия решения.
Эти обстоятельства позволяют ввести для описания данных наблю-
дения х условную вероятностную меру, зависящую от X и заданную на
множестве X. Как функция параметров X эта мера (чаще соответст-
вующая ей плотность вероятности в случае существования последней)
называется функцией правдоподобия. В практических задачах услов-
ная вероятностная мера х может быть как полностью известна для вся-
кого значения X, так и быть заданной лишь частично, например с точ-
ностью до ряда дополнительных параметров, посредством набора вы-
борочных значений х, наблюдавшихся в прошлом в аналогичных
ситуациях, или еще каким-либо способом.
2.3.	РИСК
Задание вероятностных мер для возможных решений и, наблюдае-
мых данных х и ненаблюдаемых параметров X, влияющих на величину
потерь, позволяет заранее определить ожидаемое значение потерь
20
(выигрыша) от принятия решения путем вычисления различных мате
матических ожиданий функции потерь g(u, X, х) Эти математические
«ожидания, характеризующие потери в среднем, называются рисками и
являются оценкой ожидаемых последствий принятия решения Выбор
оптимального решения производится именно путем минимизации ожи-
даемых потерь, т. е величин рисков
В зависимости от полноты усреднения при вычислении математи-
ческого ожидания функции потерь вводится несколько различных
рисков, которым соответствуют разные принципы выбора оптимального
решения Если вероятностные меры для хи). известны, то для любой
Ф(и|х) можно найти безусловное математическое ожидание функции
потерь, которое является функционалом только от решающего прави-
ла— вероятностной меры Ф(и|х)—и называется средним риском. Для
простоты записи будем в дальнейшем полагать, что вероятностные ме-
ры х и X задаются плотностями вероятности Р(х|Х) и р(Х) соответст-
венно, что автоматически охватывает и случай дискретных распределе-
ний вероятности при использовании дельта функций Распространение
последующих результатов на случай более общих вероятностных мер
сводится только к изменению формы записи интегралов, определяю-
щих математические ожидания
Итак, определяя математическое ожидание функции потерь
g(u, X, х), получаем следующее выражение для среднего риска
R(<?) = {g (и, X, х)}=ууу^(и, X, х) <p(u|x)P(x[Z) р (X) dudxdb, (2 3 1)
где <р (и | х) =с!Ф (и | х) /du — условная плотность вероятности принятия
решения и при данном значении х, определяющая решающее правило
Это выражение определяет величину потерь в среднем по всем возмож-
ным решениям и значениям хи). (Здесь и далее при записи
интегралов подразумевается, что интегрирование проводится по всему
заданному множеству значений переменной интегрирования, в (2 3 1)
по U, X и Л соответственно )
Оптимизация правила принятия решения заключается в выборе
такой функции <р (и | х) или Ф(и|х), которая обеспечивает минимум
среднего риска, определяемого линейным относительно <р (и | х) функ-
ционалом (2 3 1)
При нерандомизированных решающих правилах, когда каждому х
соответствует вполне определенное решение u=u(x), решающая функ-
ция <р(и|х) имеет вид
?(u|x) = 8(u-u(x))	(2 3 2)
и выражение для среднего риска можно переписать в следующей
форме
P(u(x)) = jyg(u(x), 1, x)P(x|X)p(X)dxdX. (2 3 3)
Выражение (2 3 3) определяет среднюю величину потерь для лю-
бого заданного преобразования и(х)е£7(х), которое принимает значе-
ния u(x)=ugb'. Средний риск является нелинейным функционалом
решающей функции (правила принятия решения) и(х), а оптимизация
состоит в выборе такой функции u=u(x), которая обеспечивала бы
минимум этого функционала
Можно ввести также различные условные математические ожида-
ния функции потерь Так, средняя величина потерь для данного реше-
21
ния и определяется условным математическим ожиданием функции
g(u, X, х) при заданном значении иеС7, равным
g(u) = yyg(u, X, х) Р (х|Х) р (X) dxdX
или, если функция потерь g(u, К, x) = g(u, X) не зависит от х
g (u) = f f g (и, X) Р (х |Х) р (X) dxdX =
У g (и, X) р (X) dX. (2.3.4)
Величина g(u) определяет априорную оценку потерь, связанных с дан-
ным решением и, и характеризует те потери, которые будут в среднем
иметь место при отсутствии данных наблюдения х или при отказе от их
использования. Эта величина иногда называется априорным риском.
Наиболее важным для решения задач оптимизации является поня-
тие апостериорного риска—-условного математического ожидания
функции потерь для данного решения и при данном значении х. Это
математическое ожидание определяется формально путем усреднения
функции потерь по апостериорному распределению вероятности для
параметров ХеЛ, которое находится с помощью формулы обращения
Байеса:
л (Х1х) = Р р =Р р
У Р (х|Х) р (X) d X Р х
(2.3.5)
В отличие от априорного распределения р(Х) апостериорное рас-
пределение описывает неопределенность в значениях X после наблюде-
ния х. В дальнейшем будем употреблять сокращенное обозначение
р(Х|х) = ра(Х).	(2.3.6)
Апостериорный риск R (и, х) определяется выражением
,>	f g (u, X, х) Р (х|Х) р (X) dX
R(u, х)= g(u, X, х) р (Х|х) dX = -----г--------------- (2.3.7)
J	Р (xfX) р (ЪА d.K
и представляет собой ожидаемое значение потерь от принятия решения
ueL;, соответствующее данному значению х, которое получается в про-
цессе наблюдения, т. е. является оценкой последствий принятия данно-
го решения и при данном значении х. Апостериорный риск является
функцией решения и, так же как априорный риск g(u), и отличается
этим от среднего риска, который является функционалом решающего
правила (а не самого решения).
Средний и апостериорный риски связаны очевидным соотношением
R (?) = J j R (u, x)?(u|x)P(x)dudx	(2.3.8)
или для нерандомизированных решающих правил
R (и (х)) = у R(u (х), x)P(x)dx,	(2.3.9)
где Р(и(х), х) — значение апостериорного риска при u = u(x), а
P(x)=yP(x|X)p(X)dX	(2.3.10)
— плотность распределения вероятности данных наблюдения х.
22
Наряду с апостериорным и средним рисками вводится понятие
условного риска — условного математического ожидания функции по-
терь при заданном значении X (эта величина часто называется просто
риском), которое определяется выражениями
г(<р, X)=jjg(u, X, x)ip(u|x)P(x|X)dudx;
r(u(x), Х)= jg(u(x), x)P(x|Z)dx	(2.3.11)
соответственно для рандомизированных и нерандомизированных пра
вил решения. Эта величина представляет собой оценку последствий от
принятия решения в среднем по всем возможным значениям х, которые
могут встретиться при наблюдении.
2.4.	БАЙЕСОВЫ РЕШАЮЩИЕ ПРАВИЛА
В том счастливом случае, когда статистическое описание наблю-
даемых данных х и параметров X является полным, т. е. известны
Р(х|Х) и р(1), принципиально задача нахождения оптимального ре-
шающего правила достаточно проста. Само оптимальное в этих усло-
виях правило решения называется байесовым. Из выражения для сред-
него риска в форме (2.3.8) и в силу неотрицательности Р(х) следует,
что минимум среднего риска по <р достигается в том случае, если при
всяком х интеграл
J/?(u|x)ip(u|x)du
минимален. В силу линейности этого выражения относительно <р(и|х)
его минимум достигается для вероятностной меры Ф(и|х), целиком
сосредоточенной в той точке u=uo=uo(x), в которой имеет место мини-
мум апостериорного риска R (и, х). При этом <p(u|x)=6(u—u0(x)) и,
следовательно, байесово правило решения является нерандомизиро-
ванным.
Таким образом, задача минимизации среднего риска на множестве
возможных правил принятия решения <р(и|х) (или в нерандомизиро-
ванном случае u(x)et/(x)) сводится к существенно более простой за-
даче минимизации функции R (и, х) на множестве решений ueL'.
В частности, если множество решений U конечномерно, т. е и — вектор
конечной размерности, то отыскание оптимального байесова правила
решения сводится к нахождению минимума функции п переменных,
задаваемой выражением (2.3 7), при всевозможных значениях х, а сам
выбор решения заключается в нахождении значения и, минимизирую-
щего апостериорный риск R (и, х) при данном значении х.
Байесово правило принятия решения и0(х) (иногда для краткости
будем называть его просто байесовым решением) в соответствии со
сказанным выше определяется из соотношения
(и»(х), x)=min/?(u, x) = minCg(u, X, x)p(Z|x)dl (2.4.1)
(u)	(u) J
для минимума апостериорного риска или эквивалентного ему соотно-
шения
f g (u0 (х), л, x)P(x|Z) p(k)dk= min fg(u, X, x)P(x|X)/?(X)dX,
J	(u) J
23
которое отличается от (2.4.1) только умножением на Р(х). Минималь-
ный средний риск
R° = min /?Xu'(x)) — (*7?(Uo(x), x)P(x)dx =
(u(x)El/ (x)) “ ‘ J
— Cmin/?(u, x)P(x) dx = ^[min f g (u, X, x) p (k\x) dk] P (x) dx =
J (u)	 J| (U) J
= C [min f g (u," К, x)'P (x|X)/? (X) dZ] dx	(2.4.2)
J (u)' J
называется байесовым риском, а само байесово решающее правило
является наилучшим в смысле обеспечения минимума средних потерь.
Большая ценность байесова подхода, помимо полной методологи-
ческой завершенности, заключается также в возможности отыскания
общей структуры оптимальных правил решения, охватывающей боль-
шие классы задач, различающиеся заданием функции потерь, видом
функций правдоподобия Р(х|Х) и априорных распределений вероятно-
сти для параметров X. Приведем два примера, иллюстрирующих эту
общность.
а.	Многоальтернативные решения. Пусть решение и заключается
в выборе одной из п альтернатив «=/’=!, 2, ..., п, которой может со-
ответствовать одна из т альтернативных ситуаций X=i=l, 2, ..., т.
Как отмечалось выше, этому примеру соответствует громадный круг
задач проверки статистических гипотез, обнаружения и различения
сигналов, распознавания образов и т. п. Полагая для простоты, что
функция потерь не зависит от х и
g(u, к x) = g(u = j, 2=i) = gii,	(2.4.3)
||§л||—некоторая матрица потерь размером (пХт), имеем
R(u, x) — R(u = j, x) = Ri(x)=Hgiip(^=i\x) — Tig1ipai,	(2.4.4)
i	i
где Pai—p(X=i|x)—апостериорная вероятность i-й ситуации. Из
(2.4.4) следует, что оптимум для многоальтернативной задачи заклю-
чается в выборе того решения u=j, для которого линейная комбинация
апостериорных вероятностей альтернативных ситуаций X=i минималь-
на. Поскольку
Pal ~р (х|1 = i) р (Л = i) = Pt (х) pt,	(2.4.5)
где Рг(х)—-плотность распределения для наблюдаемых данных в i-й
ситуации; pi=p(X=i)—априорная вероятность этой ситуации, то
R(u, x) = Rl(x)=-^^^gpPi(x)pi = -^^a>lPi^>>' (2-4-6)
i	i
где Р (x) = 21Pt (х)рр, aji = g]tpt. Это означает, что решение выбирается
i
путем сравнения линейных комбинаций функций правдоподобия Л(х),
которые и являются определяющим элементом данной задачи. Значе-
ния же функции потерь ga и априорные вероятности pt определяют
только весовые коэффициенты этих комбинаций ая-, которые обычно
относительно слабо влияют на выбор оптимального решения и могут
быть взяты произвольно.
24
Следует особо подчеркнуть принципиальное значение этого обстоя-
тельства с точки зрения практических применений теории статистиче-
ских решений. Дело в том, что производя наблюдения и получая новую
информацию х, мы вправе рассчитывать, что именно вновь полученные
данные являются определяющими с точки зрения выбора правильного
решения. В этом, собственно говоря, и заключается цель наблюдения,
направленного на получение новой информации, которая должна при-
нести нам существенную пользу при выборе решения. Если это так, то
правдоподобие различных ситуаций, измеряемое при данном х значе-
ниями величин Рг(х), должно быть резко различным — велико для той
ситуации i=io, которая имеет место в действительности, и мало для
всех остальных. Причем это различие между большими и малыми зна-
чениями должно быть существенно больше, чем различие в весовых
коэффициентах, определяемое матрицей Если это не так и раз-
личие весовых коэффициентов имеет определяющее значение с точки
зрения выбора минимальной линейной комбинации в (2.4.6) и опти-
мального решения, то вновь полученная информация х бесполезна или
почти бесполезна, а оптимальное решение конструируется фактически
только на основе априорных данных о потерях и вероятностях ситуа-
ций %—i. Такая ситуация тоже может иметь смысл, но она не харак-
терна для систем получения и обработки информации, по сути пред-
назначенных для получения и обработки такого объема данных х,
который мог бы существенно повлиять на наши знания и улучшить ре-
шение по сравнению с решением, выбираемым только на основе априор-
ных данных, без -новых сведений, содержащихся в совокупности х.
Таким образом, как в рассматриваемой здесь задаче многоальтер-
нативного решения, так и вообще в любых задачах обработки инфор-
мации существует общая закономерность, связанная с прикладным ха-
рактером и целевым назначением систем обработки информации: чем
более высокими качествами должна обладать синтезируемая система,
тем меньшее значение имеют априорные данные о характеристиках
потерь и вероятностном поведении параметров X. Эта закономерность
допускает некоторый произвол в задании указанных априорных харак-
теристик и подчеркивает то значение, которое имеет статистическое
описание наблюдаемых данных х и их взаимосвязи с параметрами л,
характеризующими истинные ситуации.
В заключение рассматриваемого примера заметим, что для класса
двухальтернативных задач (п—т—2) из (2.4.6) сразу следует опти-
мальное правило решения. Первое решение и=1 принимается, если
Л„(х)=Р1(х)/Р.(х)>С,	(2.4.7)
второе — при выполнении противоположного неравенства, т. е. опти-
мальное правило решения заключается в сравнении отношения правдо-
подобия Л1г(х) с порогом С, зависящим от матрицы потерь и апри-
орных вероятностей p-t. Тем самым оптимальное правило двухальтерна-
тивного решения определено в общем случае с точностью до одной
константы.
б.	Оценка параметров. Пусть решение и заключается в построении
оценки u={«i, ..., ип} векторного параметра X={Xi, ..., Хп}, закодиро-
ванного в совокупности наблюдаемых данных х. Каждая из компонент
Ui имеет неограниченную область изменения. Этот случай охваты-
вает, в частности, задачи линейной и нелинейной фильтрации и т. п.
Пусть функция потерь g(u, X, x)=g(u—X) симметрична относительно
25
векторной разности и—X. Пусть также апостериорная плотность веро-
ятности р(Х|х) симметрична, хотя бы приближенно, относительно не-
которой точки Х=Х(х), которая зависит от х. При этих условиях из
(2.4.1) следует, что оптимальное решение и — оценка неизвестного век-
тора X— определяется как
u=ub(x) = X(x)	(2.4.8}
независимо от детального вида функции потерь, функции правдоподо-
бия Р(х|Х) и априорного распределения р (X) вектора X.
Точка Х(х) обладает тем свойством, что в ней достигается макси-
мум апостериорной плотности вероятности р(Х|х), что и дает доста-
точно универсальный способ нахождения оптимального решения, в дан-
ном случае оптимальной оценки векторного параметра, а именно
отыскание максимума апостериорной плотности вероятности для оцени-
ваемого параметра.
Как и в предыдущем примере, при достаточно высокой информа-
тивности данных наблюдения х и отсутствии каких-либо специфичных
ограничений на взаимосвязь отдельных компонент вектора X (напри-
мер, наличия между ними функциональных зависимостей, приводящих
к несобственным априорным распределениям р(Х), сосредоточенным
полностью на некоторых гиперповерхностях в пространстве парамет-
ров X) априорная статистика слабо влияет на структуру и вид опти-
мального решения. Действительно, уравнение для максимума апосте-
риорной плотности вероятности
р (X (х)]х) = max/? (Х|х)	(2.4.9}
(X)
эквивалентно уравнению
f
Р(х|Х (х)) р (X (х)) =maxP(x|X) р (X),	(2.4.10)
(X)
которое может быть заменено более простым уравнением для прибли-
женного определения оптимальной оценки Х(х), содержащим только
функцию правдоподобия
Р (х]Х (х)) = max Р(х|Х).	(2.4.11)
(X)
Такая замена допустима и приближение получается хорошим, если на-
блюдаемые данные х содержат настолько много информации о значе-
нии вектора X, что его оптимальная оценка X имеет существенно мень-
шее отклонение от истинного значения X, чем априорный разброс, опре-
деляемый распределением с плотностью р(Х). В этих условиях функция
правдоподобия Р(х|Х) по сравнению с априорной плотностью р(Х)
является быстроменяющейся функцией X, принимающей большие зна-
чения в окрестности истинного значения Х=Хо, действительно содержа-
щегося в данных наблюдениях х, и малые значения во всей остальной
области изменения X.
Благодаря этому как раз и можно перейти от (2.4.10) к уравнению
(2.4.11), выражающему важнейший для синтеза оптимальных систем
обработки информации принцип максимального правдоподобия. Отли-
26
чительной его особенностью является то, что для нахождения «опти-
мального» решения не требуется знать детальный вид функции потерь
и априорное распределение вероятности для параметров 1. Достаточно
только иметь уверенность, что это распределение плавно изменяется
в окрестности точки, соответствующей максимуму функции правдоподо-
бия, и не содержит очень больших пиков в остальной части области
изменения X. Конечно, решение, полученное на основе принципа макси-
мального правдоподобия, не является строго оптимальным, но оно тем
•ближе к истинно оптимальному решению, чем содержательнее данные
наблюдения в указанном выше смысле и лучше качество строго опти-
мального решения.
Метод максимального правдоподобия может быть использован для
решения существенно более широкого класса задач, чем рассмотренная
здесь задача оценки. Например, для задачи а) многоальтернативного
решения (при п=т) метод максимального правдоподобия приводит
к разумному квазиоптимальному правилу: выбирается то решение u=j,
для которого
Рз(х) >Ра(х) при всех k=£j.	(2.4.12)
Это правило решения строго оптимально, если в (2.4.6) Цд=а0(1—6д)
(бд — символ Кронекера), что соответствует, например, одинаковым
потерям от любого негщавильного решения, нулевым потерям при выбо-
ре правильного решения и одинаковым априорным вероятностям раз-
личных ситуаций l=i. Однако и в других случаях правило решения
(2.4.12) являетсй достаточно хорошим в смысле близости к оптималь-
ному и особенно тем, что не апеллирует к точному заданию функции
потерь и априорных вероятностей.
Универсальность и большую практическую ценность метода мак-
симального правдоподобия мы подробно оценим ниже при системати-
ческом рассмотрении задач синтеза оптимальных систем обработки
информации в условиях априорной неопределенности.
2.5.	ПОЛНЫЕ КЛАССЫ РЕШАЮЩИХ ПРАВИЛ
Пример а § 2.4 является простейшей иллюстрацией весьма важной
закономерности, связанной с байесовым подходом и играющей сущест-
венную роль при синтезе систем оптимальной обработки информации
в условиях априорной неопределенности. Сформулируем еще раз основ-
ной результат, полученный при рассмотрении этого примера: оптималь-
ное правило выбора решения из конечного множества п альтернатив
состоит в сравнении п линейных комбинаций функций правдоподобия;
структура этого правила не зависит ни от конкретного физического со-
держания задачи, ни от функции потерь, ни от априорных вероятностей
истинных ситуаций, которые влияют только на численные значения
коэффициентов линейных комбинаций. Эта независимость дает основа-
ние полагать, что класс решающих правил, содержащий составление
п линейных комбинаций функций правдоподобия с теми или иными
значениями коэффициентов и выбор решения, соответствующего мини-
мальной комбинации, на самом деле обладает свойством оптимально-
сти в более широком смысле, чем только в рамках байесова подхода.
Можно сделать еще более смелое предположение, что этот класс содер-
жит вообще все оптимальные решающие правила для многоальтерна-
тивной задачи (если только выбрать нужные коэффициенты линейных
27
комбинаций), в том числе и для Случая неизвестных значений функции
потерь и неизвестных априорных вероятностей.
Если это предположение справедливо, то в соответствии с термино-
логией теории статистических решений [6, 9] такой класс будет назы-
ваться полным. Последнее определение означает, что любое правило-
принятая решения (алгоритм обработки информации), не относящееся
к полному классу (имеющее другую структуру), не может быть лучше,
чем хотя бы одно из правил данного класса. Иными словами, все са-
мые хорошие (оптимальные) правила принятия решения обязательно
принадлежат к полному классу. Конечно, разобраться внутри этого
класса, чтобы найти действительно оптимальное правило, может быть,
и непросто (в примере многоальтернативного решения это означает
правильно выбрать коэффициенты в линейных комбинациях функций
правдоподобия), но если полный класс тем или иным способом опреде-
лен, то искать оптимальное решение вне этого класса просто не имеет
смысла.
Важнейшим свойством байесовых правил принятия решения явля-
ется- ги, чту щит не очень ж’естк'йгх ограничениях, которые выполняются
в подавляющем большинстве прикладных задач, эти правила образуют
полный класс [9] (там же изложены ограничения). Таким образом,
байесов подход является путеводной нитью, позволяющей определить
структуру оптимального решения в более широких условиях, чем при
полностью известном статистическом описании задачи.
Практическое использование этого свойства состоит в следующем.
Если для «чистого» применения байесова подхода не хватает каких-
либо априорных данных (неизвестны или неполностью известны функ-
ции потерь, априорные распределения для параметров X, функции
правдоподобия), то они задаются произвольно и формальным приме-
нением байесовой процедуры, изложенной выше (отысканием условий
минимума апостериорного риска) > находится структура оптимального
решения. Только в редких случаях эта структура остается раскрытой
на том весьма высоком уровне общности, который соответствует соот-
ношениям (2.4.1) и по сути дела Означает просто требование минимума
апостериорного^риска. В большинстве же практических задач при бо-
лее или менее конкретной их формулировке можно получить сущест-
венно больше информации о виде оптимального решающего правила
(алгоритме обработки имеющихся данных) и в значительной степени
детализировать его структуру. Прр этом очень часто (как это получает-
ся в примере многоальтернативного решения) эту структуру можно
определить полностью с точностьк» до некоторого количества числовых
параметров. Наиболее ярким примером является двухальтернативное
решение, ^для которого оптимальное правило (подчеркнем, что благо-
даря свойству полного класса эта оптимальность является всеобщей,
а не только байесовой) находите^ с точностью до одной константы —
порога сравнения для отношения правдоподобия (2.4.7). Аналогичным
образом структура оптимального Правила решения может быть детали-
зирована и во многих других конкретных задачах.
2.6.	ДОСТАТОЧНЫЕ СТАТИСТИКИ
Рассмотренные в § 2.4 примеры позволяют уяснить еще одно важ-
нейшее понятие, связанное с фактам существования полных классов ре-
шающих правил, — понятие достаточной статистики. Для этих примеров
28
характерно то, что оптимальное правило решения u=u (х) оказывается
зависящим не от всей совокупности наблюдаемых данных х непосредст-
венно, которые могут иметь очень большую или даже неограниченную
размерность, а от сравнительно небольшой совокупности величин,
являющихся функцией (функционалом) наблюдаемых данных х.
Наиболее наглядно это видно для случая двухальтернативного реше-
ния, в котором реализация оптимального решения требует использова-
ния вместо всей совокупности входных данных х единственной скаляр-
ной величины — отношения правдоподобия Л1г(х) (2.4.7), которое явля-
ется функцией х и в сжатом виде отображает всю необходимую для
принятия решения информацию, содержащуюся в совокупности данных
наблюдения х. Аналогично при многоальтернативном решении можно
ввести т—1 функций х, например функции
Л/от=Р;(х)/Рот(х), /=1, 2,..., щ-1,	(2.6.1)
которые содержат хвсю имеющуюся в х информацию, необходимую для
принятия решения, поскольку оптимальное решение при любом х может
быть выражено только через эти функции.
Подобным же свойством, очевидно, обладает функция Х(х), на ко-
торой достигается максимум апостериорной плотности вероятности, для
задачи оценки параметров X, в примере б. Эта функция имеет ту же раз-
мерность, что и вектор X, и с учетом отмеченных в § 2.4 ограничений
настолько хорошо концентрирует содержащуюся в х информацию, что
непосредственно является решением — оптимальной оценкой вектора
параметров 1.
Из приведенных в § 2.4 результатов, определяющих оптимальные
правила решений, ясно, что можно было бы вообще не знать значение
х, а знать только значения некоторых функций от х—Aiz(x), Лзт(х),
1(х) соответственно. Это означает, что существуют такие преобразова-
ния z=z(x), которые содержат всю необходимую для принятия решения
информацию, получаемую при наблюдении, и обладающие тем свойст-
вом, что оптимальное правило решения u=u(z), зависящее только от z.
имеет те же качества — дает тот же уровень риска, что и оптимальное
решение.
Такие преобразования называются достаточными статистиками и
играют важнейшую роль при нахождении как байесовых, так и небайе-
совых оптимальных правил принятия решения, т. е. при синтезе опти-
мальных информационных систем. Конечно, среди достаточных стати-
стик могут быть и тривиальные, например взаимооднозначные преобра-
зования х, которые, очевидно, обладают требуемым свойством, но не
имеют никакой ценности. Достаточная статистика тем более интересна,
чем большее сжатие входных данных х она обеспечивает, т. е. чем мень-
ше ее размерность. Достаточное преобразование минимальной размер-
ности называется минимальной достаточной статистикой для данной
задачи или данного класса задач.
Для каждой конкретной задачи (вполне определенные функции по-
терь и априорное распределение) минимальной достаточной статистикой
является, очевидно, сама решающая функция u=u (х) или любое взаи-
мооднозначное преобразование функции и(х). Значимость такой доста-
точной статистики относительно невелика, поскольку она ограничена
строгими рамками этой конкретной задачи. Поэтому наибольшую цен-
ность представляют достаточные статистики, минимальные для целого
29-
класса задач и позволяющие воспользоваться ими для решения всех
задач этого класса. Так, в приведенных ранее примерах преобразование
<г=Л12(х) является минимальной достаточной статистикой для всей со-
вокупности двухальтернативных решений, преобразование z={A!m(x), ...
..Am_ii7n(x)}, где A3m(x)—определяемая (2.6.1) минимальная доста-
точная статистика для всей совокупности многоальтернативных задач;
положение максимума апостериорной плотности вероятности Х(х) —
минимальная достаточная статистика для всех задач оценки с симме-
тричной относительно разности X—Х(х) апостериорной плотностью ве-
роятности и относительно разности и—X функцией потерь.
Найти минимальную достаточную статистику — это означает прак-
тически решить задачу синтеза оптимальной информационной системы;
найти достаточную статистику малой размерности — значит максималь-
но приблизиться к ее решению или получить основу для решения цело-
го класса задач; даже отыскание достаточных статистик не очень ма-
лой размерности — существенный успех в решении задачи синтеза,
поскольку позволяет перейти к более сжатому, но вполне содержательно-
му описанию входной информации. Стоит подчеркнуть, что достаточные
статистики, сформированные без использования сведений, содержащих-
ся в априорном распределении и функции потерь, определяют структу-
ру оптимального решения и оптимальный способ обработки входной
информации как для байесовых, так и для любых небайесовых правил.
В этом заключается их огромная ценность и важность способов их на-
хождения для задач синтеза оптимальных информационных систем
в условиях априорной неопределенности.
Наиболее универсальный способ отыскания достаточных статистик
малой размерности заключается в анализе функции правдоподобия
Р(х|Х). Допустим, что можно ввести некоторое взаимооднозначное пре-
образование g=g(x)={z(x), g(x)}, где размерность z=z(x) меньше раз-
мерности х, а функция g(x) дополняет преобразование z(x) до взаимо-
однозначного. В силу взаимной однозначности х и | можно использо-
вать для описания полной совокупности данных наблюдения не х, а §=
=g(x). При этом решение и будет функцией §={z, g} и вместо функции
правдоподобия Р(х)Х) нужно рассматривать
P(l\k)=P(z, g|X)=PJg|z, X)Pz(z|X).	(2.6.2)
Если z и g выбраны так, что распределение вероятности g не зависит
от X, т. е. Р^ (g|z, X) =Р(. (gjz), то преобразование z = z(x) является
достаточной статистикой, а преобразование g=g(x) описывает ту часть
сведений, содержащихся в совокупности входных данных х, которая
не несет никакой информации о X и, следовательно, о последствиях от
принятия того или иного решения и, естественно, не участвует при его
формировании.
Если преобразование z=z(x), удовлетворяя приведенным выше усло-
виям, имеет наименьшую возможную размерность, то оно является ми-
нимальной достаточной статистикой для всего класса задач, связанных
с принятием любых решений, последствия которых зависят от X, какие
бы ни вводились функции потерь и априорные распределения вероят-
ности. Дальнейшее сжатие достаточной статистики возможно только
при дополнительных ограничениях функции потерь и априорных распре-
делений или при конкретном их задании.
30
Приведем простой пример. Пусть x={xi, ..х„}=Хп — последова-
тельность независимых нормальных величин с одинаковой дисперсией
ог и математическим ожиданием М{х}, которое может принимать одно
из т значений S^ = {S(/)..s= 1,2,..., m), что соответствует Ди-
скретно изменяющемуся параметру %=г=1, 2, ..., т.
Введем линейное преобразование вектора х с неособой квадратной
матрицей F
l = l(x) = Fx,
где F представлена в виде двух блоков:
Н|в|1'
причем матрица А имеет порядок ту^п и элементы
A, =S(l), i = tn\ v = l,..., n,
а матрица В имеет порядок (n—m)Xn. Обозначим через z={zi, ,.
..., zm} m-мерный вектор z=Ax, а через g=Bx— (n—m) -мерный вектор,
дополняющий преобразование
5=FX=|| в
до взаимнооднозначного, и найдем совместное распределение вероятно-
сти g={z, g} при условии, что имеет место /-я гипотеза (Х=/). Это рас-
пределение является нормальным с математическим ожиданием

где

и корреляционной матрицей
R-
ог
Используя явный вид выражений Для
М И=2 в, Р.1'.
ААТ АВГ
ВАТ ВВТ '
матрицы
Rzz
Rzz =|| Rzt. ik ||
o’ 2 5<Z)SiA)
и математического ожидания Al{z(}> плотность распределения вероят-
ности вектора g={z, g} можно представить в виде
p(g|Z = j)=p(z, g|Z^/) =
detl/2Vcl.
(2rt)(n-m)/2
Хехр (-	+ Cz)TVtt (S + Cz)}	exp {- 4- (z -
— m (/))TRj (z — m (/))J=M|z) P (z|2 = /),
31
где VK = (Rt(, — R^R2_'/?z(.) соответствующая подматрица матрицы,
обратной R; С = R^R^1 — матрица порядка (n — tn)\m; m (/) = {tn, (j),... ,
(/)} = M{z} — вектор математических ожиданий величин
* =2 зГЧ,
*=1
зависящий от номера ситуации / (значения дискретно изменяющегося
параметра Л). Из этого представления для плотности вероятности сле-
дует, что вектор z—{zh ..., zm} является достаточной статистикой и лю-
бая из задач различения сигналов SU) = {S(I). З^при каких угод-
но предположениях об априорных вероятностях их появления и функ-
циях потерь может быть решена с использованием только совокупности
величин {zi...zm}, а не первоначальной совокупности {xi, ..., хп}.
2.7.	УПРАВЛЯЕМЫЕ МНОГОШАГОВЫЕ ПРОЦЕССЫ ПРИНЯТИЯ РЕШЕНИЯ
При описании общей структуры байесова решающего правила
в § 2.4 мы не делали каких-либо предположений относительно структу-
ры множеств решений и, наблюдаемых данных х и параметров X, счи-
тая, что они могут иметь совершенно произвольную природу. Рассмо-
трим более подробно очень важный специальный случай, когда процесс
получения новой информации х и принятия решений и идет по шагам.
На каждом n-м шаге мы получаем некоторую совокупность данных на-
блюдения хп (эта совокупность по-прежнему может иметь произволь-
ную природу — хп может быть скалярной величиной, вектором, отрезком
скалярного или векторного случайного процесса и т. д.), которая зави-
сит от скрытых параметров Хп, характеризующих ситуацию или неиз-
вестное нам состояние некоторой системы и влияющих на последствия
принимаемых решений. Используя вновь полученные и имевшиеся ра-
нее наблюдения хп, 1, ..мы принимаем решение Un, которое мо-
жет зависеть и от ранее принятых решений un-i, ип-г, ... Если п=1,
2, ..., N, то полные совокупности данных наблюдения х, решений и
и параметров X могут быть описаны векторами
х =	{х1(..., хдг};	и = Цу = {и,,..., uv}; Х = ЛЛ? = {Х1,..., Xv},
(2.7.1)
а их совокупности для любого числа шагов
ХЯ={Х1,.., х„};	U„={u„..., u„}; Л„-{Х1,..., Х„}.	(2.7.2)
Как видно из (2.7.1), пошаговое рассмотрение процесса получения
информации и ее обработки (принятия решений) не вносит принципи-
альных изменений, если не расширить каким-то образом постановку
задачи. Принципиальные изменения появляются, если учесть, что для
очень большого числа практических приложений принимаемое на любом
шаге решение un может повлиять как на параметры состояний Хп+ь
Хп+2, ... на последующих шагах, так и на объем и качество получае-
мых на этих шагах данных xn+i, хп+2,... Такое наличие обратной связи
характерно для систем управления общего вида, в которых все или не-
которые компоненты решения un являются управляющими воздействия-
32
ми, изменяющими состояние объекта управления Хп и средств получения
данных х„ об этом состоянии. Оно имеет место в управляемых системах
обработки информации (последовательная схема решений Вальда, пла-
нирование экспериментов, управление средствами получения и обработ-
ки информации и т. д.), а также характерно для очень многих постоян-
но встречающихся на практике задач. Поскольку любое решение влияет
на значения Хп и хп на последующих шагах, а через них на все после-
дующие решения, такие многошаговые процессы принятия решения на-
зываются управляемыми.
Математическим отражением этой обратной связи является зави-
симость распределений вероятности для значений Хп и хп от последова-
тельности предыдущих решений Un_i={ui, . . ., un_i}, а полное статисти-
ческое описание многошагового процесса для любой совокупности при-
нимаемых решений Ui, ife, . . . достигается заданием последовательности
условных распределений вероятности (для определенности плотностей
вероятности) для наблюдаемых данных хп—pn(xn|An, Хп_ь Un-i) и па-
раметров Хп—Рп(Х.п|Лп-1, Un-i) для всех значений п—\, 2, . . ., N, про-
изведение которых (для п от 1 до N) образует совместную плотность
вероятности х=Ху и Х=ДУ при заданной последовательности решений
и=Пу.
Естественно, что при выборе решения un можно использовать толь-
ко те данные наблюдения, которые получены до n-го шага включитель-
но, т. е. {xi, . . ., хп}=Хп. Поэтому правило принятия решения un в об-
щем случае задается вероятностной мерой с плотностью
?„ = <p„(u„|X„( Ц,.,),	(2.7.3)
зависящей от Хп и, вообще говоря, от совокупности предыдущих реше-
ний {иь ..., un-i}=Un-i. В нерандомизированном случае
ий=и„(Х„),	(2.7.4)
где функция un(Xn), определяющая выбор решения на л-м шаге, зави-
сит от {xi, . . ., хп}=Хп, но не может зависеть от xn+i, хп+2, .. ., так как
последние могут наблюдаться только после принятия решения un.
Нахождение оптимальной последовательности решений для много-
шаговой >гроцед\ ры или оптимального правила принятия этой последо-
вательности решений производится методами динамического програм-
мирования в их общей стохастической форме [30], которые при опреде-
ленных ограничениях на введенные выше условные распределения ве-
роятности для хп и kn и функцию потерь g(u, X, x)=g(lJy, ЛУ, Ху)
приводят к эффективной вычислительной процедуре нахождения опти-
мальных решений или даже к аналитическим результатам. При этом,
как и в любой байесовой задаче, оптимальное правило решения полу-
чается нерандомизированным и определяется системой рекуррентных
соотношений, содержащей последовательность минимизаций и усредне-
ний для величин апостериорных рисков.
Для получения этих рекуррентных соотношений рассмотрим общее
выражение для среднего риска (2.3.1)
«(?) = Л(ФЛ,)=Л1{Я(^> kN, Xn)},	(2.7.5)
где
Фу = {?1> .... Ы	(2-7-6)
3—899
33
— совокупность плотностей <pn=<pn (un | Xn, Un_i) (2.7.3), каждая из ко-
торых задает правило принятия решения на n-м шаге, а их произведе-
ние— решающее правило в целом.
Пусть оптимальному правилу принятия решения соответствует сово-
купность Фу о- Тогда минимальный (байесов) средний риск
^(®OT) = minAI{g(4. Л„, Ху)} =
(Фу)
= min M{g(4> A„, хл,)} =
(fi, ... . 9y_p 9y)
= min [min Ж {g (4, AN, XJV)}] =
(9i <°JV—l) (9y)
= min [пвпЛНЖт- V XJXV UJ}],	(2.7.7)
(9i.9.V-1)	(9y)
где M{...[.. .}—символ условного математического ожидания при усло-
вии, написанном справа от вертикальной черты. Последнее равенство-
в выражении (2.7.7) отражает тот тривиальный факт, что математиче-
ское ожидание можно вычислять последовательно: сначала по части
случайных переменных, от которых зависит функция потерь, а затем—
по всем остальным.
Условное математическое ожидание в (2.7.7)
X„)=Af{g(U„, АЛ„ XN)\XN, UN}	(2 7.8)
представляет собой функцию апостериорного риска для совокупности
решений U.y={U], ..., и у} и данных наблюдения Хк={х!...x.v}. С уче-
том (2.7.8) математическое ожидание функции потерь
A,v. ХУ)} = Ж{Ч(Ч, X„)}-M{A/{4(4v> Xy)|X„, 4_J} =
- М {J Rn, (Ч, Хл,) ?л, (U„|XV, Ч_,) duЛ.},	(2.7.9)
откуда следует, что выражение в квадратных скобках в (2.7.7) может
быть записано в виде
min Ж {Ж {g(4„ AN, Xn)\Xn, 4}} =
(c.v)
= min / С Rn (Ч’ Ху) Уу (Uy|Xy, Ч—i) ^идА =
(9у) (J	I
= A1I min f4(4v> Хл)?у(иЛ. 4-i)du4=A4min£v(4v> ху)},
I (9у) J	) (UN)
(2.7.10)
поскольку минимум интеграла
J (Чг Ху) ?у (иу|Ху, Ч-i)d4v
достигается для функции
?у ~ ?УО = ^NO (^|Ху> Ч—1) = 8 (Uw ЦЛ'О (Хд,)),	(2 7.11)
где ил-о(Ху) —значение Uy, зависящее от Ху, при котором достигается
минимум подынтегрального выражения 7?у(11у, Ху). Это значение и
34
определяет оптимальное байесово (нерандомизированное) правило ре-
шения на шаге и находится из условия
^(uwo(Xw), Uv_p Xv) = min 7^(U„, XJV) = ^V(UJV_1, XJ, (27.12)
(“jv)
где
£v(4v-1> xw)=m?n^(Uv, Xv) = minM{g(Uw, AN, Xn)\Xn, Uw} =
(u\)	(uN)
= min f g(Uv> Av, XN)p(\N\XN, Uv_!)dAw (2.7 13)
(цл) J
— апостериорный риск, минимизированный выбором ил- на последнем
шаге, p(An|Xn, Щ-])—апостериорная плотность вероятности сово-
купности параметров Ал= Ui, ..., %лг). Последняя фактически зависит
ТОЛЬКО ОТ ХЛ- И Ua-|={Ui, . , U.V-l}-
Используя (2 7 10) и (2 7.13), выражение (2.7.7) можно записать
в виде
min	XJ} =
(<₽! , 4>v—i)
= min Al{Al{^(Uw_p XJX„_,, IV,}}-
(9i- .. <₽v—1>
= min ^{^(U^, X^,)},	(2 7.14)
(9i , 9V—1)
где введено обозначение для апостериорного риска на (Лг — 1)-м шаге
Д.-ЛЧ»-.. Х».,)^^,,^,. Х„)[Х„_„ и„_,} =
= ЙЛЧм. Х„)М*лЛ_„ Uv_,)Jxv, (27.16)
получающегося из полного апостериорного риска Rw(lX, Ху) миними-
зацией по и2у и усреднением по xN.
Аналогично (2 7 7) в выражении (2 7 14) можно выделить миними-
зацию по последней из функций фЬ , <рЛ_ь переписав это выражение
следующим образом:
R (ФЛО) = min М {^-i (4v-i> Хд,-,)} =
(9i,	• ФЛ'-1)
= min [min Al	(U^, XJV_,)}] =
(9x	• <PV—2> ^N—1>
= min [min M (C V-i (IV,, XN_() \
X (UV-l|Xy_p Цу_2) ^Uyv-l}] =
min [Al / min (Uw_p x^,) cp^, (u^JX^p Uv_2) duv_IU —
9i,	, 9(V—2) L 'I'V-VJ
= min [Al{ min/?v_, (U^p Xv_j)}] =
(9.	-v-2)	(Uy-1)
= min [ЛНЯу-ЛЦу-г. Х^)}[,	(2 7 16)
(9i,	, 9jV—2)
3*
35
где
^N—1 (Цу—2* Xv_ 1)= min 1 (4v—l’ ^N—1) ~
(“N-l)
= min M {ЯдДЦу-р Хд^Хд^р UJV_1} =
(“jv—i)
~ m’n l^v(4v-r '^n> Pn^-n\^n~v 4v-iMxa’» (2.7.17)
(“jv-i) J
а оптимальное байесово правило решения на (N—1)-м шаге опреде-
ляется функцией tiiv-i, 0(Xw-i), которая находится из уравнения, ана-
логичного уравнению (2.7.12):
^;V—। (ll;V—I, о (Хд’—1)> 4v—2’ ^-n— i)" т*п ^дг—i(4v—г Хд,_]) =
(«лг-i)
=V1(^_2> X„_,).	(2 7.18}
Продолжив эту цепочку минимизаций для n=N—2, .V—3, ..., поле-
чим аналогично (2.7.17) соотношение, определяющее оптимальное (не-
рандомизированное) правило решения un=uno(Xn) на любом шаге
(n=N, N— 1, ...):
^(U„-n X„) = /?„(Uno(X„), U„_„ X„)=min7?„(Un. Х„), (27 19}
(М
где апостериорный риск на n-м шаге 7?n(Vn, Хп) задается выражением
Z?„(U„, Х„) = Ж{/?„+1(и„, Х„+1)|Х„, и„} =
= JX+>(Un’ X„+1)/2„+1(xn+1|X„, U„)dx„.H-=
= f min 7?„+1(U„+1, X„T1)/2„+1(x„+1|X„, U„)dx„+1 =
J (Un+1)
= A1{ min /?„+1(Un+1, X„+1)|X„ U„},	(2.7.20}
(u«+i)
которое является рекуррентным соотношением, последовательно опре-
деляющим функции апостериорного риска, и представляет собой общую
стохастическую форму уравнения динамического программирования.
Совместно с выражением (2.7.8) или (2.7.13) для конечного значения
апостериорного риска и уравнением (2.7.19) это соотношение полностью
определяет оптимальное многошаговое правило решения.
Наряду с (2.7.20) можно ввести эквивалентное ему рекуррентное
соотношение для апостериорных рисков -Rn(Un_i, Хп), минимизирован-
ных выбором решений un, Un-н. • • , u.x- Оно получается из (2.7.19) и
(2.7.20) и имеет вид
^„(Un-,. Х„)= minM{R„+1(U„, Х„+,|Х„, U„)}
(u„)
= ™n J £л+> (U„, X„+1) Pn+i (X„JX„, U„) dxn+i (2.7 21)
(Un) J
и отличается от (2.7.20) изменением порядка применения операций вы-
числения математического ожидания и минимизации. Входящая
36
в (2.7.20), (2.7.21) плотность вероятности pn+i(xn+i|Xn, Un) определя-
ется через плотности рп(хп|Лп, Xn-b Un-i) и pn(Xn|An-i, Un-О по
обычным правилам теории вероятности.
В некоторых важных частных случаях, например, для марковских
последовательностей Хп и Ап, при аддитивной (g—^^" (Un> ^п> х”)) или
п
мультипликативной функции потерь и т. п. эти соотношения существен-
но упрощаются [3, 30]. Для наших целей важно, что как и общие
результаты § 2.4, рекуррентные соотношения (2.7.20), (2.7.21) и прави-
ло выбора решения uno(Xn) в соответствии с (2.7.19), определяющие
процедуру выбора оптимальных решений при полном статистическом
описании, являются основой для нахождения оптимальных или близких
к ним алгоритмов обработки информации и в случае априорной неопре-
деленности.
Глава 3
АПРИОРНАЯ НЕОПРЕДЕЛЕННОСТЬ И ВОЗМОЖНЫЕ СПОСОБЫ
НЕПОЛНОГО СТАТИСТИЧЕСКОГО ОПИСАНИЯ
Согласно результатам § 2.4, реализация байесова подхода в идеаль-
ном виде требует знания функциональной зависимости ожидаемой ве-
личины потерь — апостериорного риска — от решения и и значений х,
описывающих данные наблюдения. В общем случае, для того чтобы
приобрести это знание, необходимо достаточно полное статистическое
описание данных наблюдения х и параметров состояния X, определяю-
щих величину потерь. Его полнота должна быть достаточна для вычис-
ления апостерТюрного риска при любом из возможных решений и. Без
дополнительных ограничений чаще всего это возможно только тогда,
когда известны распределения вероятности Т’(х|Х) и р(Х) для
х и X.
На практике столь полное статистическое описание х п X встреча-
ется относительно редко. Чаще всего задачи обработки информации и
принятия решения сопровождаются большей или меньшей априорной
неопределенностью, которая ограничивает полноту статистического опи-
сания. Обычная ситуация состоит в том, что нам известно о х и X нечто
такое, что не дает возможности считать задачу синтеза совсем бессмыс-
ленной, но и не позволяет воспользоваться байесовым подходом в иде-
альном виде со всеми его преимуществами и возможностями. Распро-
страненность подобных ситуаций и их большая практическая значимость
делают особо важной разработку методов синтеза систем обработки
информации и принятия решений в условиях априорной неопределен-
ности.
Нужно подчеркнуть, что с момента своего зарождения классическая
математическая статистика имела дело с задачами, в которых сущест-
венна априорная неопределенность. Такие важные разделы теории ста-
тистических решений, как теория проверки гипотез, особенно сложных,
включающих мешающие параметры, разнообразные критерии согласия,
теория оценок, использующая метод максимального правдоподобия
37
и т. п., оперируют с задачами, связанными с весьма большой априорной
неопределенностью и ограниченным статистическим описанием всех не-
обходимых данных задачи. Целью настоящей книги является примене-
ние и дальнейшее развитие методов теории статистических решений
к задачам с априорной неопределенностью.
Прежде чем переходить к их систематическому изложению рассмо-
трим основные возможные способы неполного статистического описа-
ния, соответствующие тем ограниченным сведениям о статистическом
поведении данных наблюдения х и параметров состояния X, которые
часто встречаются на практике. Надо заметить, что перечень рассма-
триваемых ниже характерных случаев и способов их описания ни в коей
мере нельзя считать исчерпывающим. Он ограничивается, с одной сто-
роны, широтой кругозора и симпатиями авторов, а с другой — возмож-
ностями решения задачи синтеза для той или иной степени априорной
неопределенности.
3.1.	ОТСУТСТВИЕ ИЛИ ОГРАНИЧЕННЫЕ СВЕДЕНИЯ ОБ АПРИОРНОМ
РАСПРЕДЕЛЕНИИ ПАРАМЕТРОВ X
В практических задачах априорная трудность распространяется как
на распределение вероятностей данных наблюдения Р(х|Х), так и на
распределение р(Х). При этом незнание либо весьма ограниченные све-
дения об априорном распределении р(Х) особенно типичны. Рассмо-
трим поэтому сначала некоторые характерные ситуации, связанные
с ограниченной априорной информацией о параметрах X.
1.	Самой крайней ситуацией является случай, когда относительно X
вообще ничего неизвестно, кроме, возможно, области Л допустимых зна-
чений X и той информации, которая содержится в данных наблюдения
х, используемых непосредственно при принятии решения. Это означает,
что априорное распределение р(Х) вообще неизвестно и может быть
любой неотрицательной функцией, подчиненной единственному условию
нормировки J p(X)dX=l. Несмотря на такую крайность, задача синтеза
оптимальной системы имеет смысл и соответствующие методы будут
рассмотрены ниже.
2.	Близкая по смыслу ситуация, но существенно более выгодная
с точки зрения качества синтезируемой системы (или качества прини-
маемого решения) имеет место, когда параметр X имеет векторный
характер, но его компоненты связаны с помощью некоторых функцио-
нальных ограничений. Эта ограничения всегда можно привести к виду
\ = f,(a),	(3-1.1)
где — v-я компонента X, Х={21,.... 2„}, а а — некоторый векторный
параметр меньшей чем п размерности, a={«i, ..., am}. Классическим
примером подобного ограниченного описания является задача фильтра-
ции— оценки функции времени (в данном случае рассматриваемой
в дискретные моменты), заданной с точностью до некоторого числа не-
известных параметров a=(ai, ..., am}.
В этом примере Xy(v= 1, 2.... п) — значения оцениваемой функции,
fv(a) = f(/y, a) — ее функциональное описание в момент зависящее от а,
параметры а неизменны для всех интересующих нас значений v. Наи-
38
более распространенным является полиномиальное описание, для ко-
торого
\ т
Ш=	<31-2)
(=1
или более общее линейное описание относительно параметров а
т
/,(«)=2	(3.1.3)
t=i
При наличии ограничений (3.1.1) функция потерь (по второму
своему аргументу) g(u, X, х) и функция правдоподобия Р(х|X) зависят
фактически только от а, и если о последних ничего неизвестно, то за-
дача получается такой же, как в 1 за исключением понижения размер-
ности с п, до т. Последнее может быть очень существенным как с точки
зрения техники решения задачи синтеза и получения окончательных
результатов, так и качества полученного решения.
3.	Во многих практических задачах, когда распределение р(Х) не-
известно, можно считать заданными некоторые статистические харак-
теристики X. Простейшей из них является математическое ожидание са-
мого параметра X, которое во многих случаях можно предполагать за-
данным. Более подробное статистическое описание достигается, если
заданы дисперсия X, моменты более высокого порядка и т. д. В общем
случае подобные априорные сведения могут быть описаны путем зада-
ния математического ожидания некоторой многокомпонентной функции
f(X). В итоге распределение вероятностей X получается не произволь-
ным, а^подчиненным следующим ограничениям:
Jp(X)dX = l; jf(X)p(X)dX = a,	(3.1.4)
где f(X)—известная многокомпонентная векторная, матричная и т. д.
функция X; а — заданная величина той же структуры.
Вид функции f(X) определяется структурой множества Л и имею-
щимися сведениями. Например, если X — n-компонентный вектор (Х=
— {2,,..., 2„}) и заданы математические ожидания всех компонент, то
f = {U (v = 1. •••. «) и fy = 2,, а = {а} (v= 1,..., п) и	где
— заданное математическое ожидание 2v. Если дополнительно заданы
дисперсии всех компонент 2v, то функция f имеет компоненты 2v и
(2v — mJ2 (всего 2п компонент) а величина а соответственно «\ и для
v=l,..., п, где asv — заданная дисперсия 2v. Аналогичная картина имеет
место и при задании других статистических характеристик.
Как с практической, так и с теоретической точки зрения большое
значение имеет специальный случай, когда задана корреляционная
матрица R =	вектора X (для простоты его математическое ожи-
дание считается равным нулю), т. е.
f ; a =% , V, 1, ..., п.	(3.1.5)
4.	Следующим возможным способом ограниченного априорного опи-
сания «-мерного вектора параметров X—{Xi.....Хп} является задание
39
распределений вероятности низшего порядка, например совокупности
одномерных плотностей вероятности р.. (2у) для всех или части v—
=1, . . п, совокупности условных плотностей (XjZvl) для v=2, . .
пит. д. Предположение о независимости в первом случае или
о марковском свойстве во втором совместно с заданием указанных ха-
рактеристик дает полное статистическое описание X, но если даже такие
предположения не имеют оснований, то все равно задание частных
распределений вероятности дает богатую информацию для решения за-
дач синтеза оптимальных систем.
5.	В п. 2—4 предполагалось задание некоторых аналитических,
количественных свойств априорного распределения вероятности X, соот-
ветствующих наличию априорной неопределенности и дающих неполное
статистическое описание. Пожалуй, большее значение имеют те огра-
ниченные априорные сведения, которые относятся к качественному опи-
санию свойств распределения вероятности параметров X. Например,
весьма ценной является априорная информация о том, что различные
компоненты этой совокупности независимы (частные плотности
p,(\) при этом неизвестны) или еще к тому же распределены одина-
ково, т. е.
=	(3.1.6)
v=l
при полностью или частично неизвестной функции pQ (X,)
При решении задач синтеза в условиях априорной неопределенности
равенство типа (3.1.6) может рассматриваться как гипотетическое и
подлежащее проверке на соответствие с данными х, полученными при
наблюдении. Особое значение в практических задачах имеет априорное
предположение о том, что компоненты вектора X={Z<, .. Хп} образуют
марковский случайный процесс, т. е.
/>(Ь)=П МОМ'	(3.1.7)
v=2
где переходная /л, (Xv|\_j) изначальная р0 (X,) плотности вероятности
могут быть полностью и частично неизвестны. Важность этого случая
обусловлена его большой универсальностью, связанной с тем, что при
надлежащем выборе размерности каждой из компонент Xv, которая,
в свою очередь, может быть вектором, модель (3.1.7) удовлетворительно
описывает большинство интересующих практику случаев.
Общей чертой рассмотренных выше примеров является то, что
в условиях априорной неопределенности вместо единственного распреде-
ления вероятности для параметров X с плотностью р(Х) можно задать
только класс таких распределений 5%, к которому относятся все возмож-
ные в данной задаче распределения (р(Х)^^’о). Такой класс является
исходным описанием задачи и характеризует априорнхю неопределен-
ность, тем большую, чем шире задаваемый класс. Так в «чисто» байесо-
вом случае (р(Х) полностью известна) класс состоит всего из одного
элемента, при полном отсутствии сведений об априорном описании па-
раметров X (случай 1) ^о —класс всех возможных распределений ве-
роятности. В случае 2 класс ^0 —это совокупность всех распределений-
40
в n-мерном пространстве, полностью сосредоточенных на гиперповерхно-
стях, определяемых соотношениями (3.1.1), и приписывающих нулевую
вероятностную меру остальной части пространства и т. д.
Четкое определение класса возможных распределений соответ-
ствующего имеющимся априорным сведениям, имеет, как мы убедимся
позднее, довольно существенное значение при решении задач синтеза
в условиях априорной неопределенности.
3.2.	НЕПОЛНОЕ СТАТИСТИЧЕСКОЕ ОПИСАНИЕ ДАННЫХ НАБЛЮДЕНИЯ.
ПАРАМЕТРИЧЕСКОЕ ОПИСАНИЕ АПРИОРНОЙ НЕОПРЕДЕЛЕННОСТИ
Сказанное выше о статистическом описании параметров к можно
отнести и к данным наблюдения х. В соответствии с фактическим объе-
мом знаний функция правдоподобия Р(х|Х) может быть определена
с той степенью подробности, которая характерна для случаев, перечис-
ленных в § 3.1. При этом аналогично классу ZPq можно ввести класс
•& х распределений вероятности (функций правдоподобия) для наблю-
даемых данных х, к которому принадлежат все возможные при данном
состоянии наших знаний распределения вероятности х(Р(х|Х)е5\).
Этот класс, естественно, зависит от параметров функции правдоподобия
к, определяющих последствия принимаемых решений и соответствующие
им потери.
Однако, пожалуй, наиболее универсальным способом статистиче-
ского описания4априорной неопределенности и учета имеющихся огра-
ниченных сведений применительно как к данным наблюдения х, так и
к ненаблюдаемым параметрам к, является параметрический способ, ко-
торый рассмотрим более подробно.
Пусть, например, совокупность данных наблюдения х представляет
собой последовательность x=Xn={xi, . .хп}, о которой известно, что
все ее компоненты — независимые нормально распределенные величины
с математическими ожиданиями т.. (к), зависящими от к, и неизвестной
одинаковой дисперсией о2. Это дает основание определить условную
плотность вероятности — функцию правдоподобия Р(х|Х) с точностью
до одного неизвестного параметра о2, характеризующего интенсивность
помехи, которая затрудняет наблюдение mv (X) и принятие решения от-
носительно к:
( п	\
Р(х|Х) = Р(х|Х, ’!) = ^ехР	 (3-2.1)
'	»=1	'
Приведенный пример — простейшая иллюстрация той распространенной
на практике ситуации, когда имеющиеся априорные сведения качествен-
ного характера (независимость и нормальность х„) дают возможность
задать структуру необходимых распределений вероятности с точностью
до каких-либо дополнительных неизвестных параметров.
Немного усложним этот пример, предположив для конкретности,
что к может принимать всего два значения Х=1 и Х=2 (это соответст-
вует задаче принятия двухальтернативного решения). Пусть при X—1
математическое ожидание //zs(X)=O при всех v=l, ..., п и при Х=2
=	(3 2.2)
41
где f, — известные величины; а — неизвестный коэффициент. Этот услож-
ненный случай соответствует, например, задаче обнаружения сигнала
известной формы, но неизвестной интенсивности на фоне шума неизве-
стной интенсивности. Как и в предыдущем примере, можно определить
функцию правдоподобия Р(х|Х) с точностью до некоторого числа не-
известных параметров, а именно
п
Р(х|г=1)=Р(х|Л=1, „)= '-expJ-A.JJx-l.
М=1
(3 2.3)
Р(х|Л = 2> = ?(хЦ = 2, »’)	exp {j (X-О'}.
v=l
причем при Х=1 функция правдоподобия зависит от одного неизвестно-
го параметра о2, а при Х=2— от совокупности двух параметров
{о2, а} и для любых значений этих параметров полностью определена.
Если в общем случае обозначить через ах совокупность дополни-
тельных (по отношению к X) параметров, от которых зависит функция
правдоподобия при данном значении X, то подходящим выбором этих
параметров можно добиться описания структуры функции правдопо-
добия Р(х|Х)=Р(х|Х, ах), соответствующего имеющимся ограниченным
статистическим сведениям относительно данных наблюдения х. В зави-
симости от полноты и детальности этих сведений структура функции
правдоподобия Р(х|Х, н7) может быть более или менее сложной, а ко-
личество неизвестных параметров ах велико или мало, но само пара-
метрическое описание априорной неопределенности является практиче-
ски универсальным способом учета ограниченных априорных сведений.
По-видимому, стоит подчеркнуть, что в соответствии с введенным в гл. 2
определением X как совокупности параметров, непосредственно влияю-
щих на последствия от принятия решения и входящих в функцию по-
терь, под аЛ понимаются все другие параметры, от которых зависит
распределение вероятности данных наблюдения х. При этом возможны
случаи, когда все или часть параметров ах физически однородны с па-
раметрами X.
Приведем еще примеры параметрического описания для априорных
распределений вероятности р(Х). Рассмотрим сначала заведомо пре-
дельный случай. Пусть X дискретно и имеет значения X=i=l....т,
которые могут приниматься с вероятностями p(X=i)=pi. Если априор-
ное распределение вероятности X неизвестно, то в качестве неизвестных
параметров могут рассматриваться сами эти вероятности pi, формаль-
пг
ное задание которых с учетом естественных ограничений pi^Q, 2 Pi—1
fe=i
определяет необходимое распределение вероятности через т—1 неиз-
вестный параметр.
Пусть далее X представляет собой последовательность Х=
=ХП={Х1, ..., Хп}, описывающую процесс, подлежащий фильтрации, или
42
состояние управляемого объекта и т. п., и пусть известно, что эта по-
следовательность удовлетворяет рекуррентному соотношению (при не-
прерывном времени соответствующему дифференциальному уравне-
нию)
+ +	(3 2.4)
где — известные величины, возможно, зависящие от управляющего
воздействия; а — неизвестный коэффициент; — последовательности неза-
висимых нормально распределенных величин с нулевым математическим
ожиданием и одинаковой неизвестной дисперсией о2. (Для случая, когда
каждая из компонент Z, и соответственно являются векторами некото-
рого порядка I, а — соответствующей матрицей порядка /X/, а о2 заме-
няется на неизвестную корреляционную матрицу порядка 1X1, уравне-
ние (3.2.4) описывает очень широкий класс линейных динамических
объектов (или процессов) /-го порядка, испытывающих воздействие слу-
чайных возмущений.) При этом соотношение (3.2.4) определяет марков-
скую последовательность с переходной плотностью вероятности
A I ^-,-1) — Pi (^v I'Ч—1> а< ° ) =	еХР |	‘	1) р
(3.2.5)
зависящей от двух неизвестных параметров а и о2. Полная плотность
распределения вероятности Х=ХП определяется с помощью (3.2.5) по
формуле (3.1.7) и также является функцией этих неизвестных параме-
тров.
По аналогии с ах обозначим через р совокупность неизвестных па-
раметров, от которых зависит априорное распределение вероятности с
плотностью р (X) = р (X | 0) для параметров X. В общем случае это дает
возможность при ограниченных априорных сведениях о х и к задать b х —
класс всех распределений известного вида Р (х | X, ах), зависящих поми-
мо X от совокупности неизвестных параметров ах = {а*1), .. , а^}, и 8\—
класс распределений вида р (X | Р), зависящих от совокупности неизвест-
ных параметров Р —{З'1),.... Разным значениям X, вообще говоря,
могут соответствовать различные наборы параметров ах со своей об-
ластью изменения Лх(ахС=Лх). Очевидно, что подобно параметрам 7 па-
раметры ах являются аргументами функции правдоподобия Р(х|1, ах).
Отличие между этими двумя совокупностями заключается в том, что
первая непосредственно влияет на последствия принимаемого решения
и определяет величину потерь, в то время как совокупность параметров
Их не является аргументом функции потерь и не влияет на по< ледствия
решений непосредственно. Эта совокупность характеризует ту дополни-
тельную неопределенность, которая имеет место из-за неполного знания
статистических свойств наблюдаемых данных х при каждом данном зна-
чении X.
Совокупность параметров 0 используется для описания неполно-
стью известной априорной статистики X. Содержание этой совокупно-
сти должно быть таково, чтобы имелась возможность определить с точ-
43
ностью до этих параметров априорное распределение вероятности
с плотностью р(А)=р(А|0) при некоторых значениях 0 из области зна-
чений В (0е5).
Стоит отметить, что среди параметров а. и (3 могут быть одинако-
вые или даже совокупность параметров ах может содержать в себе
всю совокупность параметров 0. Пусть, например, исходное статистиче-
ское описание данных наблюдения х состоит в задании плотности рас-
пределения вероятности Р(х|А, си, аг), где ai и аг — две совокупности
параметров, первая из которых полностью неизвестна, а вторая стати-
стически связана с совокупностью параметров А, так что она подчиняет-
ся распределению вероятности с плотностью р(А, аг| (3), зависящей от
третьей совокупности неизвестных параметров 0. Представляя р(А, аг|0)
в виде
р(К а21 0) = /? (а2 ] А, 0)/?(А|0),
где р(А|0)— плотность распределения вероятности А, заданная с точ-
ностью до совокупности параметров 0, и выполняя интегрирование по
аг, получаем плотность распределения вероятности
Р (X | А, а,, 0) — jP(x|A, а,, а2) р (а21 A, 0)da2,
которая зависит от а, и 0. Обозначив совокупность этих параметров че-
рез ах = {а,, 0}, получим стандартное представление для функции прав-
доподобия Р(х | A, aj, где совокупность параметров ах включает в себя
и параметры 0, от которых зависит плотность р (А | 0) априорного распре-
деления вероятности.
Приведем другой пример более конкретного вида. Пусть A=i=
=1, ..., т, т. е. принимает дискретные значения с вероятностями рг=
=p(A=t), и величины pi неизвестны. Тогда 0 — совокупность параме-
т
тров pi (г=1, ..., т), подчиненных ограничениям рг^О,^рг==1. Пусть
i=i
также совокупность даных наблюдения х есть х={хц..хп> х}, где ве-
личины хч (v=l, ..п) их взаимно независимы, распределение веро-
ятности величины х зависит от А и имеет условную плотность вероят-
ности
Р (х| А) =Р (х | A=i) =Pi (х),
а величины xv не зависят от А. и имеют плотность распределения вероят-
ности
т
где Pi (xv) — те же функции, что и выше, а pi — те же значения веро-
ятностей, которые описывают распределение параметра А. Полная со-
вокупность данных наблюдения х={хц..., хп, х} имеет плотность рас-
44
иределения вероятности
п т
P(x|l=i,	=[] PkPk^P^x}
•>=i *=i
и зависит от совокупности параметров pi, . . ., рт, а плотность априор-
ного распределения вероятности для %
т
Р(Я)=2 W~»)
/=1
зависит от совокупности тех же параметров, т. е. в данном случае
ах = {д,...,рт}, р = {д,...,рт},
и обе совокупности полностью совпадают.
Приведенные примеры иллюстрируют возможности параметрическо-
го описания априорной неопределенности и богатство возникающих при
этом возможностей.
«Параметрическое описание является удобным средством для учета
имеющихся качественных представлений о статистическом поведении
наблюдаемых данных х и параметров К в сочетании с незнанием де-
тальных количественных характеристик, точно определяющих это опи-
сание. Именно такое сочетание наиболее характерно для большинства
прикладных задач. Качественные представления, основанные на физи-
ческой сущности рассматриваемой задачи, дают возможность задать
структуру распределений вероятности для х и К, а параметры ах и р
сосредоточивают в себе имеющуюся неопределенность, не допускающую
дальнейшую детализацию и уточнение качественной структуры. В роли
параметров ах и р в практических задачах могут выступать интенсив-
ности полезных сигналов, несущих информацию о X, и сопровождающих
их помех, времена корреляции, характеристики объектов управления,
параметры аппроксимирующих функций или дифференциальных урав-
нений, используемых при описании процессов Х=Х(/) и т. п. При пара-
метрическом описании можно использовать также идеи прямых вариа-
ционных методов, вводя распределения Р(х|Х, ах) и р(Х|Р) в виде об-
рывков рядов по какой-либо полной системе известных функций. По- <
следнее дает возможность использовать параметрическое описание фор-
мально, расширяя границы его применения на те случаи, когда апел-
ляция к физическому содержанию задачи затруднительна.
Наконец, если х или к имеют конечное множество значений, то в
качестве параметров ау и р можно рассматривать сами неизвестные ве-
роятности этих значений. Таким образом, параметрическое описание
априорной неопределенности является достаточно универсальным сред-
ством учета ограниченных априорных сведений.
Это описание должно удовлетворять двум подчас противоречивым
требованиям. Во-первых, оно должно качественно правильно и по воз-
можности количественно точно отражать наши ограниченные априор-
ные знания, так чтобы распределения с плотностями P(x|Z,, ах) и
действительно представляли при каких-нибудь	и Р(ЕВ
возможные в данной задаче распределения. Во-вторых, число параме-
45
тров не должно быть слишком велико. Увеличение размерности при-
водит к ухудшению качества решения основной задачи как из-за слож-
ности технической реализации алгоритмов обработки данных наблюде-
ния х, так и из-за утраты некоторой доли входной информации, кото-
рую неизбежно приходится затрачивать для определения значений или
исключения неизвестных мешающих параметров. Поэтому синтезируе-
мую в условиях априорной неопределенности систему целесообразно до-
полнять алгоритмом проверки правильности априорных предположений,
положенных в основу принятого в данной задаче параметрического опи-
сания. Задача такого алгоритма — установить, верно ли качественно
введенное описание (например, при фильтрации процесса Х(0— соот-
ветствует ли действительности аппроксимация Х(0 полиномом заданной
степени с неизвестными коэффициентами или эта модель неудовлетво-
рительна) и достаточно ли числа введенных параметров. Такой алго-
ритм дает возможность при необходимости усложнить параметрическое
описание, увеличив число параметров или качественно изменив модель
априорной неопределенности.
Введение дополнительных «мешающих» параметров при задании
функции правдоподобия для описания неопределенности статистических
свойств данных наблюдения х является традиционным для тех разделов
математической статистики, которые имеют дело со статистическими
выводами и принятием решений. Этим способом получены весьма суще-
ственные результаты, в особенности применительно к задаче проверки
сложных статистических гипотез, где удалось получить ряд строгих ре-
зультатов [19, 20]. Этот подход широко использован при синтезе при-
ближенно оптимальных систем обработки информации более широкого
класса в работах Р. Л. Стратоновича [31—34], авторов [7, 24—26, 35]
и в ряде других работ [4, 5,14,21, 28, 29]. В данной книге статистиче-
ский синтез информационных систем в условиях априорной неопреде-
ленности также в основном проводится на основе ее параметрического
описания.
3.3.	ЭМПИРИЧЕСКИЙ ПОДХОД В ЗАДАЧАХ С АПРИОРНОЙ НЕОПРЕДЕЛЕННОСТЬЮ.
ОБУЧЕНИЕ
Рассмотренные выше аналитические способы неполного статистиче-
ского описания х и X по существу соответствуют тому, что в каждой
конкретной практической задаче создается некоторая аналитическая мо-
дель для описания статистических свойств х и X с той степенью полноты
и подробности, которая соответствует имеющимся знаниям о закономер-
ностях их поведения, физических свойствах, взаимосвязи между собой.
Подобная модель является в какой-то степени наиболее сжатым опи-
санием имеющегося прошлого опыта, содержащего как результаты изу-
чения указанных закономерностей, так и, возможно, эмпирические дан-
ные относительно х и X.
На практике бывает и так, что, кроме эмпирических данных, всякая
иная априорная информация относительно х и X отсутствует. Однако
если эти данные получены в обстановке, статистически однородной или
хотя бы статистически связанной с той, в которой принимается решение
по данным наблюдения х, то они являются в определенной степени
статистическим эквивалентом аналитических моделей для распределе-
ний вероятности х и X, необходимых для нахождения оптимального
правила принятия решения. Степень этой эквивалентности, естественно.
46
зависит от объема имеющихся эмпирических данных, которые, в свою
очередь, могут быть использованы по-разному: непосредственно для
нахождения недостающих распределений вероятности, для оценки
функциональной зависимости апостериорного риска от х и решения и,
для уточнения структуры и параметров решающего правила (алгорит-
ма обработки данных наблюдения х). Процедуру использования эмпи-
рических данных, которые характеризуют прошлый опыт, обычно на-
зывают обучением, а соответствующие алгоритмы — обучаемыми.
Для того чтобы яснее представить себе возможный качественный
состав имеющихся эмпирических данных и возможные способы их ис-
пользования при синтезе систем в условиях априорной неопределенно-
сти, предположим, что имеется серия повторяющихся ситуаций,
статистически однородных или хотя бы статически связанных с той,
в которой мы должны принимать решение. Последняя (в соответствии
с гл. 2) характеризуется значением параметра к, определяющего вели-
чину потерь g(u, X, х) при принятии решения и, и данными наблюде-
ния х, на основе которых принимается решение в соответствии с пра-
вилом u=u (х). Пусть теперь имеется N ситуаций, сходных или связан-
ных с основной, в которых получены те или иные эмпирические данные.
Каждая из них для v=l, 2, ..., N характеризуется значением пара-
метров Xv, имеющих ту же природу, состав и содержание, что и пара-
метры X. Иными словами, если для ситуации, в которой принимается
интересующее нас решение, ХеЛ, где Л—множество возможных зна-
чений параметров X, то и каждое из значений к^ является одним из
возможных элементов множества Л; если к имеет распределение
с плотностью р(к), то и каждое из значений kv имеет то же распределение.
В общем случае эмпирические данные представляют собой совокуп-
ность значений y,,y2...yN, каждая из составляющих у„ этой совокуп-
ности соответствует значению к* и может содержать тот или иной объ-
ем сведений. Характер, значимость и способы использования этих све-
дений существенно различаются в зависимости от того, производится
ли в м-й ситуации только наблюдение и регистрация каких-либо данных
(аналогичных х для основной рабочей ситуации либо как-то отличаю-
щихся от х) или наряду с наблюдением, так же как в рабочей ситуации,
осуществляется принятие решения uv с вытекающими отсюда последст-
виями. Согласно введенной в [61] терминологии, в первом случае гово-
рят о простом обучении, а во втором — о «рабочеподобном». Смысл
последнего термина связан с тем, что при получении эмпирически»
данных воспроизводится не только ситуация, характеризуемая значе-
нием параметра кч, определяющим потери, но и сам процесс решения,
подобный тому, который должен быть выполнен в рабочей ситуации.
Это является принципиальной основой для получения информации
о конкретной величине потерь от принятия решения на каждом v-м ша-
ге и использования этой информации для улучшения правила принятия
решения на рабочем шаге.
Рассмотрим более полно возможный состав эмпирических дан-
ных— совокупности {yi, ..., у л’} для различных случаев. Заметим, что
эта совокупность часто называется обучающей последовательностью.
47
3.3.1.	Простое обучение
1.	Самый простой случай эмпирической статистики —это случай,
когда в серии из N независимых наблюдений получены значения х,,..
....Хд,, где каждая из составляющих xv тождественна с точки зрения
объема и содержания наблюдаемых данных величине х, получаемой в
рабочей ситуации, а значения X.v для v — 1,2,.... N известны. В этом
случае любая из [составляющих yv совокупности эмпирических дан-
ных представляет собой пару у, = {xv, где xv под-
чиняется тому же условному распределению вероятности (полностью
или частично неизвестному), что и х. Совместное условное распределе-
ние вероятности для совокупности значений Xi, . . ., и данных наблю-
дения х в рабочей ситуации может быть описано плотностью вероят-
ности
P(x,Xl,. .,хЛГ|Х)=Р(х|Х)Д Р(Х,|\),	(3.3.1)
V=1
где Р(. . ,|...)—всюду одна и та же функция; Xj ..., Kn известны,
а X, определяющая величину потерь в рабочей ситуации, неизвестна.
В частном случае дискретного множества значений Х(Х—1=1, ..., т)
последовательность хь ..., Xn иногда удобно разбить на последователь-
ности {х,1' ,..., xtf>} (i= 1, ..., т, Ni + N2+ ... +Nm—N), соответству-
ющие имеющимся эмпирическим данным для каждого из значений Х = й
Заметим, что случай, когда на каждом v-м шаге в процессе эмпириче-
ского набора данных наряду с результатом наблюдения xv становится
известным и истинное состояние ситуации, характеризуемое параметра-
ми X,, называется иногда обучением с учителем.
2.	Следующий характерный случай, когда каждая из составляющих
х¥ эмпирической совокупности по-прежнему тождественна по объему и
содержанию величине х, но значения параметров неизвестны, т. е
истинная ситуация, в которой наблюдается xv, остается неизвестной.
При этом также предполагается, что все ситуации для v —1,...,Л\ в ко-
торых получены эмпирические данные xv, и рабочая ситуация статистичес-
ки однородны, т. е. все для v= 1,..., N и X имеют одно и то же распре-
деление вероятности. Совместное распределение вероятности {хь .. ., x.v}
и х при заданном значении X для рабочей ситуации в этом случае мо-
жет быть описано следующей плотностью:
Р(х, х,,.... x„)=P(x I Х)П P(xv),	(3.3.2)
где Р(х)Х)—функция правдоподобия (полностью либо частично неиз-
вестная), а
P(x) = JP(x|X)p(X)dX	(3.3.3)
— плотность безусловного распределения вероятности х, неопределен-
ность которой может быть еще большей, чем функции правдоподобия,
из-за частичного либо полного незнания априорного распределения
параметров X (плотности р(Х)).
48
3.	Более общий случай имеет место, если в процессе набора эмпи-
рических данных наблюдаются величины yv, не обязательно тождествен
ные по объему и содержанию х и А, но связанные с ними известной
функциональной либо более общей вероятностной зависимостью. Это
означает, что любая из составляющих у 1 может быть описана услов-
ным «распределением вероятности с плотностью pv (yv | xv, Av), которое
может быть полностью или частично неизвестным (при наличии функ-
циональной зависимости указанная плотность дельтообразна), а пол-
ная совокупность эмпирических данных {уь ..., yN} и данных наблю-
дения х в рабочей ситуации имеет условное (при заданном А)
распределение с плотностью вероятности
Р (х, у„ .... yN I А) =Р (X I А) Д Р (yv),	(3 3.4)
v=l
где
Л (У») = j РЛУ J х s К)р (х J Ч) Р (К) d*dk- (3 3-5)
Величины у.^ могут представлять собой, например, отдельные компоненты
полного вектора данных наблюдения х (не обязательно одинаковые при
разных v), результат наблюдения х с дополнительными помехами и
ошибками или, наоборот, в лучших по сравнению с рабочей ситуацией
условиях и т. п.
Следует отметить, что независимость отдельных составляющих
совокупности эмпирических данных, которая использована при записи
(3.3.1), (3.3.2), (3.3.4), не имеет принципиального значения. Важно
лишь существование той или иной степени статистического подобия
между рабочей ситуацией и ситуациями, в которых получены эмпири-
ческие данные, а распространение рассуждений на случай зависимости
yi, ..., yff и х сводится лишь к соответствующему изменению формы
записи совместных распределений вероятности.
На основании проведенного выше рассмотрения можно зафиксиро-
вать несколько существенных моментов.
а. Совокупность эмпирических данных {yi, .. ., у.х} имеет ценность
с точки зрения принятия решения в рабочей ситуации только в том слу-
чае, если имеется априорная неопределенность относительно статистиче-
ского описания х и А. Действительно, если Р(х|А) и /?(А) известны, то,
как следует из выражений для среднего и апостериорного риска гл. 2
и выражений (3.3.1), (3.3.2), (3.3.4), расширение полной совокупности
данных наблюдения за счет использования эмпирических данных
{уь • • •, yjv}, т. е. увеличение входной 'информации с заменой х на сово-
купность {х, уь . .., yN}, не изменяет ни оптимального правила реше-
ния и (оно остается зависящим только от х), ни величины
соответствующего ему риска. Это совершенно естественно, поскольку
данные прошлых наблюдений {yi, ..., yN} не содержат непосредственно
сведений о значении ненаблюдаемых параметров А, определяющих ве-
личину потерь от принятия того или иного решения. Если неопределен-
ность относится только к априорному распределению вероятности
А(Р(х|А) известно), не имеют ценности эмпирические данные х1; ..., хЛ
при обучении с учителем (в этом случае полезны только значения
{Ai, ..., AjV}, несущие информацию о структуре р(А)).
4—899	49
Сформулированные выводы в равной степени относятся как к про-
стому обучению, так и к «рабочепо5°бному».
<б. Для описания частично ил!1 полностью неизвестных распределе-
ний вероятности совокупности х й эмпирических данных уь .. .,
.могут быть использованы все обсУжДавшиеся в § 3.1, 3.2 методы и,
в частности, с успехом применены рассмотренные в § 3.2 методы пара-
метрического описания в случае ограниченных априорных значений.
При этом эмпирические данные являются источником информации
о неизвестных значениях параметРов с<х 11 Р функции правдоподобия
и априорного распределения вероятности
в. Наличие эмпирических данных Уь • • •, Ут> полученных простым
наблюдением без принятая решения в каждой v-й ситуации (простое
обучение), нисколько не изменяет исходную постановку задачи стати-
стического решения и ее общую фррмулировку как в байесовом случае,
так п при наличии априорной неопределенности. Действительно, так
как потери зависят только от значения параметров X в рабочей ситуа-
ции (и не зависят от X,, v=l, ..> ")> назовем совокупностью данных
наблюдения х и то, что мы раньше обозначали этой буквой и вместе
с ним все остальные имеющиеся данные, полученные в процессе эмпи-
рического изучения статистики, т- е- произведем переобозначение
{х, Уь • • •, У-v}-’"Х. Поскольку конкретное содержание совокупности х
не было ограничено, то естественно, что от такого переобозначения
ничего не изменится. Поэтому сДеНиальное выделение совокупности
данных {уь . .., уд-}, отражающих прошлый опыт, имеет весьма ограни-
ченное значение, а терминология, связанная с понятием обучения, мо-
жет быть удобна только из-за наглядности рассуждений.
Забегая вперед, необходимо Отметить, что этот вывод справедлив
и для «рабочеподобного» обучения» если потери во всех ситуациях
(v=l, ..., N), за исключением рабочей, равны нулю или несущест-
венны.
3.3.2.	«Рабочеподобное» обучение
Этот несколько необычный т£Рмин используется для случая, когда
эмпирические данные уь .... yN являются итогом серии действий, каж-
дое из которых происходит в ситуации, соответствующей значению Х =
= X, и сопровождается получением некоторой совокупности данных на-
блюдения и принятием решения причем uv выбирается из того же
множества решений U, что и решение и в рабочей ситуации Пои таком
способе получения эмпирических данных может встретиться несколько
характерных случаев.
1.	Потери для всех v=l,	определяются той же функцией
потерь, что и в рабочей ситуаций» но несущественны, а сами решения
uv выбираются независимо от нас- Это соответствует использованию
чужого опыта в ситуациях, анаЛогичных интересующей нас рабочей
ситуации, о котором мы получаегЛ информацию, но за который в каж-
дом случае принятия решения расплачивается кто-то другой.
Очевидно, что этот случай ре отличается принципиально от про-
стого обучения, поскольку платись за последствия приходится только
один раз — в рабочей ситуации. Может измениться только содержание
информации, заключенной в yv.
50
Наряду с рассмотренным ранее, каждая из составляющих yv может
содержать в себе решение us и величину потерь g^, соответствующую
этому решению и значению параметра к~-=к. (известному либо нет), ха-
рактеризующему v-ю ситуацию. Эти сведения довольно содержательно!
с точки зрения возможности решения задач синтеза систем, когда
априори функция потерь g(u, 1), т. е. критерий качества системы, не
задана или известна неполностью. Эмпирические данные {х_, Av, tis, g-J
для различных v позволяют с той или иной степенью полноты восста-
новить зависимость функции потерь или апостериорного риска от своих
аргументов для принятия оптимального решения и в рабочей ситуации.
В отношении постановки задачи отыскания правила решения в этом
случае имеет место все сказанное в п. 3.3.1в.
2.	Для всех v= 1, ... , jV и в рабочей ситуации решения иР . .., uv
и и выбираются независимо, причем решение uv выбирается из условия
минимума ожидаемых потерь для функции g, (uv, Av), а решение и—для функ-
ции g(u, 1). Функции gv(uv, Xv), могут быть как одинаковыми с g(u, А)
так и различными. Независимый выбор решений означает требование ло-
кальной оптимальности для каждого элемента серии v = l......N и ра-
бочей ситуации. Любая из составляющих yv может иметь то же содер-
жание, что в п. 1, т. е. наряду с данными х„, подобными х, содержать
сведения о Av,uv и gv. Довольно часто совокупность {ур ..., уд} пред-
ставляет собой упорядоченную последовательность. В этом случае каж-
дое очередное решение uv может зависеть от всех ур у2, ..., yv, подобно
тому, как решение и в рабочей ситуации может использовать хиур ..., ул.
3.	Следующим характерным случаем является такой, когда после-
довательность решений Ui, ..., иЛ- и решение и в рабочей ситуации
объединены единой целью, количественным выражением которой яв-
ляется функция потерь g(u, иь ..., u.y, X, Аь ..., An), и требуется
минимизировать общий риск, соответствующий этой функции потерь.
При этом решения иь ..., un и и уже не могут приниматься незави-
симо, а выбор частных решений uv в процессе набора эмпирических
данных должен обеспечивать как уменьшение риска в каждой v-й си-
туации, так и его минимальное значение в конечной рабочей ситуации.
Обычно серия ур ..., уд представляет в этом случаеjупорядочен-
ную последовательность, что соответствует возможности выбора реше.
ния uv = uv(y1....yj, зависящего от всех предыдущих значений ур ...,
yv и соответственно u = u(x, У].....yN). Составляющие эмпирической
последовательности yv могут иметь ту же природу, что и выше, а сама
последовательность решений Uj......Ид, и представляет собой многоша-
говый процесс, описанный в §2.7.
Два наиболее типичных случая задания меры потерь соответст-
вуют аддитивной функции потерь, когда
g(u, up .... Ид,, А, АР .... Ад) =
N
= g(u, А)+ 2 gv(up А)	(зз.б)
V=1
4*
51
и функции потерь, не зависящей от {uv, XJ, т. е.
g(u, Uj.....ил, X, Хг .... XJ = g(u, X).	(3.3.7)
Последняя сосредоточивает все внимание при выборе решений uv
в процессе набора эмпирических данных на обеспечении минимальных
потерь в рабочей ситуации. Естественно, что для функции потерь (3.3.7)
зависимость в выборе решений uv будет только тогда, когда эмпириче-
ские данные действительно имеют ценность, т. е. существует априорная
неопределенность, связанная с незнанием или неполным знанием функ-
ции правдоподобия Р(х|Х) и априорного распределения р(Х), или
имеется статистическая зависимость между х и {уь . . . , y,v}. В против-
ном случае, как следует из общих выражений гл. 2, многошаговый про-
цесс принятия решений распадается на отдельные независимые шаги
и выбор последовательности решений {uj не влияет на выбор реше-
ния и в рабочей ситуации.
В заключение отметим, что, как и в разд. 3.3.1, при наличии эмпи-
рических данных может быть различная степень априорной неопреде-
ленности в отношении статистического описания х, X и {уi, . . ., ум} —
от полного незнания их распределений вероятности до полного стати-
стического описания; и как и в предыдущих случаях, чрезвычайно
удобно параметрическое описание с использованием имеющихся физи-
ческих представлений и соответствующих им закономерностей.
Часть II '
МЕТОДЫ СИНТЕЗА ИНФОРМАЦИОННЫХ СИСТЕМ
В УСЛОВИЯХ АПРИОРНОЙ НЕОПРЕДЕЛЕННОСТИ
Глава 4
ПОНЯТИЕ ОПТИМАЛЬНОСТИ. ДОСТАТОЧНЫЕ СТАТИСТИКИ.
ИНВАРИАНТНОСТЬ
4.1.	ПРЕДВАРИТЕЛЬНЫЕ ЗАМЕЧАНИЯ
Неполнота статистического описания задачи, типичная для прак-
тики синтеза информационных систем самого различного назначения,
требует особых подходов при нахождении оптимальных правил приня-
тия решения — алгоритмов обработки информации в синтезируемых
системах. Эти подходы должны в какой-то степени отличаться от чисто
байесова подхода к решению задач синтеза, который, обладая наиболь-
шим совершенством в смысле обеспечения качества синтезируемой си-
стемы, требует достаточно полного статистического описания всех
данных, имеющих значение для рассматриваемой задачи.
В этой и последующих главах мы рассмотрим различные подходы
к решению задачи синтеза информационных систем в условиях априор-
ной неопределенности и соответствующие им методы нахождения пра-
вил принятия решения. Безусловно, это рассмотрение не будет
исчерпывающим, поскольку область науки, связанная с нахождением
правил принятия решения в условиях априорной неопределенности,
развивается очень бурно, особенно в последние годы. Конкретные пред-
ложения и идеи столь многообразны, что, по-видимому, достаточно
трудно даже провести их четкую классификацию, не говоря уже о под-
робном их изложении. Основное внимание в данной книге будет уде-
лено тем подходам, которые по возможности в максимальной степени
используют ограниченные априорные сведения и для различных ситуа-
ций неполного статистического описания (гл. 3) дают оптимальные или
практически оптимальные правила принятия решений. Другое основное
требование — конструктивный характер подхода, т. е. обеспечение воз-
можности практического решения достаточно широкого круга конкрет-
ных задач с доведением этого решения до ясно интерпретируемых
результатов, которые могли бы быть реализованы соответствующимч
вычислительными процедурами, схемами устройств и т. д. Выполнение
этих требований приводит иногда к целесообразности сочетания раз-
личных подходов, что в еще большей степени подчеркивает необходи-
мость понимания и овладения ими для решения практических задач
синтеза правил принятия решения и соответствующих им информаци-
онных систем.
53
Если теперь перейти к формальному описанию задачи, то основная
ее особенность заключается в том, что из-за имеющейся априорном
неопределенности статистического описания данных наблюдения х и
параметров X, влияющих на последствия решения, невозможно одно-
значно определить распределения вероятности х и X и, следовательно,
величину среднего риска, который является критерием качества для
любого Возможного правила решения.
При наличии априорной неопределенности лучшее, что можно сде-
лать для статистического описания х и X —это задать некоторые
множества 3. функций правдоподобия Р(х|Х) и 3PQ априорных плотно-
стей вероятности /?(Х). Способ задания 3\ и 3 0, их структура и полно-
та определяются имеющимися ограниченными сведениями и могут
соответствовать любому из рассмотренных в гл. 3 случаев (ограничен-
ным числом статистических характеристик, параметрически, с помощью
эмпирических данных и т. д ).
Так как каждой паре р={р(х|Х), р(Х)} при любом решении и
согласно основному определению (2.3.3) соответствует свое значение
среднего риска, последний является функционалом не только правила
решения ц = ц(х), но и этой пары плотностей вероятности р, т. е.
7?(u(x)) = R(u(x), р).	(4 1.1)
и, следовательно, может принимать при данном объеме ограниченных
априорных сведений любое значение, соответствующее значению р из
множества допустимых значения	^о}> описывающего совокуп-
ность всех возможных при имеющейся в данной задаче априорной
неопределенности функций Р(х|Х) и р(Х). (В байесовой задаче р имеет
вполне определенное значение, поэтому зависимость среднего риска
от р обычно не подчеркивается )
Задачей синтеза в условиях априорной неопределенности является
отыскание такого правила решения и — и(х) (или вообще говоря, реша-
ющей функции <р (и | х)), которое в соответствии с установленным по-
рядком обеспечивало бы именно этому решению наиболее высокую
степень предпочтения при всех возможных ре^. Сам порядок пред-
почтения, устанавливающий понятие об оптимальности решения, оче-
видно, из-за неопределенности величины среднего риска уже не всегда
может быть таким простым, как в байесовой задаче, где считается
более предпочтительным то правило решения и(х), для которого сред-
ний рисд меньше, а оптимальным то, для которого он минимален.
4.2.	СУЩЕСТВЕННАЯ И НЕСУЩЕСТВЕННАЯ АПРИОРНАЯ НЕОПРЕДЕЛЕННОСТЬ
Прежде чем перейти к обсуждению понятия оптимальности и кон-
кретному рассмотрению методов решения задач синтеза в условиях
априорной неопределенности и ограниченного статистического описа-
ния, основные типы которого были рассмотрены в гл. 3, полезно об-
судить вопрос о том, какая же степень априорной неопределенности
явтяется существенной и действительно затрудняет решение задаш
синтеза оптимальной системы по классическим байесовым приемам.
Для того чтобы убедиться в том, что неполнота статистического описа-
ния данных задачи не всегда ведет к невозможности нахождения опти-
54
мального правила принятия решения, рассмотрим сначала пример
с довольно большой априорной неопределенностью.
Пусть требуется решить задачу различения сигналов (распознавания
ооразов) по результатам наблюдения дискретной последовательности слу-
чайных величин х = хп = {х1......хп}, каждая компонента которой х*
является аддитивной смесью помехи nv и соответствующей Компоненты
одного из т возможных дискретных сигналов =	.., Ис-
тинная ситуация заключается в том, что в реально наблюдаемой после-
довательности х — хп может присутствовать любой из возможных сигна-
лов S^z), поэтому параметр 2, характеризующий ситуацию, просто нумеру-
ет подлежащие различению сигналы и принимает значения X=i
(i=l, ..., т). Решение и заключается в том, чтобы по значениям наб-
людаемой последовательности х=хп вынести суждение, какой именно
из сигналов S^!) присутствует в этой последовательности, т. е. сводится
к выбору одной из т альтернатив, u—j (j—1, ..., т). Будем считать,
что априорные вероятности появления различных одинаковы, т. е.
р(2=i) =pi = I/т, а последствия от любого неправильного решения
также одинаковы (без ограничения общности потери от неправильного
решения можно принять равными единице), правильное же решение
дает нулевые потери. Последнее означает, что матрица потерь
имеет элементы
£зг=1-6д,	(4.2.1)
где — символ Кронексра.
Помеху nv будем считать гауссовой, некоррелированной, с нулевым
математическим ожиданием. Априорная неопределенность будет свя-
зана с часто имеющимся на практике незнанием интенсивности
помехи, в результате чего дисперсия	о2 неизвестна и является
как раз одним из таких дополнительных неизвестных параметров функ-
ции правдоподобия а, о которых шла речь в § 3.2. (В данном примере
этот параметр одинаков для всех значений X—i.)
Параметрически неопределенное описание функции правдоподобия
/>(х|Х) будет иметь вид
{п
V=I
(4.2.2)
Из-за наличия неизвестного параметра о2 распределение вероятности
данных наблюдения х=Хп нам фактически неизвестно при любом
значении = что, казалось бы, исключает возможность использования
байесова подхода. Однако все-таки воспользуемся им, не обращая не-
которое время внимания на то, что величина о2 неизвестна. В соответ-
ствии с общими правилами гл. 2 (2.4.6) и введенными предположения-
ми о рг и g3l апостериорный риск равен
expl--^	S?’)2!
x) = R(u = j, x)=R,(x) = l---L--(4.2.3)
55
Эго выражение зависит от интенсивности помехи о2 и в связи с ее
неопределенностью также является неопределенным. Тем не менее
©птимальное правило решения может быть найдено точно, поскольку
min/?/(x) независимо от значения а2 достигается для того значения /,
(/)
для которого величина
п
-5У))2	(4.2.4)
минимальна или величина
п	п
£xSy>-4-J]S(/>2	(4.2.5)
4=1	4=1
максим альна.
Таким образом, оптимальное байесово правило решения имеет вид
и(х)==/, если
п	п
(х) - 4- £	> *(/> (х)---S<‘)2	(4.2 6)
ycol	У=1
для всех i=l.........tn,
z^ = ^xS^	(4.2.7)
4=1
и не зависит от неизвестного параметра о2, а следовательно, априорная
неопределенность, связанная <в данной задаче с незнанием интенсивно-
сти помехи, является несущественной.
Перейдем теперь к общему случаю. Пусть имеющаяся априорная
неопределенность не позволяет задать плотности распределения веро-
ятности Р(х|Х) и р(Х) и вместо них введены классы распределений
вероятности	(Р (х | X) g 3\) и (р (X )G 5%), такие, что любые из
возможных при данной априорной неопределенности Р(х|Х) и р(Х)
принадлежат к этим классам. В соответствии с материалами гл. 3
классы и могут быть произвольно широки, вплоть до множества
всех неотрицательных нормируемых на единицу функций, как это про-
исходит при полной априорной .неопределенности. Найдем апостериор-
ный риск для какой-либо пары распределений х и X, таких, что
Р(х|Х)е^х, р(Х)е^0,
R (U, X) = f g (u, X, х) Р^Р&> .. dk,	(4 2 8>
J	J Р(х|Х)р(Х) dl	?
и попытаемся отыскать его минимум по решению и.
Если этот минимум достигается для значения u=u(x), которое оди-
наково для всех /3(х]Х)СЕ^7 и ^(/.)G^o, то очевидно, что априорная
неопределенность статистического описания х и X является несущест-
венной. Само правило решения и(х), обладающее таким свойством,
является равномерно наилучшим (по аналогии с терминологией, ис-
пользуемой для двухальтернативных задач, оно может быть названа
56
равномерно наиболее мощным правилом решения) для заданных клас-
сов распределений вероятности и ^0, поскольку оно обеспечивает
абсолютную оптимальность при любой априорной неопределенности
в пределах этих классов. Это правило обладает свойствами инвариант-
ности, так как оно является одинаковым для любых распределений
данных наблюдений х и параметров 1 в пределах классов <& } и ^0,
соответствующих имеющейся априорной неопределенности. Так, пра-
вило решения (4.2.6) является равномерно наиболее мощным для клас-
са задач различения сигналов, наблюдаемых на фоне гауссовых помех
неизвестной интенсивности.
Конечно, существование подобных точных правил решений можно
ожидать в довольно исключительных случаях, однако сам факт их на-
личия делает целесообразным при решении задач синтеза в условиях
априорной неопределенности прежде всего осуществить проверку
существенности этой неопределенности стандартными байесовыми ме-
тодами. Из (4.2.8) ясно, что априорная неопределенность заведомо
является несущественной, если апостериорное распределение вероятно-
стей имеет плотность
ра(Х) = р (XI х) =Р (х I X) p(k) I § Р(х I X) р(X) d'k,
одинаковую для всех Р (х | X) G S\ и р (Z) G S\. Можно найти и другие
достаточно общие или, наоборот, конкретные условия, когда значение
и (х), минимизирующее апостериорный риск, не зависит от априорной
неопределенности.
Второе и, пожалуй, более важное обстоятельство заключается в том,
что значительно чаще существуют приближенно равномерно наилучшие
правила решения. Практически это имеет место в различного рода асим-
птотических случаях — при большом объеме данных наблюдения х. ма-
лой интенсивности помех, затрудняющих правильное принятие решения
и т. п., одним словом, тогда, когда получающееся решение является «хо-
рошим», т. е. обладает высоким качеством и дает малый риск. Фактиче-
ски решение задачи синтеза оптимальной системы в условиях априор-
ной неопределенности так или иначе сводится к выявлению условий
существования приближенного равномерно наилучшего решающего пра-
вила и разработке конкретных методов его нахождения.
4.3.	ПОНЯТИЕ ОПТИМАЛЬНОСТИ В УСЛОВИЯХ АПРИОРНОЙ НЕОПРЕДЕЛЕННОСТИ
Как уже отмечалось выше, в условиях априорной неопределенности
величина среднего риска 7?(и(х), р) из-за неоднозначности задания р=
={Р(х/Х),	не определена и сам принцип выбора оптимального
решения по минимуму среднего риска становится нечетким, так как не-
понятно минимум чего же нужно искать. Для того чтобы обсудить воз-
можные в этих условиях принципы предпочтения при выборе решения,
иными словами понятие оптимальности, рассмотрим поведение функцио-
нала 7?(и(х), р) при различных и(х) из допустимого множества реша-
ющих функций U (х) и реУ1.
4.3.1.	Равномерно наилучшее решение
Допустим, что для каждого фиксированного р найден min 7? (и (х),
(и(х))
р). Значение u0(x)et7(x), при котором достигается этот минимум, т. е.
57
байесово правило решения, вообще говоря, зависит от р, так что при
изменении р минимизирующее значение uo(x)=uo(x, р) является функ-
ционалом р (рис. 4.1) и
min R(u(x), p) = R(u0(x, р), р).	(4.3.1)
(и 00)
Если окажется, что минимум для всех ре^ достигается при одном и
том же Uo(x) (рис. 4.2), то существует равномерно наилучшее решение,
которое и является абсолютно оптимальным, а априорная неопределен-
ность не является существенной. Само равномерно наилучшее решение
может быть найдено с помощью обычной байесовой процедуры.
“М
Рис. 4.1. Область оптимальных
байесовых правил решений при
различных
Рис. 4.2. Равномерно наилуч-
шее правило решения.
Следует отметить, что если ввести произвольную меру ц(р) на мно-
жестве ^( не обязательно имеющую вероятностный смысл) и проинте-
грировать средний риск по этой мере, определив таким образом новый
функционал решающего правила
R (u (х)) = j R (и (х), р) сф. (р),	(4 3 2)
а затем найти значение u=u*(x), минимизирующее этот функционал, то
при существовании равномерно наилучшего решения это значение совпа-
дает с ио(х), т. е. u*(x)=u0(x).
Это означает, что в случае существования равномерно наилучшего
правила решения можно произвольно усреднять средний риск (в част-
ности, при параметрической априорной неопределенности вводить для
неизвестных параметров ак и Р распределений вероятности х и 1, в свою
очередь, более или менее произвольные распределения вероятности) и
искать минимум этого усредненного значения. Подобного рода усредне-
ние во многих случаях может существенно упростить задачу в отноше-
нии техники отыскания оптимального правила решения благодаря
большей простоте усредненного выражения.
4.3.2.	Принцип асимптотической оптимальности
В практических задачах синтеза в условиях априорной неопреде-
ленности часто характерно наличие большого объема данных наблюде-
ния х, которые могут включать в себя (см. гл. 3) информацию о прош-
58
лом опыте, данные обучения, эмпирическую статистику и т. д. При этом
в случае полного статистического описания значительная часть этих дан-
ных оказалась бы избыточной, зато в условиях априорной неопределен-
ности такая избыточность является в какой-то степени компенсацией за
отсутствие четкого и полного статистического описания задачи. Поясним
это на примере простой задачи двухальтернативного решения (п=1 или
и = 2, А=1 или а=2, р(А— 1)=р(Х=2)=1/2, g(u, А) — I— dlft) на основа-
нии данных наблюдения x={xi, ... ,хп, Xn+i}, образующих совокупность
независимо распределенных величин. Пусть
л+1	)
Р(х |Л= 1) = П ЛК1«).	|
'=1	}	(4.3.3)
Р(х|2 = 2) = ПЛ(^|«)Л(л-,1+1), I
,=1	)
где а — некоторый параметр плотности вероятности хч. Статистическое
описание (4.3.3) соответствует, например, случаю, когда фактически ре-
шентге должно быть принято на (п4-1)-м шаге по результатам наблюде-
ния xn+i, а предыдущая серия {xi,...,xn} наблюдалась в условиях точно
известной ситуации (А=1) и может рассматриваться в качестве обучаю-
щей последовательности. Возможная априорная неопределенность в дан-
ной задаче связана с незнанием параметра а, из-за чего статитическое
описание (4.3.3) становится неполным.
Если априорная неопределенность отсутствует — параметр а извес-
тен— оптимальное правило решения имеет вид (гл. 2): принимается
и—1, если
(4.3.4)
Это правило, естественно, зависит только от хп+1, а все остальные дан-
ные наблюдения являются избыточными. Если параметр а неизвестен,
то знание {xi, ..., хп} очень существенно, поскольку оно может быть
использовано для уменьшения априорной неопределенности из-за неиз-
вестности а.
При этом по крайней мере интуитивно ясно, что чем больше объем
подобных «избыточных» данных (в рассматриваемом примере этот объ-
ем характеризуется числом наблюдений п), тем меньше влияние апри-
орной неопределенности. Поэтому можно надеяться, что при увеличении
объема и улучшения качества наблюдаемых данных х можно получить
решение такого же качества, как если бы априорная неопределенность
отсутствовала и распределение р нам было бы известно точно. Отсюда
логически вытекает принцип асимптотической оптимальности, который
может быть сформулирован следующим образом:
— более предпочтительным является такое правило решения и=
=и(х), для которого средний риск й?(и(х), р) с увеличением объема
59
данных наблюдения стремится к минимальному байесову риску
min/?(u(x), р) для всех ре^5 равномерно.
(и (*))
Само правило решения и(х), удовлетворяющее этому требованию,
является асимптотически равномерно наилучшим решением, а при огра-
ниченном, но большом объеме данных наблюдения х — приближенно
равномерно наилучшим. Принцип асимптотической оптимальности имеет
очевидный недостаток — он не определяет и(х) вполне однозначно и
оставляет открытым вопрос, какое из асимптотически оптимальных пра-
вил решения лучше при ограниченном объеме данных наблюдения. Од-
нако столь же очевидна и его полезность — он позволяет отклонить как
неудовлетворительные те правила, которые даже асимптотически су-
щественно отличаются от оптимального байесова.
4.3.3.	Минимаксиминный принцип (минимакс минимального
среднего риска]
Рассмотрим теперь общий случай, когда минимум риска R(u(x), р)
по и(х) достигается при разных значениях и0(х) для различных р&^.
Каждое из решений u0(x)— и0(х, р) является оптимальным байесовым
решением для своего (неизвестного из-за наличия априорной неопреде-
ленности) значения р, а их совокупность образует некоторое подмноже-
ство t/0(x) байесовых решающих правил (на рис. 4.1 заштрихованный
прямоугольник). При этом если мы возьмем какое-то из этих правил
u'o(x)eL?o(x), то оно обязательно соответствует некоторому р=р/0&5'5,
обеспечивая минимум апостериорного и среднего риска для этого р=р'
и в то же время для других р
/?(и'0(х), р) R(u0(x, Р), p) = minR(u (х), р) при р#=р'.
(U (X))
Предположим, что мы хотим ограничить свой выбор только множе-
ством J7o(x), т. е. выбирать правила решения среди оптимальных байе-
совых для всевозможных, но каждый раз известных редУ1. Фактически
это означает устранение априорной неопределенности выбором какого-
то заранее определенного значения р=р/ и синтезом системы для впотне
определенных условий, соответствующих этому значению. Возникает
вопрос, как выбрать значение р (и соответствующее ему решение
u/0(x)=u0(x, р'). Естественный способ заключается в применении прин-
ципа минимакса к величине байесова риска. При этом значение р' вы-
бирается из условия
maxR(u0(x, р'), p)<maxR(u0(x, р,), р) для всех р,е^, (4.3.5)
(р&У“)	(рС=^)
где и0(х, р) — оптимальное байесово правило решения, выбираемое из
условия R (и0 (х, р), р) = rninR(u (х), р) при данном р. Процедура вы
(и (х))
бора правила решения, удовлетворяющая рассматриваемому принципу,
эквивалентна выбору и(х), обеспечивающего
min maxR(u(x), р).	(4.3.6)
(и (Х)е(7о (х)) (pS>‘)
Рассматриваемый принцип достаточно прост, так как не требует
разработки существенно новой методики выбора правила решения. Он
60
целиком основывается на технике получения байесовых правил решения,
поскольку ограничивает выбор только такими правилами для различ-
ных ре.5^ и, конечно, автоматически приводит к равномерно наилучше-
му правилу решения, если оно существует. В то же время ясно, что
именно указанное ограничение (выбор и(х) только из подмножества
£7о(х)) не гарантирует от того, что будет упущено какое-то лучшее
в условиях априорной неопределенности правило решения. Подмножест-
во П0(х), вообще говоря, не тождественно полному классу решающих
правил, о котором шла речь в гл. 2, поскольку оно соответствует «услов-
но» байесовым решениям, каждое из которых получается в предположе-
нии о полностью известной статистике. Полный класс решающих пра-
вил для рассматриваемой задачи с априорной неопределенностью полу-
чается, если взять множество всех и(х), минимизирующих усредненный
риск _ff(u(x)) из (4.3.2) для всевозможных нормированных на единицу
мер ц(р), которые трактуются при этом как некоторые априорные рас-
пределения на множестве 5s, описывающем априорную неопределен-
ность.
Минимаксиминный принцип слабо использует или вообще игнори-
рует ту избыточность в данных наблюдения, которая может являться
компенсацией за априорную неопределенность. (В примере п. 4.3.2 мини-
максцминное правило будет иметь вид (4.3.4) при некотором а=а0 и не
будет учитывать наличие наблюдений {хь... ,хп}.) В то же время до-
вольно легко оценить степень приближения решения, полученного на
основе этого принципа, к абсолютно оптимальному (при отсутствии
априорной неопределенности). Критерием близости может служить раз-
ность
Д(р) = Я(и0(х, р'), р) —minR(u(x), р).	(4.3.7)
(U (х))
Если при всех значениях р эта разность не превышает допустимо ма-
лой величины е (вообще говоря, зависящей от р), то правило решения
Uo(x, р') является приближенным равномерно наилучшим правилом
с уровнем приближения, не худшим чем е. Таким образом, использование
рассматриваемого принципа дает возможность выявить, существует или
нет приближенное равномерно наилучшее правило решения, и получить
его с помощью стандартной байесовой процедуры. Вообще говоря, ясно,
что разность А(р) из (4.3.7) может оказаться достаточно малой только
в том случае, когда множество & содержит не слишком много элемен-
тов, отличающихся от некоторого истинного, но неизвестного значения
Р=Рист. В противном случае, если, например, множество 5s неограниче-
но, средний риск минимаксиминного правила решения может достигать
величины максимального значения функции потерь, а при неограничен-
ной функции потерь может также стать неограниченным. Таким обра-
зом, минимаксиминный принцип предпочтения действительно серьезно
препятствует выбору плохих правил решения только тогда, когда апри-
орная неопределенность относительно невелика. В общем же случае он
позволяет выбирать и непригодные правила решения, поэтому ценность
этого принципа предпочтения невелика.
4.3.4.	Принцип минимума усредненного риска
Пусть, как и в п. 4.3.1гна множестве & задана некоторая мера ц(р)
и определен функционал Л(и(х)) (4.3.2), представляющий собой усред-
ненный по этой мере средний риск Л?(и(х), р). Один из возможных прин-
61
ципов предпочтения заключается в выборе правила решения и*(х), ми-
нимизирующего этот усредненный результат, т. е. удовлетворяющего
соотношению
R(u*(x)) = minR(u(x)) = min fR(u(x), p)dp.(p).	(4.3.8)
(u (x))	(u (x)) J
Неоднозначность выбора решения при таком подходе связана только
с неоднозначностью меры ц(р). Последней может быть придана раз-
личная трактовка — как невероятностная, так и вероятностная.
Прежде всею ц(р) можно рассматривать как меру, характеризую-
щую значимость последствий от принятия решения в данных условиях,
•соответствующих конкретному значению р. При этом dp(p)—относи-
тельный вес риска принятия решения при условии, что статистические
данные задачи описываются распределением р, т. е. величина, характе-
ризующая относительную важность средних потерь в этих условиях.
Представление о такой относительной важности обычно всегда имеется,
причем часто оно сводится к представлению об одинаковой значимости
потерь, которое естественно приводит к тому, что мера ц(р) соответст-
вует равномерному распределению на множестве 5s.
В то же время ц(р) формально может рассматриваться (при соот-
ветствующей нормировке) как некоторое априорное распределение на
множестве 5s. При такой трактовке задача вновь становится чисто байе-
совой с распределением вероятности х и X, задаваемом плотностью
р = р(х, >.) = J р(х, X)dp(p); р(х, /.) = Р(х ] typfk). (4 3.9)
Несмотря на полное формальное совпадение результатов примене-
ния двух этих трактовок, они глубоко различаются по своей сущности.
В первом случае устранение априорной неопределенности достигается
приписыванием того или иного веса потерям от принятия решения
в различных условиях, соответствующих различным р, и для такого
взвешивания обычно имеется субъективная и объективная основы. Во
втором случае априорная неопределенность устраняется заданием веро-
ятностей появления различных р. При этом могут быть использованы
различные соображения: например, о равных возможностях появления
различных р (т. е. задание равномерного распределения на 5s) или бо-
лее слабое предположение об относительно медленном изменении dp(p)
при переходе от одного элемента множества 5s к другому. Наконец,
можно задать наименее предпочтительную меру ц(р), для которой до-
стигается
max minR (u (х)) = max min fR(u(x), p)dp.(p),	(4.3.10)
<н) (и (х))	0х) (и (х)) J
т. е. использовать при ее задании принцип максимина.
Правило решения и*(х), определенное из условия минимума усред-
ненного риска (4.3.8), очевидно, обладает следующим свойством;
R(u*(x),p) <min R(u(x),p),	(4.3.11)
(U(x))
которое следует из соотношения
С minR(u(x), р)фл(р)< min f R(u(x), р) (р) =
1 (и (X))	(и (х)) J
= J R(u*(x), p)dp-(P)	(4 3.12)
62
и неотрицательности dp(p), т. е. оно не лучше байесова правила реше-
ния при известной статистике (известном р). В то же время, как уже
отмечалось в п. 4.3.1, этот принцип обеспечивает получение равномерно
наилучшего правила решения, если оно существует. То же верно и в от-
ношении приближенного равномерно наилучшего правила решения
Принцип минимизации усредненного риска в отличие от минимаксимин-
ного принципа в полной мере использует все данные наблюдения х
с учетом их возможной избыточности для устранения неопределенности,
связанной с неполным исходным статистическим описанием задачи.
4.3.5. Минимаксный принцип
Если существование точного или приближенного равномерно наи-
лучшего правила решения, оправдывающее задание более или менее
произвольной меры ц(р), проблематично, а других оснований для за-
дания ц(р) нет, то разумным принципом предпочтения при выборе ре-
шения является принцип минимакса, согласно которому правило реше-
ния u(x)=uM(x) выбирается так, чтобы обеспечить
min шах R(u(x), p) = max 7?(uM(x), р).	(4.3 13)
(u(x)) (pSJ')	(Р&Д
Этот принцип гарантирует, что при всех ре.?5 величина среднего риска
для правила решения им(х) будет не больше величины, определяемой
выражением (4.3.13), т. е. во всем диапазоне условий, характерном для
данного уровня априорной неопределенности, средний риск не превысит
величины (4.3.13).
Характерной и иногда неприятной особенностью минимаксного пра-
вила решения им(х) является то, что для него средний риск 7?(им(х), р)
может достигать своего максимума не в единственной точке р, а на не-
котором подмножестве множества 5s, а иногда и на всем множестве
В связи с этим, вообще говоря, более предпочтительным может ока-
заться выбор такого решения, для которого
шах 7?(u(x), p)>max R(uM(x), р)
(р=-Н	(ре/-)
и даже на некотором подмножестве множества д>
Я(и(х), p)>max К(им(х), р),
(ре^)
но зато на остающейся части множества 5s
K(u(x), p)<R(uM(x), р),
причем для многих ре.?5 существенно меньше.
Вторая особенность минимаксного принципа — возможная неодно-
значность в выборе правила решения им(х). Вид поверхности Д(и(х)у
р), иллюстрирующий эту возможность, показан на рис. 4.3, где имеется
целое множество [7м(х) минимаксных решений. Для выбора между ни-
ми необходим дополнительный критерий, в качестве которого целесо-
образно и удобно использовать критерий минимума усредненного риска
(для сохранения гарантированного уровня риска (4.3.13) его минимиза-
цию следует проводить по и (х) е(7м(х)).
G3
Рис. 4.3. Вид поверхности среднего
риска для различных п(х)е£/(х) и
рей5.
Минимаксный принцип в отличие
от рассмотренных ранее совсем не
требует для устранения влияния апри-
орной неопределенности привлечения
каких-либо дополнительных сообра-
жений (существования равномерно
наилучшего правила решения, асимп-
тотической сходимости, дополнитель-
ной меры ц(р)) ив этом смысле яв-
ляется наиболее аккуратным, по-
скольку оперирует только непосред-
ственно с основными данными задачи.
Степень влияния априорной неопреде-
ленности может быть оценена разни-
цей между рисками минимаксного правила решения и байесова с изве-
стным распределением р, т. е. величиной
Д(р) = ₽(им(х), р) — min 7?(u(x), р).	(4.3 14)
(U (X))
Если для всех рей3 Д(р)<е(р), где е(р) —заданная степень допусти-
мого отклонения риска от риска абсолютно оптимального байесова пра-
вила решения, то минимаксное правило решения вполне удовлетвори-
тельно, а влияние априорной неопределенности на величину риска не
превышает е.
4.4. СООТНОШЕНИЯ МЕЖДУ ПРАВИЛАМИ РЕШЕНИЯ, ПОЛУЧЕННЫМИ
НА ОСНОВЕ РАЗЛИЧНЫХ ПРИНЦИПОВ ПРЕДПОЧТЕНИЯ
В § 4.3 по ходу рассмотрения уже отмечались некоторые соотноше-
ния между правилами решения, следующими из того или иного принци-
па предпочтения. Для более полного уяснения их относительного каче-
ства рассмотрим ряд дополнительных соотношений. Заметим еще раз,
что, конечно, самым хорошим является равномерно наилучшее правило
решения, которое при любом рей3 дает такой же риск, как байесово
правило решения с известным р. Если равномерно наилучшее правило
существует, то оно может быть найдено при использовании любого из
рассмотренных принципов предпочтения.
Между минимаксиминным правилом решения и0(х, р') и минимакс-
ным правилом решения им(х) существует соотношение
шах Д(и0(х, р'), р) шах /?(им(х), р) =
(ре^)	(ре^)
— min шах Д(и(х), р),	(4-4.1)
(ц(х)) (pe^j
которое следует непосредственно из определения этих решений. Соотно-
шение между ними показано на рис. 4.4. При некоторых р риск мини-
максиминного правила решения превышает риск минимаксного прави-
ла, а при некоторых-—имеет меньшие значения.
Аналогичному соотношению удовлетворяет и правило решения
и*(х), получаемое минимизацией усредненного риска при любой ме-
ре Р-(Р):
шах Д(и*(х), р)>шах Д(иы(х), p) = min шах R(u(x), р). (4 4 2)
(р&Д	(ре^)	(и(х)) (рЕ^)
64
Типичное поведение риска 7?(u*(x), р) f10 отношению к риску минимакс-
ного правила решения 7?(им(х), р) в зависимости от р показано на
рис. 4.4, где приведена также зависимс>сть от Р минимального байесова
риска ^(uo(x,p), p) = tnin 7?(u(x), р), соответствующего известному р.
(и (х))
В то же время правила решения и*(х) и цм(х) удовлетворяют при
любой мере р(р) соотношению
jfl(ir(x), p)dp(p)< J/?(«m(x). Р)^(Р).
(4 4.3)
которое следует из определения правила решения и*(х). Равенство
в (4.4.3) может достигаться только для наименее предпочтительной в со-
ответствии с определением (4.3.10)	«
меры р(р). Из соотношений (4.4.2),	’
(4.4.3) следует, что максимум риска по
рей9 для правила решения и*(х) не
меньше, чем для минимаксного, а
усредненное значение риска не боль-
ше. Особый интерес представляет слу-
чай, когда в (4.4.2) достигается ра-
венство, т. е. риск правила решения
и*(х) не превосходит риска минимакс-
ного правила. При этом очевидно, что
правило и*(х) равномерно относи-
тельно р лучше (по крайней мере не
Рис. 4.4. Зависимость среднего риска
от р для различных правил решения:
1 — байесово; 2—минимаксное; 3— минн-
максиминное, 4 —- минимизации усреднен-
ного риска.
хуже) минимаксного правила и сле-
дует отдать ему предпочтение. Это обстоятельство является хорошим
доводом в пользу принципа минимизации усредненного риска.
4.5. ИСПОЛЬЗОВАНИЕ ДОСТАТОЧНЫХ СТАТИС*ИК
Фактически нахождение правила решения и(х), удовлетворяющего
одному или сразу нескольким рассмот"РеннЬ1М выше принципам пред-
почтения, представляет собой далеко йе простую задачу. Это связано
с тем, что даже задача отыскания байесова правила решения при от-
сутствии априорной неопределенности, несмотря на существование об-
щих рецептов, подчас оказывается слишком сложной из-за трудностей
вычисления апостериорного риска в явн°й и вполне детализированной
форме. В этом отношении большую пользу при решении конкретных
задач приносит использование достаточных статистик (минимальных
или хотя бы достаточно малой размерности), о которых шла речь в гл. 2.
Дело в том, что для практических за/1ач синтеза информационных си-
стем характерно наличие большой размерности — в первую очередь,
данных х, описывающих результаты наблюдения,— что существенно за-
трудняет получение окончательных замкнУть1х результатов. Использо-
вание достаточных статистик резко понижает размерность задачи, что
приносит существенное упрощение и ПРИ чисто байесовом подходе,
а в задачах с априорной неопределенностью часто позволяет получить
конкретные алгоритмы принятия решений, основанные только на до-
статочных статистиках и являющиеся если не абсолютно оптимальными,
то по крайней мере обладающие многими чертами оптимальности. Есте-
ственно также, что при относительно Мал°й размерности легче выявить
5—899	65
условия существования строго или приближенно равномерно наилучше-
го правила решения. Даже если эти условия не выполняются или не на-
ходятся, то нахождение достаточных статистик способствует отысканию
и пониманию структуры оптимального правила решения — функцио-
нального соответствия между данными наблюдения х и решением и.
Последнее обстоятельство позволяет целенаправленно и с пониманием
существа дела ввести аппроксимацию зависимости u=u(x), исключить
возможные неизвестные параметры, делающие эту зависимость не впол-
не определенной, и т. п. Таким образом, можно утверждать, что выяв-
ление достаточных статистик малой размерности является если не обя-
зательным, то весьма целесообразным элементом решения задачи син-
теза в условиях априорной неопределенности.
Общее определение достаточных статистик и правила их нахожде-
ния рассмотрены в § 2.6. Из этих результатов следует, в частности, что-
совокупность величин z№ (4.2.7) является достаточной статистикой для
решения задачи различения сигналов {$?)}. наблюдаемых в смеси
с гауссовой помехой произвольной (в том числе неизвестной) интенсив-
п
ности. Если дополнить их еще одной величиной	т0 полученная
V=1
совокупность будет достаточной статистикой для решения той же зада-
чи уже с произвольными вероятностями появления сигналов рг и произ-
вольной матрицей потерь |[g’i3||, не равными 1/т и || 1—6tJ| соответствен-
но, как в § 4.2.
Для задач синтеза в условиях априорной неопределенности особое
значение имеют инвариантные достаточные статистики, т. е. такие пре-
образования z—z(x), распределения вероятности которых одинаковы
при любом распределении вероятности х из класса 5\.Если инвари-
антная достаточная статистика существует, то можно ввести такое пре-
образование |=|(x)={z(x), £(х)}, что функция правдоподобия, запи-
санная в новых переменных |{z, £}, для всех элементов Р(^|Х) класса
3\, соответствующего имеющейся априорной неопределенности, может
быть представлена в виде
P(g|X) = P(z|X)Pc(g|z),	(45.1)
где P(z|X)— одинакова для всех Р (||Х) &3\. Отсюда немедленно сле-
дует, что апостериорное распределение X одинаково для всех элементов 3\
и, следовательно, априорная неопределенность является несущественной.
Таким образом, отыскание инвариантной достаточной статистики фак-
тически эквивалентно устранению первоначально имевшейся априорной
неопределенности.
К сожалению, общие методы отыскания инвариантных или прибли-
женно инвариантных достаточных статистик не разработаны, а сущест-
вование строго инвариантных достаточных статистик — довольно редкое
явление. Тем не менее это понятие полезно, поскольку его использо-
вание приводит к довольно быстрому решению достаточно сложных за-
дач, среди которых выделяются двухальтернативные задачи с так назы-
ваемой свободной альтернативой. Этот термин соответствует тому слу-
чаю, когда одна из альтернативных ситуаций как-то задана (полностью,
66
или частично), а о второй вообще ничего не известно и она может быть
совершенно произвольной (естественно, не совпадающей с заданной).
Фактически подобные задачи отражают широкий круг практических
потребностей, связанных с нахождением правил проверки какого-либо
однозначно или многозначно заданного гипотетического предположения,
когда альтернативой этому предложению может быть все, что угодно.
Рассмотрим для примера задачу, когда по результатам наблюдения
х = х(/) в дискретных точках (v=l....... п) требуется решить, содер-
жит ли x(t) сигнал из заданного класса или нет. Пусть заданный
класс удовлетворяет следующему описанию
i
St:	= S «<A(O=«Tf(O.	(4-5.2)
i=i
где ft (?) — известные функции времени; щ — произвольные неизвестные
коэффициенты: f (t)={fi (7), ..., a={ai, ..., <xj—соответствующие
векторы (столбцы) неизвестных коэффициентов и известных функций,
т — знак транспортирования '(ат — вектор-строка). Данные наблюдения
х представляют собой последовательность
-Vv = ^(O = s(^) + «v. V=1.... п.	(4.5.3)
где nv — гауссова некоррелированная помеха с дисперсией о2 и нулевым
математическим ожиданием. Альтернативой (4.5.2) может быть со-
вершенно произвольный сигнал.
Функция правдоподобия при условии, что s(t) принадлежит классу
(4.5.2) (будем считать, что этой ситуации соответствует (Х=1), имеет
значение
п
Pt (х) = К ехр {	£ [л - аД О2}	(4.5.4)
^=1
(А — несущественный нормировочный множитель) и зависит от сово-
купности I неизвестных параметров <x={<xi, .. „а;}. Значение функции
правдоподобия для альтернативной ситуации (А=2) равно
п
Р2 (х) = Дехр J [х -s(Q]2|,	(4 5.5)
где s(t)—совершенно произвольный сигнал, и фактически вообще не-
известно из-за неопределенности этого сигнала. Таким образом, мы име-
ем двухальтернативную задачу с весьма большой априорной неопреде-
ленностью.
Из-за крайней неопределенности во второй ситуации очевидно, что
никакой нетривиальной достаточной статистики, кроме последователь-
ности {хч}, для этой ситуации не существует. Для первой же ситуации
существует весьма экономная (одномерная) достаточная статистика,
распределение вероятности которой не зависит от неизвестных парамет-
ров а, создающих априорную неопределенность в этой ситуации. Дей-
5*	67
ствительно, (4.5.4) можно преобразовать к виду
п
Р. (х I а) = К ехр |	£ [xv _ (Vf (Q]2 j =
,	V—1
n
= A exp {[а — а]т А [а — ц] — J] k, — aTf(Q]2}. (4 5 6)
v=i
где
«= A-’f 4s)a;	(4.5 7>
>==1
— оптимальная линейная оценка вектора a;
- A=£f(QfTW	(4.5.8)
-=л
— положительно определенная матрица порядка (/XZ). Нетрудно убе-
диться, что распределение вероятности одномерной статистики
2 = 3 [-4 — «TfO2	(4 5 9)
V=1
не зависит от значений неизвестных параметров а, поэтому величина z
из (4.5.9) обладает свойством инвариантности и всякое правило реше-
ния, использующее только эту величину, будет иметь вероятность оши-
бочно отвергнуть исходную гипотезу о принадлежности сигнала s(Z)
классу (4.5.2), одинаковую при любых значениях а, т. е. для всех пред-
ставителей этого класса.
Остальные I статистик а,,..., az, через которые совместно с z выра-
жается функция правдоподобия (4.5.6), несут информацию только о зна-
чениях неизвестных параметров а, уточняя тем самым вид сигнала s(Z)
в пределах класса (4.5.2). Исходя из этого, а также из полной неопре-
деленности для альтернативной ситуации, кажется достаточно правдо-
подобным, что оптимальное правило решения о соответствии сигнала
s(Z), наблюдаемого в смеси с гауссовой помехой, заданному классу
(4.5.2) должно использовать только статистику z из (4.5.9). Разными
способами, например на основе понятия равномерно наиболее мощного
критерия для гипотезы со свободной альтернативой [19], применением
минимакса и развиваемыми ниже методами, можно доказать, что это
действительно так, и оптимальное правило принятия решения следую-
щее: принимается, что сигнал s(Z) принадлежит классу (4.5.2), если
г = 2 К-О2<С,	(4.5.10)
w=l
где С — некоторый порог сравнения, который определяется из дополни-
тельных соображений, например, так, чтобы вероятность ошибочно от-
вергнуть исходную гипотезу имела заданное значение (в силу инвари-
антности статистики z одинаковое для всевозможных значений а=
={«i,..., <хг}).
Аналогичными свойствами строгой или приближенной инвариант-
ности и достаточности обладают статистики, формируемые при исполь-
68
зовании известных непараметрических критериев согласия Колмогорова,
Смирнова, Мизеса, хи-квадрат и т. д. [8], применяемых в задачах со
свободной альтернативой для проверки гипотезы о соответствии данных
наблюдения заданному распределению вероятности либо о его неиз-
менности для двух совокупностей наблюденных данных. Исследованию
свойств этих статистик посвящена обширная литература, поэтому огра-*
ничимся только упоминанием о них.
Приведем еще пример, иллюстрирующий свойство достаточных ста-
тистик, связанное с возможностью установления структуры правила ре-
шения— фукциональной зависимости между и и х, о коюрой шла речь
выше. В гл. 2 при обсуждении понятий полного класса решающих пра-
вил и достаточной статистики уже приводились некоторые примеры для
случая, когда множество решений дискретно. Теперь рассмотрим случай
непрерывного множества решений U, когда требуется оценить значение
вектора X={Xi, ..., Хга} по результатам наблюдения вектора х={%1, ..., хп},
который представляет собой аддитивную смесь X с вектором помехи
|={£1, ..., сп}. Решение u=u(x) является вектором u(x)={u!(x), ...
..., un(x)}, представляющим собой оценку вектора X. Пусть | и X имеют’
гауссовы распределения вероятности с корреляционными матрицами
(известными либо неизвестными) R? — ||7?t || и R. = ||	|| соответ-
ственно. Тогда плотность совместного распределения вероятности
Р (»• Ч=₽ (х IЧ Д (Ч= 	,,t «Р {—Г (X - Чт X
/лг1 <х ”2)) r, “р {-4- iTRr‘ ф |4Л1>>,
)
где det R? — определитель матрицы Rt; R,-1 —матрица, обратная R, (ана-
логично и для R.)
Преобразуя выражение (4.5.11), получаем
/V ’	(2n)"det1/2 det1/2
Хехр j - -L(X-Cx)t(R-i4-R71)(X-Cx)|x
Хехр / —Lхт [Rf1 - Ст (R-1 + R;1) С] х I
(4.5 12)
~л апостериорную плотность вероятности
det1/2 (R->+R-i)
Л(М	(2л;)"/2
Xexpj-^-CxHR^ + Rr1) (X-Cxlj.
где С= ||С || — матрица, определяемая из уравнения
C(R, + RJ = RX.
Из (4.5.13) следует, что вектор
Х= Х(х)= С х,
(4.5.13}
(4.5.14)
(4.5.15)
69
представляющий собой линейное преобразование вектора х с матрицей
С из (4.5.14), является достаточной статистикой (поскольку его раз-
мерность совпадает с размерностью вектора X, он является также мини-
мальной достаточной статистикой). Поэтому всякое оптимальное реше-
ние— оценка и(х) вектора X для какой-либо функции потерь g(u, X) —
обязательно является функцией только этой достаточной статистики.
Фактически, как уже отмечалось в гл. 2, при слабых ограничениях на
функцию потерь g(u, X) оптимальная оценка и(х) совпадает с Х(х) =
=Сх из (4.5.15). Таким, образом, если корреляционные матрицы
иКхизвестны, т. е. мы имеем чисто байесову задачу, то нахождение до-
статочной статистики (4.5.15) уже означает полное решение задачи син-
теза оптимальной процедуры оценивания (фильтрации, если индекс v=
=1,...,и имеет смысл дискретного времени, а Я и значения под-
лежащего выделению и наблюдаемого процессов в дискретные моменты
времени). Если же Rt и R. полностью или частично неизвестны, то
выражение (4.5.15) для достаточной статистики все равно чрезвычайно
полезно в том смысле, что устанавливает структуру оптимальной оценки
как линейного преобразования вектора х. Это значительно сокращает
выбор в условиях априорной неопределенности, поскольку общий вид
оптимального алгоритма оценивания ясен и задача заключается только
в правильном выборе коэффициентов линейного преобразования (4.5.15).
Некоторые из приведенных выше примеров свидетельствуют о том,
что для нахождения байесова правила решения не обязательно тре-
буется полное знание распределений вероятности х и X, а нечто мень-
шее, что дает возможность найти минимум апостериорного риска. Чтобы
определить, какие же конкретные сведения об этих распределениях дей-
ствительно необходимы для нахождения оптимального правила реше-
ния, полезно использовать понятия достаточной статистики. Поясним
это на примере [7, 18]. Пусть ставится задача двухальтернативного ре-
шения— обнаружения факта наличия сигнала s(t) по результатам на-
блюдения в дискретные моменты времени t4 его смеси с некоторой не-
коррелированной в различные моменты времени помехой. Данные
наблюдения представляют собой последовательность {х\,..., хп}, которая
может быть порождена либо только одной помехой, либо смесью сиг-
нала и помехи. Будем считать, что распределение вероятности помехи
и способ ее комбинирования с сигналом произвольны.
В соответствии с этим любая из величин имеет плотность рас-
пределения вероятности Ро (xv) при отсутствии сигнала и Р (xj s.) при
его наличии, где sv = s(zj, а Р0(х) и Р (х | s) — некоторые произвольные
плотности вероятности.
Составляя отношение правдоподобия, которое является минималь-
ной достаточной статистикой для рассматриваемой двухальтернативной
задачи, с учетом независимости значений получаем
‘4'51S>
»=1
Естественно, что в общем случае для реализации оптимального алгорит-
ма обнаружения, который состоит в сравнение с порогом С отношения
правдоподобия, требуется знание функций P(x|s) и Ро(х), т. е. ста-
70
тистики помехи и способа комбинирования сигнала с помехой. Предпо-
ложим теперь, что нас интересует часто встречающийся на практике
асимптотический случай слабого сигнала. Тогда с учетом равенства
Р(х|О)=Ро(х)
Л12(х) = ехр {	(4 5 17)
L=i	’ /	' v=i	/
где

(4 5 IF)
Отношение правдоподобия А1г(х) является взаимооднозначной функци-
ей величины
z(x) = 2	(4.5 19)
V=I
которая также является минимальной достаточной статистикой в рас-
сматриваемом асимптотическом случае; оптимальный алгоритм обнару-
жения заключается в простом сравнении с порогом величины г(х). Для
реализации этого алгоритма нужно знать лишь первую производную
логарифма условной плотности вероятности P(x|s) при s=0, т. е. функ-
цию f(x) из (4.5.18), которая определяет вид нелинейного преобразова-
ния наблюдаемых значений xv. Другие более детальные сведения о виде
распределений Ро(х) и P(x|s) для нахождения оптимального алгоритма
просто не требуются, поэтому неопределенность, выходящая за пределы
знания вида функции f (х), не является существенной.
Аналогично можно рассмотреть большое количество частных, но
практически важных задач, однако даже приведенные выше простые
примеры достаточно ясно иллюстрируют значение общего подхода, осно-
ванного на выделении достаточных статистик и исследовании их струк-
туры.
Глава 5
МИНИМАКСНЫЙ ПОДХОД
5.1.	МИНИМАКСНОЕ ПРАВИЛО РЕШЕНИЯ ПРИ НАЛИЧИИ
АПРИОРНОЙ неопределенности относительно параметров X
Минимаксный подход является удобным, а иногда и единственным
средством получения правила решения и(х) в тех случаях, когда апри-
орная неопределенность распространяется только на распределение ве-
роятности параметров X, не наблюдаемых непосредственно, но влияю-
щих на последствия от принятия решения. Особенно велико его значение
для ситуаций, когда данные наблюдения х не содержат сведений об
априорном распределении X. Это имеет место, если эти данные получены
для единственного значения X или еще дополнительно для нескольких
известных значений X, но так, что относительная частота различных
значений X не связана с распределением р(Х). Конечно, мини-
максный подход имеет более широкое значение и может применяться
71
и тогда, когда априорная неопределенность распространяется на статис-
тическое описание и данных наблюдения х и параметров X, однако ого-
воренный выше случай имеет некоторую специфику, которая заслужива-
ет отдельного рассмотрения.
Если априорная неопределенность относится только к X (априорное
распределение X с плотностью р(Х) полностью или частично неизвест-
но), то для всякого правила решения и(х) средний риск будет прини-
мать различные значения, соответствующие разным р(Х) из множества
5®0, содержащего все возможные при данном уровне априорной неопре-
деленности распределения X. Если к тому же данные наблюдения х не
содержат сведений о распределении X, то класс минимаксных правил
решений может быть сужен до множества t/o(x) всех байесовых реше-
ний, соответствующих всем возможным априорным плотностям вероят-
ности р (X) е.^о- Это утверждение следует из теорем о полноте байесова
класса решений [9] и условий их справедливости, которые в данном
случае выполняются.
При этом также имеет место равенство минимакса и максимина для
риска /?(и(х), р), т. е.
max min 7?(u(x), />) = min max P(u(x), p),	(5.1.1)
(u(x))	(u(x)) (ps?,)
откуда следует, чго отыскание минимаксного правила решения можно
свести к процедуре отыскания наименее предпочтительного распределе-
ния вероятности с плотностью ^(XJe^’o и последующему нахождению
байесова правила решения относительно этого априорного распределе-
ния. (Существенно отметить, что в отличие от общего случая (гл. 4)
максиминная задача может решаться не относительно общих мер р(р),
заданных на множестве 3 возможных распределений вероятности
{Р(х|Х), р(Х)}, а непосредственно относительно р(Х), заданных на мно-
жестве возможных значений X.)
5.2.	ПОЛНОЕ НЕЗНАНИЕ АПРИОРНОГО РАСПРЕДЕЛЕНИЯ %
Рассмотрим минимаксное правило решения для случая, когда какие-
либо сведения о статистических свойствах X отсутствуют вообще. При
этом 30— множество любых неотрицательных функций, подчиненных
условию нормировки на множестве возможных значений X. 
Для нахождения минимаксного правила в этом случае полной апри-
орной неопределенности относительно X можно воспользоваться теоремой
А. Вальда [9], согласно которой минимаксное правило решения им(х)
является байесовым относительно некоторого наименее предпочтитель-
ного распределения вероятности с плотностью р* (X) и обладает тем
свойством, что величина условного риска r(uM(x), X) (2.11) для этого
решения одинакова при всех значениях X, для которых р*(Х) отлична
от нуля.
Рассмотрим в качестве примера достаточно общий случай, когда
множество возможных значений X непрерывно и представляет собой все
пространство некоторой произвольной размерности (если X={Xi, ...
..., Хп} — «-мерный вектор, то это множество — «-мерное евклидово
пространство). Множество решений U также непрерывно и имеет ту
же структуру, т. е. решение u=u(x) является оценкой X.
72
Пусть функция потерь g(u, к) имеет вид
Я(и« k) = g(u —k)=g(k —и),	(5.2.1),
т. е. является симметричной функцией разности и—X, и пусть существу-
ет такая достаточная статистика z=z(x), для которой плотность рас-
пределения вероятности выражается как
P(z|k) = P(z—к),	(5.2.2).
где Р — симметричная функция своего аргумента. Апостериорный риск,
для какого-либо произвольного распределения вероятности к с плот-
ностью р (к) вычисляется по формуле
P(u, x) = P(u, z (х)) ~ Я (u, z) — jg(u — k)p(kjz)dk =
= f g (и — к) - — (г~Х) /,(Х)--dk.	(5.2.3)
J	j Р(с — к) />(>-) di.
Предположим теперь, что априорное распределение вероятности к
равномерно на всем множестве значений к. Тогда с учетом свойств,
функций g и Р апостериорный риск
Я (u, z)^=fg(u —k) -/(z~K)-----dk= Cg(k'—u-j-z)P(k')dk'.	(5.2.4)
J	jP(z —k)dk J
Минимум апостериорного риска достигается при u—z=0, в чем легко,
убедиться, например, дифференцированием (5.2.4) по компонентам век-
тора и. Таким образом, при данном априорном распределении опти-
мальное правило решения и(х) имеет вид
u(x) —z=z(x).	(5.2.5)
Найдем условный риск для этого правила. Поскольку и (х) зависит от х
только через z=z(x), то
r(u(x), k)=^g(u, k)P(x|k)dx = fg(u — k)P(z — k)dz (5.2.6)
или с учетом u(x)=z=z(x)
r(u(x), k)==jg(z— k)P(z— k)dz= j g(z')P(z')dz',	(5.2.7)
откуда следует, что условный риск не зависит от к, равномерное рас-
пределение к наименее предпочтительно, а правило решения (5.2.5) яв-
ляется минимаксным. ,
С другой стороны, из (5.2.2) следует, что
max P,(z| k)=?maxP(z— к)	(5.28)
(к)	(к)
достигается при k=z, т. е. достаточная статистика z=z(x) является
оценкой максимального правдоподобия параметра к, которая может
быть найдена п^гем м^сидоизац^и исходной функции правдоподобия
Я(х|к),т. е. из уравнения
max Р(х [к)=Р(х lz),	(5.2 9)
; ' (к),'	'	,	.
7а
которое с точностью до обозначений совпадает с уравнением (2.2.2), при-
веденным в гл. 2 в качестве уравнения, определяющего приближенное
байесово решение задачи оценки при произвольном невырожденном
распределении параметра Z и высокой информативности данных наблю-
дения х относительно Z в указанном в гл. 2 смысле. Теперь же мы убе-
дились, что оценка максимального правдоподобия является также ми-
нимаксной оценкой для произвольной симметричной функции потерь.
Конечно, строго говоря, это имеет место, когда плотность распределения
вероятности оценки максимального правдоподобия (x)=z(x) име-
ет вид (5.2.2) (заметим, что это условие слабее, чем предположение
о существовании эффективной оценки параметра Z, и выполняется
в большинстве случаев), однако в действительности оценки максималь-
ного правдоподобия обладают минимаксными свойствами в более широ-
ких условиях.
5.3.	ОГРАНИЧЕННЫЕ СВЕДЕНИЯ О МНОЖЕСТВЕ ДОПУСТИМЫХ ЗНАЧЕНИЙ
Аналогичные предыдущим результаты получаются в том случае,
когда априорная информация относительно Z ограничена знанием толь-
ко множества Л допустимых значений Z. При этом наименее предпочти-
тельное распределение, естественно, обращается в нуль для ZeA, а ми-
нимаксное решение в довольно широких условиях совпадает с оценкой
максимального правдоподобия, вычисленной при нахождении максиму-
ма функции правдоподобия по ограниченному множеству значений леЛ.
Рассмотрим для примера достаточно важный и широко распространен-
ный на практике случай, о котором шла речь в § 3.1, когда допустимое
множество значений Z={/i> •••, Хп} ограничено совокупностью гиперпо-
верхностей в /i-мерном пространстве, задаваемых с помощью соотноше-
ния
X=f(a),	.	(5.3.1)
где f(a)—некоторая векторная функция f (a)={fi (a), ..., fn(a)} вектор-
ного параметра a={ai, ..., am}, (/n<n), который может принимать лю-
бые значения в m-мерном евклидовом пространстве.
В этом случае функция правдоподобия для интересующих нас зна-
чений ХеЛ, где множество Л задается с помощью (5.3.1),
Р(х | Х) = Р(х |X = f (a)) = Px (х | a)	(5.3.2)
является фактически функцией только параметра а. Подобно этому
функция потерь
f(u, X) = g(u, l=f(a)) = g,(u, а)	(5.3.3)
тоже является функцией параметра а. Поэтому, если для параметра а
существует такая достаточная статистика z=z(x), что аналогично
(5.2.2)
P(z|a) = P(z —а)	(5.3.4)
и для решения u(x)=f(z(x)) функция потерь (5.3.3) может быть пред-
ставлена в виде
Я.(и- a) = g1(u = f (z), a) = g,(z, v) = gt(z — a),	(5.3.5)
74
где gi(z—а)—симметричная функция разности z—а, то совершенно
аналогично § 5.2 доказывается, что правило решения
u = f(z(x))	(5.3.6)
является минимаксным правилом — минимаксной оценкой вектора X
(соответственно достаточная статистика z(x) является минимаксной
оценкой векторного параметра а). Наименее предпочтительное распре-
деление X в данном случае — равномерное распределение на множест-
ве Л, заданном соотношением (5.3.1).
Достаточная статистика z(x), как следует из (5.3.4), является
также оценкой максимального правдоподобия а и может быть найдена
из соотношения
шах Р(х | X) = max Р(х | Х = f (а)) = max (х | а) = Рг (х ] z), (5.3.7)
(ХеЛ)	(а)	(а)
в котором максимизация по а производится для всех возможных зна-
чений а, принадлежащих m-мерному евклидову пространству.
Важным частным случаем рассматриваемой задачи является слу-
чай, когда множество Л — совокупность некоторых гиперплоскостей
«-мерного пространства X. При этом функции f(a) линейные, т. е.
X = Fa,	(5.3.8)
где F=||Ftfell — некоторая матрица порядка (пХт), а оптимальная
минимаксная оценка X имеет вид
u (х) = X (х) = Fz (х) = Fa* (х),	(5.3.9)
где а*(х)—оценка максимального правдоподобия параметра а.
Представление (5.3.5) для функции потерь в этом случае автома-
тически имеет место, если g(u, X)—произвольная симметричная функ-
ция разности и—X.
Ход рассуждений при получении решений (5.3.6), (5.3.9) совсем
не требовал, чтобы пространство значений X было конечномерным.
Очевидна, полученные результаты справедливы и тогда, когда это
пространство имеет более сложную структуру. Например, пусть нас
интересует задача оценки функции Х(/) на интервале (Л, t2), причем
этот интервал может быть и бесконечным. В этом случае множество
значений X — функциональное пространство. В свою очередь, функция
Х(/) может быть векторной, т. е. Х(/) ={X(1>(Q, ..., Х(г)(/)}, где I — чис-
ло компонент этой векторной функции. Ограничения на множество'
возможных значений X (5.3.1) при этом принимают вид
X(/) = f(f, a),	(5 3. ГО)
где f — скалярная либо векторная (f={f<1>, ..., Г(г)}) функция времени и
параметра a={ai, ..., am}, а решение — оценка функции Х(/):
u=X(0 = f(t z(x))±=f(t a*),	(5.3.11)
где a* = a*(x) =z(x)—оценка максимального правдоподобия для
параметра а, получаемая из соотношения
шах Р (х | X = f (t, a)) = шах Pt (х | a) = Р1 (х | а*).	(5 3.12)
(а)	(а)
75
Таким образом, решение (5.3.11) дает оптимальный минимаксный алго-
ритм фильтрации (построения оценки функций времени) для широкого
класса задач, в которых искомые в процессе фильтрации функции мо-
Тут быть описаны с помощью зависимости (5.3.10), содержащей произ-
вольное число полностью неизвестных параметров {cti,..., ато}- Примеры
подобного описания на практике весьма многочисленны: траектория
движения объекта, для которого дифференциальные уравнения движе-
нйя известны, а начальные условия неизвестны; процессы, соответству-
тощие уравнениям движения, которые содержат какие-либо неизвест-
ные параметры или коэффициенты, и т. д.
5.4.	ОГРАНИЧЕННЫЕ СВЕДЕНИЯ О СТАТИСТИЧЕСКИХ ХАРАКТЕРИСТИКАХ
Рассмотрим теперь случай, когда в соответствии с § 3.1 ограничен-
ные априорные сведения о X заключаются в знании ряда статистических
характеристик X (а не полного распределения вероятности), таких, как
среднего значения, дисперсии, корреляционной матрицы и т. д., т. е. ма-
тематических ожиданий некоторой совокупности функций X. Класс
возможных распределений вероятности X в этом случае определен
с помощью ограничений (3.1.4), где
=	... а={а„..., ak},	(5.4.1)
индекс k пробегает столько значений, сколько задано условий. В осталь-
ном же плотность распределения р(Х) остается произвольной.
Для отыскания минимаксного правила решения с учетом заданные
ограничений на класс возможных распределений вероятности X во>
пользуемся соотношением (5.1.1) и найдем наименее предпочтительное
распределение из этого класса. Тогда байесово правило решения для
этого распределения X будет минимаксным. Ограничимся случаем не-
прерывных множеств X и и.
Пусть п = по(х, р) — байесово правило решения относительно неко-
торого априорного распределения X с плотностью р(Х)е^0, получаемое
с помощью обычной процедуры минимизации среднего риска 7?(п(х), р).
Используем для отыскания наименее предпочтительного распределения
метод Лагранжа, позволяющий учесть ограничения (3.1.4) на класс
допустимых распределений вероятности. При этом плотность наименее
предпочтительного распределения р*(Х) определяется из условия мак-
симума функционала:
7(р) = /?(и0(х, р), />)—х0 J/>(X)dX—2й* Jf* (^)/’01)^Х =
= J[Jg(u, X)P(x|X)rfx-x0-2>MMW)^.	(5.4.2)
It
где п = по(х, р), а х0, xfe— неопределенные множители, выбор которых
должен обеспечить выполнение заданных ограничений (3.1.4) на р(Х),
т. е.
J р(X) t/X = 1; j’ fk (X)p(X)dX = aA,	(5.4.3)
(ak— заданные значения математических ожиданий функций f&(X)).
713
Вычислим вариацию функционала 1 (р) по функции р(Х):
М (Р) = J [ j g (“> М Р (х | A) dx — z, —
— 2х*/* (М] Sg(Z)dX-(- j {J Vug(u, Х)Р(х | X)/?(X)dX| 6puodx, (5.4.4)
k
где 6p (X) — вариация функции p(X); 6pu0 — вариация решающей функ-
ции u0(x, p) по функции p(X), которая, очевидно, не зависит явно от X,
а зависит только от х; VMg(u, X) —градиент функции потерь по реше-
нию и. Поскольку в (5.4.2), (5.4.4) u = u0(x, р), т. е. является байесовой
решающей функцией относительно распределения X с плотностью р(Х)
и минимизирует средний риск
7?(и(х), р)= (4 g (и, Х)Р (х | X)/? (X) dxdX =
= Jj^g(u, Х)Р(х | X)/?(X)dxj dx,
70 из условия обеспечения минимума 7?(u(x), р) для этого решения
следует выполнение равенства
J Vug(u> Z)P(x |X)/?(X)dX=O.	(5.4.5)
Поэтому второе слагаемое в (5.4.4) обращается в нуль при любой р(Х).
Из условия обращения в нуль вариации среднего риска (5.4.4) следует
уравнение для условного риска
r(u(x), X)=j g(u, 1) Р(х |»>х =х0+ 2x*f*(z)>	(5-4-6)
k
которое позволяет сформулировать следующее правило нахождения
наименее предпочтительного распределения:
— для того чтобы распределение с плотностью вероятности р(Х) =
= р*(Х) было наименее предпочтительным в классе распределений &>0,
удовлетворяющих заданным ограничениям (5.4.3), условный риск для
байесова правила решения относительно этого распределения должен
иметь функциональною зависимость от X, определяемую выражением
(5.4.6).
Это утверждение обобщает требование независимости условного
риска от X, вытекающее из теоремы Вальда, при полном отсутствии
априорных сведений о X. Последнее является естественным частным
случаем (5.4.6), когда ни одной функции /'й(Х) не задано и сумма по k
в правой части (5.4.6) отсутствует. Конкретный вид наименее предпо-
чтительного распределения (плотности р* (X)) и соответствующего ему
минимаксного правила решения зависит от заданных ограничений,
а также от вида функции правдоподобия Р(х|Х) и функции потерь
g(u, X), оДнако соотношение (5.4.6) позволяет найти р*(Х) и минимакс-
ное правило решения для многих важных с практической точки зрения
случаев.
Рассмотрим один из таких примеров, когда X=(Xi, ..., Хп) являет-
ся п-мерным вектором, решение u={ui( ..., ип}‘—его оценкой и задана
корреляционная матрица X
R = A1{XV} = ||^M}II = HM’
а в остальном распределение X неизвестно и может быть произвольным.
77
При этом f (1) — {lvl } — совокупность всех произведений 1, и 1 (у,
га), а уравнение (5.4.6) для условного риска принимает вид
r(u, 1) = J g(u, k)^(x |Ь)<1х = и. + 2\Л*|Л,	(5 4 7)
*.Р-
где множители хв и xvpL (v, р.= 1, п) определяются из условий
J/>*(X)dX=l; Jv^*(X)di = Rvii.	(5.4.8)
Таким образом, оценка u = u(x), соответствующая ограниченным
априорным знаниям только корреляционной матрицы Z, является опти-
мальной, если она байесова относительно априорного распределения
вероятности Z, для которого корреляционная матрица равна заданной,
а условный риск для этой оценки представляет собой сумму постоянной
величины и квадратичной формы Z вида
ZTxZ= Vx 11.
/ I vp. и м.
v,p.
Покажем, что при некоторых предположениях наименее предпочти-
тельным является нормальное распределение Z. Пусть функция потерь
квадратичная, т. е.
g(U, Х) = (и — l)Tg(u — X),
(5 4.9)
где g = |lg ||— произвольная матрица, и пусть существует достаточная
статистика z = z(x), для которой хотя бы приближенно
det1/2 All	1
Р (z 1А) = Р (г - X) = ехр { - 4 (z - Z)T A (z — Х)|> (5 4.10)
где А= ЦД ||, det А — определитель матрицы А (При этом без ограни-
чения общности можно полагать Af{Z} = 0) Достаточная статистика
z(x) является оценкой максимального правдоподобия вектора X, а пред-
ставление (5 4 10) требует, чтобы она была несмещенной (Af{z}=Z) и
распределена нормально (хотя бы приближенно). Матрица А
в (5.4.10)—это так называемая информационная матрица Фишера,
которая определяется следующим образом.
А = М 1 d-lnI k) а ln ?(х IХ) I — — д? J 4* 1 Х)} > (5.4.11)
где математическое ожидание вычисляется при фиксированном Z. Она
характеризует рассеяние оценки максимального правдоподобия и потен-
циально достижимую точность оценивания Z в отсутствие всяких апри-
орных сведений о Z. Обратная ей матрица А-1 является корреляционной
матрицей ошибок для эффективной оценки Z, которой при данном пред-
ставлении P(z|Z) является оценка максимального правдоподобия — до-
статочная статистика z(x).
78
Рассмотрим нормальное распределение вероятности 1 с корреля-
ционной матрицей R и найдем для него байесову оценку. Средний риск
в этом случае равен
Г	dpt’/2 All	I
R (u) = I I (и - Ч' 8 (и - Ч	ехр { —Г (г - »)' A (z - Ч) X
<5'4J2)
где R1— матрица, обратная R, и в силу того, что z = z(x) является
достаточной статистикой и оптимальное решение u = u(x) может зави-
сеть от х только посредством z = z(x), осуществлен переход от полной
совокупности данных наблюдения х к достаточной статистике z — оцен-
ке максимального правдоподобия вектора Z. Минимум среднего риска
(5.4.12) достигается, если и является условным (при заданном значе-
нии z) математическим ожиданием X, т. е. байесово правило решения
имеет вид
Г f	1	.	1	1
\ 1 ехр <-у- (z — >.)т A (z — >.) — — MR -11! dl
u = —-------------j---------------------j--------j----= Cz, (5.4.13)
J exp |--2~ (z — ^)T A (z — 1)-2~ 1TR -1 1 j* dl
где матрица C = ]|C || определяется уравнением
C(R + A-*) = R.	(5.4.14)
Найдем теперь условный риск для этого правила решения:
г (и, л) = J g (и, Z) Р (z | 7) dz = J (и — л)т g (и — л) Р (z [ 7) dz —
= j (Cz — xy g (Cz — А) (2тг)—n/2 det1/2 A exp |--~ (z — ty* A (z—Z) J. dz =
= f (Cq-CX-/.)T g (СЦ-СХ—I) (2n)~nl2 det1/2 A exp J - — ^Ag J dt, =
J	I	I
= j № gCg (2^)-nl2 det1/2 A exp <[ - 4-	+
-4-V(C — I)Tg(C — I)Z = x, + VzZ,	(5.4.15)
где I—единичная матрица; >c = |[x |] = (С—I)Tg(C—I), a x0=SpCTgCA 1—
след матрицы CTgCA-’ ^SpK = Sp ||KVJ| —	.
Как видно из (5.4.15), условный риск имеет требуемый вид (5.4.7).
Это означает, что нормальное распределение вероятности является
наименее предпочтительным, а сама оптимальная оценка имеет вид
(5.4.13), т. е. является линейным преобразованием оценки максималь-
ного правдоподобия. Матрица линейного преобразования С зависит от
79
корреляционной матрицы R вектора X и корреляционной матрицы А-1
ошибок для оценки вектора X методом максимального правдоподобия.
Минимаксный риск для заданного класса распределений вероят-
ности X имеет следующее значение:
min max 7?(u, p) = max min/?(u, р) = SpCA~*g, (5.4.16)
(u)	o) (u)
где SpCA-1g— след матрицы CA~!g, т. e. сумма ее диагональных
элементов. Он всегда меньше минимаксного риска при полном отсутст-
вии сведений об априорном распределении X, который в условиях спра-
ведливости (5.4.10) равен SpA-1g. Значение риска (5 4.16) для правила
решения (5.4.13) достигается, очевидно, также при любом распределе-
нии р(к), для которого корреляционная матрица равна R.
Представление функции правдоподобия (5.4.10) заведомо выполняется
в том случае, когда х — {хг.. хп} и xv=Zv4-^, а — совокупность
нормальных случайных величин с корреляционной матрицей R^=- А"1, т. е.
если данные наблюдения х представляют собой аддитивную смесь век-
тора X, с гауссовой помехой §={5lf..., $„}•
Если при этом известна корреляционная матрица X, то этому слу-
чаю соответствует известная постановка задачи линейной фильтрации.
Ее винеровское решение имеет вид (5.4.13), (5.4.14), а полученные выше
результаты позволяют установить минимаксный смысл этого решения:
если никаких других сведений о X, кроме корреляционной матрицы, нет,
то никакого лучшего (в смысле квадратичной функции потерь) по срав-
нению с линейным оператором (5.4.13) оператора фильтрации не су-
ществует и только более подробные статистические сведения могут
привести к изменению структуры оптимального оператора фильтрации.
Можно проиллюстрировать использование уравнения (5.4.6) для
нахождения минимаксных оптимальных оценок еще большим количест-
вом случаев. Например, пусть индекс v для и имеет смысл
дискретного времени и для всех v=2, ..., п заданы средние квадраты
изменения за один шаг, т. е.
fv(X) = (Z,-Zv_I)!;	(5.4.17)
При переходе к непрерывному времени это будет означать задание
среднего квадрата производной процесса Х(/) для любого момента вре-
мени в интересующем нас интервале.
Уравнение (5.4.6) при этих ограничениях на распределение X при-
нимает вид
г (и, Х) = х0+2 х (1, —\_j)2.
v=2
Если задан второй момент для начального значения о21=Л1{Х21}, то
к правой части этого выражения следует прибавить еще один член
%i%2i. Аналогично рассмотренному выше случаю можно убедиться, что
при этих ограничениях наименее предпочтительным является распре-
деление для марковской случайной последовательности {Xi, ..., Хп}
с переходной плотностью вероятности
(5418>
80
и с равномерным распределением для начального значения Ль когда
величина o2i=A4{X2i} не задана, либо нормальным распределением
вероятности для Л1 с дисперсией ст2ь если последняя задана. В обоих
случаях оптимальная минимаксная оценка (оптимальный алгоритм
фильтрации) находится без труда с помощью достаточно разработан-
ных для подобных задач методов получения байесовых оценок.
5.5.	ЗАМЕЧАНИЯ О ХАРАКТЕРЕ НАИМЕНЕЕ ПРЕДПОЧТИТЕЛЬНОГО
РАСПРЕДЕЛЕНИЯ
Во всех предыдущих примерах наименее предпочтительное распре-
деление вероятностей X обладает характерной особенностью — она
является распределением с максимальной для заданного класса
энтропией, т. е. его плотность р*(Л) удовлетворяет соотношению
— f 1п//*(Л)/?* (X)dX=max Г—[ In р (Л) р (X) dxl.	(5.5.1)
J L J J
Этим свойством обладает равномерное для всех значений X распределе-
ние при полном незнании статистики X, равномерное на множестве
значений A:X=f(a)—распределение при ограничении допустимых
значений X совокупностью гиперповерхностей X=f(a), нормальное рас-
пределение при задании только корреляционной матрицы и т. д.
Можно высказать гипотезу, что и в других случаях наименее пред-
почтительным распределением является распределение с максимальной
энтропией. Хотя доказать такую гипотезу или установить достаточно
общие условия, при которых она справедлива, довольно затруднитель-
но, однако она обладает большой степенью правдоподобия. Поэтому да-
же несколько вольное ее использование для более широкого круга задач,
в которых прямо найти наименее предпочтительное распределение не
Удается, представляется довольно конструктивным. Это конструктивное
содержание заключается в несравнимо большей простоте решения-
уравнения (5.5.1) для нахождения распределения с наибольшей энтро-
пией.
Воспользуемся этой гипотезой для нахождения решения одной
задачи распознавания образов при полном отсутствии априорной ин-
формации, в том числе и в отношении статистического описания данных
наблюдения х. Пусть наблюдается некоторая совокупность признаков
двух объектов, так что х={хь х2}, где Xi— наблюдаемая совокупности
признаков первого объекта, х2— второго. Сами объекты могут быть
либо одинаковыми (обозначим это состояние Л=1), либо как-то раз-
личаться (Х=2), и на основании данных наблюдения {xi, х2} нужно
решить, какое именно состояние имеет место, т. е. принять одно из двух
возможных решений- и\— объекты одинаковы, и2 — объекты различны.
При этом будем считать, что априорные вероятности состояний
p(X=l)=Pi и р(Х=2)=Р2 = 1—Pi и распределения вероятности при-
знаков х (функция правдоподобия) совершенно неизвестны. Несмотря
на такую Крайнюю степень априорной неопределенности, задача все-та-
ки имеет решение, поскольку она Содержит некоторую, правда, весьма
нечеткую априорную информацию, скрытую в самой ее постановке,—
Предположение о том, что статистические свойства совокупностей xi re
х2 могут быть либо различными, лйбо одинаковыми.
6—899	81
Предположим, что все наблюдаемые признаки объектов имеют
только дискретные значения. Тогда можно занумеровать эти значения
общей нумерацией от единицы до некоторого значения N и без огра-
ничения общности заменить все множество признаков одномерной ве-
личиной с возможными целочисленными значениями от 1 до N. Полное
статистическое описание этого множества заключалось бы в задании
распределения вероятностей этих значений, т. е. вероятностей
рг (i=l, ..., JV), причем если объекты различны (Х=2), то эти веро-
ятности для совокупностей данных Х] и х2 будут иметь разные зна-
чения:
N	Л'
^,/>0;	2 А<= И 3	= L	(5'5'2)
t = l	/=1
Если объекты одинаковы, то одинаковы и эти значения
N
Рг1 = Pi^O; £iPi=l-	(5.5.3)
(=1
Пусть далее совокупности данных наблюдения Х] и х2 первого и
второго объектов представляют собой и п2-кратные повторения
наблюдений признаков этих объектов. Обозначим через Пц и n2i чис-
ло раз, когда для первого и второго объектов соответственно наблюда-
лось i-е значение признаков. При этом
,V	X
— %пг1 = п2.	(5.5.4)
/-1 /=1
Совокупности данных наблюдения Х] и х2, очевидно, могут быть
описаны совокупностью значений чисел {пц} и {n2i}, т. е.
=	п12... nw};	х2 = {п21, п22.. n2N}\ х = {х„ х2}.	(5.5.5)
Если вероятности рц, р2г известны, то эти совокупности описывают-
ся мультимиальными распределениями вероятности следующего вида:
Р(хЦ = 2) = П1!Л2.П^.П^,
1=1	/=1
Р(х 11= 1)= nJ nJ	Д	(5.5.6)
2 *
(=1 (=1
На самом деле вероятности pi, рц, p2i (i=l, ..., N), а также
априорные вероятности состояний Pj и Р2 неизвестны, и для получения
решения задачи нужно найти наименее предпочтительные вероятност-
ные меры, определенные на множестве этих неизвестных величин. Сово-
купность этих вероятностных мер включает: ц0(Р1, Р2)—для априор-
ных вероятностей состояний, которая определена на множестве значений
Pi и Р2, удовлетворяющем условию P1 + P2=l; pi(pi, р2, ..., рх)—
для вероятностей значений признаков, если объекты одинаковы (эта
мера определена на множестве значений pi, ..., рх, ограниченном
условиями (5.5.3)); ц2(рц, Р12, •••, Pix, Р21, , Ргх)—для вероятностей
•82
значений признаков, если объекты различны (эта мера определена на
множестве значений рп, ..., Pzn, ограниченном условиями (5.5.2)).
Используем для нахождения всех этих мер высказанную выше
гипотезу. Из принципа максимума энтропии вытекает равномерность ц0,
которая после усреднения величины среднего риска с произвольными
значениями Pi и Р2 приводит к подстановке значений
Л = Р2=1/2	(5.5.7)'
в выражении для среднего риска. Мера щ также равномерна на мно-
жестве, заданном условиями (5.5.3), что приводит к следующему зна-
чению функции правдоподобия для X—1 [13]:
Л(*) = JP(X ] Л= l)dP1 = (A7— 1)! j п> «2!Х
ASsO..pN^0
---------------------------F PN— Iе»1
...........................
i=l
_ (/V — 1)! Пг! П2! А (П.г + Ягг)!	/г e oi
— (n, + n2 + N -1)! 11 n1(!n2/! •	( • -8>
2=1
Мера [i получается в виде произведения двух мер, одна из которых рав-
N
номерна на множестве p^^Q,..., plN^=Q, 2 /\,= 1, а другая—на мно-
(=1
жестве р2А О,..., /?2Л,>0, 2 А*=Ь что приводит к следующему вы-
1=1
ражению для значения функции правдоподобия при Л = 2:
РМ = JP(X I 1= 2)Ф.=	<5'5'9)'
которое, естественно, не зависит от индивидуальных значений Пц, Пц.
Отношение правдоподобия, которое с учетом (5.5.7) для простой
функции потерь g(u, X) —g(u=j, /.=t) = l—при сравнении с поро-
гом, равным единице, дает окончательный вид правила принятия реше-
ния об одинаковости объектов, будет иметь значение
л /„а (х)   (ni + N— 1)! (п2 + N—1)! I 1 (п1/ + п2/)!	/г; г; т\
Л.2(Х)-Л(Х)	(JV_!)!(«,+«, +у-1}! 11 п„.!Пг.! • (Ь-Ь.Ю)'
<=1
При изменении функции потерь или задании априорных вероятностей
состояний Pi и Рг, отличных от (5.5.7), изменяется только величина
порога С в правиле Л12(х)>С принятия решения «ь Вид достаточной
статистики Л12(х) =Л12(иц, ..., «ш, п2ь ..., n2jy) из (5.5.10) при этом
остается неизменным. Таким образом, правило решения и(х) в рассмат-
риваемых условиях полной априорной неопределенности будет иметь
следующую структуру:
u(x)=/U1 При Л>2(Х)>С’	(5.5.11)
( и2 при Л12(х)< С,
6*
83
где Л1г(х) определяется выражением (5.5.10). (Для исключения неко-
торой нечеткости вида этого правила, связанной с возможностью
получить значение Л1г(х)=С, можно любое из неравенств в (5.5.11)
дополнить равенством или принять при Л12(х) = С решение наугад.)
При больших значениях Пц, n2l выражение для отношения прав-
доподобия (5.5.10) можно заметно упростить, а если еще предположить,
что возможные различия между объектами не очень велики (это наи-
более трудный для правильного решения случай), то Л]2(х) можно
представить в виде монотонной функции следующей достаточной ста-
тистики:
2(х>=1Я(
1 = 1
n2j у /	+ П21
/12 J I 1 —Н 2
(5.5.12)
сравнение которой с порогом и дает требуемое правило решения. Вели-
чина г(х) совпадает с величиной %2 для достаточно известного критерия
%-квадрат, основанного на среднеквадратичном различии двух вы-
борочных распределений [16]. В данном случае этот критерий полу-
чается как асимптотическое приближение (при п1г^>1, п2г^>\) решения
(5.5.10), (5.5.11), пригодного для любых значений п1г, п2г.
Полученное решение легко обобщается на более сложные задачи
распознавания образов со многими альтернативами в условиях полной
априорной неопределенности. Пусть, например, имеется не два, а т
объектов, которые все могут быть одинаковыми, разными или образовы-
вать некоторое число I групп, каждая из которых содержит т}, т2, . . .,
mi	объектов (/—1—все объекты одинаковы; 1—т,
все т]=1 и все объекты различны). Для каждой из таких гипотез
подобно (5.5.6) можно без труда записать значение функции правдопо-
добия этой гипотезы при известных распределениях вероятности наблю-
даемых признаков, а затем аналогично (5.5.8), (5.5.9) произвести их
усреднение по соответствующим мерам, равномерным на ограниченных
множествах значений этих вероятностей. В итоге получаются выраже-
ния, подобные (5.5.8), (5.5.9) и содержащие произведения факториалов
для сгруппированных соответствующим образом чисел наблюдений
каждого значения признака (i=l, 2, ..., N). Совокупность этих вы-
ражений и будет являться достаточной статистикой.
5.6.	МИНИМАКСНОЕ ПРАВИЛО РЕШЕНИЯ ПРИ НАЛИЧИИ АПРИОРНОЙ
НЕОПРЕДЕЛЕННОСТИ ОТНОСИТЕЛЬНО ДАННЫХ НАБЛЮДЕНИЯ х.
НЕОДНОЗНАЧНОСТЬ
Минимаксный подход может быть использован для нахождения
наилучших правил принятия решения и в тех случаях, когда отсутствует
полное статистическое описание данных наблюдения х, т. е. неизвестна
(полностью или частично) функция правдоподобия P(x|Z,). Помимо
отыскания минимаксного правила решения, которое гарантирует опре-
деленный уровень фиска, но само по себе может быть и не особенно
интересно из-за слишком большой величины этого уровня, при исполь-
зовании минимаксного подхода можно получить существенную допол-
нительную информацию о структуре всех возможных «хороших» правил
решения, риск которых не превосходит или незначительно превосходит
-84
минимаксный риск для всех допустимых при данной априорной неопре-
деленности P(x|k)e и заметно меньше минимаксного риска для
большинства Р (х| к) Практически эта информация может ока-
заться более ценной, чем знание собственно минимаксного правила
решения.
В этой связи особенный интерес представляет вопрос о возможной
неоднозначности минимаксного решения, о которой шла речь в § 4.3,
и о наличии среди минимаксных правил решения таких, для которых
при всех Р(х|к) кроме некоторых, риск меньше минимаксного
риска mfn max Р (и (х),р). Рассмотрим для иллюстрации пример задачи
(ч W) (р)
двухальтернативного решения. Чтобы не осложнять рассуждения дета-
лями, связанными с несущественным влиянием на результат функции
потерь и априорных вероятностей состояний Х=1, 2, положим
g(«, Z) = g;(=l-8/(; р(2.= \) = р(Х=2) = \'2.	(5.6.1)
Пусть решение и—\, 2 должно приниматься на основании данных наб-
людения х={хь ..., хп}, где {л.} — последовательность нормальных
случайных величин с плотностью вероятности
P(x|Z=l) = PJ (x|ct) =	/ 1/2 R exp <---(х — Fa)T R"1 (x-Fa)l,
Ucl 1\	(	J
P (x 11 = 2) = P2 (x) = (2it)„/2‘eti/-2 R exp ' - ~ xT R-1 x >, (5.6.2)
где R= |P || — корреляционная матрица x; a={a,,..., az} — совокуп-
ность неизвестных параметров с произвольными значениями; F = ||FVJ| —
некоторая известная матрица порядка («ХО- характеризующая способ
смешивания неизвестных параметров а с х. В частности, представление
(5.6.2) соответствует, например, задаче обнаружения сигнала
*$,='2 Р.,яг или S(Q = ^	(5.6.3)
/=-1
представляющего суперпозицию известных функций времени с неиз-
вестными коэффициентами и наблюдаемого в смеси с коррелированным
шумом по результатам наблюдения этой смеси в дискретные моменты
времени. Можно привести и другие довольно многочисленные примеры
практических задач, математическая формулировка которых сводится
к (5.6.2).
Из выражений (5.6.2) следует, что значение функции правдоподо-
бия для Х=2 известно, а для Х=1 зависит от I неизвестных параметров
{<Х1, ..., а;}. Введем решающую функцию ф(х)—вероятность принять
решение и=\ при данном х (для нерандомизированного правила ре-
шения ф(х) = 1 при хеХ| и ф(х)=0 при xeXj, где Л) — некоторое
множество значений х) и запишем величину среднего риска для этой
решающей функции при фиксированном значении a
Я(<Р. a) = 4'Jl1~'f’^P1(xla)dx+4" р(х)Л(х)^х. (5.6.4)
Величина минимаксного риска находится без труда. Поскольку при
«=0 имеет место равенство Pi(x|0) —P2(x), то ясно, что при а=0
85
никакое правило решения (решающая функция <р(х)) не может дать
риска меньше ’/г- Действительно, при а=0 риск Д(<р, а) =*/2 при какой
угодно <р(х). Следовательно, минимаксный риск не может быть мень-
ше 1/г, т. е.
min max/?(<?,
(<₽) (а)
Легко показать, что на самом деле минимаксный риск равен '/2,
поскольку можно выбрать такую решающую функцию <р(х), для кото-
рой при всех а риск Р(<р, а) будет равен '/г- В качестве такой <р(х)
можно взять
<р(х) =<ра(х) =а,	(5.6.5)
Частные случаи а=1 и <2 = 0 соответствуют правилам, когда всегда
принимается решение н=1 и и=2 соответственно.
Таким образом, мы показали, что
nin max Ж?, и) ='Д.	(5.6.6)
(ф)	(«»
и нашли целое бесконечное множество правил решения <ра(х) (из ник
два нерандомизированных а—1 и а=0), для любого из которых обес-
печивается минимакс. Все эти решения, конечно, обеспечивают гаран-
тированный минимаксный уровень риска, но их нельзя считать «хоро-
шими», так как они дают ту же величину риска при всех значениях а.
Сама эта величина такова, что она вообще не требует использования
данных наблюдения х, это и проявляется в независимости <ра(х) от х.
Если с таким уровнем риска еще можно примириться при а=0 и
в окрестности этой точки, поскольку при а=0 состояния Х=1 и Х=2
из-за равенства Pi (х|0) и Р2(х) становятся неразличимыми по резуль-
татам наблюдения, то очень трудно согласиться с таким свойством
решения при а#=0.
Попробуем отыскать другие минимаксные правила решения для
задачи (5.6.4), которые в какой-то степени соответствовали бы интуи-
тивным представлениям о возможности получения значительно мень-
шей, чем '/г, величины риска при заметно отличающихся от нуля
значениях а. Прежде всего в соответствии с рекомендациями гл. 4 про-
изведем преобразование данных наблюдения х, выделив достаточную
статистику для параметров а. Возьмем в качестве такой статистики
z=z(x) оценку максимального правдоподобия для а, которая опреде-
ляется максимизацией первого из выражений (5.6.2) и имеет вид
z = z (X) = а* (х) = RjFTR-’x,	(5.6 7)
где
R-^fTR-ip	(5.6.8)
— симметричная матрица порядка (/X/). Из выражения (5.6.7) сле-
дует, что z=z(x) является /-мерным вектором, имеющим нормальное
распределение вероятности, математическое ожидание, равное а, и кор-
реляционную матрицу Ra = (FTR‘1 F)~'.
86
Выражения для функции правдоподобия (5.6.2) можно представить
з следующем тождественном виде:
р‘<х 1 “)=ехр {~4 <*- °>,r.(z- °)}х
Х(2«)<—R еХр { г(х - Fz>' R’' <* — FZ>) ’
PXX)°	R.eXP{~4Z< Z}X
X(2,)"-44e‘t^R eXP { “4 <* - Fz)’R- (* - Fz>) 	(5-6.9)
откуда следует, что z = z(x) из (5.6.7) действительно является доста-
точной статистикой а. Кроме того, из равенства вторых сомножителей
в обоих выражениях (5.6.9) следует, что данные наблюдения при обеих
альтернативах (2=1 и 2=2) различаются только распределение^м
вероятностей величины z, которая в Первом случае имеет математиче-
c’iVuc	равное «, а во второе— равное нулю. Остальная часть
данных наблюдения не содержит информации о значении 2, т. е. z(x)
является достаточной статистикой для решения исходной двухальтерна-
тивной задачи. При этом в соответствии с общими свойствами достаточ-
ных статистик можно, не опасаясь увеличения риска, выбирать правило
решения (решающую функцию <р(х)), зависящее только от z(x), т. с.
<p(x)=<p(z(x))=(p(z).
Рассмотрим следующее правило: Пусть решение и—\ принимается
в том случае, когда величина
C = C(x) = ztR71z	(5.6.10)
превышает некоторый пороговый
£<С, т. е.
f 1 при
<?(X)=J
(0 при
уровень С, а решение н=2— если
WR^ Z>C,
С== zTR7* z<C,
(5.6.11)

и найдем для него величину риска R (ф, а) со следующей очевидной
цепочкой равенств:
[1 — <Р (х)] Р, (х I (х) dx4-j?(x)P2 (х) dx
=4"{У p.(xla)dx + j,P2(x)dxj- =
С (X) < С	С (Х) > с
f С	00	\
(5-бл2>
V0	С	'
где PtI(C|a) — плотность распределения вероятности величины С При
условии, что имеет место первая ситуация (2 = 1) и неизвестные пара-
метры ^имеют значение а; Рс2(С) — то же при второй ситуации (2=2,
а = 0).
Величина £ из (5.6.10) неотрицательна и имеет распределение
хи-квадрат с I степенями свободы [8, 16]: центральное при 2 = 2 и не-
центральное при 2=1 с параметром нецентральности
87
a= aTR~'w	(5.6.13)
При этом
Ри(С|а)-^(С|/г); Рс2(С) = /г,(С|0).	(56 14}
где &i(£]a)—плотность вероятности нецентрального хи-квадрат рас-
пределения с I степенями свободы и параметром нецентральности а
(напомним, что нецентральное хи-квадрат распределение вводится как
распределение суммы квадратов I независимых случайных величин,,
сумма квадратов математических ожиданий которых равна а, а диспер-
сия каждой из них равна единице).
Из (5.6.14) следует, что риск 7?(<р, а) зависит от а только посредст-
вом неотрицательной квадратичной формы (5.6.13), принимая постоян-
ные значения на гиперповерхностях пространства параметров а, опре-
деляемых соотношением a=aTR_1«—const. Таким образом,
/ С	0°	1
Ш a)=R(?, a) = 4-K^(C|a)dC + J/ez(qO)jd =
Ц-рМЯ°)^-j	(5.6.15)
Согласно свойствам хи-квадрат распределения последнее выражение
в фигурных скобках при любых значениях С и а>0 положительно и
равно нулю при а = 0. Поэтому риск правила решения (5 6.11) не боль-
ше минимаксного риска при любых значениях а и достигает минимакс-
ного уровня только при а=0 (или а=0).
Таким образом, семейство правил решения (5.6.11) для различных
значений С дает еще одну совокупность минимаксных правил, которая
обладает значительно лучшими свойствами: минимаксный уровень
риска (5.6.6) достигается только при одном значении а=0, а при всех
других значениях а риск меньше минимаксного. Можно показать также
[16], что семейство (5.6.11) содержит вообще все наилучшие решения
данной двухальтернативной задачи и обладает следующим свойством:
среди всех правил решения (всех решающих функций <р(х)), для кото-
рых величина условного риска
И (?) = г(?, 1=^2) = j^(x)P2(x)dx	(5 6.16)
фиксирована и равна заданной величине г2о, правило решения (5.6.11)
с порогом С, выбранным из условия
pz(qo)^-r2C>	(5.6.17)
о
является равномерно наилучшим правилом, т. е. таким, что условный
риск
rt(?, а) = г(^, 1= 1)= j[l —?(x)]Pt(x |a)dx (5 6.18)
для ф(х) из (5.6.11) минимален При любом значении а.
Рассмотренный пример является, конечно, не более чем иллюстра-
цией применения минимаксного подхода, хотя математическая форму-
лировка этого примера может соответствовать обширному кругу
практически важных задач. Естественно, что минимаксный подход мо-
88
жет быть использован для решения очень большого числа задач,
в которых имеет место априорная неопределенность в статистическом
описании данных наблюдения х. Более того, можно быть уверенным,
что если в какой-то из этих задач существует равномерно наилучшее
(в соответствии с общим определением гл. 4 или в более частном по-
нимании, как в рассмотренном выше примере) правило решения, то
оно обязательно будет найдено при достаточно внимательном иссле-
довании семейства минимаксных решений. Однако, к сожалению, при-
ходится констатировать, что нельзя указать какой-либо достаточно
общей и в то же время эффективной процедуры нахождения минимакс-
ных правил решения. Фактически так или иначе нахождение мини-
максного правила — это большее искусство, чем обычная техническая
работа по готовым рецептам, и, как правило, сводится к угадыванию
структуры решения. Поэтому конструктивные достоинства этого ме-
тода синтеза довольно ограничены, хотя, с другой стороны, если
удается установить, что выбранное в условиях априорной неопределен-
ности правило решения удовлетворяет и принципу минимакса, то это,
безусловно, является положительным фактором, поскольку гаранти-
рует некоторый определенный уровень риска, понизить который в дан-
ных условиях невозможно.
Глава 6
АДАПТИВНЫЙ БАЙЕСОВ ПОДХОД
6.1.	ОБЩИЕ ПОЛОЖЕНИЯ
Основная идея адаптивного байесова подхода заключается в сле-
дующем. Пусть имеется существенная априорная неопределенность в
статистическом описании Данных наблюдения х, параметров 1, влияю-
щих на последствия принимаемых решений или того и другого. Эта
неопределенность не позволяет использовать обычный байесов форма-
лизм: найти для любого возможного правила решения величину сред-
него риска А'(и(х)), величину апостериорного риска /?(и, х) и опре-
делить положение минимума апостериорного риска по и, т. е. найти
значение u = uo(x), минимизирующее апостериорный риск и представ-
ляющее собой оптимальное байесово решение. Нужно подчеркнуть, что
это связано именно с -незнанием, а не с существованием; на самом деле
для любых конкретных условий в пределах имеющейся априорной
неопределенности существуют вполне определенные, но неизвестные
нам истинные значения R(и(х)) = /?ист(и(х)) для всех и(х), значения
/?(и, х)=/?ист(и, х) для всех и и х и оптимальное решение Uo(x), об-
ращающее в минимум /?ист(И, х)-
Попытаемся тем не менее использовать тот порядок, который при-
нят при нахождении байесова правила решения. (Как уже не раз под-
черкивалось, главным его элементом является нахождение минимума
апостериорного риска по и и положения этого минимума.) Чтобы реа-
лизовать это намерение, используем часть сведений, содержащихся
в совокупности данных наблюдения х, для оценки истинной величины
апостериорного риска с тем, чтобы получить его приближенное значение
89
для всех возможных решений и или хотя бы (что наиболее существен-
но) в окрестности его минимума. После того, как такая оценка получе-
на, остается только воспользоваться стандартными рецептами для
нахождения байесова решения, минимизировав вместо истинного оце-
ночное значение апостериорного риска.
Если при этом оставшаяся после оценки апостериорного риска
часть сведений из общей совокупности данных наблюдениях достаточна
для получения нетривиального решения (минимум оценочного значения
апостериорного риска по и достигается для значения и, неодинаковое.)
при разных х), то мы действительно получим решение задачи синтеза
в условиях априорной неопределенности. Если же, кроме того, исполь-
зованная нами оценка апостериорного риска является состоятельной и
близка к его истинному значению, то найденное таким способом реше-
ние будет достаточно близко к оптимальному байесову решению при
отсутствии априорной неопределенности, когда статистические описа-
ния х, X и истинные значения среднего и апостериорного риска для
всех и известны полностью
Проиллюстрируем эту идею двумя элементарными примерами.
Пример 1. Пусть имеется двухальтернативная задача, о которой
уже шла речь в п. 4 3.2, т. е. требуется принять решение и—\ или и = 2
по данным наблюдения х={хь .... хп, xn+i}, состоящим из совокупно-
сти (п+1)-й независимо распределенных величин, для которой плот-
ность вероятности имеет вид (4.3.3)
п+1
р(х|1= 1)=П ЛК1«);
П
Р(хр = 2)=[[Р1(х, |а)Р2(л-п+1),
V=1
где известно все, кроме параметра а, вносящего априорную неопреде-
ленность в статистическое описание данных наблюдения. Пусть также
заданы функции потерь g(u, 'k)=glh (t, k=\, 2) и априорные вероятно-
сти значений X—р(к=\) = ръ р(к—2) =р2—\—рх.
Апостериорный риск в данной задаче
R(u, х) = R (и — I, х) = Кг(х, а) =
= ,Р'р' ,(Xn+1 ’ j8‘^ =Ri{xn+l, а)	(6.1 I)
Р1Г 1 (Хл+) | и) -|- РгР2 (Xn-i-i)
зависит от неизвестного параметра а, что не дает возможности сравнить
его значения для i= 1, 2 и выбрать решение. Чтобы проделать требуе-
мую минимизацию, нужно каким-то образом «узнать» значение а и под-
ставить его в выражение (6.1.1). «Узнать» — это значит получить
оценку для а по имеющимся данным наблюдения. В данном случае
такая возможность имеется, поскольку все данные наблюдения, кроме
хп+1, вообще не входят в выражение (6.1.1) для апостериорного риска
и оказались как бы ненужными.
Используем эти данные — совокупность значений {xi, ... ,хп} — для
нахождения оценки а=а(%1, ...... хп)	неизвестного параметра а. Как
уже не раз подчеркивалось, хорошей оценкой — асимптотически
(а иногда и строго) эффективной, асимптотически нормально распре-
50
деленной и сходящейся к истинному значению с увеличением объема
данных, использованных для ее нахождения (в данном случае числа п
наблюдений хь хп), является оценка максимального правдоподо-
бия. В соответствии с этим возьмем в качестве а оценку максимального
правдоподобия а*, определенную из уравнения
max И Р, (х, | а)= ГГ Р, (ху | а*),
(а) ГЛ
и подставим ее в выражение (6.1.1) для использования величины
Рг(Хп+ь a*) (i— 1, 2) в качестве оценок неизвестных истинных значений
апостериорного риска. После этого задача выбора решения становится
вполне определенной и аналогично случаю отсутствия априорной неоп-
ределенности (а известно) получим
и(х) =
1 Ппи
1	Р Р2(хЛ+.)
Рч £l2 ёч.2
Рг £21“£п ’
9 ППИ	u
2	при -ргм
Q   Рч £12	£22
~~ Р1 £21	£11
(6 1.2)
Если величина отклонения |а*—а| мала, то множество Х*эт+1
значений x„+i, удовлетворяющих неравенству
Р,(хп+, | а*)	„
Л(хп+1)	’
мало отличается от множества A°n+i значений хта+ь определяемого
неравенством
Рх (хп+1 | а) р
РЛхп+Л '
которое является областью принятия решения и—\ при отсутствии
априорной неопределенности — известном значении а. Поэтому вероят-
ностные меры этих множеств относительно любого распределения веро-
ятности Xn+i (в том числе распределений с плотностями Р2(Лп+1) и
А(хи+1|а)) отличаются друг от друга на величину, стремящуюся к ну-
лю при а*-на. Это означает, что условные и средние риски для реше-
ния и(х) из (6.1.2) и для оптимального решения при известном
значении а также мало отличаются друг от друга и, следовательно,
правило решения (6.1.2) является хорошим приближением к абсолютно
оптимальному байесову правилу решения с полностью известным ста-
тистическим описанием.
Чтобы показать, что эти качественные рассуждения должны вызы-
вать доверие, еще больше конкретизируем наш пример и дадим
количественную оценку степени приближения правила решения (6.1.2)
к оптимальному байесову. Пусть
п / , ,	1 Г — “)2 1
^2(^я + 1)= |Z^„eXP (	2^“)
и пусть для определенности истинное значение а>0 и, кроме того,
.gii=£'22=0, £i2=£2i=l, Pi = P2=1/2, С=1. Тогда оптимальное байесо-
91
во правило решения
«.(*) =
| 1 при хп+1— а/2>0,
(2 при xn+t— а[2<0,
(6.1.3)
а правило (6.1.2) приводится к тому же виду с заменой а на оценочное-
значение а. Если в качестве последнего взять оценку максимальногз-
правдоподобия, то
п
®=:а'=4'5^==а+д’
>=1
где отклонение А является случайной величиной с нулевым математиче-
ским ожиданием и дисперсией Л4{А2}=о2/». Тогда множества X°n+i и
X*n+i определяются следующим образом:
*°„+1:	- «/2 > 0; Х*„+1: х„+1 - а/2 - Д/2 > 0,
т. е. различаются между собой на интервал [а/2, а/2 + А/2] при Д>0
или [а/2 + Д/2, а/2] при А<0, длина которого А/2 является случайной
величиной, порожденной случайностью {хь ..., хп}; в среднем (по ан-
самблю значений {хь ... , хп}) равна нулю и имеет среднеквадратичное
значение сг/2 ]/п, стремящееся к нулю при увеличении п. Таким обра-
зом, вероятностные меры множеств X°,l+i и X^n+i могут отличаться
между собой на величину порядка 1/]/ п .
Не представляет труда рассчитать величину среднего риска для
обоих случаев. Обозначим
z“ = z“(x„+1) = x„+1 — а/2;
= z* (хг,..., Хп, хп+1) = х„+1 — а % = хп+1 — а/2 — Д/2.
Средний риск оптимального байесова правила при известном а равен
7?° — 7гР (z° </01 2 = 1) + 7гР(г“>0|2 = 2),
а для адаптивного правила с использованием оценочного значения
а=а*
P*=7/(z*<0|2 = l) + 7/(z’>0|2=-2).
Величины г° и г* нормальны, имеют одинаковые (при фиксирован-
ном X) математические ожидания
M{za\l = 1} = М {z* | 2 = 1}= а/2,
Л4 {z“ | 2 = 2} = Л4 {z | 2= 2} = — а/2
и дисперсии, одинаковые для 2=1 и 2 = 2 и равные соответственно о2
для z° и о2 (1 + 1/4п) для г*. Вычисляя с использованием нормального
распределения соответствующие вероятности, входящие в выражение
для Р° и R*, прлучаем
Ptt = 1—<d(“V R*=l— Ф<---------- “	,	(6 1.4)
V3 J	< 2а и 1 + 1/4я J	V
где Ф(а) —интеграл вероятности
а
®(a)=-pUJ eT^dx.	(6.1.5)
92
Из выражений (6.1.4) видно, насколько эффективен и хорош
в данном случае рассматриваемый подход —даже при п=1 различие
между оптимальным и адаптивным байесовым правилами решения не-
значительно, а начиная с п=2, 3 становится и вовсе несущест-
венным.
Пример 2. Пусть требуется осуществить выбор одной из п альтер-
натив по результатам наблюдения величины xw+i, которая может при-
нимать дискретные значения х&> (j=l, ..., т). Обозначим соответст-
вующее решение через п.у+1. Пусть априорные данные о виде функции
потерь (тем самым и о параметрах X этой функции) и о распределении
вероятностей значений полностью отсутствуют, но мы располагаем
дополнительными к х.у+г данными наблюдения о серии из N однородных
и независимых повторений выбора решений из заданного множества
альтернатив.
Пусть для каждого v-ro повторения (v— 1, 2, ...,2V) известны: зна-
чение xv(xv = x , /v=l,...,m), которое наблюдалось перед принятием
решения; само принятое решение uv(uv = iv, M'v=l,...,n) и величина по-
терь gv, к которым привел выбор решения uv. Полная совокупность
имеющихся перед принятием решения иЛ,+1 данных наблюдения х тем
самым представляет собой совокупность значений
Х = {х„ u„ gt; х2, u2, g2; ...;хЛ,, uN, gN-
Благодаря независимости х.у+] от остальной совокупности данных
при отсутствии априорной неопределенности апостериорный риск реше-
ния uN+i зависел бы только от Xw+i, т. е.
х) = R	-\v+i)’
и оптимальное байесово правило решения имело бы следующую струк-
туру:
u v-i-i	u v-н G^v-i-i)= 1
при
я (“N+i = i, ^+1) = min {/? (и V+1 = 1, х^+1),
R ~	'VV-b 1)’ ••• ’ R = n’
Используем все остальные данные наблюдения, которые при отсут-
ствии априорной неопределенности вообще не нужны, для оценки функ-
циональной зависимости апостериорного риска R(uN+]t xN+i) от uN+i
и Xw+i. Эта зависимость полностью определяется пХт значениями
Rij=R(Ujv+1 = i, xw+i=xW), которые и нужно оценить с помощью сово-
купности данных {хь Ui, gy; х2, и2, g2, ... ; Xn, un, gN}. Обозначим через
число раз, когда в серии v=l, 2, ..., N наблюдалось значение
xv — хО и было принято решение u„=i. Тогда состоятельной оценкой
величины апостериорного риска является среднее арифметическое
J	I6-1-6»'
v==l	(i, j)
где N (i, j) — множество значений индекса v, при которых наблюдалось
значение ху = х</) и было принято решение uv = i.
Используя эту оценку вместо истинной величины апостериорного
риска, получаем следующее представление для адаптивного байесова
правила решения:
«v+i(x) = ^+1	х>, «>.	uN. gN)^=i
при
Ri, = min {(?,/, P2j....£п,}. j=l,,m.	(6.1.7)
С ростом N и пг} оценка (6.1.6) сходится к истинному значению апосте-
риорного риска, а правило решения (6.1.7)—к оптимальному байесову
правилу. При конечных значениях N и п1; может оказаться, что какие-
либо из значений Рц при данном j равны между собой, т. е. min{^ij,
J?2j, • • •, Rn}} определяется неоднозначно. Тогда правило решения (6.1.7)
следует дополнить, например, выбором наугад (с равными вероятно-
стями) среди тех значений I, для которых выполняется равенство
Rtj — min{^?ij, • • •.
В качестве иллюстрации сходимости этого адаптивного правила
решения к оптимальному байесову рассмотрим простой пример, когда
число возможных решений п равно двум (i=l, 2) и число т возмож-
ных значений наблюдаемой величины х(Я также равно двум (/= 1, 2).
Пусть потери от принятия любого из решений (1=1, 2) могут иметь
два значения — нуль и единица, причем условная вероятность ненуле-
вых потерь в случае принятия t-го решения, при условии, что наблю-
даемое значение xw+i=xO), есть pi3, а безусловная вероятность того,
что xN+l=xl:i>, есть Рр (Заметим, что эти условия выполняются, напри-
мер, для двухальтернативной задачи, в которой функция потерь gik =
= 1—8ik, i, k=l, 2.) Тогда
2	2
Pi	= *( n) = S PkP (XN+l = %</) I	2 Pk = 1;
fe=l	A=1
ptP (X,v+1 =x </) | z)
А/ = 1 — i--------22----------’
2	==x(/) I k>
k=l
тде .P(Xjv-f-i =	|i/г)—значение функции правдоподобия для Х=/г=1, 2;
Pk—априорная вероятность ситуации Л=/г=1, 2, a pij является допол-
нением до единицы апостериорной вероятности i-й ситуации (X=i) при
условии xN+l = x<ft. Однако нужно заметить, что исходная постановка
задачи шире, чем этот поясняющий пример.)
Если возможные значения потерь (0 и 1), условные вероятности
этих потерь pij и вероятности Р, значений xN+1=x& известны, то мы
имеем элементарную байесову задачу, в которой с легкостью находится
апостериорный риск, оптимальное правило решения и минимальный
байесов средний риск. Имеем соответственно

UN+1 (XN+l '	[ о
при ptl < p2j.
при PJ > р2р,
R = 2 min Рч-
'94
Пусть для определенности р\\<р2х и pi2>p22, тогда
|1прихх+1 = Л
«ЛН4 (W	12 при
Я = ЛР11+ЛАг-
Рассчитаем теперь средний риск для адаптивного правила решения
(6.1.7) в тех же условиях (с учетом дополнения его выбором решения
наугад при равных значениях оценочного апостериорного риска для
первого и второго решений).
Оценка (6.1.6) апостериорного риска в данном случае может быть
записана как
Ри =х kill tit ji, j=l, 2,
где kt; — число раз, когда в серии из N повторений при наблюдении
x^ — x(i> и принятии решения uv = i потери оказались равными единице.
При этом величина klt- случайна и распределена на биномиальному за-
кону:
Ь. . Ь • .	г* • h • •
Математическое ожидание оценки
М =	{кц} = ру
совпадает с истинным значением апостериорного риска при любой по-
следовательности наблюдений xv и решений uv.
Для любого из значений х^\ например для ]'=1, может оказаться,
что либо Яп<Й2\, и тогда мы выберем первое решение (и=1) с мате-
матическим ожиданием потерь /?ц, либо #ц>#2ь и тогда мы неправиль-
но выберем второе решение (и=2) с математическим ожиданием
потерь р21, либо, наконец, Лц=^гь и тогда мы благодаря выбору ре-
шения наугад с вероятностью 1/г выберем или иь или и2 с математиче-
ским ожиданием потерь ]/2 (Рп +Р21). Аналогичное положение будет
иметь место и при /=2. В итоге величина среднего риска для адаптив-
ного правила решения определится следующим образом:
Р = Рг [Pj> (Ri г < Ю + 7г (Рп + Аг) Р (Р„ = Яи) +
+ Рг.Р (Я. t > К >)] + Р2 \PvJP (Р22 < Р1г) + 7г (Р22 + Аг) Р (#22 = Р, г) 4~
“7 Р12Р (Р22^>Рц)]’
где вероятности выполнения неравенств и равенств вида
Р(#11<#г1) = Р(й11/п11<йг1/пг1)
определяются с помощью биномиальных распределений для чисел kij.
Приведем еще выражение для среднего риска правила, при кото-
ром решение при любом значении x.n+1 принимается наугад с вероят-
ностью 1/г. Можно показать, что при полном отсутствии априорных
сведений и отсутствии дополнительных данных наблюдения (А = 0) это-
лучшее правило решения. Для него
Р= '^Рг (Р„ + А.) + 7гЛ(Аг + Аг)-
95
Таблица 6.1
	Л				
	0	4	8	12	оо
i=/722—С,25; ^?21=^712=0.75	0-5	0,375	0,33	0,3	0,25
Ри~р2\—	0,5	0,18	0,12	0,11	0,1
pi j =0,1; p.t, — 0,9,/>12=0,75; ргг=0,25	0,5	0,23	0,225	0,205	0,175
Зависимость среднего риска от объема дополнительных данных
наблюдения (числа N) для Pi = P2 = 1/2 и нескольких совокупностей
значений pl} приведена в табл. 6.1. При этом предполагается, что при
любом из приведенных значений N числа пг] одинаковы (nn—N/4).
Значение Л/=0 соответствует выбору решения наугад, значение
Лт=оо — оптимальному байесову правилу принятия решения.
Приведенные примеры показывают, что рассматриваемый подход
позволяет получить в условиях априорной неопределенности правила
решения (алгоритмы обработки информации), которые обладают доста-
точно хорошими качествами. Даже при сравнительно небольшом коли-
честве «избыточных» данных эффективность найденных правил решения
близка к эффективности соответствующих оптимальных байесовых пра-
вил, а при увеличении объема полной совокупности данных наблюде-
ния х происходит достаточно быстрая сходимость к результатам, кото-
рые имели бы место при отсутствии априорной неопределенности.
Вернемся снова к общему случаю. Имеет смысл еще раз пояснить
суть рассматриваемого подхода. Она состоит в том, чтобы и в условиях
априорной неопределенности сохранить для выбора наилучшего реше-
ния и нахождения наилучшего правила решения (алгоритма обработки
информации) основное содержание байесова подхода. Это последнее
заключается в том, что мы сопоставляем каждому состоянию наших
знаний, которые характеризуются данными наблюдения х, ожидаемое
значение потерь; осуществляем выбор решения, исходя из минимума
ожидаемых при данном состоянии наших знаний потерь, и считаем
оптимальным такое правило решения и(х), которое соответствует мини-
муму ожидаемых потерь для любого данного значения х. Именно в этом
естественном принципе глубинный смысл байесова подхода — осталь-
ное же, на что подчас обращается излишне большое внимание: задание
функции потерь, функции правдоподобия, априорного распределения,
правила вычисления апостериорного распределения вероятности и апо-
стериорного риска-—относится к формальной, а не смысловой стороне
подхода.
При этом предельно ясно, что смысловое содержание подхода--
наилучшим решением является то, которое обеспечивает наименьшее
значение ожидаемых потерь — вовсе не зависит от объема имеющихся
априорных знаний. Степень полноты этих знаний влияет только на ка-
чество оценки ожидаемых потерь. При отсутствии априорной неопреде-
ленности ожидаемые потери для каждого из возможных решений и
имеют точную количественную меру — величину апостериорного риска,
которая определяется по простым формальным правилам как матема-
тическое ожидание потерь при данном состоянии наших знаний х. Нуж-
но подчеркнуть, что эта оценка ожидаемых потерь (расчет величины
апостериорного риска) производится по данным наблюдения х, а роль
96
имеющихся априорных сведений о виде функции потерь и распределе-
ний вероятности х и X заключается только в том, что они позволяют
установить четкое функциональное соответствие между значением х
и величиной ожидаемых при принятии решения и потерь.
При наличии априорной неопределенности по-прежнему необходимо
оценить ожидаемые потери для каждого возможного решения. Как и
при отсутствии априорной неопределенности, эта оценка, естественно,
делается по имеющимся данным наблюдения х. Однако из-за недостат-
ка априорных сведений невозможно установить точное функциональное
соответствие между х и величиной апостериорного риска и следует
как-то модифицировать свой подход к нахождению оценки ожидаемых
потерь. В связи с этим роль и значение вновь полученной информа-
ции— данных наблюдения х — повышаются- эти данные выступают не
просто в качестве аргумента известной функции апостериорного риска
Х(и, х), оценивающей ожидаемые потери, но должны быть также ис-
пользованы для восстановления функционального соответствия между
ними и величиной ожидаемых потерь. Процесс восстановления этого
соответствия, обеспечивающий реализуемость основного принципа
байесова подхода — выбора решения по минимуму ожидаемых потерь,
имеет смысл называть адаптацией, а соответствующие правила реше-
ний и(х), устанавливающие функциональное соответствие между х и
решением и, минимизирующим полученную с учетом ограниченности
наших знаний оценку ожидаемых потерь, — адаптивными байесовыми
правилами решения.
Применение этой терминологии, не очень много добавляющей по
существу, но достаточно установившейся, объясняется тем, что нахож-
дение правила решения при наличии априорной неопределенности так
или иначе связано с приспособлением найденного при отсутствии апри-
орной неопределенности правила решения (алгоритма обработки ин-
формации, управления и т. п.) к неизвестной (в смысле неполноты
априорного статистического описания) обстановке, которая характери-
руется какими-то истинными, но полностью или частично неизвестными
функциями потерь, распределениями вероятности и значением апосте-
риорного риска, измеряющим ожидаемые потери.
Итак, по существу адаптивный байесов подход основан на прин-
ципе выбора решения по минимуму ожидаемых потерь и в этом смысле
не отличается от обычного байесова подхода, обеспечивающего на-
хождение абсолютно наилучших правил решения; методически адап-
тивный байесов подход основан на замене точной меры ожидаемых
потерь — апостериорного риска — его состоятельной оценкой по имею-
щимся данным наблюдения х и последующем применении всех фор-
мальных процедур перехода от заданной функции апостериорного риска
к оптимальному правилу решения. Состоятельность оценки апостери-
орного риска позволяет быть уверенным в том, что не будут допущены
по крайней мере грубые ошибки при сопоставлении величин ожидаемых
потерь для разных решений и выборе наилучшего решения. Применение
же формальных процедур нахождения байесова правила решения по
величине апостериорного риска дает гарантию, что ничего не ухудшится
в дальнейшем и действительно получится наилучшее при данной оценка
ожидаемых потерь правило решения. Конечно, для того, чтобы это
правило решения было вообще наилучшим в условиях априорной не-
определенности, нужно, чтобы и принятая оценка апостериорного риска
была наилучшей, а для того, чтобы правило решения было близко
7—899	97
к наилучшему при отсутствии априорной неопределенности, нужно, что-
бы оценочное и истинное значения апостериорного риска имели мини-
мумы при одном и том же решении и почти для всех значений х или
при близких значениях и для всех значений х*>.
6.2.	АДАПТИВНЫЙ БАЙЕСОВ ПОДХОД ПРИ ПАРАМЕТРИЧЕСКОЙ
АПРИОРНОЙ НЕОПРЕДЕЛЕННОСТИ
Конкретные приложения рассматриваемых здесь методов в после-
дующих главах будут применены в основном к задачам синтеза инфор-
мационных систем в условиях параметрической априорной неопреде-
ленности, простейшим примером которых является первый из примеров
§ 6.1. Поэтому рассмотрим этот случай наиболее детально с доведением
результатов до максимально возможной в условиях общей постановки
задач степени конкретности.
При параметрической априорной неопределенности (гл. 3) функция
правдоподобия Р(х|Х, ах) задается с точностью до совокупности неизве-
стных параметров ах =	..., a[Z)}, а плотность априорного распреде-
ления вероятности р (X | Р) для X с точностью до совокупности неизве-
стных параметров р= {р*1),..., р<т)}, причем пространства и В — неко-
торые заданные подмножества евклидова пространства соответствую-
щей размерности. Обозначим полную совокупность неизвестных пара-
метров, включающую в себя все частные совокупности и совокуп-
ность р, через у, тогда совместная плотность вероятности х и X может
быть записана в виде
Р(х |Х, ajp(k| р) = р(х, Х| у),	(6.2.1}
где р(х, X|y)—известная функция всех своих аргументов, удовлетво-
ряющая обычным требованиям к плотности совместного распределения
вероятности. Апостериорное распределение вероятности и апостериор-
ный риск определяются обычными соотношениями
/?(Х|х, у) = Р(х. X‘|y)/Jp(x> X|y)^X,	(6.2.2)
(,	f g (u, X, x) p(x, |X| y) dX
R (u, x, y) = 1 g(u, X, x) /?(X | x, y)cTk— ----------------- (6.2.3)
J	J p (x, X I y) dX
и в общем случае зависят от совокупности неизвестных параметров у-
В частном случае, когда апостериорное распределение либо только
значение ио=Цо(х, у), Для которого достигается минимум апостериор-
ного риска, т. е. удовлетворяется уравнение
R(u0, (х, y)» y) = minR(u, х, y).	(6.2.4)
(«)
*> Во избежание недоразумений отметим, что изложенное здесь понимание адап-
тивного байесова подхода совсем неидентично применению этого названия в работе
[40, гл. V] к частной задаче отыскания наилучшей (в смысле минимума среднеквад-
ратического отклонения) линейной комбинации известных функций х для аппрокси-
мации байесова правила решения двухальтернатнвной задачи u(x)=Ui при fi2(x)<0,
u(x)=u2 при /12(х)>0, где fia(x) задается в одном из двух эквивалентных видов
fis(x)==[/?(ai, х)— R(u2, х)] Р(х) или fn(x)=R(ui, х) — R(u2, х) и в последнем случае
средиеквадратнческое отклонение вычисляется с весом Р(х).
98
не зависит от у, априорная неопределенность не является существенной,
а правило решения uo(x, y)=u0(x) является равномерно наилучшим
правилом решения. Поэтому в любой конкретной задаче с априорной
неопределенностью прежде всего следует проверить, решив уравнение
(6.2.4), существует либо нет равномерно наилучшее решение.
Если априорная неопределенность является существенной, то ре-
шение уравнения (6.2.4) зависит от у и представляет собой функцию
и0(х, у), описывающую оптимальное байесово правило решения для
известного значения у (при отсутствии априорной неопределенности).
Поскольку истинное значение у неизвестно, то ни величина апосте-
риорного риска (6.2.3), ни правило решения и0(х, у) не определены и
необходимо применить адаптивный байесов подход, введя новую меру
ожидаемых потерь — какую-либо оценку апостериорного риска, не за-
висящую от неизвестного значения у. Естественной оценкой величины
У?(и, х, у), обеспечивающей полное сохранение последующего байесова
формализма, является
Я(и, х) = 7?(и, х, у),	(6.2.5)
где у=у(х)—некоторая оценка значения у, найденная по данным на-
блюдения х. При подстановке (6.2.5) вместо неизвестного значения
R(и, х, у) в уравнение (6.2.4), которое определяет правило решения,
обеспечивающее минимум ожидаемых потерь при каждом значении х,
получим правило решения
u (х) = и4 (х, у) = ио (х, у(х)),	(6.2.6)
отличающееся от оптимального байесова правила только заменой у
оценочным значением у—у(х).
Таким образом, использование оценки апостериорного риска (6.2.5)
позволяет не решать заново задачу минимизации ожидаемых потерь;
структура правила решения остается такой же, как при отсутствии
априорной неопределенности (известном значении у), а неопределен-
ность правила решения устраняется заменой неизвестного значения у
оценочным значением у.
Адаптивное байесово правило решения (6.2.6) внешне выглядит
очень привлекательным: оно универсально, обладает хорошими конст-
руктивными качествами, так как позволяет просто взять готовое реше-
ние байесовой задачи и заменить в нем у на у, и на примерах § 6.1
показало свою высокую эффективность. Однако прежде чем рекомен-
довать его широкое использование, необходимо, разумеется, выяснить
два вопроса:
1) какую именно оценку у=у(х) следует использовать в (6.2.5),
(6.2.6);
2) удовлетворяет ли правило решения (6.2.6) какому-либо из рас-
смотренных в гл. 4 принципов оптимальности или хотя бы является
близким к наилучшему с точки зрения того или иного принципа пред-
почтения правилу.
Если объем имеющихся данных наблюдения таков, что можно оце-
нить значение у с высокой точностью, то ответ на первый из этих во-
просов некритичен. В качестве у(х) можно использовать любую оценку
с малым отклонением от истинного значения у, что автоматически при-
7*	99
водит к малому отклонению риска правила решения (6.2.6) от риска
абсолютно оптимального байесова правила решения при известном зна-
чении у. Детальный вид оценки у(х) определяется в этом случае в ос-
новном соображениями, связанными с простотой реализации алгоритма
оценивания вектора у. Практически такая свобода действий допустима
в асимптотическом случае, когда совокупность имеющихся данных на-
блюдения описывается вектором x={xlt ..., хп} с большим числом ком-
понент х¥, каждая из которых зависит от у.
При ограниченном объеме данных наблюдения выбор оценки у(х),
подставляемой в правило решения (6.2.6), следует производить более
аккуратно, так, чтобы выполнить основное требование обеспечения
наименьшего из возможных отклонений риска правила решения (6.2.6)
от риска байесова правила решения с известным значением у. С целью
детализации критерия выбора наилучшей оценки у(х) рассмотрим ве-
личину среднего риска для правила решения (6.2.6) при каком-либо
значении у
£(u0(x, V)> V) = ffg(u0(x, у), X, х)р(х, X|y)dXdx (6.2.7)
и сравним ее с величиной среднего риска для оптимального байесова
решения и0(х, у) при том же значении у
^o(u.(x- V)- V)= Jfg(uo(x> V). b. x)p(x, X|y)dXdx. (6.2.8)
Для этого составим разность
ДД(7, y) = /?(u0(x, у), у) —T?0(u0(x, у), у) =
= П[g(uo(x. v). К x)-g(ut(x, у), X, Х)]/7(Х, A|y)dMx =
= J[J [g(“о (х- V)> х) — g(uo(x- Y).	х)] Р& I X. y)dA]P(x|y)dx=
= Jg (V- v. х)Р(х I y)dx,	(6.2.9)
где
g(V, V. x)= f[g(u0(x, ?), X, x) —g(u0(x, у), X, x)]/?(X|x, y)dX.
(6.2.10)
Очевидно, что разность AT? (у, у) неотрицательна. Это следует из
того, что при любом у правило решения и<>(х, у) минимизирует вели-
чину среднего риска. Более того, функция g(y, у, х) из (6.2.10) также
неотрицательна, поскольку при любых значениях х и у она представ-
ляет собой разность значений апостериорного риска для двух решений
Ui=uo(x, у) и U2=uo(x, у), а именно второе решение соответствует ми-
нимальному значению апостериорного риска.
При этом АТ?(у, у) и §(у, у, х) обладают следующим свойством:
АТ? (у, у)= 0; g (у, у, х) = 0 при у = у.	(6.2.11)
Величина АТ? (у, у) является функционалом оценки у=у(х), кото-
рый, вообще говоря, может принимать различные значения при раз-
100
них у. Попытаемся выбрать оценку у(х) так, чтобы обеспечить равно-
мерно наилучшее приближение среднего риска правила решения и(х) =
=и0(х, у) к минимальному байесову риску правила решения ио(х, у)
с известным значением у. Как известно, требование равномерно наи-
лучшего приближения означает, что максимальное отклонение должно
быть минимальным, поэтому наилучшую оценку у(х)=уо(х) следует
выбирать, исходя из условия
тахД7?(у0 (х), у)= min тахД/?(у, у).	(6.2.12)
(Y)	(у'(х)) (?)
Таким образом, с учетом (6.2.9) наилучшая оценка уо(х) является
минимаксной оценкой параметра у плотности распределения вероят-
ности
Р(х| у)= f р(х, 1| y)dz	(6.2.13)
относительно функции потерь g(y, у, х) из (6.2.10). В гл. 5 мы показа-
ли, что при некоторых ограничениях на функцию потерь (5.2.1) и рас-
пределение вероятности данных наблюдения (5.2.2) минимаксной оцен-
кой является оценка максимального правдоподобия, т. е. наилучшая
оценка у»(х) совпадает с оценкой максимального правдоподобия
у0(х)=у*(х),	(6.2 14)
которая определяется из уравнения правдоподобия
Р(х | у*) = тахР(х | у)	(6.2.15)
(Y)
или при отсутствии ограничений на область Л={47, В} значений у из
эквивалентного ему уравнения
у., 1пР(х | у) := 0,	(6.2.16)
где
v — 1____ I	(6 2 17)
— оператор градиента, ставящий в соответствие любой функции от у
вектор-столбец частных производных этой функции по всем компонен-
там вектора у.
При использовании оценки максимального правдоподобия у*=
=у*(х), определяемой уравнениями (6.2.15), (6.2.16), адаптивное
байесово правило решения (6.2.6) принимает вид
U(x) = uo(x, у*(х))	(6.2 18)
и мы получаем замкнутую конструктивную процедуру нахождения пра-
вила решения в условиях априорной неопределенности, которое содер-
жит следующие элементы:
— отыскание оптимального байесова правила решения ио(х, у)
для фиксированного значения у путем минимизации апостериорного
риска 7? (и, х, у) из (6.2.3) (во многих случаях это означает просто
взять готовое решение соответствующей задачи при отсутствии априор-
ной неопределенности);
101
—	нахождение оценки максимального правдоподобия у*=у*(х)'
путем решения уравнений правдоподобия (6.2.15) или (6.2.16);
—	замена в оптимальном байесовом правиле решения u<j(x, у) не-
известного значения у на его оценочное значение у*=у*(х).
При слабых ограничениях на функцию потерь g(y, у, х), при кото-
рых оценка максимального правдоподобия у* является минимаксной
оценкой, эта процедура обеспечивает получение правила решения
и(х) (6.2.18), которое дает равномерно наилучшее приближение к сред-
нему риску абсолютно оптимального байесова правила решения с из-
вестным значением у.
Указанные ограничения обычно выполняются, если множество зна-
чений 1 непрерывно, а также в ряде других случаев. Мы не будем за-
ниматься специально детальным анализом условий совпадения оценки
максимального правдоподобия у*(х) с минимаксной оценкой уо(х),
определяемой из (6.2.12). Конечно, могут быть ситуации, когда уо(х)
лучше, чем у*(х), в смысле точности приближения среднего риска пра-
вила решения Uo(x, уо(х)) к среднему риску байесова правила Uo(x, у),
и, взяв действительно минимаксную оценку, можно было бы получить
лучшие результаты, чем с оценкой максимального правдоподобия.
Примером подобного рода является случай, когда значение у задает
априорное распределение на дискретном множестве значений 1, а дан-
ные наблюдения х относятся только к одному из возможных значе-
ний 1. В этом и некоторых подобных случаях оптимальное значение
уо(х) получается константой, не зависящей от х, что довольно очевидно
заранее и существенно упрощает нахождение правила решения. Однако
такие ситуации сравнительно редки, а сама оценка при условии един-
ственности решения уравнения максимального правдоподобия, как уже
неоднократно отмечалось, обладает следующими качествами: она обя-
зательно совпадает с эффективной (имеющей наименьшее возможное
рассеяние) оценкой, если последняя существует; с ростом объема дан-
ных наблюдения, по которым вычисляется оценка максимального прав-
доподобия, она сходится к истинному значению оцениваемого парамет-
ра и при этом является асимптотически нормальной и асимптотически
эффективной. Имея в виду эти высокие достоинства, а также универ-
сальность и относительную простоту метода максимального правдопо-
добия, благодаря которым могут быть разработаны стандартные про-
цедуры нахождения оценки у*, можно в общем случае ограничиться
оценками максимального правдоподобия, оставив попытки их улучше-
ния для конкретных задач, где такая возможность имеется.
6.3.	СЛУЧАЙ, КОГДА МНОЖЕСТВА РЕШЕНИЙ и И ПАРАМЕТРОВ 1 НЕПРЕРЫВНЫ
Прежде чем переходить к решению второго из поставленных
в § 6.2 вопросов, рассмотрим важный частный случай, когда множества
решений и и значений параметров 1 непрерывны и имеют одинаковую
структуру.
Как отмечалось выше, в этом случае решение и может быть интер-
претировано как оценка параметра 1, а правило решения u=u(x) ста-
вит в соответствие каждому значению х значение этой оценки. Будем
считать, что функция потерь является симметричной функцией разности
102
u—X, тогда апостериорный риск
I g (u — k) p (x, k | y) dk
R (u, x, y) =	----------------.	(6.3.1)
J P(*. My) dl
Пусть плотность совместного распределения вероятности р(х, X|y)
дважды дифференцируема по X и у при любых значениях X, у, тогда
/?(х, X | y) = maxр (х, X | y) ехр —	[(X— X*)TDU(X — X*) 4-
(X. Y)	1
+ (X - (V - V*) + (Y - V*)TD (X - X*) +
+(V-V*)TDn(Y-Y*)l+
где Х*=Х*(х), у*=у*(х)— решение уравнения
р (х | X*, у*) = max р (х, X | у),
(X, Y)
Dn = -VxVrJn^(x, X I у) |K==Vj Y=Y<>
»n = -Win//(x, Mv)lx=v, Y==Y*>
»М = Етц = -^,1пХх. *lY)Uk*, y=Y*
(6.3.2)
(6.3.3)
(6.3.4)
взятые co знаком минус матрицы, составленные из вторых производных
логарифма плотности /?(х, Х|у) в точке Х=Х*, у= Y*> которые подобно
X* и у* зависят только от х; v>.~	—’Оператор градиента
по компонентам Х={21, Х2,...}; vTv у?тт—’Операторы градиента, ставя
щие в соответствие той функции, на которую действуют такие операто-
ры, вектор-строку частных производных этой функции по всем компо-
нентам X или у. Не написанные в показателе экспоненты (6.3.2) члены
имеют третий и более высокий порядок относительно разностей X—X*
и y—у*. Роль этих членов тем меньше, чем больше объем данных на-
блюдения х; по мере его увеличения совместное распределение вероят-
ности X при заданном х и величины у*=у*(х) из (6.3.3) асимптотически
поиближаются к нормальному распределению вероятности.
Используя это асимптотическое приближение, получаем
I g (ик) ехр /---§-[к — к*+ Du Dk (у — Y*)1TX
/? (u, x, Y) = J?------i---1--------------------------------»
J exp	[X - k* - Dj (y - Y*)1T X
XDU [k - k* + D^1 DM(Y - Y*)J }
-------------------------------j---,	(6.3.5)
X Du [k - k* - D;' Dkl (Y - Y*)]} d\
P{x\y) = H (x) exp ' - 4- (y-y*)t [Pn - DlkD-’	(у - Y*) j  (6-3.6)
где —как всегда матрица, обратная матрице Ги; /7(х)—некоторая
неотрицательная функция, зависящая только от х.
юз
Из выражения для апостериорного риска (6.3.5) следует, что опти-
мальная байесова оценка X параметра X имеет вид
X = u0(x,	(6.3.7)
Действительно, благодаря свойствам функции потерь g(u—X) выраже-
ние (6.3 6) дифференцируемо по и под знаком интеграла, при этом
Vug (и—X) —нечетная функция своего аргумента и, следовательно, при
подстановке u=ufl(x, у) из (6.3.7) градиент VM-R(u, х, у) обращается
в нуль, т. е. обеспечивается минимум апостериорного риска.
Из выражения (6.3.6) следует, что оценка максимального правдо-
подобия параметра у, определяемая как решение уравнения (6.2.15),
совпадает с величиной у*, являющейся решением уравнения (6.3 3).
Поэтому адаптивное байесово правило решения принимает вид
Х = и0(х, у*)=Х*.	(6.3.8)
Тем самым уравнение (6.3.3) дает полное решение задачи — онс
определяет наилучшее в условиях априорной неопределенности реше-
ние задачи оценивания X и дает оценку максимального правдоподобия
для параметра у, описывающего неопределенность априорных знании,
о законах распределения вероятности х и X.
Покажем, что правило решения (6.3.8) удовлетворяет требованию
(6.2.12) равномерно наилучшего приближения к оптимальному байесо-
ву решению с известным значением у. Ограничимся для простоты слу-
чаем квадратичной функции потерь
g (и — X) = (u — X)Tg (u — X).
Вычисляя значения апостериорного риска (6.3.5) при u = u0(x, у) —
=-X*—D^1 DX1 (у — у*), где у = у(х)— какая-либо оценка у, и при
u = u0(x, у)=Х* — Е^1 Dx (у— у*) и беря их разность, получаем сле-
дующее выражение для функции
g(y, у, х)—(у —y)TE^xD~‘gEi“'Е}^ (у —у) = (у —y)rg(y — у’)> (6.3.9)
где g — симметричная квадратная матрица того же порядка, что и
вектор у, не зависящая от у и у, но, возможно, зависящая от х.
Величина разности средних рисков адаптивного и оптимального
при известном у байесовых правил решения (у, у) будет при этом
равна
Д#(У. \)=Ц (Y—V)Tg(y—у)ехр { —(у*—у)тВ (у*—у)1 Я(х) dx,
(6.3.10)
где для сокращения записи обозначено
•	Bn==Cn-D7>Dr‘^-	(6 3.11)
Математическое ожидание матрицы В.,., представляет собой информа-
ционную матрицу Фишера для совокупности параметров у.
104
Из выражения (6.3.10) видно, что задача нахождения минимакс-
ной оценки у, обеспечивающей выполнение требования (6.2.12), в дан,-
ном случае с точностью до обозначений совпадает с рассмотренной
в § 5.2. Из полученного там решения следует, что минимаксная оценка
параметра у есть у*(х) и, следовательно, правило решения (6.3.8) дей-
ствительно обеспечивает равномерно наилучшее приближение к мини-
мальному байесову среднему риску для известного значения у.
6.4.	СООТВЕТСТВИЕ АДАПТИВНОГО БАЙЕСОВА ПРАВИЛА РЕШЕНИЯ
ПРИНЦИПАМ ОПТИМАЛЬНОСТИ В УСЛОВИЯХ АПРИОРНОЙ НЕОПРЕДЕЛЕННОСТИ
Рассмотрим теперь, каким из описанных в § 4.3 принципам пред-
почтения и в какой мере удовлетворяет адаптивное байесово правило
решения. Это позволит нам установить, является ли правило решения
(6.2.18) оптимальным и если да, то каков именно смысл его оптималь-
ности.
6.4.1.	Принцип предпочтения, связанный с равномерно наилучшим
правилом решения
Адаптивное байесово правило (6.2.18) удовлетворяет этому принци-
пу в том смысле, что если равномерно наилучшее правило решения
существует, то правило решения (6.2.18) обязательно будет таким пра-
вилом. Это следует из того, что правило решения (6.2.18) имеет струк-
туру оптимального байесова правила, которое в случае существования
равномерно наилучшего решения просто не зависит от у.
Более того, адаптивное байесово правило в соответствии с опреде-
лениями § 6.2 (в силу выполнения требования (6.2.12)) является рав-
номерно наилучшим приближением к оптимальному байесову правилу
решения с известным значением у и обладавтем свойством, что наи-
большее (по всему множеству значений у) уклонение среднего риска
для этого правила от минимально возможного при данном у среднего
риска меньше, чем для любого другого правила решения. Таким обра-
зом, адаптивное байесово правило решения является самым хорошим
из всех приближенно равномерно наилучших правил решения.
6.4.2.	Принцип асимптотической оптимальности
Адаптивное байесово правило решения, очевидно, удовлетворяет
этому принципу. Это следует из того, что, во-первых, оно имеет ту же
структуру, что и оптимальное байесово правило решения с заменой не-
известного значения у на оценку максимального правдоподобия у*,
а во-вторых, из сходимости оценки максимального правдоподобия
к истинному значению у. Тем самым асимптотически адаптивное байе-
сово правило решения совпадает с обычным байесовым правилом и
дает ту же величину среднего риска.
6.4.3.	Минимаксиминный принцип
Адаптивное байесово правило решения (при всех у) лучше (не ху-
же) минимаксиминного правила решения. Это следует из того, что
принцип выбора обоих видов правил одинаков — берется байесово пра-
105
вило решения, определенное с точностью до параметра у, подбирается
наилучшее из наихудших значений у и подставляется в байесово пра-
вило решения — за исключением одной весьма существенной детали:
в минимаксиминном правиле решения наилучшее значение выбирается
из заданного числового множества его значений и не зависит от данных
наблюдения х; в адаптивном правиле это значение выбирается из зна-
чительно более обширного множества значений всех у(х), в результате
чего наилучшее значение подбирается для каждого х. Поскольку мно-
жество всех функций у(х), отображающих х в у, содержит в качестве
подмножества и функции вида y(x)=y=const при всех х, используемые
при выборе минимаксиминного правила решения, то ясно, что послед-
нее не может быть лучше адаптивного правила ни при каких истинных
значениях у.
6.4.4.	Принцип минимакса
В общем случае адаптивное байесово и минимаксное решающие
правила находятся в обычном соотношении, обсуждавшемся в гл. 4.
Максимальное (по у) значение среднего риска для адаптивного байе-
сова правила не меньше, чем величина минимаксного риска, однако при
других значениях у средний риск адаптивного байесова правила может
быть меньше и даже существенно меньше минимаксного риска. В этой
связи особый интерес представляет выявление случаев, когда макси-
мальный средний риск адаптивного байесова правила решения не пре-
вышает величины минимаксного риска. В таких случаях адаптивное
правило равномерно (т. е. при всех значениях у) не хуже минимакс-
ного правила, а при некоторых (или даже почти всех) значениях у мо-
жет оказаться лучше минимаксного.
Один из подобных примеров уже был рассмотрен в § 5.6, где мы
нашли совокупность решающих правил (5.6.11); максимальная вели-
чина риска достигается при единственном значении неизвестного пара-
метра функции правдоподобия а=0 и точно равна минимаксному зна-
чению, а при всех а=£0 риск меньше минимаксного. Покажем, что пра-
вило решения (5.6.11) является адаптивным байесовым правилом и
может быть найдено с помощью адаптивного байесова подхода. Дей-
ствительно, в общем случае байесово правило решения для двухаль-
тернативной задачи имеет вид
ц(Х)=(“’ ПрИ Л**<Х)>С’
I и2 при Л12 (х) < С,
где для случая § 5.6 отношение правдоподобия
Л12(х)=Л12(х, a)=^15L=
ехр{— 7г (Z — a)TR7’(z— а)}
=--------j---j-----j-----= A12(z, а),
ехр<--2"ZTRa 'zj.
z=z(x)—достаточная статистика, линейно зависящая от х и опреде-
ляемая выражением (5.6.7). Это отношение правдоподобия зависит от
неизвестного параметра а, который при адаптивном байесовом подходе
следует заменить оценкой максимального правдоподобия a*=a*(x).
106
Последняя согласно (6.2.15) определяется из уравнения правдоподо-
бия Р(х | а*) = тахР(х | а), решение которого с учетом выражений (5.6.2),
(«)
(5.6.9) имеет вид a* = z.
После подстановки этой оценки в отношение правдоподобия мы
приходим к правилу принятия решения
v [и, при Л1г (х, а*) = ехр {— 72zTR7‘ z} > С,
и(х)=1
К при Л1г (X, а*) = ехр {— ‘/2zTRa z} > С
или эквивалентному ему правилу решения (5.6.11).
Можно привести и другие примеры, когда максимальный средний
риск адаптивного байесова правила решения не превышает минимакс-
ного риска. Это имеет место, в частности, для всего класса задач, в ко-
торых средний риск оптимального байесова правила решения при из-
вестном значении у не зависит от этого значения у, хотя само
оптим.альное правило явно зависит от у и равномерно наилучшего пра-
вила решения не существует. Примеры таких задач довольно много-
численны. Доказательство высказанного утверждения заключается
в следующем. Адаптивное правило решения при выборе оценки у(х)
в соответствии с требованием (6.2.12) удовлетворяет принципу мини-
макса для отклонения AR (у, у) среднего риска от среднего риска опти-
мального байесова правила решения. Поскольку последний не зависит
от у, то адаптивное байесово правило /решения одновременно удовле-
творяет принципу минимакса и для самой величины среднего риска
/?(и(х), у), т. е. для этого правила max /?(и(х), у) не превосходит ве-
(V)
личины минимаксного риска. Так же как утверждение п. 6.4.4, это
утвержедние, строго говоря, справедливо при подстановке в правило
решения (6.2.6) оценки у0'(х), удовлетворяющей требованию (6.2.12), и
может оказаться неточным при использовании оценки максимального
правдоподобия у*(х), если последняя заметно отличается от уо(х).
Интересно было бы найти достаточно общие условия, при которых
максимум риска адаптивного байесова правила решения не больше
минимаксного риска. Однако, по-видимому, такая задача не проще,
а может быть и сложнее, чем задача отыскания минимаксных правил
решения в общем случае, и еще ждет своего решения.
6.5.	ПРИНЦИП МИНИМУМА УСРЕДНЕННОГО РИСКА
Рассмотренный в п. 4.3.4 принцип минимума усредненного риска
заслуживает более детального обсуждения, поскольку сам по себе он
является средством устранения априорной неопределенности при реше-
нии задач синтеза, имеющим не меньшее значение, чем, например, ми-
нимаксный подход. Проанализируем структуру правил решения, кото-
рые могут быть найдены на его основе, и сравним их с адаптивными
байесовыми правилами, полученными выше.
Применительно к случаю параметрической априорной неопределен-
ности принцип минимума усредненного риска выглядит особенно про-
сто и заключается в выборе правила решения u(x)_и*(х) из условия
107
минимума выражения:
7?(u(x)) = JJjg(u(x), к, х)/?(х, 1| Y)dldxdp.(Y) =
= JJjg(u (х), X, х)/?(х, X | y) dXdx<n (y) dy = j 7? (u (x), yWvMv.
(6.5.1)
где dp. (y) = <o (y) dy (®(y) может содержать дельта-функции).
Как уже подчеркивалось в гл. 4, функция со ( y) , характеризующая
меру p(y), может иметь два истолкования. Она может быть не связана
с каким-либо распределением вероятности параметров y (которое мо-
жет и не существовать из-за невозможности вероятностной интерпрета-
ции у), а характеризовать относительную значимость потерь при дан-
ном значении у- В конкретных задачах часто имеются объективные и
субъективные предпосылки для такой оценки степени значимости по-
терь при разных значениях параметров у. При такой интерпретация
ю(у) не обязательно должна удовлетворять условию нормировки. Вто-
рое истолкование co(y) связано с интерпретацией ее как плотности не-
которого распределения вероятности параметров Y, которое в действи-
тельности существует, но может быть неизвестно.
Какой бы из способов истолкования мы ни приняли, естественно,
что если функция ю(у) задана, то это полностью снимает априорную
неопределенность, поскольку выражение (6.5.1) для усредненного зна-
чения среднего риска £(и(х)) формально соответствует обычной байе-
совой задаче, в которой совместное распределение вероятности х в X
полностью известно и характеризуется плотностью (4.3.9):
>р(х, X)
р(х, 1|у)со(у)4у
j “ (Y) <*у
(6.5.2)
Само оптимальное (минимизирующее усредненный риск) правило ре-
шения и*(х) находится .минимизацией следующего выражения:
_	Г g (u, 1, х) р (х, у) со (х) dydX I g щ, X, х) р (х, X) dk
R (и, х) =	,	(6.5.3)
\ р (х, к | у) со (у) dydk	I р (х, к) dk
которое является формальным представлением для апостериорного
риска в случае, когда распределение вероятности х и X задается (6.5.2).
Если функция <b(y) действительно известна, то никакой проблемы
нет; остается только чисто техническая процедура нахождения значе-
ния u=u*(x), минимизирующего (6.5.3) при каждом данном х. Соот-
ветствующее отображение u(x)=u*(x), определенное для всех значе-
ний х, и задает оптимальное правило решения. При этом исходная
априорная неопределенность в статистическом описании х и X, не по-
зволяющая точно задать их совместное распределение вероятности,
естественно, не имеет принципиального значения и не является сущест-
венной с точки зрения решения задачи синтеза.
На самом деле проблема возникает, когда со (у) неизвестна и апри-
орная неопределенность является существенной. Покажем, что если
при этом ввести несущественные предположения о характере измене-
ния со (у), то можно получить новое решение задачи синтеза в условиях
априорной неопределенности, причем полученное правило решения бу-
108
дет точно или с высокой степенью приближения совпадать с найден-
ным выше адаптивным байесовым правилом.
Итак, предположим, что и (у) является относительно медленно
меняющейся функцией у в том смысле, что в окрестности любой точки
у=у0 эта функция меняется существенно медленнее, чем функция
р(х, Х|у) при любых фиксированных значениях хиХ. Конкретные тре-
бования на допустимую скорость изменения и (у) уточним несколько
ниже. Кроме того, для сокращения записи предположим, что и (у) нор-
мирована на единицу. Из выражения (6.5.3) для апостериорного риска,
минимизацией которого находится правило решения, видно, что это
предположение не имеет никакого значения, поскольку и (у) входит
в числитель и знаменатель этого выражения.
Идея излагаемого далее способа нахождения правила решения
основана на использовании асимптотического метода интегрирования
Лапласа при вычислении интеграла (6.5.2) для нахождения прибли-
женного выражения плотности вероятности р(х, X).
Обозначим через ух={у^1) , ...,ухт1)} ту часть параметров у, от ко-
торой действительно зависит функция р(х, Х|у) при данном X (в общем
случае плотность вероятности р(х, XI у) при фиксированном значении X
может зависеть только от части параметров у, а не от всех этих пара-
метров) Обозначим также через «\(ух) функцию, которая получается из
<о(у) интегрированием по тем из параметров у, которые не вошли в со-
вокупность ух. Пусть также при любом X величины у*х=у*х(х, X) (век-
торы размерности /пх) определяются из уравнения
р(х, X| у*х) = maxр(х, X| ух) = max/?(х, X| у),	(6.5.4)
(Ух)	(У)
т е. максимизируют функцию р(х, Х| у) при данных значениях х и X и
являются условными оценками максимального правдоподобия пара-
метров у при данном X. Естественно, что эти величины, вообще говоря,
отличаются от безусловных оценок максимального правдоподобия у*=
=у*(х), определяемых уравнением (6.2.15). Пусть также функция
1пр(х, X] у) дважды дифференцируема по у при всех х и X. Тогда, при-
меняя асимптотический метод интегрирования Лапласа, основанный на
аппроксимации функции 1пр(х. X | у) квадратичным разложением
в окрестности точки у=у*х, получаем приближенное выражение для
(6.5.2) (с учетом предположения о нормировке функции и (у))
/?(х, Х)^/2(х, Х|у\)-£р^-<ох(у\),	(6.5.5)
где /пх — общее число компонент параметра ух;
— — v VT 1по(х, Х|у)|	*	(6.5.6)
nvn г'	1 17 У=У х
— матрица вторых производных функции 1п/?(х, X | у) в точке у = у*х.
Приближение (6.5.5) справедливо при выполнении следующих
условий, которые являются обычными условиями применимости асимп-
109
21п/? (х, Х|у*х)
I

готического метода интегрирования Лапласа:
1 у, ^1пр(х, Х/у\) rn(_1) n(_i)	1 n(-D । п(-Пп(1) j	j.
4	х> ift *’*’	is х• ik
Sd4ntoxjY\j (_1}
k ,k Х (Y	’'	'
где D[ pk — элемент матрицы Гх 1 , обратной матрице Dv
При выполнении этих условий имеем следующее приближение для
апостериорного риска (6.5.3):
f g (u, X, х) Р (х, X | у*х) а (х, X)’dX
R (u, X) =s	,	(6- 5.8)
j р (х, XI у*х) а (х, 1) dX
где функция а(х, X) определяется выражением
<Цх, Ц=^Г/2^-,/2ОЛ^»
и обычное уравнение для нахождения оптимального правила решения
й?(и*(х), x) = min£(u, х),	(6.5.10)
(и)
в котором функция Я (и, х) определяется точным (6.5.3) или прибли-
женным (6.5.8) выражением.
Найденное таким образом правило решения, очевидно, удовлетво-
ряет основному принципу адаптивного байесова подхода — оно соот-
ветствует минимуму оценочного значения апостериорного риска, при-
чем в качестве оценки используется приближенное выражение 7? (и, х)
из (6.5.8). Отличие от использованной ранее оценки апостериорного
риска (6.2.5) заключается в том, что выражение (6.5.8) допускает при-
менение различных оценок параметров у при разных значениях X, в то
время как в (6.2.5) и последующих выражениях оценка неизвестного
значения у производится в целом, для всех значений X.
Остановимся на одной важной особенности правила решения и*(х).
Возьмем какое-либо правило решения и(х) и рассмотрим отклонение
среднего риска этого правила оТ минимального байесова риска для
оптимального правила решения ио(х, у) с известным у, т. е. величину
Д7?(и(х), v)=JJg(u(*)’	X)Z’(X> ^|v)^x^—
—- jjg(u0(x, у), X, x)p(x, X|y)dxdX.	(6.5.11)
Произведем усреднение этой разности с весовой функцией и (у), т. е.
найдем средневзвешенное отклонение:
Д7?(и (х))= J Д/?(и (х), yMyNy =#(и(х))~	(6.5.12)
где £(и(х))—усредненный риск (6.5.1), a Ro— средневзвешенное зна-
чение минимального байесова риска.
Если теперь выбрать правило решения и(х) так, чтобы минимизи-
ровать средневзвешенное отклонение АТ? (и (х)), то в силу того, что
Д7?(и(х)) отличается от Я(и(х)) на несущественную константу, это
правило решения будет точно таким же, как правило решения и*(х),
обеспечивающее минимум усредненного риска.
НО
Таким образом, получаем важное свойство правила решения
(6.5.10)—оно обеспечивает наилучшее в среднем с весом ©(у) при-
ближение к абсолютно оптимальному байесову правилу при отсутствии
априорной неопределенности (известном значении у). Напомним, что
полученное в § 6.2 адаптивное байесово правило u(x)=u0(x, у*) также
является наилучшим приближением к оптимальному байесову прави-
лу, удовлетворяя ’ другому критерию близости — критерию минимума
максимального отклонения, а не минимума средневзвешенного откло-
нения.
Доказанное свойство правила решения и*(х) из (6.5.10) является
основой для еще одного истолкования функции ©(у). А именно, послед-
няя может интерпретироваться как весовая функция, используемая при
вычислении среднего отклонения риска некоторого произвольного пра-
вила решения от минимального байесова риска и характеризующая зна-
чимость отклонений при разных значениях у с точки зрения последую-
щего выбора наилучшего приближенного правила решения. Эта интер-
претация до крайности упрощает проблему априорной неопределенно-
сти и лишает ее мистических покровов.
Действительно, если с самого начала четко представить себе, что
при отсутствии полного статистического описания невозможно полу-
чить строго оптимальное байесово правило решения и самое большее,
что можно сделать, это найти наилучшее в том или ином смысле при-
ближение к этому решению, если, кроме того, принять в качестве есте-
ственного критерия близости величину средневзвешенного отклонения
среднего риска от минимального байесова и задать какую-либо подхо-
дящую весовую функцию ©(у) для вычисления этого отклонения, то
задача синтеза строго и формально решается до конца. При этом функ-
цию ©(у) можно формально использовать так, как если бы она была
(с учетом соответствующей нормировки, возможно, даже на расходя-
щуюся величину) плотностью некоторого априорного распределения
вероятности, заданного на множестве значений параметров у, хотя по
существу эта функция совсем не обязана быть такой плотностью, а па-
раметры у могут и не иметь вероятностной интерпретации.
Нужно подчеркнуть, что если с формальной точки зрения интер-
претация ©(у) безразлична, то по существу для реальных возможно-
стей задания функции ©(у) разные ее интерпретации глубоко различ-
ны. На самом деле, требуется серьезное пренебрежение к уровню своей
неосведомленности (в случае, когда все или часть параметров у не
имеют ясного вероятностного истолкования), чтобы задать какое-то
априорное распределение вероятности для параметров у с плотностью
©(у). Имеется значительно больше оснований задать функцию ©(у),
характеризующую значимость потерь, при разных значениях у. И, ве-
роятно, даже не нужно особенно задумываться об основаниях и дета-
лях выбора ю(у), если мы задаем ее как весовую функцию для расчета
средневзвешенного отклонения риска приближенно оптимального пра-
вила решения от абсолютно оптимального байесова правила. В этом
случае выбор ю(у)—это целиком дело разработчика алгоритма обра-
ботки информации, а основанием для такого выбора могут быть чисто
субъективные соображения.
Нужно отметить также, что использование того или иного критерия
приближения (минимума максимального отклонения, приводящего
к адаптивному байесову правилу решения u(x)=u0(x, у*), или мини-
мума средневзвешенного отклонения, приводящего к правилу решения
111
u*(x) из (6.5.10)) в общем определяется некоторыми посторонними и
подчас субъективными соображениями. Стоит все-таки только подчерк-
нуть, что первый критерий гарантирует точность приближения при лю-
бом конкретном значении у не хуже определенного уровня и поэтому
кажется более предпочтительным при единичном использовании соот-
ветствующего правила решения либо при многократном использовании
этого правила, когда будет встречаться одно и то же’ или немногие из
возможных значений у. Второй критерий обеспечивает наилучшее при-
ближение в среднем и кажется более предпочтительным, если синтези-
рованный алгоритм обработки информации (правило решения) будет
применяться многократно и при разных повторениях будут встречаться
. многие из возможных значений у.
6.5.1.	Случай одинаковой совокупности параметров у
при разных значениях к
Вернемся к детализации правила решения и*(х) из (6.5.10) и об
суждению его взаимосвязи с адаптивным байесовым правилом реше-
ния. Рассмотрим сначала распространенный случай, когда для всех
значений X совокупности параметров ух одинаковы и совпадают с пол-
ной совокупностью у. При этом
= уЛ = у; ®х(ух)=<о(у); »\ (¥*,.) = »> (Y*;)>	(6.5.13)
где у\ = У*х(х, X)— решение уравнения правдоподобия (6.5.4), вообще
говоря, разное при разных значениях X. Однако постольку поскольку
величины у\ представляют собой оценки одних и тех же параметров у,
истинные значения которых не изменяются при изменении X, то в слу-
чае состоятельности этих оценок (напомним, что решение уравнения
правдоподобия удовлетворяет требованию состоятельности) и близости
их к истинным значениям у величины у’\ слабо зависят от 1 и не могут
отличаться сильно друг от друга при разных значениях к. Возможные
отличия *ухпри X=Xi и к—Хг, где Xi и Х2— любые два значения X
обусловлены только случайным отклонением этих оценок от истинного
значения у одинакового при X=Xi и X—Х2.
Эти случайные отклонения характеризуются матрицей D^1 из (6.5.6),
которая представляет собой асимптотическую апостериорную корреля-
ционную матрицу для величин отклонений у*х—у и, вообще говоря, за-
висит от X. Однако если функция ®(у) изменяется медленно, так что
выполняется второе из неравенств (6.5.7), то величина w(y*x) из
(6.5.13) практически не зависит от X (зависит значительно слабее, чем
любая другая функция X, входящая в подынтегральное выражение
(6.5.8)). Благодаря этому ее можно сократить в числителе и знамена-
теле (6.5.8) или, что то же самое в данном случае, определить функцию
а(х, X), входящую в (6.5.8), следующим образом:
а(х, X) = det-,/2Dv	(6.5.14)
Получающееся с учетом равенства (6.5.14) упрощение для выражения
апостериорного риска (6.5.8) является весьма существенным. Оказы-
112
вается, что при одинаковой для всех значений X совокупности парамет-
ров у и при выполнении единственного условия плавности изменения
функции а (у) количественно это условие задается неравенством
(6.5.7), апостериорный риск и правило решения п*(х) вообще не зави-
сят от и (у). Само оптимальное решение находится минимизацией вы-
ражения (6.5.8) при подстановке в него функции а(х, X) из (6.5.14).
Рассматриваемый здесь случай одинаковой для разных X совокуп-
ности неизвестных параметров у может иметь место как при дискрет-
ном, так и при непрерывном множестве значений X.
Для непрерывного множества значений X этот случай наиболее ха-
рактерен; более того, трудно представить себе не слишком искусствен-
ный пример, когда плотность вероятности р(х, Х|у) Для разных значе-
ний X из непрерывного множества значений зависит от разных совокуп-
ностей параметров у (например, у, .........тГ"’*}	при Х=Х, и у2 =
.. •Тг"’1} ПРИ = М- Для непрерывного множества значений 7.
процедуру нахождения правила решения н*(х), соответствующего ми-
нимуму усредненного риска, можно детализировать дальше и, кроме
того, можно показать, что получающееся при этом правило решения
совпадает асимптотически с адаптивным байесовым правилом решения,
полученным выше.
Воспользуемся для этого асимптотическим приближением (6.3.2)
для функции р(х, Х|у), из которого следует, что входящие в выражение
(6.5.8) для апостериорного риска функции р(х, Х| у*х)иа(х, Х) = detI/2l х
определяются следующими выражениями:
р(х, 7.| у*.) = max/?(х. X | у) = гпах/2 (х, Х|у)Х
(У)	(Х7)
X ехр [— */2 (X — 1*)т (Dxx - DmD“* Dn) (X - V)],	(6.5.15)
о(х, 7.) = deC1/2D)= det-I/2Dn,	(6.5.16)
где X*=X*(x) является решением уравнения (6.3.3), а матрицы С хх ,
Вп, Dx , Dn определяются выражениями (6.3.4) и зависят Столько от х
(непосредственно и через Х*=Х*(х) и у*=у*(х), у* совместно с К* явля-
ется решением уравнения (6.3.3)). С учетом (6.5.15), (6.5.16) выраже-
ние для апостериорного риска (6.5.8) принимает вид
_	С g (u, 1, х) ехр [— ’/2 (1 — 1*)т (Dxx — D^D”1 Dp) (1—1*)] dl
Я (и, х) = ---=---------------------------------------------- ,
J ехр {- ’/= (1 -1*)’ [Du - D^D"1 DTX] (1 -1*)} dl
(6.5.17)
из которого следует, что решение и=и*(х) зависит от х посредством
достаточной статистики Х*=Х*(х)—оценки параметра X, определяемой
из уравнения (6.3.3).
Если множество решений и имеет ту же структуру, что и множест-
во X, и функция потерь g(u, X, х) является симметричной функцией
разности и—X, то решение и*(х) просто совпадает с Х*(х), т. е. полу-
чается точно таким же, Как адаптивное •байесово решение.
8—899	113
При произвольной структуре множества решений и оценка апосте-
риорного риска (6.5.17), получающаяся с использованием принципа
усреднения по неизвестным параметрам у среднего риска, отличается
от оценки апостериорного риска (6.2.5), получающейся при адаптив-
ном байесовом подходе с использованием оценки максимального прав-
доподобия у* для параметров у, только за счет различия матриц
Dxx — Di^DDlX и Dxx. Первая из них фигурирует в выражении
(6.5.17), дающем оценку апостериорного риска при использовании
принципа усреднения, а вторая—в выражениях типа (6.2.3), (6.3 5)
при подстановке в них у=у* в соответствии с принципами адаптивного
байесова подхода.
Таким образом, используемые в обоих случаях приближения для
апостериорной плотности вероятности X, с помощью которых вычисля-
ются оценки апостериорного риска и находятся минимизирующие этот
риск решения, имеют одинаковый функциональный вид, одинаковое
математическое ожидание X* и несколько отличные матрицы вторых
моментов. Естественно, что для всех задач (характеризуемых структу-
рой множества решений И и видом функции потерь g(u, X, х)), в ко-
торых подобно задаче с функцией потерь, являющейся симметричной
функцией разности и—X, вид решения зависит только от апостериор-
ного математического ожидания, принцип усреднения риска по у дает
точно такое же правило решения, как и адаптивный байесов подход.
В тех задачах, в которых решение и* (х) зависит не только от апосте-
риорного математического ожидания Х=Х*, оно может несколько отли-
чаться от адаптивного байесова решения. Однако из-за асимптотиче-
ской близости матриц Du и Dxx— D^D”1 DlX, имеющейся, как мы
убедимся в дальнейшем, практически всегда, эти различия малосуще-
ственны, и во всех реальных случаях, когда совокупность неизвестных
параметров у не зависит от X, правило решения, минимизирующее
усредненный по неизвестным параметрам у риск, совпадает с адаптив-
ным байесовым правилом решения.
6.5.2.	Случай разных совокупностей параметров у
при разных значениях X
Некоторые различия между рассматриваемыми правилами реше-
ния могут возникнуть, если разным значениям X соответствуют различ-
ные совокупности параметров ух. Практически такая ситуация может
возникнуть только в том случае, когда множество значений X дискрет-
но, т. е. состоит из изолированных точек Хь (k—l, ..., п). При этом
апостериорный риск (6.5 8) может быть записан в виде
7? (и, х) = 2 g (u, X*) р (X* | х),
k
(6.5 18)
где р(Хй|х) —оценочное значение апостериорной вероятности k-ro ди-
скретного значения Хь, которое определяется следующим выражением:
_	р(х, Xft| у*х ) (2>t)m*/2det_1/2Dx wx (у*х )
Р	| X) = ------------*------2	2---------
2 P (X. X/1y\ ) (2n) I1 det Dx wx (Y*x )
(6.5.19)
114
у*х— оценка максимального правдоподобия параметров ух; — число
неизвестных параметров плотности вероятности р(х, Х|ух); Dx^— значе-
ние матрицы Сх (6.5.6); ту— значение функции а>х при
Для того чтобы правило решения, получающееся минимизацией
(6.5.18), было вполне определенным, необходимо как-то задать величи-
ны х*)- Если функция и (у) не задана, то, используя предполагав-
шееся ранее медленное изменение этой функции, можно оценить эти
величины следующим образом:
(6-5 20)
где Vi — эффективный объем области сосредоточения параметров ух для
>. = >.*. В частности, если область Гх значений параметров ух ограни-
чена, то Vi по порядку величины совпадает с объемом этой области для
6.6.	выводы
В следующих двух главах рассмотрим ряд важных деталей, свя-
занных с применением адаптивного байесова подхода при параметри-
ческой и непараметрической априорной неопределенности, а сейчас,
допуская некоторые повторения, кратко обсудим основные результаты
этой главы.
1.	Как и обычный байесов, адаптивный байесов подход основа!! па
выборе правила решения u=u(x), минимизирующего ожидаемые при
данном состоянии имеющихся знаний потери. Отличие заключается
в том, что из-за недостатка априорных сведений вместо точной коли-
чественной меры ожидаемых потерь — апостериорного риска — вводит-
ся его оценка, максимально использующая имеющиеся данные наблю-
дения и ограниченные априорные сведения. Этот принцип применяется
как при параметрической, так и при непараметрической априорной не-
определенности.
2.	Если использованная при нахождении адаптивного байесова
правила решения оценка апостериорного риска состоятельна, то это
правило удовлетворяет большинству из принципов предпочтения (прин-
ципов оптимальности), возможных в условиях априорной неопределен-
ности и рассмотренных в § 4.3, т. е. действительно этот подход дает
наилучшие в условиях априорной неопределенности правила решения.
Состоятельность оценки апостериорного риска обеспечивается, если
в условиях параметрической априорной неопределенности заменить
неизвестные значения параметров у, входящих в распределение вероят-
ности для х и 1, состоятельными оценками этих параметров, а в усло-
виях непараметрической априорной неопределенности подобно тому,
как это сделано в примере 2 § 6.1, заменить при вычислении апостери-
орного риска (или только его минимума) операцию математического-
ожидания эмпирическим осреднением по совокупности имеющихся дан-
ных наблюдения.
3.	При параметрической априорной неопределенности процедура
нахождения адаптивного байесова правила решения принципиально
весьма проста: она сводится к замене в обычном байесовом правиле
8*	115
решения u=u0(x, у), полученном для известного значения у, этого зна-
чения его состоятельной оценкой у(х), найденной с использованием
имеющихся данных наблюдения.
Если при этом оценка у(х) удовлетворяет дополнительному требо-
ванию (6.2.12), которое при оговоренных выше условиях приводит
к необходимости выбора в качестве у(х) оценки максимального прав-
доподобия у*(х) (см. уравнения (6.2.15), (6.3.3)), то адаптивное байе-
сово правило решения удовлетворяет еще одному важному принципу
оптимальности: оно является равномерно наилучшим приближением
к обычному (абсолютно оптимальному) байесову правилу решения и
обеспечивает минимум максимального отклонения среднего риска от
минимального байесова риска.
4.	Если вместо требования равномерно наилучшего приближения
принять требование наилучшего приближения в среднем с весом и (у)
(ы(у)^О) к обычному байесову правилу решения, то соответствующее
приближенно оптимальное правило решения u=u*(x) находится мини-
мизацией усредненного по со(у) среднего риска /?(и(х), у), а сама
функция со (у) может быть формально интерпретирована как плотность
вероятности для неизвестных параметров у. При этом правило решения
и*(х) является обычным байесовым правилом для совместного распре-
деления вероятности х и Z с плотностью (6.5.2), получающейся усред-
нением по неизвестным параметрам у с плотностью вероятности со (у).
Естественно, что это правило решения может быть найдено совер-
шенно точно с помощью обычной байесовой процедуры при любой
со (у). Однако если функция и (у) является относительно плавной —
мало изменяется в пределах разброса оценки максимального правдо-
подобия для у относительно истинного значения у (количественные
требования определяются неравенствами (6.5.7)), то правило решения
и*(х) совершенно аналогично адаптивному байесову правилу и0(х,
у(х)) может быть найдено минимизацией состоятельных оценок апо-
стериорного риска (6.5.8), (6.5.17), (6.5.18), для нахождения которых
не требуется детального задания или вообще знания функции со (у).
5.	Во многих случаях оба правила решения (tio(x, у(х)) и и*(х))
просто совпадают. Это, конечно, свидетельствует о том, что средний
риск любого из них отличается от минимального байесова риска на по-
стоянную при всех значениях у величину, которая по определению этих
правил решения минимальна и в силу их асимптотической оптималь-
ности стремится к нулю с ростом качества и объема данных наблюде-
ния. Выбор между этими правилами в случае их несовпадения зависит
от того, что более важно в данной конкретной задаче: наилучшее
в среднем приближение к абсолютно оптимальному правилу решения
или приближение, обеспечивающее минимум максимального откло-
нения.
Глава 7
ОЦЕНКИ МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
7.1.	ВВОДНЫЕ ЗАМЕЧАНИЯ
Из результатов предыдущей главы видно, что нахождение оценок
максимального правдоподобия является существенным элементом адап-
тивного байесова подхода и до некоторой степени даже его основой
в случае параметрически заданной априорной неопределенности. Метод
максимального правдоподобия, как мы видели ранее в гл. 2, 4, 5, имеет
и большое самостоятельное значение. Он позволяет в ряде случаев най-
ти минимаксное решение задачи с гарантированным уровнем риска и
дает возможность выявить достаточные или квазидостаточные статисти-
ки. В связи с этим в настоящей главе более подробно рассмотрим мето-
ды получения и свойства оценок максимального правдоподобия.
Этому вопросу посвящена довольно обширная литература, начиная
с ранних работ по классической математической статистике, поэтому,
возможно, значительная часть того, что будет изложено ниже, хорошо
известна многим читателям. Это в особенности относится к случаю ре-
гулярных оценок [16] по совокупности независимых данных наблюде-
ния, соответствующему этому случаю неравенству Крамера — Рао и
асимптотической эффективности регулярных оценок максимального
правдоподобия. Наряду с этим имеется Много сравнительно малоиз-
вестных аспектов метода максимального правдоподобия: влияние ста-
тистической зависимости данных наблюдения на сходимость и точность
оценок максимального правдоподобия; нерегулярность, когда функция
правдоподобия недифференцируема по оцениваемым параметрам; ре-
куррентные процедуры нахождения оценок максимального правдоподо-
бия и их свойства и т. д. Наличие подобных аспектов, а также большое
значение метода максимального правдоподобия для решения задач син-
теза в условиях априорной неопределенности делают целесообразным
систематическое изложение основных фактов, относящихся к методам
получения и свойствам оценок максимального правдоподобия. Большин-
ство этих фактов будет приведено без доказательства со ссылками на
оригинальные и популярные работы, в которых такие доказательства
имеются.
Прежде чем перейти к дальнейшему изложению, напомним некото-
рые основные определения. Пусть имеется совокупность данных наблю-
дения х, которую обычно будем представлять в виде вектора х={хь...
..., хп}, каждая компонента которого х v соответствует одному наблюде-
нию и, в свою очередь, может быть вектором того или иного порядка
нлн даже отрезком реализации некоторого непрерывного случайного
процесса. Пусть эти данные наблюдения зависят от некоторого парамет-
ра 0={0i,..., 0т} размерности m^l. (Нам удобно ввести здесь новое
обозначение для неизвестных параметров, чтобы иметь возможность
в дальнейшем понимать под 0 как параметры у, характеризующие ап-
риорную неопределенность в статистическом описании х и Z, так и
сами параметры X, влияющие на последствия принимаемых решений и
являющиеся предметом оценки в ^сходной задаче статистического ре-
шения, так и, наконец, совокупность тех и других параметров.) Зависи-
мость данных наблюдения х от параметров 0 описывается функцией
117
правдоподобия
P(x|0) = P(x,....х„|0),	(7.1.1)
где Р(х|0)—плотность совместного распределения вероятности х=
={хь ...,хп} при заданном значении 6, а оценка максимального прав-
доподобия 0*=6*(хь ... , хп) определяется из уравнения максимального
правдоподобия
Р(х | 0*) = гпахР(х 10),	(7.1.2)
(0)
где максимум находится по области допустимых значений 6. Уравнение
(7.1.2) эквивалентно следующему уравнению для логарифма функции
правдоподобия, которым часто будем пользоваться в дальнейшем:
L (6*) = max L (0),	(7 13)
(в)
где
L(0)=L(x, 0) = 1пР(х|0).	(7 1.4)
Если для каждого 0 из допустимого множества значений для почти
всех значении х существуют частные производные —(1=1,.. ,т)
причем
дР (х | 0)
де,-
(х),
где F2(x) —интегрируемые по всему пространству х функции, то оценка
максимального правдоподобия является регулярной и уравнение макси-
мального правдоподобия может быть представлено в одной из эквива-
лентных форм
VeP(x|0) = O	(7.15)
или
VeL(0) = O,	(7.1.6)
( д	d 1
где Ve = < go—, •  • ,	- > — оператор градиента по компонентам век-
тора 0.
Регулярный случай, пожалуй, чаще всего встречается на практике.
Однако во многих важных практических задачах свойство регулярности
не выполняется, что заставляет рассматривать и более общий случай,
для которого некоторые закономерности поведения регулярных оценок
могут и не соблюдаться.
Если наряду с оценкой максимального правдоподобия 0*=0* (хь...
..., хп) рассмотреть какую-либо другую функцию 0—0 (х) =0 (хь ...
...,хп), которая не является решением уравнения максимального прав-
доподобия, то очевидно, что при весьма общих предположениях о виде
этой функции можно считать ее оценкой параметра 0, более того, и
совершенно произвольную функцию вектора х={хь ..., хп} можно также
назвать оценкой 0, хотя возможно, что точность этой оценки будет со-
вершенно неудовлетворительной. В дальнейшем нам понадобится опре-
деление регулярности и для оценки 0=0 (х) произвольного вида Чтобы
118
ввести это определение, зададим взаимно однозначное преобразование
У= {у.«  •• • Уп} = У(х) = У(х.> - ’ хп)= {6 (X), £(х)},	(7.1.7)
где §(х)=§(Х1,..., хп)—некоторая многомерная функция х={х,,...
..., хп}, дополняющая преобразование 0(х)=0(хь ..., хп) до взаимно
однозначного. В силу взаимной однозначности этого преобразования две
совокупности {хь ...,хп} и {уь ...,уп} статистически эквивалентны, по-
этому вместо исходной совокупности данных наблюдения x={xi,..., хп}
можно рассматривать преобразованную совокупность у={уь •  • ,уп).
статистическое описание которой задается функцией правдоподобия
Р(у|0), получающейся применением преобразования (7.1.7) к исходной
функции правдоподобия (7.1.1).
Функцию правдоподобия Р(у |0), очевидно, можно записать в виде
Р(у|0)=Р(0|0)Р£ (||0, 0),	(7.1.8)
где Р(0 | 0) и Р^ (| [ 0, 0) — соответствующие условные плотности ве-
роятности. Оценка 0 = 0 (х) называется регулярной, если для каждого 0
из заданного множества значений для почти всех значений 0 и g суще-
др (0 I 0)
ствуют частные производные_____._1 ,2. и
ан.
а/\(£|0, 0)
——, причем
дР (0 / 0)
дв~
дР^(1\Ъ, 0)
анг
<<р« (!•	f'= 1....т’

где Л(0) и <p,(£, 6) —функции, интегрируемые по всему пространству
0 и {0, £} соответственно.
Совокупность этих условий несколько жестче, чем простое требова-
ние дифференцируемости функции правдоподобия. Они накладывают
определенные ограничения не только на Р(х|0), но и на возможные
виды преобразования 0=0 (х), т. е. на структуру оценочных функций.
Всякая оценка 0=0 (х) отличается от истинного значения 0. Про-
стейшей характеристикой этого отличия является математическое ожи-
дание разности 0(х)—0
Ь(0) = 2И{0(х)} — 0,
(7.1.9)
вообще говоря, зависящее от 0 и называемое смещением оценки. Оцен-
ка, для которой Ь(0)=О, называется несмещенной.
Важным понятием является также понятие достаточной оценки.
Оценка 0=0 (х) называется достаточной, если условная плотность ве-
роятности Р^(||0, 0) в (7.1.8) не зависит от 0. Достаточная оценка
является, очевидно, минимальной достаточной статистикой для пара-
метра 0; достаточной в силу того, что она удовлетворяет основному
требованию к любой достаточной статистике (гл. 2), а минимальной —
в силу того, что размерность этой статистики (вектора 0(х)) совпадает
119
с размерностью вектора неизвестных параметров 6. Если существует
какая-либо достаточная оценка 0, то любая лучшая оценка может быть
только функцией 6.
7.2.	СОСТОЯТЕЛЬНОСТЬ ОЦЕНОК МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
Вопрос о состоятельности оценок максимального правдоподобия,
т. е. о их сходимости к истинным значениям оцениваемых параметров,
при увеличении объема данных наблюдения — размерности п вектора
х—{xi,..., хп}, достаточно хорошо освещен в многочисленной литерату-
ре по математической статистике, например [16, 36]. В достаточно ши-
роких условиях оценки максимального правдоподобия оказываются
состоятельными, причем практически без ограничения общности можно
считать, что если для параметра 0 в принципе существует состоятель-
ная оценка, то оценка максимального правдоподобия этого параметра
также является состоятельной.
Наиболее распространенной причиной несостоятельности оценки
максимального правдоподобия является неоднозначное гь, связанная
с тем, что максимум функции правдоподобия достигается для несколь-
ких значений 0 одновременно. Если это обстоятельство имеет место при
каком угодно увеличении объема данных наблюдения {хь..., хп}, т. е.
при п-^оо, то очевидно, что оценка максимального правдоподобия не-
состоятельна, точная оценка параметра 0 вообще принципиально не-
возможна и для получения состоятельной оценки необходимо привлече-
ние дополнительных данных наблюдения какой-то иной природы, по-
зволяющих устранить неоднозначность.
Можно привести простое необходимое условие состоятельности
оценки максимального правдоподобия, выполнение которого обеспечи-
вает отсутствие неоднозначности. Это условие использует свойства ма-
тематического ожидания логарифма отношения правдоподобия. Введем
случайную функцию параметра 0
г.(в. е.)=ф1п	-	,	(7 2.1)
где 0 — произвольное, а 0О — неизвестное истинное значение параметра
0. Очевидно, что при любом п максимум функции zn(0; 0о) достигается
в точке 0*n=6* (xi,..., Хп), которая является решением уравнения
(7.1.2), т. е. оценкой максимального правдоподобия.
Математическое ожидание величины zn(6; 0о)
Где; e,)=Mfc(e; =
Х-р(х1....х„| 0,)dx,,... ,dxn	(7.2.2)
равно нулю при 0=0о и неположительно при всех значениях 0. Дей-
ствительно, ввиду неравенства 1па^а— 1 имеем
zn (0; 0О)= — М Jin £(Х--—<
п (	р(х,,..., хп| е„) /
< У J [	Р (X....*. 1*........их.=0. (7.2.3)
120
Необходимым условием состоятельности оценки максимального правдо-
подобия является достижение в (7.2.3) строгого неравенства при «->-оо,
т. е.
limz„(0, 0о)<О при 0т^®о-	(7.2.4)
/г->со
Если это условие <не выполняется, то даже при п-^ео и сходимости по-
следовательности случайных функций zn(0; 0О) к своему математиче-
скому ожиданию limzn(0; 0О) уравнение правдоподобия не имеет един-
П->00
ственного решения и, следовательно, оценка максимального правдопо-
добия несостоятельна.
Отметим, что в силу очевидного равенства
P(xp...,x„|0) = P(x1,...,x„_1|0)jPr.(x„|x„_1....х„ 0)
функцию zn(0; 0о) можно представить в виде суммы
= (7-2-5)
где при v = 1, 2,.... п
t (0; 0„) = 1П	...Х1’ j*)	(7 2 6)
°' A(xJxv_j, . . , X,, 09)
— величина логарифма отношения правдоподобия для значения пара-
метра 0 против истинного значения 0=0о при наблюдении значения х#
и при условии, что предыдущие значения хь ..., х^ известны.
В частном случае независимых одинаково распределенных вели-
чин х„, когда
P(xv|x,_j.....xlf 0) = /?(х,|0); =	,	(7.2.7)
функция zn(0, 0О) равна
г,(в;	(7ЗД
U=i	)
limz„(0; 0„) = г(0; 0О).	(7.2.9)
Г2->СС
При этом величины Cv(0; 0„) также независимы и на основании усилен-
ного закона больших чисел для сумм независимых случайных величин
последовательность случайных функций zn(0; 0О) с вероятностью еди-
ница сходится к своему математическому ожиданию z(0; 0О) (7 2.8).
Если эта сходимость равномерна по 0 и выполняется необходимое усло-
вие (7.2.4), то оценка максимального правдоподобия также с вероят-
ностью единица сходится к значению 0=0О. Для сходимости по вероят-
ности в случае независимых значений {xi,...,хп} условие (7 2.4) являет-
ся также и достаточным.
В случае зависимых случайных величин {xi,...,xn}, помимо суще-
ствования предела (7.2.9), удовлетворяющего условию (7.2.4), для со-
стоятельности оценки максимального правдоподобия требуется выпол-
121
нение некоторых дополнительных условий. Общим (но, возможно, из-
быточно жестким) условием является требование равномерной
относительно в сходимости последовательности случайных функций
zn(0; 0О) к своему математическому ожиданию z(0; 0o)=lim zn (0; 0О).
n-*oo
Это требование может быть записано в следующем виде:
п
У [Af к. Q - М {Q М {Си}] 0	(7.2.10>
'*	*"**	Я->ОО
У, p,tsal
равномерно относительно 0.
7.3.	НЕРАВЕНСТВО КРАМЕРА—РАО ДЛЯ РЕГУЛЯРНЫХ ОЦЕНОК.
ЭФФЕКТИВНЫЕ ОЦЕНКИ. АСИМПТОТИЧЕСКАЯ ЭФФЕКТИВНОСТЬ ОЦЕНОК
МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
Рассмотрим какую-либо оценку 0=0 (х) параметра 0 и наряду со
смещением Ь(0) (7.1.9) введем характеристику среднеквадратичного
отклонения этой оценки от истинного значения параметра, определив
матрицу
г=М {(еГ(х)-0) (0 (X) - 0)т} = М {|| (0,- (х) - 0,) (0* (х) - 00 ||} = || rlk ||,
(7.3.1>
где 0(x)= {0, (x),... , 0m (x)}; 0z(x)— оценка 0/. Для всякой регуляр-
ной оценки имеет место неравенство, полученное Крамером,
г ' [I + Veb (0)] А-1 (0) [I + Veb (0)]т,	(7.3.2)
где
А (0) = М {VeL (0) VTeL (0)} = ||М	=
= ~ || j	р (х 10)dx ||= ~ м {VeVT«L (0)}	(7‘3-3>
— информационная матрица Фишера [см. (5.4.11)], а матричное нера-
венство В^С понимается в том смысле, что разность В—С является
неотрицательно определенной матрицей, т. е. при любом y={z/i, ..., ут}
уТЗу—У.В,ку1ук ^С.ку.ук^уСу.	(7.3.4)
’к	>к
В частности, для диагональных элементов
Вгг^Си,	(7.3.5)
откуда следует совокупность неравенств для минимально достижимых
значений средних квадратов ошибок определения компонент 0; — ве-
личин Гц—М{ (0г (х)—0г)2}. В (7.3.2), естественно, предполагается, что
матрица Фишера невырожденная.
При отсутствии смещения оценки (Ь(0)=О) это неравенство прини-
мает вид
г>А-’(0).	(7.3.6)
122
Оценка 0(х), для которой в (7.3.6) достигается знак равенства, назы-
вается эффективной. Такая оценка обеспечивает максимально достижи-
мую точность определения параметра 0.
Условием существования эффективной оценки 0=0Эф(х) является
равенство
(0) = А (0)	(х) - 0).	(7.3.7)
Поскольку в регулярном случае оценка максимального правдопо-
добия 0* определяется решением уравнения правдоподобия veb(0)=O
(7.1.6), из (7.3.7) следует, что если эффективная оценка существует, то
именно оценка максимального правдоподобия является эффективной
(в*=вЭф(х)).
В том случае, когда х = {хр..., х„} и значения хч независимы и
распределены одинаково, информационная матрица Фишера
А(0) = Але> = ^
(Л ainP(xje)
д In Р (х„ | в)
эе,-
п

д In Р (xv | в)
aez
д In Р (х, | в)
п
a in р (х । е) dinP (x । в)
| ±= nA, (0).
При этом корреляционная матрица эффективной оценки
гэф= А71 (0)=(l/n) Af1 (0)
(7.3.8)
(7.3.9)
имеет порядок 1/п и стремится к нулю с ростом объема совокупности
данных наблюдения.
В общем случае информационная матрица Фишера связана с вве-
денным в § 7.2 математическим ожиданием отношения правдоподобия
zn(0, во) (7.2.2) соотношением
Ап (0.) = - nveVTez„ (0, 0О) | в=0о = - п
aazn(6, 6О)
36(Э6й
6=6/ <7-3-10)
из которого следует, что в случае существования предела г(0, 0о)
(7.2.9) матрица Фишера Ап(0) асимптотически пропорциональна п,
а корреляционная матрица эффективной оценки А”1 (О) убыва-
ет пропорционально 1/п и стремится к нулю с увеличением объема со-
вокупности данных наблюдения.
Если рассмотреть оценку максимального правдоподобия 0*=0*п=
=0*п(хь ..., хп), построенную по совокупности данных наблюдения
{х1,...,хп}, где последовательность хц ...,хп — эргодическая, то в ре-
гулярном случае эта оценка при п->оо является асимптотически эффек-
тивной, т. е. корреляционная матрица
г„=?и {(0*„ - 0) (0% 0)т} - а;1 (0).	(7.3.1 ’)
/7-><5О
123
Более того, в этом случае оценка максимального правдоподобия асимп-
тотически нормальна, с математическим ожиданием, равным истинному
значению 0, и корреляционной матрицей, равной матрице, обратной
информационной матрице Фишера. Доказательство этого факта приво-
дится во многих книгах по математической статистике, например в [16].
7.4.	НЕРЕГУЛЯРНЫЙ СЛУЧАЙ. СУПЕРЭФФЕКТИВНЫЕ ОЦЕНКИ
При нарушении условий регулярности интегралы, определяющие
матрицу Фишера, не существуют и неравенство Крамера — Рао стано-
вится неприменимым. Причиной нерегулярности являются разрывы
функции правдоподобия, наличие которых обусловливает возможность
получения оценок повышенной точности. Если оценка параметра 0 про-
изводится по совокупности данных наблюдения {xb ...,xrt} и средний
квадрат отклонения 0(хь ..., х„) — 0 убывает с ростом п быстрее, чем
1 /га, то такая оценка называется суперэффективной.
Приведем простейший пример подобного рода. Пусть имеется сово-
купность независимо распределенных величин {лщ .... хД, каждая из ко-
торых распределена равномерно на интервале (0, 0), где 0 — неизвест-
ный параметр, подлежащий оценке. Их совместное распределение ве-
роятности имеет плотность
п
P(xlt .. , Х„|0) = Др(х,|0) = ^- при 0<х <0; v= 1....п (7.4 1)
v=l
ц равную нулю при всех остальных значениях xh ... хп. Функция прав-
доподобия (7.4.1) при любых фиксированных значениях х{, ..., хп воз-
растает с уменьшением 0 до значения
0 = 0*n= 0*n(x) — max {.rv .... .vj,	(7.4.2)
в точке 0=0*п имеет разрыв и при 0<0*п обращается в нуль.
Таким образом, величина 0*п из (7.4.2) является оценкой макси
мального правдоподобия.
Эта оценка — максимальная из величин хь .. ,хп — имеет при лю-
бом фиксированном значении 0 плотность распределения вероятности
Р(0\|0) =
I П(®п	ПРИ °
(О при 0*л>-0.
<0%<0,
(7.4 3)
Средний квадрат отклонения 0*п—0 равен
М{(0\-0)г} — 202/(п +!)(« + 2)	(7.4 4)
и при больших п имеет порядок 1/п2, т. е. стремится к нулю значитель-
но быстрее, чем средний квадрат отклонения для эффективной оценки
в регулярном случае.
Оценка максимального правдоподобия (7.4.2) имеет смещение
6(0) = /И{О*„} — 0 = — [1/(«4-1)]0.	(7 4 5)
Несмещенная суперэффективная оценка 0П получается из (7.4.2)
умножением на поправочный коэффициент (п+1)/«. Для этой оценки
средний квадрат отклонения равен
Л4 {(0„ - 02} = [!/«(« +2)102
(7 4 6)
124
и при п>2 меньше, чем в случае оценки максимального правдоподобия.
Можно получить оценку с еще меньшим средним квадратом отклонения,
если ввести другой поправочный коэффициент, равный (п + 2)/(п+1).
Эта оценка
^i=:[(n + 2)/(n+l)]0%	(7.4 7)
является минимаксной оценкой параметра 0 и имеет следующий сред-
ний квадрат отклонения от истинного значения:
уИ{(0и- 0Г} = [1/(и+ 1)s] 0г.	(7 4.8)
Она также является смещенной, но имеет смещение
М0)= -[!/(«+ 1)г]0	(7-49)
порядка 1 / и2, быстро убывающее с ростом и.
Обратимся теперь к общему случаю, рассмотрев для этого асимпто-
тическое поведение функции правдоподобия. Используя введенную
в (7.2.1) функцию zn(0, 0о), можно представить функцию правдоподо-
бия Р(хь ...,хп10) в виде
Р(х1, .., х„|0)е=Р(х1( .... х„| 0o)exp[nz„(0, 0О)],	(7.4.10)
где 0о — некоторое произвольное значение параметра 0 (че обязательно
истинное, как в § 7.2). При больших значениях и функция zn(0, 0о)
близка к своему математическому ожиданию zn(0, 0о) (7.2.2). Поэтому
имеет место следующее асимптотическое равенство:
Р(х1, .. , х„| 0) л=Р(х1, ..., х„|0о) ехр [nz„(0, 0О)]-	(7.4 11)
Выберем в качестве 0О значение 0, максимизирующее функцию
правдоподобия, т. е. оценку максимального правдоподобия 0*п Тогда
Р(х„ .... хп\®)^Р(х„ .. , хп | 0%) ехр [пг„(0, 0Х„)].	(7.4 12)
Правая часть этого выражения задает асимптотическое представление
функции правдоподобия и может рассматриваться как совместная плот-
ность вероятности оценки максимального правдоподобия 0*„ и некото-
рой новой случайной величины g=g(xl;..., хп), дополняющей преобра-
зование {0*n(xi,... ,хп), |(хь ...,хп)} совокупности случайных величин
{xi, ..., хп} до взаимооднозначного. Качественно новым в этом представ-
лении по сравнению с общей записью плотности вероятности для пре-
образованной совокупности данных наблюдения типа (7.1.8) является
то, что функция zn(0, 0*п), которая только содержит зависимость функ-
ции правдоподобия от параметра 0, задается вполне определенным вы-
ражением (7.2.2) и зависит непосредственно лишь от 0*„, но не от
{xi, .., хп}. Если экспоненциальный множитель в (7.4.12) интегрируется
по 0*п, то при соответствующей нормировке он задает асимптотическую
плотность вероятности оценки максимального правдоподобия, причем,
как следует из (7.4.12), эта оценка является асимптотически достаточ-
ной.
В § 7.2 показано, что в точке 0=0*п функция zn(0, 0п) до-
стигает максимума. Поэтому в этой точке производная этой функции
по любому направлению либо равна нулю (тогда мы имеем регуляр-
ный случай с обращением в нуль градиента функции zn(0, 0*п)),
либо для всех или некоторых направлений отлична от нуля и отрица-
тельна (нерегулярный случай).
125
В регулярном случае в соответствии с результатами § 7.3 имеет
место асимптотическое представление:
пг„(0, 0*„)^_>/1(в*„-в)тА„(в)(0*я-0)	(7.4.13)
и плотность вероятности оценки максимального правдоподобия
Р (©*« | 0) ~ С ехр {- 7, (0% 0)- А„ (0) (0% - 0)},	(7.4.14)
где С — нормирующий множитель, что соответствует сформулированно-
му в § 7.3 утверждению об асимптотической нормальности и асимптоти-
ческой эффективности регулярной оценки максимального правдоподо-
бия. При этом матрица Фишера Ап(0) имеет порядок п, а обратная ей
корреляционная матрица ошибок при оценивании параметра 0 — поря-
док 1/п
В нерегулярном случае функция zn(0, 0*п) в окрестности точки
е=е*п имеет вид конической поверхности благодаря отличию от нуля
производной этой функции по направлению и главным членом в разло-
жении функции zn(0, 0*п) по степеням разности 0*п—0 является не
квадратичная форма (7.4.13), а линейное относительно модуля этой
разности выражение вида
Г«(0, 0%)«(7.4.15)
где | 0 — 0*п | = ]/(0 — 0*л)т (0 — 0*„) — модуль разности 0 — 0*л, а
£ ( ।	j~) — абсолютное значение производной функции zn (0. 0*л)
в точке 0=0*п по направлению, задаваемому единичным вектором (0—
—0*п)/|0—0*п|. При этом асимптотическое выражение для плотности
вероятности оценки максимального правдоподобия имеет вид
Р (0*„ | 0) = С ехр {- nk (	) | 0 - 0*„ 11,	(7.4.16)
где С — нормирующий множитель. Из (7.4.16) следует, что в общем
случае нерегулярная оценка максимального правдоподобия имеет сред-
ний квадрат отклонения от истинного значения 0 порядка 1/п2.
Если для некоторых направлений производная функция zn(0, 0*п)
принимает бесконечные значения, то в области значений 0*п—0, соот-
ветствующей этим направлениям, плотность вероятности Р(0*п|0)
обращается в нуль. Рассмотрим снова предыдущий пример Для него
где, »%)=(-“	при9*">в'
(1п0*п/0 при0*„<0,
а модуль производной k ( -	 ) равен бесконечности в направлении
“ п I )
0 — 0*„<О и 1/0 в направлении 0—0*„>О. Поэтому
О при 0*п > 0,
Р(0*п|0)=	,	.
С>хр -J-1 0*„ - 0 | } при 0*/<0.
126	А ’
где нормировочная константа С=п/в. Это же выражение получается из
точного выражения (7.4.3) заменой
* = ехр|(л — 1)1пЗД = ехр((п — 1) In Г1	—-—-))
\	/	\	0 J I
I/ i\i Л |0*л —0| М (	10*л — 01 )
=« ехр |(п — 1) In 1-!-g-I ехр	п -!——L •
Приведем в заключение еще один пример нерегулярной суперэф-
фективной оценки максимального правдоподобия. Пусть наблюдается
совокупность независимых величин {хь ..., х„}, каждая из которых име-
ет плотность распределения вероятности
I	[ X _____0\
P(xJ0) = —ехр(---------х >0,	(7,4,17).
и равную нулю при х*< 0. Пусть 0 — неизвестный параметр сдвига, под-
лежащий оценке. Максимум функции правдоподобия
п	(	/ п
.ехР —4-л9
m=i	'	4=1
(7.4.18)
достигается при
0 = 0*я=ш1п{х1....хп},	(7.4.19)
так как при 0<0*п функция правдоподобия экспоненциально умень-
шается с уменьшением 0, а при 0>0*п обращается в нуль из-за свойств
плотности вероятности (7.4.17). Таким образом, минимальная из вели-
чин {хь ...,хп} является оценкой максимального правдоподобия (7.4.19)
для параметра 0 сдвига распределения вероятности.
Функция zn(0, 0*п) в данном случае имеет вид

— оо
— (0*„ —0)/а
при 0>0*„,
при 0 < 0*„,
(7.4.20)
т. е. сразу представляется в виде (7.4.15), а плотность распределения
вероятности оценки максимального правдоподобия 0*п (7.4.16) опреде-
ляется выражением
Р(0*„|0) = {
С ехр { — п (0% — 0)/а}
0
при 0*„>0,
при 0*„< 0,
(7.4.21)
где С — нормирующий множитель.
В данном случае это выражение является точным, в чем легко убе-
диться, записав плотность распределения вероятности минимальной из
величин {Х1,...,хп}, распределенных в соответствии с (7.4.17).
Продолжим рассмотрение этого примера, предположив, что и пара-
метр а также неизвестен и подлежит оценке. Максимизируя (7.4.18) по
0 и а, получаем наряду с (7.4.19) оценку максимального правдоподобия
для параметра а
п
= 4- У
М=1
(7.4.22)
127
где 0*п по-прежнему определяется выражением (7.4.19). Эта оценка
является регулярной, поскольку функция правдоподобия дифференци-
руема по а. Для нахождения совместного асимптотического распределе-
ния вероятности оценок 0*„ и а*п найдем функцию гп, (0, а; 0*п, а*п)
(при этом следует воспользоваться формальным выражением (7.2.2),
понимая под вектором 0 совокупность 0={0, а}). Соответствующее ма-
тематическое ожидание равно
при 0,> 0*„
г„(0, а; 0*„, а*п) =
' 8*п — 8  а*п — а , । а*п
а	а ' а
(7.4.23)
при 0
0*л-
Сохраняя в (7.4.23) члены не выше второго порядка, получаем для
асимптотической плотности распределения вероятности выражение
Р(0*„, а*п|0,а) =
г> (	— 8	1	(®*Л —«)’ 1	Л* а
С ехр! — п-----------т п	j при 0*п> 0.
О при 0*„< 0,
из которого следует, что оценки максимального правдоподобия пара-
метров 0 и а асимптотически независимы, причем оценка параметра 0
суперэффективна со средним квадратом отклонения от истинного значе-
ния
М {(0*„ - ©Г} = 2аг/пг,	(7.4.25)
а оценка параметра а эффективна со средним квадратом отклонения
М {(а*п - а)г} = аг1п.	(7.4.26)
Приведенные примеры иллюстрируют возможности нахождения
асимптотических распределений вероятности оценок максимального
правдоподобия с помощью математического ожидания логарифма отно-
шения правдоподобия zn(0, 0О) |0 ==0»л как в регулярном, так и
в нерегулярном или смешанном случае.
7.4.1. Оценки максимального правдоподобия параметров
с ограниченным множеством значений
Важным специальным случаем нерегулярных опенок являются
оценки максимального правдоподобия параметров 0 при наличии огра-
ничений на множество допустимых значений. Будем считать, что функ-
ция правдоподобия Р(х|0) регулярна, так что в отсутствие ограниче-
ний мы имеем возможность найти регулярную оценку максимального
правдоподобия 0*о=0*о(х), которая при достаточно большом объеме
совокупности наблюдаемых данных х является асимптотически доста-
точной и асимптотически эффективной оценкой параметра 0. Рассмот-
рим, к каким особенностям с точки зрения характеристик точности при-
водит наличие ограничений на множество допустимых значений 0.
Обозначим это множество через G{0}, не конкретизируя пока его
структуру, и рассмотрим основное уравнение максимального правдопо-
128
добия (7.1.2), подчеркнув в нем явно наличие ограничений на допусти-
мое множество значений 0:
Р (х | 0*) = max Р (х | 0).	(7.4 27)
(0SG {©})
Если множество G{0} имеет ненулевую меру (т. е. 0 является па-
раметром с некоторой непрерывной областью значений), то решение
этого уравнения — оценка максимального правдоподобия 0* — либо
совпадает с регулярной оценкой 0*с, найденной без учета ограничений,
либо лежит на границе множества G{0}. В первом случае 0*о принад-
лежит G{0}, во втором 0*о не принадлежит G{0}. Эти соображения, не-
смотря на свой совершенно очевидный характер, являются тем не менее
средством, которое позволяет сравнительно просто найти оценку 0*
в том практически важном случае, когда найденная без учета ограни-
чений оценка 0*о близка к эффективной.
В этом последнем случае функция правдоподобия
Р (х I 0) « Р (х|0*.) ехр {-7, (0 - 0*„)т А (0*„) (0 - 0)},	(7.4.28)
где А(0) —информационная матрица Фишера, и уравнение максималь-
ного правдоподобия (7.4.27) эквивалентно уравнению
0*_0*о)тА(0*о)(0*-0\)= min (0 — 0*о)т А (0*о) (0 — 0О), (7 4 29)
(0SG {©})
из которого, как и в общем случае, следует, что
0* = 0% при 0\GG{0}.	(7.4 30)
Будем считать, что размер множества G{0} не мал по сравнению
со среднеквадратичным разбросом регулярной оценки 0%, задаваемым
матрицей А-1.	__
Для нахождения оценки 0* для случая, когда 0-oeG{0}, восполь-
зуемся малостью отклонения 0—0%, которая позволяет заменить
в окрестности минимизирующего значения 0=0* границу множества
G{0} гиперплоскостью (когда эта граница сама по себе представляет
гиперплоскость, что соответствует наиболее распространенному типу
ограничений, последующие приближения являются точными).
Пусть в окрестности точки 0=0% граница множества G{0} задает-
ся уравнением гиперповерхности
<р(0)=О.	(7.4.31)
Заменим ее гиперплоскостью
<Р (0*„) + (0 - 0*„Д а ? (0) = 0,	(7.4.32)
где
a = Ve?(0*o).	(7-4 33)
и найдем минимум в (7.4.29) с учетом ограничения (7.4.32) на допусти-
мые значения 0 Используя метод Лагранжа, получаем
0* = 0%	nPH0*oeG{0}. (7.4.34)
Это решение при нелинейной функции <р(0) является, конечно, только
первой итерацией, однако его точность достаточно велика. При необхо-
димости можно вычислить следующее приближение, аппроксимировав
9—899	129
гиперповерхность tp(0)=O гиперплоскостью вида (7.4.32) с заменой 6%
на 0*, т. е. фактически вычислить уточненное значение опенки 0* г по-
мощью выражения
й*=«*.'5,7л-ПбЬгА‘,|Й'')а"	<7'4-35)
где 0*1 определяется формулой (7.4.34), а
а, = Ve?(G\).	(7-4 дб)
и продолжить итерационный процесс далее.
Из-за ограничения множества допустимых значении 0 оценка мак-
симального правдоподобия 0* получается смещенной. Величина сме-
щения тем больше, чем ближе истинное значение 0 к границе множества
6{0}, и достигает максимальных величин для значений 0, лежащих ча
границе этого множества. Однако полный средний квадрат ошибки оце-
нивания не больше, чем при отсутствии ограничений. Для зна1' ччй
0sG{0} и лежащих достаточно далеко от границы, корреляцией шзя
матрица ошибок оценивания практически совпадает с корреляцией -ой
матрицей ошибок при отсутствии ограничений, а для значении 0, близ-
ких к границе множества — меньше ее. Для значений 0, лежащих
на границе, величина среднего квадрата ошибки оценивания одной из
компонент параметра 0 или линейной комбинации компонент вида аг0.
где а — вектор, совпадающий по направлению с нормалью к границе
множества G{0) в точке, соответствующей истинному значению 0, мо-
жет быть в два раза меньше величины среднего квадрата ошибки для
регулярной эффективной оценки.
В целом оценки максимального правдоподобия при наличии огра-
ничений на допустимое множество значений 0 асимптотически лучше
эффективных оценок при отсутствии ограничений, однако для непрерыв-
ного множества G{0) их «суперэффективность» невелика и проявляется
только для значений 0, близких к границе допустимого множества G{0}.
Рассмотрим теперь случай, когда множество G{0) имеет нулевую
меру и состоит из отдельных изолированных точек 0=0, (г=1, 2....).
Тогда оценка максимального правдоподобия 0“ имеет особенно прочую
структуру:
0Z = 0/, если Р(х j 0,) = max {Р(х | 0J, Р(х j 0S), ...}, (7.4.37)
т. е. совпадает с тем дискретным значением 0г, для которого функция
правдоподобия максимальна.
Фактически этот случай может быть проинтерпретирован как зада-
ча проверки многоальтернативной гипотезы о том, какому из дискретных
значений 0, соответствует совокупность наблюдаемых данных х, но сей-
час нам удобнее говорить именно о задаче оценки параметра 0 с елра-
ниченным набором дискретных точек множеством допустимых значений.
В условиях существования (при отсутствии ограничений) регуляр-
ной асимптотически эффективной оценки максимального правдоподобия
0*о правило (7.4.37) нахождения 0 может быть преобразовано к экви-
валентному виду
0* = 0„ если (0i - 0*о)тА(0,) (0, - 0*,) =
= min {(0j - 0*,)т А (0/) (0/ - 0*о)},	(7 4 38)
(/)
130
где минимум берется по всем возможным значениям /, нумерующим за-
данную совокупность дискретных значений. Как видно из (7.4.38), по-
строение оценки 0* сводится к разбиению пространства параметров 0
па ряд непересекающихся областей и определению номера области,
в которую попадает оценка 0*о, найденная без учета ограниче-
ний. Если к тому же информационная матрица Фишера не зависит от
0, т. е. A(0,)=A(0j), то это разбиение производится с помощью гипер-
плоскостей.
Оценка 0* из (7.4.37) по величине среднего квадрата ошибок оце-
нивания может быть существенно лучше регулярной эффективной оцен-
ки Особенно резко это различие проявляется, когда расстояние между
точками 0, велики по сравнению со среднеквадратичным рассеянием
регулярной оценки 0*о, т. е. при
(0/-0,)тА(0,)(0/-01)> 1, i^=j.	(7.4.39)
Проиллюстрируем это обстоятельство на одномерном примере, ког-
да имеются всего три равноотстоящие точки 0=0], 0=02=0! + Д, 0=
=03=0!+2Д. Максимальная величина среднего квадрата ошибки оце-
нивания получится, если истинное значение параметра 0=02. При этом
М {(0*- 0)2} = 2Дг [1 - Ф(/A(9jД/2)],	(7.4.40)
где Ф — интеграл вероятности; А (0)=1 /о2Эф(0); о2эф(®)—дисперсия
эффективной оценки параметра 0 в регулярном случае (при отсутствии
ограничений). При
А (02)Дг = Дг/агЭф (0) >• 1
величина среднего квадрата ошибки
м«в’- в)’’ = Vыы “Р [-тл	Р4 4»
и если совокупность данных наблюдения x={xi,..., хп} такова, что
А(0)=геА1(0), т. е. дисперсия эффективной оценки убывает обратно
пропорционально п, то величина М{(0*—0)2} убывает с ростом п экс-
поненциально и оказывается существенно меньше дисперсии эффектив-
ной оценки.
7.5. МЕТОДЫ НАХОЖДЕНИЯ ОЦЕНОК МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
Уравнения максимального правдоподобия (7.1.2) или (7.1.3) опре-
деляют общий способ нахождения оценок максимального правдоподо-
бия как в регулярном, так и в нерегулярном случае. Существуют весьма
разнообразные методы их решения, которые в достаточно общей форме
можно классифицировать на два основных вида: конечные и рекуррент-
ные. В первом случае оценка максимального правдоподобия получается
сразу по всей совокупности имеющихся данных наблюдения х. Во вто-
ром— решение уравнения максимального правдоподобия представляет
собой процесс, в котором вычисление оценок производится многократно
с постепенным увеличением совокупности данных наблюдения. В обоих
случаях в зависимости от вида функции правдоподобия может быть по-
лучено точное или приближенное решение. Рассмотрим возможные ме-
тоды нахождения оценок максимального правдоподобия, обратив основ-
ное внимание на рекуррентные процедуры.
9‘	131
7.5.1. Конечные методы
При решении уравнения правдоподобия (7.1.2), (7.1 3) может быть
использован любой из известных методов максимизации функции век-
торной переменной 0={0Ь ..., 0ОТ}. Только в редких случаях максими-
зирующее значение — оценка максимального правдоподобия в5' нахо-
дится точно. В частности, это заведомо удается сделать, если функция
правдоподобия Р(х|0) такова,что
т
ait (х, 0) [f, (0,) - (х)],	(7.5 1)
где матрица ||аи(х, 0)|| положительно (или отрицательно) определен-
ная при всех х и 0, а уравнения
Л(еО-?;(х)-0	(7.5 2)
имеют решения. Эти решения
е*; =/71 (Т; (X)).	(7.5 3)
где )-13 — функция, обратная и являются компонентами вектора оцен-
ки максимального правдоподобия.
Простейшим частным случаем (7 5.1) является случай, когда лога-
рифм функции правдоподобия Л(0) квадратично зависит от 0, т. е.
L (0) = L„ (х) + 6TL, (х)+’/20tL2 (х) 0,	(7.5 4)
где L0(x)—скаляр; L] (х)—вектор той же размерности т, что и 0,
Ьг(х) — неособая матрица порядка т'Хт. При этом оценка максималь-
ного правдоподобия
0*=-L71(x)L1(x),	(7 5 5)
где Ц-1 (х) — матрица, обратная L2(x).
Другим распространенным примером, для которого выполняется
(7.5.1), является случай, когда
т	т
L (0) = L„ (х) Д- a-i (х) In 0г 4- 2 b‘ (х)01	(7 5 6>
х=1	/ —1
В этом случае оценка максимального правдоподобия
0Д=—а3(х)/&Дх).	(7 5 7)
Число таких примеров, как соответствующих (7 5 1), так и несоот-
ветствующих этому условию, но допускающих точное решение уравнения
правдоподобия, в том числе и для нерегулярного случая (примеры
§ 7 4 и др.), довольно велико, однако еще более многочисленны случаи,
когда точное аналитическое решение уравнения правдоподобия получить
невозможно. При этом для нахождения оценки используются различ-
ные приближенные методы. Выбор того или иного из них определяется
исходя из точности приближенного решения и вычислительной просто-
ты В частности, в регулярном случае широко распространены различ-
ные варианты итеративных процедхп, в том числе градиентный метод,
метод наискорейшего спуска, метод Ньютона, метод золотого сечения и
т д Любой из них является методом последовательных приближений
132
и при определенных условиях обеспечивает достаточно быструю схо-
димость к истинному решению уравнения максимального правдоподо-
бия. Приведем для примера алгоритм нахождения оценки максималь-
ного правдоподобия, соответствующий методу Ньютона. В этом случае
k-я итерация, определяющая очередное приближение 0*ft к оценке мак-
симального правдоподобия 0*, производится по правилу
0^ = 0%_, - [VeVTe^	Ve^	(7-5.8)
где 0\_, — приближение, полученное на (k— 1)-м шаге, а начальное
приближение выбирается произвольно с учетом имеющихся представлений
о существе задачи. Входящий в (7.5.8) оператор veVTe представляет со-
бой результат умножения вектора-столбца	, •••> на транс-
понированный ему вектор (строку) и является матрицей вида VeVTe =
д2
= de (i,/='1, ..., т), так что результат воздействия этого опе-
ратора на функцию £(0'*_,) также представляет собой матрицу
Wi (0V.) = ||	_ -	(7.5.9)
a [VeVTe7-(0\_ ,)] ', как всегда, обратная матрица.
 Проиллюстрируем применение этого алгоритма на примере оценки
единственного параметра 0(/п=1) для случая, когда логарифм функ-
ции правдоподобия £(0) представляется в виде
L (0) = L, (х) + 2 (х) f (0 - /Д0),	(7-5.10)
/
где х — вектор некоторой размерности; £0(х), АДх)—некоторые функ-
ции х; Д0 — известная величина, функция f(Q) имеет единственный мак-
симум (для определенности при 0=0) и является четной относительно
этого значения, а суммирование производится по такому множеству
значений /, что интервал от /ттА0 до /тахА0 полностью перекрывает
диапазон возможных значений параметра 0. К функции правдоподобия,
соответствующей (7.5.10), приводят многие задачи радиотехнических
измерений (частоты, задержки радиолокационного сигнала, направле-
ния на источник излучения).
Выберем в качестве нулевого приближения 0% Для оценки макси-
мального правдоподобия 0* величину, соответствующую какому-либо из
дискретных значений /Л0, например тА0 Для того чтобы это значение
давало максимально возможную величину функции правдоподобия,
очевидно, его нужно выбрать так, чтобы
Ат(х)>АДх) при	(7.5.11)
В силу свойств функции /(0) выбор любого другого т приведет
к уменьшению логарифма функции правдоподобия. Таким образом, наи-
более правдоподобным дискретным приближением к оценке максималь-
ного правдоподобия является величина
0*о=тЛ0,	(7.5.12)
где т определяется условием (7.5 11) и соответствует тому номеру /,
для которого величина Д(х) максимальна.
133
Следующее приближение вычисляется в соответствии с алгорит-
мом Ньютона (7.5.8) и дается выражением
S L! (х) Г (0*о — /Д0)	L1W f ((m — де)
0*] = 0*o-----1--------------,___— 0* _ _1___________________—
(6*0 — /40)	0	Х’/.Дх)/" ((m_j) Д0)
I
= O- ]Lm+' W ~	<x)1 f + Lm + , Ы - Lm-Z(y.y f (2ЛО) +
1	/-m (X) f" (0) + [/r»i+j (X) 4- Lm_t (x)j /" (M) +	’
(7.5.13)
где учтена четность функции f[Q). Если последняя, как это бывает
в ” < ктических задачах, достаточно быстро убывает с увеличением |01.
тас —о У^ЗЛв) <С^(Л0) и Гх(А0) <;f"(0), то в чиститепе и знаменате-
ле выражения (7.5.13) можно ограничиться только первыми слагаемы-
ми В результате
0* « 0* тД0 -\-r-r_№l Lm+' W —	/7 5 14)
1	1 f” (0)	LOT(x)	'	7
т e оценка получается зависящей только от наибольшей из величин
£Jxj и двух ближайших к ней. Приближение (7.5.14), как правило,
о, п ж.вгктся достаточно точным, и следующие итерации не требуются.
7.5.2. Рекуррентные методы
При большом объеме совокупности данных наблюдения х конечные
методы решения уравнения правдоподобия приводят к значительным
вычислительным трудностям, связанным с необходимостью запомина-
ния большого числа исходных Данных и промежуточных результатов
вычислений В связи с этим особрщ интерес представляют рекуррентные
методы, в которых оценка максимального правдоподобия вычисляется
по шагам с постепенно увеличивающейся точностью, причем каждый шаг
связан с получением новых данных наблюдения, а рекуррентная проце-
дура строится так, чтобы хранить, в памяти по возможности наименьшее
количество данных от предыдущих шагов. Дополнительным и весьма
существенным с практической тс)Чкп зрения преимуществом рекуррент-
ных методов является готовность к выдаче результата на любом про-
межуточном шаге.
Эг обусловливает целесообразность применения рекуррентных ме-
тодов ьаже в тех случаях, если удается получить точное решение урав-
нения максимального правдоподобия конечным методом, и делает их
еще более ценными, когда невозможно найти точное аналитическое вы-
ражение для оценки максимального правдоподобия.
Пуст^- совокупность данных наблюдения х представляет собой по-
следовательность Xi, ..., х„, для описания которой введем вектор Хп=
={xi,.. , Хп}. (Как всегда, каждая его компонента xv, в свою очередь,
может быть вектором, отрезком случайного процесса и т. д.) Пусть
Рп (Хр |0)=Рп (хь .... хп|0) —функция правдоподобия, а
^,t(0) = 1hP„(x1.....................х„10)
(7.5.15)
134
— ее логарифм. Последний всегда можно представить в виде
^(0)=^-, (0) + /„(0),
(7.5.16)
где
inP„_1(X„_, 0)-=1пР„_ДхР .. , х ^,(0)	(7.5.17)
— логарифм функции правдоподобия для совокупности данных наблю-
дения Xn_]={xi,..., x„_i} без последнею значения, а
/R(0) = ln^„(xRIX„_1, 0)	(7.5.18)
— логарифм условной плотности вероятности значения хп при заданных
значениях Xn-i и 0.
Представление (7 5.16) для логарифма функции правдоподобия яв-
ляется основой для получения рекуррентной процедуры вычисления
оценки максимального правдоподобия. Рассмотрим регулярный случай.
При этом оценка максимального правдоподобия может быть гаидепа
как решение уравнения
VeL„(0)=O,	(7.3.19)
которое отличается от (7.1.6) только введением индекса п у логарифма
функции правдоподобия.
Обозначим решение этого уравнения через 0*„, подчеркнув тем са-
мым, что эта оценка получена по совокупности данных наблюдения Хп=
= {х,, .... х„}. Аналогично обозначим через 0*v решение уравнения
Ve£„ (0) = 0 — оценку максимального правдоподобия, полученную по со-
вокупности данных Xv={Xj......xj.
Уравнение (7.5.19) можно переписать с учетом (7.5.16) в следующем
виде:
Ve£n-i(0) + ve^(0) = O-	(7.5.20)
Разложим левую часть (7.5.20) в ряд Тейлора в окрестности точки
0=0*п_1. При этом
0 - Ve Ln.. (0) -j- Ve/„ (0) = zB- D„ (0 - 0*„_.) -L ..., (7.5.21)
где
7	7 /а*	\v / /«a*	\__ I dln (0*л-1)	din (0*л_ О ) .7 - oq\
—Zn(« „.J-Ve1,!» л-J — <---------g-p-	---dbm---	(/-0.22)
— вектор градиента функции /„(0) в точке 0 =	слагаемое
VeTn_, (0*^_,) обращается в нуль благодаря тому, что 0*,., является
решением уравнения правдоподобия для предыдущего (п — 1)-го шага;
cn=-VeVTe£n(0\->) =
d2La (0*п_,)
d&id^k
~VeVT6ln(®*n-^ —
= -VeVTeL«-i(0«-.)-
__I (6*n- 1) 11	/7 к oo\
I	||	(7.0.23)
d2Ln-, (0*л,)
— симметричная матрица вторых производных логарифма функции
правдоподобия в точке 0=0'п_1, взятая с обратным знаком, а ненапи-
санные члены разложения имеют квадратичный и более высокий поря-
док малости относительно разности 0—©'„-i. Пренебрегая этими по-
следними, получаем следующее приближенное решение уравнения ма-
ксимального правдоподобия:
135
0*„ -- - b
П 1 I
I
(7.5.24)
где Dn 1 — матрица, обратная
Это решение представлено в форме рекуррентного соотношения,
определяющего очередное значение оценки 0’::-„ через оценку на
предыдущем шаге и поправку зависящую от имеющихся данных
наблюдения непосредственно и через предыдущую оценку. Поправка
формируется как произведение градиента логарифма условной плотно-
сти вероятности pn(xn|Xn-i, 0) вновь полученного значения х„ в точке
0=0Yn-i, равной предыдущей оценке, на весовую матрицу D”1. По-
следняя определяется выражением (7.5.23) и также зависит от оценки
0'‘',,„i на предыдущем шаге, а ее зависимость от новых данных наблю-
дения целиком определяется видом логарифма условной плотности веро-
ятности рп (х„	0).
По форме соотношение (7.5.24) очень похоже на (7.5.8), реализую-
щее итеративный способ вычисления оценки максимального правдоподо-
бия по методу Ньютона. Однако на самом деле они существенно отли-
чаются друг от друга. В (7.5.8) поправка к предыдущему значению оцен-
ки определяется величиной градиента логарифма всей функции правдо-
подобия, который всегда зависит от всех имеющихся данных наблюде-
ния Xn={xi, ..., х„}, что требует запоминания всей этой совокупности.
В соответствии с (7.5.24) поправка к 0':'7i_i определяется величиной гра-
диента	(0Л«—i), который благодаря свойствам условной плотности
вероятности pn(xn|Xn-i, 0) фактически зависит только от тех значений
xv (v—n—1, п—2, ...), которые находятся в сильной статистической
связи с х„. Это различие является следствием специального выбора пре-
дыдущего приближения 0хп-1 как оценки максимального правдоподо-
бия, найденной по уменьшенной на одно значение совокупности данных
наблюдения Xn_i={xi, ..., xn_i}, и особенно ярко проявляется при не-
зависимых значениях xv(\ —1, ..., п).
В этом последнем случае
Аг|х,г|Х„_1( 0)=/?„(х„|6),
благодаря чему /п(0) зависит только от 0 и х„, а градиент zn=
= VH^n(0'n-i) —только от предыдущего значения оценки 0*n-i и вновь
полученных на п-м шаге данных наблюдения хп. Поэтому при незави-
симых значениях xv для формирования вектора zn не требуется запо-
минать с предыдущего шага никакой иной информации, кроме значения
оценки 0Yn-i.
Аналогично, в случае марковской последовательности данных на-
блюдения, т. е. при
T’JxJX^,, 0) = 7’п(х„|	0),
вектор zn = Vltln(@\-1) зависит только от текущего хп и одного
предыдущего значения xn_i. В этом случае для вычисления zn требуется
запомнить с предыдущего шага, помимо значения 0*n-i, еще только
значение x„_i, но не всю совокупность данных наблюдения, как в ите-
ративной процедуре. В общем случае для вычисления zn может потре-
136
боваться запоминание большего числа предыдущих значений xv (v—
=п—1, п—2, ...), однако из-за необходимости учета только тех значе-
ний xv, которые статистически зависимы с х„, это число практически
всегда меньше полного объема совокупности данных наблюдения Хи.
Так, если вектор X„=(xi, ..хп} описывает временную последователь-
ность, то количество подлежащих запоминанию членов этой последова-
тельности определяется временем ее корреляции, а относительная их
доля убывает обратно пропорционально п, как и в случае независимых
значений xv.
Рассмотрим теперь структуру весовой матрицы D„, входящей в ре-
куррентное соотношение (7.5.24). Согласно определению (7 5.23), из-за
наличия слагаемого VeV’e-^n-i (0%-i) она, вообще говоря, зависит от
всех значений х4, ..., х„ даже при независимых значениях xv, что ли-
шает рекуррентное соотношение (7.5.24) преимуществ, связанных с воз-
можный сокращением количества запоминаемых с предыдущего шага
данных. Существует несколько способов приближенного вычисления ма-
трицы D,,, которые устраняют этот недостаток.
Первый из них основан на более последовательном использовании
основного предположения о малом различии двух очередных значений
оценки и 0*vl которое является основой для получения рекур-
рентного соотношения (7.5.24). Это позволяет получить аналогичное ре-
куррентное соотношение для весовой матрицы Dn. Действительно,
используя малость 0*n-i—0*и-2 из (7.5.23), имеем
= - VeVTek(6\-,)= - VeVTA-i - v0vV„(в\-.) -
- - VeVTe^- > (0*n-2) - VevV« (0\-1) = D'n- > - VevV« (0V 1)- (7.5.25)
Введя обозначение
к„= к„ (0*„_,)= - VeV\A (0VJ.	(7 5.26)
из (7.5.24) и (7.5.25) получим систему рекуррентных соотношений для
вектора оценки 0*п и весовой матрицы Dn	,
0v=e
1л = Рл-, + К»(0\-,)=Вл-4Кл-	(7-5.27)
Эта система совместно с начальными значениями 0*о и Го полностью
определяет значение оценки 6*„ на любом шаге, требуя на каждом из
них вычисления только градиента z„ =	(0%_,) и матрицы вторых
производных К„= — veVTe^(0*«-i) от логарифма условной плотности ве-
роятности для текущего наблюдаемого значения х„. Начальные значе-
ния выбираются с учетом имеющихся априорных данных о возможных
значениях и диапазоне изменения параметров 0, а при полном отсутст-
вии этих данных принимаются нулевыми (0*о=О, Do=O).
При независимых значениях х._ система рекуррентных соотношений
(7.5.27), очевидно, описывает многомерный (размерности т-М/гГП (;п+
+ 1)) марковский случайный процесс, компонента которого 0"п сходит-
ся к истинному значению параметра 0, а компонента Dn сходится к ин-
формационной матрице Фишера Ап (0) =nAt (0) (7.3.8), где 0 — истин-
137
ное значение оцениваемого параметра, и неограниченно увеличивается
с ростом п. Аналогичные свойства сходимости система (7.5.27) имеет
и при более общих условиях, если последовательность {xi, ..., хп] явля-
ется эргодической.
Второй из упомянутых способов основан на замене матрицы вторых
производных от логарифма функции правдоподобия Ln(0) ее матема-
тическим ожиданием — информационной матрицей Фишера, которая
с учетом (7.5.16) может быть записана в виде:
А„ (©) = М {- v0VT0£„ (©)} = М {- V0VT,, (©)} '
,-/И{-у0угЛ(0)}= Ч-.(0)+^{К„(0)} = 2 А1{к (0)}, (7.528)
^=1
где аналогично (7 5.26)
K„(0)--V0V5A(0).	(7.5.29)
Заменяя в (7 5.24) матрицу' Dn матрицей Ап (0й,,-!), получаем ре-
куррентное соотношение
0'„-0%_1-1-A;1(0\_l)z„(0VI)=0\-1 vA„-1(0-„_,)z„ (7 5 30)
для приближенного вычисления оценок максимального правдоподобия,
предложенное Сакрисоном [27] (в оригинале для независимых одина-
ково распределенных xv, когда An (0*n_i) =nAi(©"„-i) и A-1n(0*n_i) =
= (l/n)A1(0*n_i). Это рекуррентное соотношение проще системы
(7 5 27), поскольку оптимальная весовая матрица D„ заменена ее мате-
матическим ожиданием и для ее нахождения не требуются имеющиеся
данные наблюдения, кроме тех, которые сконцентрированы в значении
оценки 0*,i-i. В то же время очевидно, что подобная замена означает
необходимость выполнения дополнительного по сравнению с (7.5.27)
требования близости матрицы вторых производных к своему математи-
ческому ожиданию.
Если плотность распределения вероятности рп (xn | Xn_i, 0) и матри-
ца Л4{Кп(0)} меняются от шага к шагу, прямое нахождение А-1, (0й„_1)
ла каждом шаге можег потребовать слишком большого числа вычисле-
нии При этом за счет дополнительного уменьшения точности ре-
зультатов, определяемого неравенством нулю малых разностей
— 0\_р можно перейти к рекуррентному вычислению приближен-
ного значения матрицы Аи(0*п_1). Возвращаясь к прежнему обозначе-
нию D, для этого приближенного значения, получаем еще одну’ систему
рекуррентных соотношений
0\ = 0 \ , -i-	. + К.,	(7.5.31)
где
К„ = К„(0\->)-	(7 5.32)
— математическое ожидание матрицы Кп(0) (информационная матри-
ца Фишера для одного наблюдения хп), взятое в точке 0=0*n_i. Эта
система отличается от (7.5.27) тем, что во втором из рекуррентных соот-
ношений (7.5.31) не участвуют непосредственно данные наблюдения х=
—{xi, ..., хп].
138
Любая из рассмотренных выше систем рекуррентных соотношений
является совершенно точной, если функция /и(0) квадратично зависит
от 0 и дополнительно матрица вторых производных Ки не зависит от
Х„. Фактически это соответствует случаю независимых нормально рас-
пределенных (не обязательно одинаково) значений xv с неизвестным
математическим ожиданием 0, которое и представляет собой оценивае-
мый параметр.
Система рекуррентных соотношений (7.5.24) дает точное решение
уравнения максимального правдоподобия в гораздо более широких
условиях при единственном требовании, чтобы функция /„(0) квадра-
тично зависела от 0. При этом зависимость /и(0) от Х„ произвольна,
что соответствует широкому классу распределений вероятности совокуп-
ности {xi, ..., х„} как с независимыми, так и с зависимыми значениями.
Наряду с рассмотренными общими способами существует еще ряд
методов выбора матрицы весовых коэффициентов Dn в рекуррентном
соотношении (7.5.24), приспособленных к тем или иным конкретным
ограничениям, часть из которых рассмотрена в [23]. Простейшим из них
является выбор Dn в виде диагональной матрицы, так что D~* = Ian
(I — единичная матрица), где ап — убывающая последовательность чис-
ловых коэффициентов, выбираемая независимо от свойств функции
правдоподобия так же, как в процедуре стохастической аппроксимации
Робинса — Монро, которая будет рассмотрена в следующих глава?..
Стоит отметить, что любые итерационные или рекуррентные про-
цедуры нахождения оценок максимального правдоподобия в общем
случае являются приближенными. Поэтому, вообще говоря, для оценок,
получающихся в результате применения этих процедур, состоятельность,
асимптотическую эффективность и асимптотическую нормальность нуж-
но доказывать заново. Для итеративных процедур необходимые свой-
ства оценок гарантируются тем, что в принципе такие процедуры при
соответствующем числе итераций дают решение уравнения правдоподо-
бия с любой наперед заданной точностью. Для рекуррентных процедур
типа (7.5.27), (7.5.30), (7.5.31) и других имеются специальные доказа-
тельства, например [23]. При этом, помимо требования регулярности,
предъявляются некоторые дополнительные требования:
— на поведение функции z(0, 0О) (7.2.2) при различных значениях
|0—0о [, для достижения с помощью рекуррентной процедуры глобаль-
ного максимума этой функции в точке 0=0О, соответствующей истинно-
му значению параметра;
— на порядок роста вторых моментов производных логарифма
функции правдоподобия при больших по модулю значениях 0. Эти тре-
бования (см., например, [23]) являются следствием более общих усло-
вий сходимости в точку всех или части компонент марковского случай-
ного процесса, к которому приводит та или иная рекуррентная про-
цедура.
В заключение отметим также, что в том случае, когда существует
точное решение уравнения максимального правдоподобия, оно практиче •
ски всегда может быть представлено в рекуррентном виде. Приведем
два простых разнородных примера. Так, элементарная оценка неизвест-
ного математического ожидания 0 нормальной случайной величины по
совокупности п ее выборочных значений xi, х2, ..., хп в виде арифме-
тического среднего
139
в’"=^Ел-	(7-533)
V = 1
является оценкой максимального правдоподобия и может быть пред-
ставлена в рекуррентном виде:
0*„=	+(1/п) К - 0%-J,	(7 5.34)
что является самым простым частным случаем (7.5.30) при
U0) = -(W) (^-0)’;
z„=Ve/„(0*„-1) = (l/o’)(^-0*„_l);	(7-5.35)
4 (0) = n/о2, л;1 (9^-j Zn = (ifn) (Хп - 0*„_,).
Другой пример —это нерегулярная оценка максимального правдо-
подобия для параметра 0 — ширины прямоугольного распределения —
из (7.4.2), которая также может быть определена рекуррентным соот-
ношением
0*„ = гпах{х„, 0*„_J	(7.5.36)
с начальным условием 0*о=О. Это рекуррентное соотношение уже дру-
гого типа: его правую часть нельзя представить в виде суммы предыду-
щей оценки и малой поправки, что является следствием нерегулярности
этого примера; однако оно обладает всеми преимуществами рекуррент-
ного подхода: требует запоминания с предыдущего шага всего одного
числа — оценки 0*„_i— и резко сокращает перебор до одного сравнения
хп с 0*и-1 вместо сравнения всех значений Xi, х2, ..., хп
Приведенные примеры иллюстрируют преимущества рекуррентных
методов даже в том случае, когда уравнение максимального правдопо-
добия допускает точное решение, ибо простота аналитического пред-
ставления результата не тождественна вычислительной простоте его по-
лучения.
7.5.3. Переход к непрерывному времени. Дифференциальные уравнения
для оценок максимального правдоподобия
Рассмотрим теперь специальный случай, когда имеющиеся данные
наблюдения х описываются не совокупностью выборочных точек {xi, ...
..., хп}, а представляют собой отрезок реализации некоторого процесса
х(т), зависящего от параметров 0, заданный на интервале (to, t), при-
чем длина этого интервала может увеличиваться при наблюдении (мо-
мент времени t является переменным).
Для статистического описания данных наблюдения в этом случае
вводится функционал отношения правдоподобия, представляющий собой
предел при п—>оо, maxjT,—	отношения плотности распределе-
ния вероятности совокупности значений х(х^) (t1~t0, tn = t) при произ-
вольно заданном значении 0 к аналогичной плотности вероятности при
некотором фиксированном значении 0=0О, а в некоторых случаях, когда
х(т) допускает представление x(t)=S(t, 0)+g(t), где g(t)—случай-
ный процесс, не зависящий от 0, к плотности вероятности совокупности
значений х(\) при условии, что S(x, 0)=О. Использование функцио-
140
нала отношения правдоподобия позволяет исключить формальные труд-
ности определения плотности вероятности, возникающие при переходе
к непрерывному времени.
Логарифм функционала отношения правдоподобия может быть
представлен в виде
t
£(f,0)= j/(x, 0)dx,	(7.5.37)
^0
где /(т, 0)—некоторый функционал процесса x(s) на интервале
sCs^t. В некоторых случаях функционал /(т, 0) вырождается в функ-
цию, зависящую только от значения х(т). Так, если
@) + 5(1=).	(7.5.38)
где f(r, 0)—известная функция времени т и параметров 0, a g(r)—
дельта-коррелированный случайный процесс («белый» шум) со спек-
тральной плотностью No, то, выбирая в качестве знаменателя отношения
правдоподобия распределения вероятности х при f(x, 0), будем иметь
I (г, 0) = (1/AQ х (г) f (г, 0) - (1/2АГ.) f* (г, 0);	(7.5.39)
t	t
L(t,	X (г) f (г, 0) dx - -±- J f • (x, 0) dx.	(7.5.40)
tti	to
Пусть 0*(^)—оценка максимального правдоподобия параметра 0,
построенная по реализации процесса х(т) на интервале	т. е.
решение уравнения максимального правдоподобия
VeL(^ 0*(О) = О.	(7.5.41)
Дифференцируя левую часть этого уравнения по времени, получаем
°= 4^’ 0*(О) = 4	®*(0)+ VeVW 0*	=
=	©*(/)) + VeVV^ ©*(0)	<7-5-42)
Вводя обозначения
zfc 0*) = Ve/(f, 0*(О);	(7.5.43)
^(O=-VeVTeT(f, 0*(О)	(7-5.44)
и решая уравнение (7.5.42) относительно d®*(t)/dt, получаем диффе-
ренциальное уравнение для оценки максимального правдоподобия
^ = D-‘(Oz(r.0*).	(7.5.45)
Матрица D(i), в свою очередь, согласно (7.5.37) определяется диффе-
ренциальным уравнением
^_ = К(/, 0*),	(7.5.46)
где
К (f, 0*) = - VevV (О)-	(7-5.47)
Так же, как в дискретном случае, матрица D(^) в (7.5.45), (7.5.47) мо-
жет быть заменена своим математическим ожиданием — информацион-
141
ной матрицей Фишера А(г', 0)=A4{D(2')} при значении	а диф-
ференциальное уравнение (7.5 46) для весовой матрицы D(Q—урав-
нением
©*),	(7.5.48)
где аналогично дискретному случаю
К (t 6) =М {К (t, ©)} = М {- vevW- ©)}	(7 5 49)
— математическое ожидание матрицы вторых производных К (Л 6 !
Совокупность дифференциальных уравнений (7.5.45), (7.5.46) или
(7.5.45), (7.5.48) совместно с начальными условиями, относительно вы-
бора которых остается в силе все сказанное для дискретного слу <ая,
полностью определяет оценку максимального правдоподобия для
любого момента времени. Эта совокупность может быть смоделирована
с помощью соответствующих, вообще говоря, нелинейных аналоговых
устройств или при подходящей дискретизации по времени решена с по-
мощью ЭВМ. Отметим в заключение одну из модификаций этих урав-
нений, позволяющую избежать необходимости обращения матрицы
D(/, ©*).
Вводя обозначение
D~1(O=U(O	(7.5 50)
и дифференцируя по времени соотношение D(£)U (£)=!, где I —единич-
ная матрица, получаем с помощью (7.5.46) дифференциальное уравне-
ние, определяющее непосредственно матрицу U(^)
dU(t)fdt — U(ОК(Л 6*)U(/) = 0	(7.5 51)
(и аналогично при замене К(0 0*) на К(0 ©*)), которое совместно
с уравнением (7.5.45)
d&*/dt=U(t)z(t, в*)
определяет оценку не требуя обращения матриц. При этом имеет
место переход от простейшего линейного дифференциального уравнения
(7.5.46) к нелинейному относительно U (t) дифференциальному уравне
нию (7.5.51) типа Риккати.
Глава 8
АДАПТИВНЫЙ БАЙЕСОВ ПОДХОД ПРИ НЕПАРАМЕТРИЧЕСКОЙ
АПРИОРНОЙ НЕОПРЕДЕЛЕННОСТИ
8.1. ВВОДНЫЕ ЗАМЕЧАНИЯ
Несколько последующих глав будет посвящено детальному рассмот-
рению адаптивного байесова подхода при наличии параметрической
априорной неопределенности применительно к широким классам задач
с доведением правил решения до детальной структуры и исследованием
эффективности этих правил решения. В этой главе на ряде примеров,
каждый из которых также относится к достаточно широкой совокупно-
142
сти задач, проиллюстрируем возможности адаптивного байесова подхо-
да в непараметрическом случае.
В § 6.1 мы уже рассмотрели пример применения адаптивного байе-
сова подхода в случае непараметрической априорной неопределенности
(пример 2). Этот пример в некотором отношении является крайним:
характер априорной неопределенности таков, что какие-либо сведения
об аналитическом описании исходного материала полностью отсутству-
ют: совсем неизвестно распределение вероятности наблюдаемых значе-
ний х, (v=l, ..., Л1-1-1), полностью неизвестен вид функции потерь и
тем более природа и статистическое описание параметров X, влияющих
на величину потерь и последствия от принятия того или иного решения.
Нужно отметить, что за эту крайность приходится расплачиваться до-
вольно серьезными ограничениями: предположениями о дискретности мно-
жества решений U, о дискретности множества значений хч, о независимости
и одинаковости распределений вероятности всех значений a'v(v=1, .... N-}-
4-1). об одинаковости истинных (неизвестных нам) функций потерь на всех
шагах V— I, .... N 4-1 и требованием, чтобы полная совокупность данных
наблюдения х содержала значения принятых при v=l,..., N решений
и. и появившихся при этом потерь g. Указанные ограничения выражают
иную форму’ представления имеющихся априорных знаний, отличную от
параметрического статистического описания неизвестных распределений
вероятности и функций потерь, причем, как видно из перечисленных
ограничений, необходимый для нахождения правила решения объем
этих априорных знаний довольно велик.
Возникающее иногда противопоставление параметрического и не-
параметрического подходов к решению задач синтеза и обсуждение, ка-
кой из них является более подходящим в условиях априорной неопре-
деленности и соответствует более глубокой степени этой неопределен-
ности, представляются довольно беспочвенными: параметрическое и не-
параметрическое описания исходных данных задачи просто соответству-
ют разным видам имеющихся ограниченных априорных знаний и взаим-
но дополняют друг друга.
Характерной чертой непараметрического случая является использо-
вание в той или иной степени эмпирических распределений вероятности
вместо истинных и эмпирических средних значений вместо математиче-
ских ожиданий, подобно тому, как это было сделано в примере 2 § 6.1
при замене апостериорного риска (условного математического ожида-
ния функции потерь) его оценкой — эмпирическим средним значением
ожидаемых при данном результате наблюдения потерь. Это обстоятель-
ство приводит к определенным требованиям к объему и составу полной
совокупности данных наблюдения х, для того чтобы эмпирическое осред-
нение приводило к состоятельным оценкам необходимых для отыскания
правил решения математических ожиданий (среднего риска, апостери-
орного риска, минимального значения апостериорного риска и т. д.).
Указанная совокупность х должна иметь вполне определенный состав и
содержать достаточное для построения таких оценок количество данных
наблюдения.
Так, в условиях примера 2 § 6.1 (при неизвестной функции потерь)
совершенно необходимо, помимо величин лу (v= 1, 2, .... N), знать значе-
ние принятого при каждом v решения и,. и величину потерь gv от при-
1 43
нятия этого решения. В противном случае никакого адаптивного байе-
сова или любого другого правила решения, обладающего хотя бы свой-
ством асимптотической оптимальности, построить невозможно.
В этом отношении непараметрические задачи имеют широкий спектр
возможностей: чем больше объем наших сведений (качественного или
количественного характера) об аналитических свойствах распределений
вероятности х и X и функций потерь, тем менее жесткие требования
предъявляются к составу и объему совокупности данных наблюдения и
наоборот.
8.2. АДАПТИВНОЕ БАЙЕСОВО ПРАВИЛО РЕШЕНИЯ ПРИ ИЗВЕСТНОЙ
ФУНКЦИИ ПОТЕРЬ
Часть ограничений примера 2 § 6.1 можно снять, если предположить
наличие дополнительных априорных знаний аналитического характера
и возможность расширения или изменения состава совокупности наблю-
даемых данных х. Пусть в отличие от условий этого примера множество
решений U не обязательно дискретно (оно может быть непрерывным
или дискретно-непрерывным) и пусть по-прежнему о распределении ве-
роятностей данных наблюдения xv (v=l, ..., N, A^+l) ничего не изве-
стно. Для того чтобы найти адаптивное байесово правило решения
(связь между принимаемым решением и значением х7у+1=х, для дета-
лизации которой допускается использование ранее наблюдавшихся зна-
чений Xi, ..., ХяИ других величин, доступных наблюдателю), нужно по-
прежнему предположить, что случайные величины ху (v=l, ..., N) и
Xjv+i=x принимают только дискретные значения xW (/=1, . •пг).
(В дальнейшем индекс N+1 у величины х, наблюдаемой на рабочем
шаге, когда требуется принять решение, если не будет оговорено проти-
воположное, будем опускать.)
Кроме того, нужно также предположить, что
1) известна функция потерь g(u, X, х);
2) при v = 1...N помимо значений х.. мы наблюдаем и значения
Ху, определяющие величину потерь в том случае, если бы на v-м шаге
принималось решение.
Знание решений иуи величин потерь gy при v = l,..., N и даже
само принятие решений при v=l, ..., N в этом случае, в отличие от
примера 2 § 6.1, не требуется
Таким образом, полная совокупность данных наблюдения состав-
ляет
Х={х„ X,; х2, Х2; ...; xNbN’, х}	(8 2.1)
и включает в себя TV-кратное повторение рез льтатов наблюдения ху и Ху
и результат наблюдения х на рабочем шаге, когда требуется принять
решение. Нетрудно убедиться, что (8.2.1) дает минимально возможною
совокупность данных, которая при отсутствии каких-либо дополнитель-
ных ограничений, кроме знания функции потерь £(и, X, х) и предполо-
жения о дискретности х„ обеспечивает возможность построения состоя-
тельной оценки функции апостериорного риска R (и, х) при любых зна-
чениях и и х.
144
В соответствии с общими принципами адаптивного байесова подхо-
да используем вместо точной меры ожидаемых потерь—апостериорного
риска
R (u, х) = М {g (и, Z, х) | х },	(8.2.2)
т. е. условного математического ожидания функции потерь, его состоя-
тельную оценку, заменив вычисление математического ожидания опера-
цией эмпирического осреднения.
Если обозначить через ttj (N) число раз, когда в серии v= 1, ..., N
(т	\
2 п; (,V) = N I, а через v (/, У) — мно-
/=1 ' (
жество тех значений v, для которых xy=x(^(v(j, jV) = {v,, v2, ..., vn^} —
подпоследовательность последовательности v= 1, 2, .... N), то в резуль-
тате эмпирического осреднения получим следующую оценку апостериор-
ного риска для любых значений и и х = х(')(/ = 1,
^(a,X=xW)-<(«.^ = ~- £ g(a, Xv, х")).	(8 2.3)
Vgv (j,N)
Эту оценку можно представить в удобной рекуррентной форме, ко-
торая дает возможность последовательно вычислять оценочные значения
апостериорного риска для любого значения N и требует запоминания
минимального объема данных от предыдущих шагов (л~Л?—1,
N—2, ...). Перепишем для этого выражение (8.2.3) в следующем виде:
’Е» (/.X)
+ g(U> Xx)Sxv/
—пДдгГТ) J] g(“4,.X(/)) +
ц .n—и
4—1__
Г«/ (V)
g (u, xv)3r .
O v ’	/V’ iV/ Xl\!j
(8.2.4)
где h/(jV—1) и v(j, N — 1) — то же, что n, (N) и v(j,N) для серии
v~ 1, .... N — 1, отличающейся от исходной серги данных отсутствием
последней пары xiV, 8 —символ Кронекера (2^- = 1 при х¥=хб),
8	=0 при х^ут^х0'). Первое слагаемое в (8.2.4), очевидно, есть
R, (u, N — 1), т. е. оценка апостериорного риска для любого значения и
и дискретного значения х = хб'), произведенная на совокупности данных
{хп X,, х2, Х2, ..., xjV_p V,},
т. е. по серии из (N —'1)-го повторения наблюдения пары xv, Учи.
тывая также очевидную связь между величинами и, (У) и n:(N—1), по-
лучаем совокупность рекуррентных соотношений, определяющих оценки
10—899	145
апостериорного риска для всех значений и, х(Я (/=1, т) и для лю-
бых значений N:
Ъ (и, N) = R, (u. N - 1) + [1/п; (TV)] [g(u, хл,) -	(u, N - 1)] 8Ху.,
ni(N) = ni(N “1)-Г§лл/-	(8-2-5)
Все дальнейшее не отличается от обычного байесова подхода. Пра-
вило решения u=u(x) определяется следующим образом: если х=х<-1\
то принимается решение и, для которого величина R3(u, достигает
минимума, т. е.
u—u(x=x^'>)—Uj(N),	(8.2.6)
где и,(Д') определяется из уравнения
(и/(У), Д<) min^; (и, У)	(8.2.7)
(и)
и благодаря зависимости Л3(и, У) от совокупности данных {xi, Хц ...
...; хЛ, Хк} также зависит от них.
Если функция потерь g(u, X, х) дифференцируема по и (естествен-
но, это может иметь место только в случае непрерывного множества
решений U), то уравнение (8.2.7) можно заменить более простым усло-
вием равенства нулю градиента функции Л,(и, У)
vM ЛГ) = ^Т V] Vug(u, х</)) = 0,	(8.2.8)
'сЕ- (МО
из которого определяется значение u—u3(N).
При решении уравнения (8.2.8) могут быть полностью использова-
ны те же методы и идеи, которые мы рассмотрели в предыдущей главе
при нахождении оценок максимального правдоподобия. Уравнение
(8.2.8) при некоторых ограничениях на функцию потерь g(u, X, х) допу-
скает конечное решение или решается любым подходящим итерацион-
ным способом. Если, кроме того, функция потерь g(u, X, х) дважды диф-
ференцируема по и, то решение уравнения (8.2.8) находится с помощью
удобной рекуррентной процедуры, определяющей непосредственно адап-
тивное байесово правило решения.
Перепишем для этого уравнение (8.2.8) в следующем виде:
2 v«g(“. Ч. х‘/))=	3 v»g(uA-ХЛ,, хЛ,)б
vgv (i.N)	vgzH/.V—1)
(8.2.9)
и пусть и,(У—1)—значение, определяющее адаптивное байесово пра-
вило решения для серии наблюдений {xIt Xi; ...; x^-i, XA-_j} объемом
N—1, на единицу меньшим, чем для и3(У), т. е. решение уравнения
v„^(u, у _1) =	Vug(u, Xv,x(/))=0.	(8 2.10)
c, (j.N—1)
Разложим функцию в правой части (8.2.9) в окрестности точки п--=
=и3(У—1). Тогда с учетом (8.2.10)
0 = V«g(U;(^- 1), xv, хл.)5Хл7 +
3 V«VM(u;(Ar-l), Х;хО)) +
(/ , N— 1)
146
+ V«VT«g (U/	- 1).	*n) *XNf ] [u - “/ (N — 1)] 4- o (u — u, (N - 1)) =
= V«g (u/ (N - 1), KN, Xjv) \Ni + Ly (N) (U - Uj (TV - 1)) 4.0 (u - uj (TV - 1)),
(8.2.11)
где DJ(7V)=D3(Uj(lV—1), N)—симметричная квадратная матрица, рав-
ная
D,j(N)= S ^^Tug(Uj(N — 1), Xv, xO')) Ц-
I/. N)
+ V«VT«g (“/ (N - 1)> ^N, x„)	;
(8.2.12)
O(x) — малая более высокого порядка, чем х. Пренебрегая в (8.2.11)
малой поправкой, получаем следующее приближенное решение уравне-
ния (8.2.9), определяющее iij(N):
u4^ = u4^-1)-E7>)v«£(ii;GV-1); /,.,хл)<л/.	(8.2.13)
Это выражение связывает значения иДЛТ) и u}(N—1), т. е. фор-
мально является рекуррентным соотношением, дающим возможность
последовательно от шага к шагу уточнять структуру адаптивного байесо-
ва правила решения. Для того чтобы оно стало рекуррентным соотно-
шением по существу, т. е. не требовало бы для нахождения Uj(JV) ни-
каких иных данных, кроме u3(7V—1), xw, Xn (предыдущего решения
u3(7V—1) и вновь полученных данных наблюдения xN, Xn), необходимо
указать какую-то процедуру вычисления весовой матрицы D3(?V), кото-
рая не требовала бы каждый раз обращения к ранее полученным дан-
ным наблюдения {xi, Хц Хг, Хг; ...; Xn-i, Xn-i}.
Такая процедура существует строго без дополнительных прибли-
жений, если функция потерь g(u, X, х) —квадратичная функция и, т. е.
g (и, X, х) = gt (X, х) - urg, (X, х) Д-1	(X, х) и, (8.2.14)
где gi(X, х)—вектор; gz(X, х)—положительно определенная квадрат-
ная матрица той же размерности, что и. При этом
V«g (u, X, х) = — g, (X, х) -• g2 (X, хй),
V«VT«g(u, X, x) = g2(X, х),
(8.2.15)
благодаря чему решение u,(7V) и матрица D}(N) определяются следую-
щей системой рекуррентных соотношений:
и, (N) = u,(N - 1) Ч- L 71 (Л') [gl (Xv, х v) —-
- g2 X V) U; (N - 1)] S^. ,
D3(7V) = D3(7V- l)4-g2(Xft„ xJSvV.,
(8.2.16)
правые части которых зависят действительно только от u3(7V—1), Xw,
xN и D3(7V—1), причем сама матрица D3(?V) также вычисляется рекур-
рентно.
Соотношения (8.2.16) определяют марковский процесс, сходящийся
при N—>-оо с вероятностью единица к значению и3, минимизирующему
истинную величину апостериорного риска (8.2.2) при х=хб) для каждо-
10*	147
го f—1, ..т. Более того, отклонение и3(7У)—и3 асимптотически нор-
мально с дисперсией порядка 1 /N. Таким образом, рекуррентные соот-
ношения (8.2.16) определяют адаптивное байесово правило, сходящееся
с вероятностью единица к оптимальному байесову правилу, причем
среднеквадратичное отклонение решения от оптимального имеет поря-
док 1//ЛЛ
Другой способ превращения формального соотношения (8.2.13) в
рекуррентное заключается в выборе более или менее произвольной мат-
рицы D/(7V) или D”’(Af), уже не удовлетворяющей (8.2.12), но обеспечи-
вающей сходимость процедуры (8.2.13) к истинному значению. Такой
подход является стержневой идеей метода стохастической аппроксима-
ции (процедуры Робинса — Монро), подробное рассмотрение сходимости
которого приведено в [23]. При этом удобно выбрать D71 (N) в виде
диагональной матрицы
DC1 (N) = a (N)I,	(8.2.17)
где a(N)>Q — число; I — единичная матрица.
Если ряд
£а(Л0=оо	(8.2.18)
V
расходится, а ряд
^a2(N)<oo	(8.2.19)
,ч
сходится; функция Vu/?(u, x)==M{Vug(u, К х|х], которая определяет
оптимальное байесово правило решения uo(x=x«))=uj согласно урав-
нению
VuR(Uj, х —хб')) = 0,	(8.2.20)
удовлетворяет условию
VT«^(U> x)C(u — U/)<0	(8.2.21)
при всех u=H=u3 и х=х(Д (j—1, ..т), С — положительно определенная
матрица и математическое ожидание
7W{vTug(u, X, х) \jug (u. X, х) | x} <&(1 -|-uTu) при всех x—xJ;/=1, ..., m,
(8.2.22)
где k — константа, возможно зависящая от х, то процедура, определяе-
мая рекуррентным соотношением (8.2.13) с матрицей D~’(7V)h3 (8.2.18),
сходится при N—>оо с вероятностью единица к значению и3 для опти-
мального байесова правила решения [23]. Кроме того, при a(N)=a/N
и некоторых дополнительных условиях (см. [23]) отклонение Uj(7V)—u3
асимптотически нормально с дисперсией порядка 1/N (естественно,
большей, а иногда существенно большей, чем при оптимальном выборе
матрицы Dj(N) в соответствии с (8.2.16)).
Следующий способ аналогичен использованному в предыдущей гла-
ве при приближенном рекуррентном вычислении оценок максимального
правдоподобия и сводится к приближенному рекуррентному вычислению
весовых матриц Dj(N), подобно тому, как это делается в (8.2.16) для
148
случая квадратичной функции потерь. При этом адаптивное байесово
правило решения (значение u,(7V) и весовая матрица ОДЛ/)) определя-
ется из системы рекуррентных соотношений
=	V *N^xnp
(8.2.23)
ГДУ) = С;(ЛГ — l)4-v«VT«g(uy(Af— 1), KN, xN)bXNj,
которые, как и предыдущие рекуррентные соотношения, нужно допол-
нить какими-либо начальными условиями. Допустимость перехода от
(8.2.12) ко второму из рекуррентных соотношений (8.2.23) обосновыва-
ется так же, как в гл. 7 при нахождении аналогичной рекуррентной
процедуры для оценок максимального правдоподобия.
Подобно (8.2.16) соотношения (8.2.23) определяют сходящийся
марковский случайный процесс, для которого отклонение ti3(N)—и,
асимптотически нормально с дисперсией порядка 1/N, меньшей, чем при
использовании весовой матрицы (8.2.17), соответствующей процедуре
стохастической аппроксимации Робинса — Монро.
Полученные выше результаты определяют структуру адаптивного
байесова правила решения или непосредственно его вид для достаточно
широкого круга непараметрических задач. Наиболее принципиальным
ограничением является дискретность множества значений х. Это дает
возможность сформировать при больших, но конечных значениях N до-
статочно близкую к истинному значению оценку апостериорного риска
для каждого значения х—xW и найти соответствующее правило реше-
ния, определенное для всех /=1, ..., т. При переходе к непрерывному
множеству значений х необходимо формировать бесконечное множество
таких оценок (вместо конечного числа т), что, естественно, невозможно
сделать ни при каких конечных значениях N, если не принять каких-то
дополнительных априорных предположений об особенностях распреде-
ления вероятностей х или сузить постановку задачи в части ограничения
допустимого множества решений или, наконец, не ограничить каким-то
образом класс возможных правил решения, например, задав правило
решения u=u(x, с) с точностью до совокупности некоторых неизвестных
параметров. Изложению последней возможности будет посвящена спе-
циальная глава, а сейчас рассмотрим примеры использования двух пер-
вых из перечисленных возможностей.
8.3. ОПРЕДЕЛЕНИЕ ПОСТОЯННЫХ ПАРАМЕТРОВ ПО ВЫБОРКЕ
ИЗ НЕЗАВИСИМЫХ ЗНАЧЕНИЙ. ПРОЦЕДУРА РОБИНСА—МС-'РО
Довольно широкий круг практических задач сводится к следующей
математической постановке. Пусть имеется совокупность величин {у4,
уг, •.., у™}, каждая из которых является вектором некоторой размерно-
сти I - 1 (yv = {y{i,	, у[1>} и может быть представлена в виде
У, = У(х,.	(8.3.1)
где у(х, X) — известная функция своих аргументов; xv—случайная вели-
чина, которая также является вектором ^некоторой размерности 1
(х11 = {л/1), . ., л^}); к— некоторый параметр той же размерности, что
yv (Z={X(*), .., X(Z)}). Пусть также величины xv независимы или (в нес-
149
колько более общем виде) условное распределение вероятности у(х„, X,)
при фиксированных значениях X,, Хг....Xv_r входящих в у(х,, X,),
у(хг, Х2),	y(xv_(, Х^,), совпадает при Xv=X с распределением ве-
роятности y(xv, X). Пусть также определено, но неизвестно условное
математическое ожидание (при фиксированном X)
m (Х) = М {y(xv, Х)|Х},	(8.3.2)
которое обычно называется функцией регрессии у на X, и пусть уравне-
ние регрессии
ш(Х)=0	(8.3 3)
имеет корень при некотором X—Хо.
Пусть величинами, доступными наблюдению, являются только xv, так
что полная совокупность данных наблюдения есть х = {хр ..., хп}, с
распределении вероятностей которой неизвестно ничего, кроме оговорен-
ных выше ограничений, и пусть задачей статистического решения явля-
ется определение значения Хо (корня уравнения регрессии). Тогда ты
имеем непараметрическую задачу определения постоянного параметра
(значения Хо) по выборке {х4, ..., хп} с довольно большой априорном не-
определенностью.
Рассмотрим решение этой задачи с помощью адаптивного байесова
подхода, ограничившись сначала для простоты и ясности понимания
простейшим случаем, когда
y(xv, Х)-х,-Х,	(8.3.4)
при этом, естественно, т=1, т. е. векторы х и X имеют одинаковую раз-
мерность. Заменяя в соответствии с принципами адаптивного байесова
подхода операцию вычисления математического ожидания эмпирическим
осреднением, получаем
in(X)=4 V у = j V (х - X)	(8.3.5)
•iese	леая
v= 1
и решение уравнения регрессии т(Х)=0
п
Х0=и„=4^’	(8.3.6)
V=I
что, конечно, совпадает с тривиальной оценкой с помощью эмпирическо-
го среднего.
Покажем, что то же правило решения получается и при использо-
вании понятия апостериорного риска. В соответствии с постановкой за-
дачи решением и является оценка корня уравнения регрессии Хо, что
для случая (8.3.4) соответствует квадратичной функции потерь
g(u, Xo) = (u—Х0)т g(u, —Хо). Апостериорный риск
R (и, х) = М {(u - X„)Tg (и — Хо) | х}
требует для своего вычисления знания апостериорного распределения
вероятности р(Хо|х)• При каждом v величина х„ является оценкой зна-
150
чения Z=lo, поэтому оценкой апостериорного распределения вероятно-
сти /?(Ко|х) является выборочное распределение с плотностью
п
^(k0|x)=^^S(k0-xv),	(8.3.7)
а оценкой апостериорного риска —
п
R(u, х)= —JJ(u —xv)Tg(u —xv).	(8.3.8)
Минимизируя это выражение по и. получаем правило решения (8.3.6),
определяющее неизвестное значение ко по совокупности данных наблю-
дения X—{Xt, . . ., Хп}.
Правило решения (8.3.6) (оценка корня уравнения регрессии ко)
зависит от объема выборки и может быть представлено в рекуррентной
форме. Действительно,
п	п—\
<	v=l
(п—1 \
х„----~~rV. х ) — u„_,+ —(х„ — u„_,) =
П П -- 1	V I /2 11 п \ П П М
=	+ — у(х„, u„_,),	(8.3.9)
где иэт_! — оценка корня уравнения регрессии по совокупности данных
наблюдения {xi, ..., xn-i}.
Это же рекуррентное соотношение определяет корень уравнения рег-
рессии и в общем случае, когда у(хч, к) не обязательно имеет вид
(s.34), а является более или менее произвольной функцией своих аргу-
ментов. Если, кроме того, заменить в (8.3.9) 1 /п произвольной после-
довательностью весовых коэффициентов о„>0, удовлетворяющих соот-
ношениям (см. (8.2.18), (8.2.19))
2<zn=^-;2a\<°°’	(8 3.10)
п	п
то придем к общей процедуре стохастической аппроксимации Робинса —
Монро для вычисления корня уравнения регрессии
u„=u„_1+a„y(xn, Un.,),	(8.3.11)
которая является решением непараметрической задачи нахождения по-
стоянного параметра ко, определяемого соотношениями (8.3.2), (8.3.3)
по выборке {xi, ..., хп}. Как всегда, рекуррентные соотношения (8.3.9),
(8 3.11) нужно дополнить заданием какого-либо начального значе-
ния Un.
Рекуррентное соотношение (8.3.11) действительно имеет решение,
сходящееся с вероятностью единица к истинному значению k=ko, если
помимо (8.3.10) выполнены условия, аналогичные (8.2.21), (8.2.22),
а именно
mT(k)C(k—М<0	(8.3.12)
при всех К, кроме k=ko и к=оо,
151
с по-
ОДНО-

где С — симметричная положительно определенная матрица, и
'W{F(xv, y)y(xv, 1)|1}<6(1 + W	(8.3.13)
Уверенность в выполнении этих условий (напомним, что по поста-
новке задачи функция регрессии m(Z) и математическое ожидание квад-
рата вектора y(xv, X) неизвестны, иначе задачи просто не существует,
поскольку Ко известно как решение уравнения т(К)=0) является до-
полнительной необходимой априорной информацией, при отсутствии ко-
торой нет никакой гарантии в возможности получения решения
мощью процедуры стохастической аппроксимации.
Для более четкого понимания условия (8.3.12) рассмотрим
мерный случай, когда это условие принимает вид
щ(К) (К—Ко) <0, К=т^Ко; W=oo,
откуда следует, что производная dm(k)/dh в окрестности точки
должна быть отрицательна и что при Л<Хо функция т(К) должна быть
положительна, а при КЖ0—отрицательна. Эти требования являются
довольно жесткими ограничениями на вид функции регрессии. Анало-
гичный смысл имеет условие (8.3.12) и в многомерном случае.
Второе условие (8.3.13) требует, чтобы средний квадрат вектора
y(xv, К) при больших значениях модуля К рос медленнее, чем квадрат
вектора К—К2=КТК. Это означает, в частности, что функция регрессии
с увеличением К должна возрастать по модулю не быстрее, чем мо-
дуль К.
Отметим, что в [23] приведены более общие условия сходимости
процедуры стохастической аппроксимации. Там же показано, что при
некоторых дополнительных условиях разность un—Ко асимптотически
нормальна с корреляционной матрицей порядка 1 /п, зависящей от вы-
бора коэффициентов ап, от матрицы vxni(K)|>=^ и корреляционной ма-
трицы вектора у(хч, К) при К = К0.
Отмечая такие высокие достоинства процедуры стохастической
аппроксимации, как большую степень универсальности, асимптотиче-
скую сходимость и асимптотическую нормальность в довольно широких
условиях, нужно все-таки подчеркнуть, что эффективность правил реше-
ния, получаемых с помощью этой процедуры, обычно ниже, чем эффек-
тивность правил решения, получаемых при использовании метода ма-
ксимального правдоподобия и вообще при параметрическом описании
априорной неопределенности.
Рассмотрим для иллюстрации самый простой одномерный пример.
Пусть хч = f (Zo) -[-5v, >де вид функции f (К) известен, а значение 20 под-
лежит определению. Тогда, введя величины у^ = х^—f (Z), можно при-
менить для нахождения Ко процедуру стохастической аппроксимации,
которая при выборе весовых коэффициентов an—ajn (а>0) дает реше-
ние ип—>Ао, причем ошибка определения величины /,п— разность
ип—Ао—асимптотически нормальна с дисперсией [23]
где □% =/И {£“} — дисперсия случайной величины (Al{$v} = 0); f'(2) —
производная функции f (Z).
152
Для сходимости процедуры в данном случае требуется выполнение
следующих условий:
rW>0; [f(Z0) - f (2)] (2 - Z.) < 0 при Z^Z„, Z^oo; 2af' (Z„) > 1
Последнее условие из-за незнания значения ко заставляет выбирать до-
статочно большое значение коэффициента а
а^> 1/2 min f (Z),	(8 3.15)
(X)
ибо в противном случае нет гарантии, что разность ип—ко при всех Х,о
будет иметь ограниченный средний квадрат Целесообразно выбрать
значение а так, чтобы минимизировать максимальное (по 2lo) значение
дисперсии а2п.
Это максимальное значение достигается при f' (Z0) = minf' (Z), а
(X)
минимизирующее значение a=l/minf'(Z) При таком выборе коэффици-
(X)
ента а
__________________1__________________ < 2 <	________1
п min f'(X) [2 max f'(k) — min/'(^)]	п [min/'^)]2
(X)	(X)	(X)	(X)
(8 3 16)
И, наконец, если бы z.o было известно, то можно было при каждом к~
=к0 минимизировать величину а2п выбором a=\ff'(ko), поэтому
я2	1
<8-317>
Пусть теперь для нахождения к0 применен метод максимального
правдоподобия. Оценка максимального правдоподобия асимптотически
нормальна с дисперсией (см гл 7)
°г« = “Г [/'(М2 ВД in P(g) dgp} ’	(8.3 18)
где р (£) — плотность распределения вероятности случайной величины
= ху — f (Zo). Поскольку
LJ	J LJ	Ul°	J
< ¥p ^) j [cZ |2	।	1?j—]2} -	(8 3-19)
то даже при оптимальном выборе коэффициента а == 1 If' (Z„) (подчеркнем,
что фактически это можно сделать только для того значения Z„, для
которого f (Z0) = min/' (Z)), дисперсия оценки, полученной при использо-
(X)
вании процедуры стохастической аппроксимации, больше дисперсии
оценки максимального правдоподобия. Эффективность этих оценок ста-
новится одинаковой в единственном случае, когда функция f(k) линей-
на (f(k)=k), а случайные величины имеют нормальное распределе-
ние вероятности (для нормального распределения в (8.3.19) достигается
равенство). При этом, конечно, процедура стохастической аппроксима-
ции просто совпадает с процедурой рекуррентного вычисления оценки
максимального правдоподобия. Во всех остальных случаях процедура
стохастической аппроксимации обладает меньшей эффективностью.
153
8.4. НЕПАРАМЕТРИЧЕСКИЕ КРИТЕРИИ СОГЛАСИЯ
В гл. 4 мы уже упоминали об обширном классе двухальтернатпв
задач, связанных с проверкой гипотезы о том, что совокупность наблю-
даемых данных подчиняется некоторому заданному распределению ве-
роятности при свободной альтернативе, т. е. в предположении, что наря-
ду с выполнением этой гипотезы могут встретиться какие угодно слу-
чаи. Там же был рассмотрен пример такой задачи в параметрическом
варианте, когда класс возможных распределении вероятности ограничен
некоторым параметрическим семейством с совершенно произвольными
значениями параметров. При отсутствии такого ограничения задача
приобретает дополнительную специфику, связанную с очень большой
степенью априорной неопределенности и необходимостью к'пар. - т-
ричсского решения. Правило решения этой задачи, по установившиеся
терминологии, называется критерием согласия и неоднократно пасемч-
тривалось в литературе по математической статистике, являясь кл< вся-
ческим примером задачи принятия решения в условиях априорной не-
определенности. Покажем, как получить известные и новые непар< че-
тнические критерии согласия на основе адаптивного баш-сова подседа.
Сформулируем более четко постановку задачи. Пусть имеется сово-
купность независимых наблюдений х = {%,, ... , хп} и функция распреде-
ления величины xv(v=l, .. , п) есть либо Fo (х.) (Р„ (х) dx= dF\ (х)),
либо F (xj, причем функция распределения Ft(x) известна, а функция
распределения F(х) полностью неизвестна и совершенно произведена.
На основании наблюдения совокупности данных х={х,, . . хп} требует-
ся решить, какая из альтернатив имеет место в действительности:
1) Х=1—выборка {х(, . ., хп} описывается распределением веро-
ятности с функцией распределения Fo(x)\
2) Л=2—выборка {xi, ..., хп} нс описывается распределением
вероятности с функцией распределения F0(x), а описывается распре-
делением вероятности с какой-то иной отличной от F2(x), функцией
распределения F(x).
Обозначим решения, состоящие в принятии первой л второй аль-
тернативы, через щ и и2 соответственно п определим функцию потерь
g(u, Z). Обычно для правильных решений принимаются нулевые потери
g(l, 0=^(2, 2)=0, а значение потерь от принятия решения и, (реше-
ние о том, что выборка не согласуется с заданной функцией распре-
деления Fa(x), когда на самом деле совокупность данных {хь .... <-,г)
описывается функцией распределения /70 (х), (?.= !)) у;ож т быть ~ )п-
нято равным произвольной константе, без ограничения общластл
g(2, 1) = 1. Потери g{l, 2) от принятия решения щ о той, jto выборка
описывается функцией распределения F0(x), кота на самом
деле она не описывается ей (Х=2), ешественпо задать т?к, чтобы они
были малы, если различие между функциями распрсдеъ ния F^x) л
F(х) мало, и увеличивались по мере роста различий между этими 4 дик-
циями распределения, т. е. g(l, 2)=p(F, Fo).
Для того чтобы задача имела нетривиальное решенье, функционал
p(F, Fo) должен обращаться в нуль при F=Fa. Это естественное тре-
бование соответствует тому очевидному факту, что при F-+Fo потери
должны обращаться в нуль, поскольку вторая альтернатива совпадает
с первой. В качестве функционала p(F, Fo), удовлетворяющего всем
перечисленным требованиям, удобно взять ту или иную меру разлишя
154
в функциональном пространстве функций распределения. Примерами
таких мер являются
р(Л F0) = sup|F(x) —Г,(х)|,	(8.4.1)
(х)
Р (Л F.) = J (х) - F, (< dF. (х),	(8.4.2)
и т а
P(F> Fe)=sup[F(x) — F0(x)]2'Fl>(x)	(8.4.3)
w
Зададим также априорные вероятности альтернатив р!=р(л=1),
Р2=р(к=2) — 1—р{ и введем произвольное рандомизированное пра-
вило решения, определив для этого решающую функцию <р(х) =
= <р(хь ..., хп)—вероятность принять решение Uj, если наблюдаемая
совокупность данных есть x={xi, . . ., хп}. Тогда средний риск
7? (?) = R (?, F) = Pi J [ 1 - ? (х)] П dFt (х) +
У
+ АР(^. Л) р(х)П^К)	(8.4.4)
У
естественно зависит от неизвестной функции распределения F (х) и по-
этому также неизвестен.
Предположим на время, что функция распределения,F(x) известна
и равна Fi(x), т. е. речь идет о задаче проверки гипотезы с простой
заданной альтернативой F(x)=F1(x). Тогда, применяя обычный
байесов подход, получаем нерандомизированное правило решения:
р, П dF«(А)
<р(х)= 1 или м(х) = м1 при-----п------->p(f,> Л).	(8.4.5)
П dFAx.)
Неравенство (8.4.5), определяющее условия принятия решения и=и\
о ток, что выборочные данные согласуются с распределением вероят-
ности, задаваемым функцией распределения Fo(x), можно переписать
в следующем виде:
р(Л Л)<С(х) = С(х,.......хп),	(ЪА.в)
где С=С(хь ..., хп)—некоторая функция выборочных данных, опре-
деляемая при известной F(x)=Ft(x) левой частью неравенства (8.4.5).
При неизвестной функции распределения F(х) в соответствии с об-
щими принципами адаптивного байесова подхода нужно заменить
не^ззсстньк нам статистические описания данных наблюдения оценоч-
ными значениями, полученными с помощью тех же данных наблюдения.
В данном случае нам неизвестны как функция потерь — величина
p(F, Fo), зависящая от неизвестной функции распределения F(x), — так
и отношение правдоподобия dFa(x)/dF(x), входящее в функцию
С=С(х) и зависящее от неизвестной плотности вероятности Р(х) —
—dF(x)/dx Состоятельной оценкой функции распределения F(x)
155
1(х — х) =
в предположении, что имеет место вторая альтернатива, является вы-
борочная функция распределения
п
F*(x) = ^-^l(x-xJ,	(8.4.7)
t=i
где
1 при хРх,
(8.4.8)
О при х< ху,
а состоятельной оценкой p(F, Fo) —величина
р(хг, .... хп) = р (F*, F„),	(8.4 9)
которая зависит от совокупности имеющихся данных x={%i, . . ., хп}.
Нужно отмстить, что, используя (8.4.7), мы уже израсходовали все
имеющиеся данные наблюдения на оценку функции распределения
F(x) и функции потерь p(F, Fo). Такая политика в отношении распреде-
ления имеющейся информации для устранения априорной неопределен-
ности является в данном случае правильной, поскольку все равно без
дополнительных предположений о возможном виде функции распреде-
ления F(х) (т. е. ограничения второй альтернативы) никакой состоя-
тельной оценки плотности вероятности Р(x)=dF(х) /dx и функции прав-
доподобия, входящей в величину С=С(х), не существует. Лучшее, что
можно сделать в этих условиях, — заменить в (8.4.6) p(F, Fo) его со-
стоятельной оценкой р=р(%1, ..., хп) из (8.4.9), а С(хь ..., хп) —
некоторой константой.
В результате приходим к следующему правилу решения, опреде-
ляющему непараметрический критерий согласия: решение и=и\ о том,
что совокупность данных наблюдения x = {x!f . . ., хп} подчиняется рас-
пределению с функцией распределения F0(x), принимается в том слу-
чае, если выполняется неравенство
p(F-,F0)<C.	(8.4.10)
Различным определениям меры различия p(F, Fo) соответствуют
разные критерии согласия: для (8.4.1) получается критерий Колмогоро-
ва, для (8.4.2)—критерий со2 Мизеса — Смирнова и т. д. Константа С
в (8.4.10) обычно выбирается так, чтобы вероятность принять решение
и=щ, когда выполняется первая альтернатива (Z=l), была равна
заданной величине.
Правило решения (8.4.10) обладает следующими свойствами
асимптотической инвариантности: при /г~>оо распределение вероятности
случайной величины р(К*, Fo) в случае, если выборка {хь ..., хп} опи-
сывается функцией распределения К0(х), не зависит от вида этой функ-
ции, т. е. получается универсальным для всех Fo(x), а в случае, если
выборка описывается функцией распределения F(х) =/=F0(x)i, зависит
от истинной величины p(F, Fo). Асимптотические свойства критериев
согласия (8.4.10) и их поведение при конечных п подробно исследованы
в литературе по математической статистике.
Совершенно аналогично можно получить решение некоторых более
сложных задач проверки гипотезы со свободной альтернативой. Пусть,
156
например, имеется две совокупности данных наблюдения x={xi, ...
.. ., хп} и у={z/i, . . ., ут} и требуется решить, подчиняются ли они од-
ному и тому же распределению вероятности (на этот раз неизвестному)
или нет. Если обозначить
п	т
=	F*2(x) = -^l(x-yJ,	(8.4.11)
v~l	V—1
выборочные фикции распределения, построенные по совокупности х иу
соответственно, то аналогично (8.4.10) правило решения для этой зада-
чи определяется следующим неравенством:
p(E*i, Е*2)<С.	(8.4.12)
При этом меру p(Ei, Е2) обычно задают так, что она удовлетворяет
требованиям, вытекающим из обычного определения расстояния, т. е.
р(Л, F2)=p(F2, Л). (Заметим, что функции р(Еь Е2) из (8.4.2), (8.4.3)
не отвечают этому свойству.) В частности, для р(Е, Ео) из (8.4.1) полу-
чаем известный критерий Смирнова.
Можно еще усложнить постановку задачи с учетом возникающих
практических потребностей. Пусть, например, задана некоторая функ-
ция y=f(x) и производятся две независимые серии наблюдений х=
= {Х1, . . . , Хп} И у = {«/1, . . . , Уп}.
Требуется принять решение, связаны ли эти величины заданной функ
циональной зависимостью, т. е. являются ли случайные величины yv зна-
чениями функции f от случайного аргумента с тем же распределением
вероятности, что и любая из величин х^. Осуществим преобразование
случайных величин х^ в соответствии с правилом nv = f(x.), в результа-
те чего получим совокупность данных "П = {?),, •••> Тогда постав-
ленная задача статистического решения сводится к задаче проверки ги-
потезы о том, что совокупности ц и у подчиняются одному и тому же
распределению вероятности, а непараметрическое правило ее решения
дается неравенством (8.4.12), где
п	п
р\ (X) = v S Ч*-	~ 5 Цх - Кх )).	(8.4.13)
v=l
В заключение отметим, что приведенные в этой главе примеры
применения адаптивного байесова подхода, несмотря на довольно зна-
чительную общность каждого из них, ни в коей мере не исчерпывают
даже небольшой доли того громадного множества задач, которое воз-
никает в практических приложениях. Однако читатель получил опреде-
ленное представление о возможностях применения адаптивного
байесова подхода к задачам с непараметрической априорной неопреде-
ленностью и сможет применить при необходимости изложенные выше
методы.
Глава 9
АППРОКСИМАЦИЯ ПРАВИЛ РЕШЕНИЯ
9.1.	ВВОДНЫЕ ЗАМЕЧАНИЯ
Трудности, связанные с нахождением и особенно с реализацией
оптимальных правил решения, даже в условиях полной априорной ин-
формации часто вынуждают прибегать к определенным упрощениям и
вводить аппроксимацию правил решения некоторыми более или менее
простыми процедурами обработки имеющихся данных наблюдения. Ta-
s'ой подход является традиционным для широко распространенных так
называемых инженерных методов синтеза, когда структура системы
обработки информации, или системы управления задается, а задачей
синтеза является выбор неопределенных параметров этой структуры.
При удачном ее задании получающиеся в этом случае результаты ока-
зываются достаточно хорошими в том смысле, что средний риск, харак-
теризующий синтезированную таким образом систему, мало отличается
от минимального байесова риска для действительно оптимальной си-
стемы. В то же время ясна определенная ограниченность этого метода
синтеза—на хорошие результаты можно уверенно рассчитывать только
в том случае, когда заданная структура правила решения (алгоритма
обработки информации, системы и т. д.) или соответствует структуре
байесова правила, или достаточно хорошо аппроксимирует его. Если же
заданная структура далека от оптимальной, то даже при наилучшем
выборе ее параметров можно получить худшие или просто никуда не
годные результаты. Тем не менее этот подход, безусловно, пригоден
прежде всего из-за большей простоты достижения конкретных резуль-
татов и достаточно широко распространен на практике.
Еще больше его значение в условиях априорной неопределенности,
когда из-за отсутствия всей необходимой априорной информации найти
оптимальное байесово правило решения невозможно. В этом случае
уместно сразу пойти на определенные упрощения правила решения,
точнее, на придание ему большей определенности, задав его структуру
с точностью до ряда неизвестных параметров, и оптимизировать значе-
ния последних, используя ограниченные априорные сведения либо непо-
средственно имеющиеся данные наблюдения.
Применению подхода, основанного на аппроксимации правил реше-
ния, посвящена чрезвычайно обширная литература. Пожалуй, наиболее
старым примером является классическая теория линейной фильтрации,
в которой правило решения задается в виде линейного оператора над
данными наблюдения, а сам оператор или сокращенное число его пара-
, метров выбирается с использованием ограниченных априорных сведений
! (о виде функций корреляции фильтруемых процессов). Подробное разъ-
яснение смысла решения задачи линейной фильтрации как задачи син-
( теза в условиях ограниченных априорных знаний будет приведено в §9.3.
В последние годы идеи этого подхода стали широко применяться и
к случаю, когда выбор параметров аппроксимирующего правила реше-
ния осуществляется с использованием имеющихся данных наблюдения,
полученных непосредственно при рабочем шаге, когда принимается ре-
шение или предварительно, в процессе так называемого обучения. Наи-
более основательное и подробное рассмотрение этого случая приведено
в работах [39, 40], где исследованы как общие закономерности по-
158
строения соответс!вующих правил, так и многочисленные примеры их
применения к конкретным задачам. В данной книге мы не претендуем
на сколь-нибудь подробное изложение этих результатов; наша основная
цель — 'интерпретация рассматриваемого подхода с позиций теории
решений, поскольку такая интерпретация представляется полезной с
точки зрения возможности получения новых конкретных результатов и
поскольку соответствующие взаимосвязи в работах [39, 40] и других,
к сожалению, не всегда прослеживаются достаточно четко.
9.2.	ЗАДАЧА НАХОЖДЕНИЯ НАИЛУЧШЕГО ПРАВИЛА РЕШЕНИЯ
ЗАДАННОЙ СТРУКТУРЫ
Аппроксимация правила решения u = u(x) (алгоритма обработкт
информации, управления и т. п.) так иди иначе сводится к заданию ею
структуры с точностью до неизвестных параметров, подлежащих вы-
бору в процессе оптимизации этого структурно заданного правила. Та-
ким образом, общей чертой рассматриваемого подхода является задаче^
в качестве правила решения функциональною преобразования
u = u (х, с),	(9.2 1)
где п(х, с)—известная функция своих аргументов; c={ct, ст} —
совокупность неизвестных параметров, подлежащих выбору в процессе
синтеза.
Средний риск правила решения (9.2.1) для некоторой функции по-
терь g(u, X, х) равен
Z?(u(x)) = /?(u(x, с)) = 7?(с) = rM{g(u(x, с), /., х)} =
= М {Л1 {g (u(x, с), X, х) | х}} = гИ{Я(х, с)},	(9.2.2)
где
7?(х, с) = 7?(и(х, с), х) —-И{g(и(х, с), X, х) J х} (9 2 3)
— значение апостериорного риска для решения u = u(x, с). Естественно,
что для правила (9.2.1) заданной структуры средний риск зависит толь-
ко от с, в результате чего задача синтеза переводится из функциональ-
ного пространства правил решения п(х) в евклидово пространство
параметров с, т. е. существенно упрощается.
В байесовом случае (при известных распределениях вероятности х
и X) величина среднего риска как функция параметров с определяется
с помощью обычной процедуры вычисления математического ожидания,
а наилучшее в классе (9.2.1) правило решения находится подстановкой
в (9.2.1) оптимального значения с=с ;, которое минимизирует величину
среднего риска, т. е. удовлетворяет уравнению
7? (с*) = min 7? (с).	(9.2.4)
(с)
Физический смысл параметров с и их количество определяются содер-
жанием конкретных задач.
При нахождении наплучшего в классе (9.2.1) правила реше-
ния u=u(x, с*) нет необходимости оперировать понятием апостериор-
ного риска, поскольку благодаря параметризации правила решения з
соответствии с (9,2.1) задача оптимизации и так решается в сравни-
1Г9
тельно просто устроенном евклидовом, а не <в произвольном функцио-
нальном пространстве.
Решение уравнения (9.2.4) может быть найдено различными мето-
дами, широко варьируемыми в зависимости от конкретного содержания
задачи и вида функции 7?(с). При этом могут быть использованы как
конечные методы, так и различные итеративные процедуры. Мы не бу-
дем заниматься их обсуждением. Стоит отметить только, что если
функция 7?(с) дифференцируема по с и дополнительные ограничения
на с отсутствуют, то уравнение (9.2.4) эквивалентно следующему урав-
нению для градиента:
Vc7?(c)=0,	(9.2.5)
одно из решений которого даст оптимальное значение с = с\
Если, кроме того, операции дифференцирования и вычисления ма-
тематического ожидания по х перестановочны, то уравнение (9.2.5)
может быть переписано в следующем виде:
ТИ{\7сТ?(х, С)} = 0,	(9.2.6)
который часто более удобен для нахождения решения уравнения (9.2.5).
Нужно заметить, правда, что переход от (9.2.5) к (9.2.6) возможен
далеко не всегда.
Обратимся теперь к случаю, когда имеется априорная неопределен-
ность и полное статистическое описание х и К, необходимое для приме-
нения обычного байесова подхода и нахождения оптимального правила
решения и0(х), отсутствует. Если ограничиться только правилами реше-
ния заданной структуры (9.2.1), то могут представиться три возможные
случая:
1.	Функция потерь g(u, К, х) задана, а аппроксимация правила ре-
шения и(х, с) выбрана так, что имеющихся ограниченных априорных
сведений достаточно для вычисления математического ожидания функ-
ции потерь по К и х, т. е. величины среднего риска при любых интере-
сующих нас значениях с. Тогда функция А (с) определена и оптималь-
ное значение 0=0* находится из уравнения (9.2.4) или (9.2.5).
Устранение априорной неопределенности в данном случае достигает-
ся чисто аналитическим путем — за счет соответствующего выбора ап-
проксимирующего правила решения и(х, с). Нужно отметить, что такая
возможность не является чем-то исключительным: почти всегда можно
подобрать такую аппроксимацию правила решения, что имеющихся да-
же самых ограниченных априорных данных достаточно для вычисления
среднего риска как функции с. Весь вопрос в сложности этой аппоркси-
мации и главным образом в качестве даже наилучшего из введенного
класса и(х, с) правила решения, которое может оказаться непригодным
несмотря на то, что оно является наилучшим.
2.	Функция потерь g(u, К, х) задана, а аппроксимация правила ре-
шения и(х, с) выбрана так, что имеющихся ограниченных априорных
данных достаточно для вычисления математического ожидания функции
потерь по К при заданном значении х, т. е. величины апостериорного
риска 7?(х, с) при любых интересующих нас значениях с.
Хотя, на первый взгляд, кажется, что для нахождения 7?(х, с) нуж-
но знать функцию апостериорного риска 7? (и, х) (при постановке в ко-
торую правила решения и(х, с) получается значение 7?(х, с) и для опре-
деления которой необходимо иметь полное статистическое описание х
160
и X) и в большинстве случаев это действительно требуется, имеются
исключения, соответствующие важным практическим задачам, когда
апостериорный риск R(x, с) для правила решения и(х, с) находится
непосредственно с использованием ограниченных априорных данных, не-
достаточных для нахождения функции апостериорного риска R(u, х)
для любого решения и и применения обычного байесова подхода.
Знания функции /?(х, с) еще недостаточно для нахождения опти-
мального значения с=с , нужно •   ее математическое ожидание по
х — средний риск R(c). Если в качестве . -ноль.; тельных данных наблю-
дения имеется совокупность значенгл {хь .... х^-}, где каждое xv (v=-
= 1, .. N) распределено так же как х, то можно заменить вычисление
математического ожидания /?(х с) эмпирическим осреднением по этой
совокупности. При слабых ограничениях на R(x., с) эмпирическое сред-
нее
^(c)-^^R(x.c)	(9.2.7)
V = 1
является состоятельной оценкой среднего риска R (с) и может быть
использовано для выбора наилучшего значения c—cN, минимизирующе-
го (9.2.7) и являющегося оценкой оптимального значения с=с+.
Для сходимости (9.2.7) j истинному значению среднего риска R(c),
вообще говоря, не требуется, чтобы значения xv (v = 1, ..., Л/)были неза-
висимыми. Достаточно более слабого требования эргодичности последо-
вательности {xj, которое может выполняться и при зависимых xv (заме-
тим, что всюду в гл. 8 также достаточно этого требования). Конкрет-
ные условия сходимости, конечно, зависят от статистических свойств
последовательности {xj в целом.
Так, если величины хч (v=l, ..., N) независимы, то оценка
из (9.2.7) на основании усиленного закона больших чисел всегда схо-
дится с вероятностью единица к R(c), поскольку существует математи-
ческое ожидание M{R(x^, c)} = R(c). Если {хч} — стационарная последо-
вательность, то сходимость обеспечивается при условии
(xv, с) - R (с)] [R (х с) - R (с)]}	0.	(9.2.8)
Г	|v—|х|—>00
В общем случае произвольной последовательности {xj условием
сходимости оценки (9.2.7) к истинному значению R(c) является
У M{[R (xv. с) - R (с)] [R (х с) - R (с)]} - 0.	(9.2.9)
.V-*co
v, (д=1
При этом даже не обязательно, чтобы величины xv были распределены
так же, как величины х. Достаточно выполнения более слабого требова-
ния, чтобы при любом v=l, ..., N
M{R(xv, c)} = R(c).	(9.2.10)
При выполнении условий сходимости Rn(c) к R(c) последователь-
ность значений с^-, минимизирующих величину оценки среднего риска
11—899	161
/?л(с) при данном N, сходится при N^~<x> к оптимальному значению
с=с*, минимизирующему величину среднего риска R(c), т. е. значение
Су является состоятельной оценкой оптимального значения с*, а прави-
ло решения u=u(x, с .у) является приближенно наилучшим правилом из
заданного класса (9.2.1).
Методы нахождения значения сЛ по известной аналитической зави-
симости апостериорного риска 7?(х, с) и эмпирической последователь-
ности {xi, . . ., Ху} будут рассмотрены дальше. Заметим только, что
с рассмотренным здесь случаем иногда связывают термин «самообуче-
ние» или «обучение без поощрения», подчеркивая этим, что данные
наблюдения (полная их совокупность есть {xi, . .., Ху, х}) не содержат
никакой информации о параметрах X, характеризующих истинные си-
туации и определяющих последствия от принятия решения, а наблюда-
ются только величины ху со смешанным распределением вероятности
Р(х)= JP(x|X)p(X)dX. •
Подчеркнем также, что возможность получения функциональной зави-
симости Р(х, с), знание которой обеспечивает возможность решения за-
дачи при наблюдении только величин {xj, существенно зависит от вы-
бора функции потерь g(u, X, х) и класса аппроксимирующих правил
решения и (х, с).
3.	И, наконец, третья возможность заключается в том, что при
имеющихся ограниченных априорных сведениях и выбранных g(u, X, х)
и и(х, с) невозможно вычислить ни Р(с), ни Р(х, с) Ч В этом случае
для получения состоятельной оценки среднего риска, необходимой для
нахождения состоятельной оценки значения с=с*, наряду с последова-
тельностью {xi, ..., Ху} нужны дополнительные данные наблюдения.
При этом возможны два варианта. В первом из них, более содер-
жательном с точки зрения качества имеющихся эмпирических данных,
для каждого v=l, ..., п. наряду с xv имеются наблюденные значения
Xv, которые характеризуют для каждого возможного решения и величи-
ну потерь. При этом полная совокупность эмпирических данных образу-
ет последовательность {х4, Хц Хг, Хг; . . .; Ху, Ху}, с помощью которой для
любой возможной функции u=u(x, с) (9.2.1) можно построить состоя-
тельную оценку среднего риска, заменив в (9.2.2) операцию математи-
ческого ожидания операцией эмпирического осреднения
N
^(c)=4-Sg(u(x'’с)> х’’	<9-211>
v= 1
В Стоит подчеркнуть, что, как и в п 2, имеется в виду, что функции Я(с) и
R (х, с) теиствптсльно неизвестны даже с точностью до совокупности каких-либо па-
раметров распределении вероятности х и X, т. е. предполагается наличие непарамет-
рическои априорной неопределенности В параметрическом случае, когда распределение
вероятности х и X задано с точностью до совокупности параметров у, хотя бы "в прин-
ципе оцениваемых по имеющимся данным наблюдения х, нет нужды прибегать
к аппроксимации правила решения (выбора его из заданного класса (92 1), отличного
от байесова класса u=iio(x, у)), поскольку имеется конструктивная процедура на-
хождения лучших решающих правил с помощью адаптивного байесова подхода и по-
скольку в условиях априорной неопределенности необходимо наилучшим образом
использовать имеющуюся информацию.
162
Минимизация этой оценки Лк (с) по с дает решение с=ск, являющееся
состоятельной оценкой оптимального значения параметра с=с*. Как и
в п. 2, само правило решения
u = u(x) = n(x, cY)	(9.2.12)
получается подстановкой в (9.2.1) значения с=ск и, естественно, зави-
сит от совокупности имеющихся эмпирических данных: {xi, . . ., хк} —
в случае п. 2, {хь Xi; ..Хк, Хк} — в данном случае.
Условия, при которых оценка Лк (с) из (9.2.11) сходится к истинно-
му значению среднего риска Л (с), а последовательность значений Сд-,
минимизирующих эту оценку, к оптимальному значению с", аналогичны
приведенным в п. 2.
Пои этом аналогом условия независимости последовательности {xj
является независимость последовательности пар {х„ X,}; при более об-
щих предположениях о статистических свойствах последовательности
{xv, X,} в формулах (9.2.8)—(9.2.10) следует заменить Л (х„ с) на £(“(*», с),
X,, xv) и иметь в виду что математическое ожидание вычисляется по и
Второй и более сложный вариант состоит в том, что значения Xv
недоступны для наблюдения, а все, что мы действительно можем наблю-
дать, кроме xv, — это значения потерь gv, которые получаются, если
принимаем решение u = uv. (Если пользоваться терминологией, связанной
с обучением, то данный случай можно охарактеризовать как платное
обучение, за которое мы расплачиваемся не только затратами времени
на набор эмпирических данных, но и реальными потерями, такими же,
как в рабочей ситуации.)
Для того чтобы и в этом случае выбрать значение параметров с,
входящих в правило решения (9.2.1), нужно при v= 1, .... N выбирать
решение uv в соответствии с этим правилом, т. е. и ^-и(х., cj, где
cv (v— 1, ..., N) — какая-либо последовательность значений с. Только
при этом величины потерь gv будут давать содержательную информацию
о зависимости среднего значения потерь среднего риска от величины с.
При таком выборе решения величина gy является случайной, порож-
денной случайностью х, и и неявно зависящей от выбранного значе-
ния с = cv, т. е.
Я, = Я,(СЛ	(9.2.13)
Для получения состоятельной оценки величины среднего риска
R (c=cz) =R (с') нужно, вообще говоря, иметь достаточно длинную под-
последовательность v=l, ..., N(c'), для каждого элемента которой вы-
брать ф =с' и аналогично предыдущим случаям заменить операцию
математического ожидания операцией эмпирического среднего по этой
подпоследовательности. В результате будем иметь оценку среднего рис-
ка для данного значения с=с'
'V(c')
К(с')=^2)г.<е>.	(9.2.14)
V=1
11*
163
Далее нужно получить такую же подпоследовательность для с=с",
с=с"' и т. д. для всех интересующих нас значений параметров с из за-
данной области их значений. Совокупность оценок типа (9.2.14) для
всех интересующих нас значений с, заполняющих с некоторым шагом
область возможных значений с, будет являться оценкой среднего риска
как функции с, а минимальное значение из этой совокупности опреде-
лит наилучшее значение с, которое следует подставить в правило
(9.2.1).
Описанная процедура представляется очень громоздкой, поскольку
она предполагает прямой перебор на множестве возможных значений
с. К сожалению, невозможно предложить ничего другого, если нет
априори уверенности, что неизвестный нам средний риск является до-
статочно плавной функцией с и может допускать большие изменения
при малых изменениях с, и если мы действительно желаем найти наи-
лучшее правило решения из класса (9.2.1).
Если же априори можно считать, что Д(с)—-достаточно плавная
функция с ограниченной вариацией или даже дифференцируемая функ-
• ция с ограниченной величиной градиента Vc#(c), то вместо построения
совокупности оценок (9.2.14) и прямого перебора можно предложить
процедуру упорядоченного поиска экстремального значения с=сЛ-, ко-
торая при определенных условиях позволяет добиться того, что величи-
на c.v является состоятельной оценкой неизвестного оптимального зна-
чения с=с*.
Эта процедура представляет собой по сути дела некоторый план экс
перимента, в процессе которого наблюдается последовательность значе-
ний х,, для каждого v выбирается значение с —су, принимается реше-
ние uv = u(xy, су) (9.2.12), фиксируется величина последовавших за этим
решением потерь gv и на основе полученной после v-ro шага информа-
ции (совокупности данных наблюдения {х,, g\; х2, g2\ ...; xv, g.J и
выбранных ранее значений с,, ..., с„) [принимается решение о выборе
того или иного значения cv+1 для следующего шага. Указанная процеду-
ра была предложена Кифером и Вольфовицем [15] и носит название
процедуры стохастической аппроксимации Кифера — Вольфовица (по-
исковый алгоритм адаптации [39]). Более подробно она будет описана
ниже.
Стоит подчеркнуть, что в рассматриваемом случае нет необходи-
мости в задании функции потерь g(u, X, х) и даже в установлении
снысла параметров X, определяющих величину потерь, поскольку мы
наблюдаем величины gy непосредственно, а из-за незнания значений
А.» задание функции потерь ничем не способствует уточнению оценки
среднего риска.
Перечисленные выше возможности будут более подробно рассмо-
трены и проиллюстрированы примерами в следующих главах.
9.3.	СЛУЧАЙ, КОГДА ПРИ ВЫБРАННОЙ АППРОКСИМАЦИИ ПРАВИЛА РЕШЕНИЯ
АПРИОРНЫХ ДАННЫХ ДОСТАТОЧНО ДЛЯ ВЫЧИСЛЕНИЯ СРЕДНЕГО РИСКА
Этот случаи не имеет каких-либо характерных особенностей, по-
скольку он приводит к обычной задаче отыскания минимума известной
функции R(с). Методическая трудность заключается только в том, что-
164
бы выбрать такую аппроксимацию правила решения u=u (х, с), кото-
рая, с одной стороны, действительно обеспечила бы возможность вычис-
ления среднего риска, а с другой —имела приемлемую эффективность
или хотя бы давала уверенность в том, что сделано все возможное при
заданном состоянии наших априорных значений и имеющемся объеме
данных наблюдения. Рассмотрим два примера подобных задач.
Как уже отмечалось, наиболее известным примером такого рода
является задача линейной фильтрации. Пусть имеющиеся данные на-
блюдения представляют собой последовательность x={xi, .. , хп}, а за-
дача статистического решения заключается в оценке некоторого векто-
ра X={Xi, ..., Хг} (Z может быть как меньше, так и больше п). Компо-
нентами этого вектора могут быть текущие или экстраполированные
значения сигнала, которые после смешивания с помехами наблюдаются
в виде величин xv, значения производных этого сигнала или любых
линейных операторов над ним и т п Конкретное его содержание для
общего решения не имеет значения
Пусть полное статистическое описание х и X — функция правдопо-
добия Р(х|Х), устанавливающая статистические взаимосвязи между х
и X, и априорная плотность вероятности /?(Х), определяющая безуслов-
ное распределение вероятности X, отсутствуют; и пусть имеющиеся
априорные сведения сводятся к заданию корреляционных матриц
A1{xxt} = R(^) = P(">||, v, р=1, .. , и;
Л1 {хХт} = R(xX)= || R(*x> ||, v=l, ... , п- i=l.Z;
44{Xx-} = R(’x)=||R(Xjc)J| = R(,:X)T, i=l.Z; v=l, .... n
Пусть также задана квадратичная функция потерь
^(u, X) = (и — X)Tg (и—X),
где g=llgifdl, Z, &=1, ..., Z — невырожденная матрица, и — решение,
состоящее в оценке всех компонент вектора X.
Введем в качестве аппроксимации правила решения u=u(x, с)
линейное преобразование вектора х, т. е.
U = U (х, с) = сх,	(9 3 1)
где c-=||ctv||, Z=l, . ., Z; v= 1, . , п — матрица порядка 1хп. (Во
избежание возможных недоумений, связанных с тем, что всюду ради
простоты и краткости мы говорили о с в правиле решения (9 2 1) как
о векторе, заметим, что при желании матрицу можно вытянуть в век-
тор, соответствующим образом расположив ее строки или столбцы и
применив для нумерации этого вектора систему двойных индексов.)
Вычислим для этого правила решения математическое ожидание функ-
ции потерь по х и X, т. е. средний риск:
R (U (х, с)) = R (с) — М {(сх — X)Tg (сх — X)} =
= М {xTcTgCx} — М {xTcTgX} — М {XTgcx} 4-44j{XTgX} —
= Sp cTgcR(**> — Sp cTgR(M — SpgcR(xX) + Sp gR(XX),
где Sp A — Sp||A*|| = 2^*4“ слеД матрицы А. Из этого выражения
165
видно, что для полного определения среднего риска нам не хватает
величины Sp gR1Vk>, но при выбранной структуре правила решения
это слагаемое, зависящее от корреляционной матрицы R(U) вектора X,
входит в выражение для среднего риска несущественной для определе-
ния положения его минимума константой. Поэтому знание корреляци-
онной матрицы вектора X для нахождения оптимального значения с~=
—с" не обязательно (хотя само минимальное значение среднего риска
без нее неизвестно).
Функция R(c) квадратично зависит от с, поэтому минимизирующее
значение с* находится без труда и определяется известным уравнением
линейной фильтрации
c-Rt^) = RQ!C)	(9 3.2)
или в случае непрерывного наблюдения, когда x=x(t) —процесс задан-
ный на интервале (ti, t2), его непрерывным аналогом
it
J С* (f)Rixx'> (t, T)dt = R(^(y), i=\, ..., /,
где ЯМ (t t) = M {x (0 x (t)}; R(.U) (т) = M {2, x (t)}.
При этом правило решения — оценка — определяется линейным
оператором
^2
Ul—ul (х) —2, (х) = j с, (/)xR)dt
В частности, если Л,( = Я,(/3) (t3>t2 или t3<^tt— экстраполяция процес-
са 2 (/) вперед или назад, t3 = t2 — фильтрация в обычном смысле, <С
<	— интерполяция), то R, (т) = R(X v) (^, т) =/И {2 (/3) х(т)}, с,(0 =
= с(/3, t); если 2, = (dl (t)/dt) то R, (т) = МХт)} и т- А-
Задаче линейной фильтрации посвящено громадное число работ и
нет нужды останавливаться на каких-либо ее деталях. Отметим только
два обстоятельства. Во-первых, как было показано в гл. 5, линейное
правило решения (9.3.1) при некоторых ограничениях является опти-
мальным минимаксным правилом решения задачи фильтрации при
ограниченных статистических сведениях ох и 1 и в этом смысле линей-
ная аппроксимация правила решения для задачи фильтрации является
удачной, поскольку с учетом ограничений, о которых говорилось в гл. 5,
она достаточно полно использует имеющиеся ограниченные априорные
сведения. Во-вторых, следует подчеркнуть и ограничения, свойственные
правилу решения (9.3.1) для оценки вектора X. Линейная оценка дей-
ствительно является наилучшей только в том случае, когда существует
линейная относительно х минимальная достаточная статистика для век-
тора X. За редким исключением для этого требуется, чтобы вектор дан-
ных наблюдения х мог быть представлен в виде аддитивной смеси
какого-либо линейного преобразования вектора X и некоторой помехи
?={gi, ..., gn}, т. е. х—КХ + |, где К —матрица линейного преобразова-
ния, причем | и К должны иметь гауссово распределение вероятности.
Если эти условия не выполняются, то линейная оценка (9.3.1) может
иметь намного худшую эффективность, чем оптимальная опенка век-
тора X.
166
Чтобы показать, сколь существенные проигрыши в эффективности
могут при этом возникнуть и насколько большую осторожность следует
проявлять при выборе структуры аппроксимирующего правила реше-
ния (9.2.1), рассмотрим один простой пример. Пусть компоненты век-
тора х имеют вид
Л'„ — v = 1, .... п,
где Я(/= 1) — параметр, подлежащий оценке; {^} — совокупность незави-
симых случайных величин, каждая из которых равномерно распределе-
на на интервале (0, 1). При этом корреляционные матрицы
R'“’ = llO= ||(4~+4 s-0“'ll v' 11=1...................
R(Xx) = ||/?'Xx)|| = | -La’ll, i=l, ..., Z; Z=l; v= 1.........n,
Где a2=M{%2} — средний квадрат величины X, и решение уравнения
(9.3.2) для с* имеет вид
c*.v = 6/(3n4-l), i=l, v=l, ..., п,
а наилучшее линейное правило решения (9.3.1)—оценка параметра Л
п
и = Ъ=	(9 3 3)
»=4
Средний риск — средний квадрат ошибки определения значения Л.
для оценки (9.3.3)—рассчитывается без труда и равен
7?(с*) = уИ{(Я — Я)2}= a2/(3n-J-1).	(Э 3 4)
Он пропорционален значению среднего квадрата к и убывает обратно
пропорционально объему выборки п, по которой построена оценка.
Если для решения этой же задачи использовать минимаксный под-
ход или метод максимального правдоподобия, то можно получить значи-
тельно лучшую оценку, чем самая лучшая линейная оценка (9.3.3). За-
метим, что рассматриваемая задача фактически совпадает с задачей
оценки ширины к равномерного распределения по совокупности данных
наблюдения, равномерно распределенных на интервале (О, Л) величин
х, (v=l, . . ., п). В гл. 7 было показано, что для этой задачи существует
суперэффективная минимаксная оценка
L = ^max{x„ ..., x„} = ^xmax,	(9.3.5)
основанная на достаточной статистике xmax=max{xi, ..., х„}, дтя кото-
рой средний риск
/?0 = Л4{(Я0 - Я)2} =а*/(п+ I)2,	(9.3.6)
что при больших п в п/3 раз меньше, чем для наилучшей линейной
оценки (9.3.3).
167
Рассмотрим теперь пример выбора наилучшего аппроксими-
рующего решающего правила для задачи двухальтернативного решения.
Пусть требуется принять решение и=1 или ы=2 по данным наблюде-
ния х, распределения вероятности которых Pi(x)=P(x|X=l) и Рг(х) =
—Р(х|Х=2) известны неполностью, и пусть для определенности функ-
ция потерь
g(u, 2) = 1—8,4, i, k=l, 2; 2=1, 2.
В ряде практических задач различения гипотез ограниченные априор-
ные сведения о статистических свойствах х в обеих ситуациях (Х=1 и
1=2) могут быть заданы следующим образом: пусть известно, что при
Л=1 возможные значения х ограничены множеством Xi, а при л=2 —
множеством Х2. Если обозначить через A'i и Х2 дополнения к этим
множествам, то очевидно, что плотности вероятности Pi(x) и Рг(х)
удовлетворяют условиям
Pj (х) = 0 при х
Р2(х) = 0 при xG2f2.
Обозначим через Xi2 пересечение множеств Xi и Хг, через
Х\ и Х'2 части множеств Xi и Х2 соответственно за вычетом их общей
части Хи, а через <р(х) рандомизированное правило решения — вероят-
ность принять решение и=1, если наблюдается значение х. Тогда опти-
мальное байесово правило решения <ро(х) для этой задачи не требует
знания плотностей вероятности Pi (х) и Р2(х) на множествах X'i и Х'2
соответственно и может быть записано в виде
(х) =
1 при
О при
<р(х) при
хЕХ',,
х£Х'г,
X G -^12'
где <р(х)—некоторая функция (со значениями нуль или единица), за-
висящая от вида отношения правдоподобия Pi(x)/P2(x) для хеХ12 и
требующая для своего определения знания плотностей вероятности
Pi(x) и Р2(х) или по крайней мере их отношения.
Пусть вместо Pi(x) и Р2(х) нам известны только ограниченные ста-
тистические сведения о вероятностном поведении х на множестве зна-
чений Х12, которые сводятся к знанию полных вероятностей попадания
х в множество Xi2 для Х=1 и 1=2, т. е.
pi= J P1(x)dx,P2= J P2(x)dx,
хё*1«
а детальный вид Pi(x) и Р2(х), необходимый для нахождения отноше-
ния правдоподобия и функции <р (х), неизвестен. Введем следующую
аппроксимацию правила решения:
?(х,
при х
при х£Х'2,
(9.3.7)
при xG2C12,
168
f ?(х, c)P2(x)dx =
для которой без труда можно вычислить величину среднего риска при
произвольных Z’i(x) и Рг(х):
R(c) = pt J[l — ?(х, с)]Р,(x)dx-|-p2
где pi и р2—априорные вероятности ситуаций Х=1 и 1=2 (pi=p (Х=
z=l), р2=р(Х=2)). Это выражение линейно относительно с и достига-
ет минимума при с—с*=0, если р1Р1<р2Рг, или при с=с*=1, если
piPi>p2.P2- Значение с=с* и определяет наилучшее аппроксимирующее
правило решения (9.3.7). Минимальная величина среднего риска для
этой аппроксимации
P(c*) = min{p1P„ р,Р2}
и зависит только от вероятностей Pit Р2 и априорных вероятностей си-
туаций р^ р2. Правило решения (9.3.7) является «хорошим» (т. е. имеет
эффективность почти такую же, как у оптимального байесова правила),
если множества значений Xi и Х2 для первой и второй из возможных
ситуаций (Х=1 или Л.=2) слабо перекрываются в том смысле, что по
крайней мере одна из вероятностей Pj или Р2 близка к нулю. Во всех
остальных случаях проигрыш в эффективности аппроксимирующего
правила решения (9.3.7) по сравнению с оптимальным зависит от по-
ведения функций Pi(x) и Рг(х) на множестве значений x<eIi2.
9.4.	СЛУЧАЙ, КОГДА ПРИ ВЫБРАННОЙ АППРОКСИМАЦИИ ПРАВИЛА РЕШЕНИЯ
АПРИОРНЫХ ДАННЫХ ДОСТАТОЧНО ДЛЯ ВЫЧИСЛЕНИЯ АПОСТЕРИОРНОГО РИСКА
Обратимся теперь ко второй из указанных в § 9.2 возможностей,
когда правило решения и (х, с) выбрано так, что имеется возможность
получить аналитическую зависимость Р(х, с) апостериорного риска от
х и с. Как было отмечено выше, если при этом имеется совокупность
эмпирических данных {хь ..., x.v}, таких, что для любого х„ выполня-
ется равенство (9.2.10), то можно образовать состоятельную оценку
среднего риска (9.2.7) и, минимизировав ее по с, найти значение с=
—Ся, зависящее от {xi, ..., x.v}, которое является состоятельной оценкой
оптимального значения параметра с=с*. Правило решения (9.2.12) на-
ходится подстановкой этого значения в (9.2.1) и является приближени-
ем к наилучшему правилу решения u=u(x, с*) из заданного класса
(9.2.1), причем благодаря сходимости c.v к с* правило решения и=
=u(х, c.v) сходится к правилу u=u(x, с*).
Фактически задача синтеза в данном случае сводится к отысканию
наилучшего значения с=су, для чего, как и в задаче нахЪждения оце-
нок максимального правдоподобия, могут быть использованы различные
методы. В ряде случаев для отыскания значения c—cN, минимизирую-
щего оценку среднего риска Pn(c) (9.2.7), могут быть использованы
конечные методы, с помощью которых получается аналитическое выра-
жение для Ck=Cjv(xi, ..., Xjy), являющееся точным решением задачи.
Возможности их применения довольно ограничены и в основном исчер-
пываются случаем, когда функция апостериорного риска R(x, с) квад-
ратично зависит от с. Соответствующие примеры, относящиеся к прак-
тически важной задаче фильтрации, будут приведены ниже. Более
общим средством нахождения минимального значения Rn(c) и соответ-
169
ствующего значения с=ск является применение различных итеративных
процедур, многочисленные варианты которых разработаны для случаев
как дифференцируемой, так и недифференцируемой функции Rn(c).
Эти процедуры, естественно, применимы при любой зависимости R (х, с)
и, следовательно, Лк (с) от с и часто обеспечивают нахождение Ск за
небольшое число шагов, однако обладают существенным недостатком,
связанным с необходимостью при каждой итерации хранить и исполь-
зовать всю имеющуюся начальную информацию — данные наблюдения
{xi, . .., хк} и большой объем промежуточных расчетов.
В связи с этим большую важность приобретают рекуррентные ме-
тоды нахождения значения с=Ск, минимизирующего оценку среднего
риска Лк (с) для каждого N. Если соответствующая рекуррентная про-
цедура построена так, что для нахождения очередного значения она
требует использования только данных наблюдения хк (а не всей после-
довательности {xi, ..., хк}) и результатов решения задачи минимизации
на предыдущем (Л/—1)-м шаге, то она приводит к существенной эконо-
мии в объеме, требуемой для запоминания информации памяти, сокра-
щению объема вычислений и обладает тем преимуществом, что в любой
момент времени (на любом шаге N) готова к остановке и выдаче необ-
ходимого результата — соответствующего значения Ck=Ck(xi, ..., хк)-
Ограничимся случаем дифференцируемой по с функции Л(х, с). Тогда
наилучшее значение с=ск, минимизирующее оценку среднего риска
Лк (с) (9.2.7), полученную путем эмпирического усреднения апостериор-
ного риска Л(х, с), является решением следующего уравнения для гра-
диента:
к
VcRn (с) = ycR (xv, с) = 0	(9.4.1)
V = 1
и может быть найдено с помощью рекуррентной процедуры, аналогич-
ной рассмотренным в гл. 8.
Пусть Ск-1 — наилучшее значение с, найденное минимизацией оцен-
среднего риска Л (с), вычисленной по эмипирической последователь-
ности {Xj, ..., Хк-i}, т. е. решение уравнения
К—1
V^_1(C) = }7^T J] vJ?(xv, с) = 0,
V=1
аналогичного (9.4.1) с заменой N на N— 1. Перепишем уравнение
(9.4.1) в следующем виде:
-V	к
0=3 V^(xv, с) = 2 Vc«(xv, су_,)4-
V=1	V=1
N
+ 2 Vc^cR(xv, c^nc-c^ + Otc-c^)^
2V
= VcR(xn, ck-i) + S VcVt^(xv> <:„_,) (с-C"-,)4-Ofc-C^,),
v= 1
где 0(c—ck-i)—малая поправка. Тогда его приближенное решение
имеет вид
cv = cv-i —	(х^. С^),	(9.4.2)
170
где матрица Djv определяется выражением
= £	c^_j).	(9.43)
У=1
При квадратичной зависимости /?(х, с) от с решение (9.4.2) является
точным и, кроме того, матрица Djv вычисляется рекуррентно благодаря
отсутствию зависимости VcVTcR(xv, Cjy^) От Cn-i. При этом выражение
(9.4.2) действительно является рекуррентным соотношением, требую-
щим для вычисления значения Cjv знания только Cjv-i, Djv-i и xN.
Для того чтобы это выражение превратилось в рекуррентное соот-
ношение в общем случае, нужно подобно тому, как это было сделано
в гл. 7, 8, дать дополнительно рекуррентное правило вычисления ма-
трицы Dm либо просто задать ее (или обратную матрицу Б“') для каж-
дого значения N. Используя те же идеи, что в гл. 7. 8, получаем для
Djv рекуррентное соотношение
^=L,_, + VMR(XV с^),	(9.4.4)
которое в совокупности с (9.4.2) полностью определяет рекуррентную
процедуру нахождения с^- при любых начальных значениях с0 и Ьо.
При независимых xv эта процедура задает марковскую случайную по-
следовательность, сходящуюся к истинному оптимальному значению
с=с*, причем разность Cjv—с* асимптотически нормальна с дисперсией
(корреляционной матрицей) порядка 1/Л7. (Условия сходимости и
асимптотической нормальности аналогичны обсуждавшимся выше.)
Второй способ превращения (9.4.2) в рекуррентное соотношение состоит
в замене БЛ,1 некоторой произвольной матрицей, обеспечивающей сходи-
мость последовательности cN к с*. В частности, как в процедуре Робин-
са—Монро, можно выбрать в качестве весовой матрицы Б^1 диагональ-
ную матрицу СЛ,1 = Itzv, где последовательность положительных коэффи-
циентов aN удовлетворяет условиям (8.2.18), (8.2.19). При этом, естест-
венно, из рекуррентных соотношений (9.4.2), (9.4.3) остается только
первое и вся процедура рекуррентного определения сЛ- заметно упроща-
ется, однако из-за неоптимальности выбора весовой матрицы в (9.4.2)
она проигрывает первому способу в эффективности. Подробное обсуж-
дение структуры и свойств рекуррентной процедуры (9.4.2) при различ-
ном выборе матрицы Dv и многочисленные примеры ее применения
содержатся в работах [39, 40].
9.5. ПРИМЕР ЗАДАЧИ ОЦЕНКИ ПАРАМЕТРА X ПО ДАННЫМ НАБЛЮДЕНИИ х
ПРИ ИЗВЕСТНОЙ КОРРЕЛЯЦИИ МЕЖДУ х И
Проиллюстрируем рассмотренную выше возможность на примере
той же задачи фильтрации, что и в § 9.3, или в более общей формули-
ровке на примере задачи оценки полезного параметра X={Xi, ..., X;} по
данным наблюдения x={xi, ..., хп}. Е}новь зададим линейное правило
171
решения (9.3.1) и рассмотрим еше раз выражение для среднего риска
R(c) для квадратичной функции потерь
Я(и(х, с))— R(с) = М{(сх — X)Tg(сх — >0} =
— М {xTcTgcx} —I {xTcTgX} — М {XTgcx} + М {XTgX}, (9.5.1)
Из него видно, что для того чтобы получить зависимость К (х, с), обе-
спечивающую возможность применения операции эмпирического усред-
нения по данным наблюдения х, достаточно знать только взаимную
корреляционную матрицу х и X, т. е.
М {/.хт} = R(M = Я(Л)Т = [М {х
Тогда с точностью до несущественной константы a=iW{ZTgZ}, не
зависящей от х и с,
J?(x, c) = xTcTgcx—SpcyTax) —SpgcR(x>) + a,	(9.5.2)
а оценка среднего риска Rw(c) получается эмпирическим усреднением
выражения (9.5.2) по х.
Задание только корреляционной матрицы R(Zjc> означает дальнейшее
уменьшение имеющихся априорных сведений по сравнению со случаем
§ 9.3. При этом корреляционные свойства наблюдаемой последователь-
ности х={%1, . . ., хп} (наблюдаемого сигнала) неизвестны, а известна
только взаимная корреляция х с параметрами X, подлежащими оценке
(полезным сигналом, подлежащим выделению при фильтрации).
Простейшим примером, когда матрица R***' неизвестна, а матрица
R(Xx> известна, является случай, при котором наблюдаемый вектор х
представляет собой аддитивную смесь к с некоторой помехой т. е. х=
= Х-|-|, причем X и | некоррелированы, а корреляционная функция X
полезного сигнала известна. При этом, очевидно, R(>x) = RtU>. Незнание
R\«), которая в данном случае равна r(XX>_|_r(K) означает отсутствие
сведений о корреляционных свойствах помехи. Используем результаты
§ 9.4, имея в виду, что в данном случае рекуррентная процедура (9.4.1),
> (9.4.3) дает точные результаты. Применяя к выражению (9.5.2) опера-
торы vc и VcVTc и учитывая, что g — положительно определенная сим-
метричная матрица, получаем следующие рекуррентные соотношения
для нахождения наилучшей матрицы cN линейного преобразования
(9.3.1):
с\ —с^_1	Сд, [х vxTA,cTA,_1 R(
(9.5.3)
в которые превращаются в данном случае общие соотношения (9.4.1),
(9.4.3). С учетом специфического вида матрицы Dw можно несколько
усовершенствовать эту процедуру, избавившись от необходимости обра-
щения на каждом шаге матрицы Djv. Действительно, из второго рекур-
рентного соотношения (9.5.3) следует рекуррентное соотношение для
обратной матрицы D”1, выступающей в качестве весовой матрицы в пер-
вом из рекуррентных соотношений (9.5.3):
в;1=0-1,
Р,у2-1 Ху *фуР.У-Ы
1 +
(9.5.4)
172
Процедура (9.5.3) с весовой матрицей Бд,1 из (9.5 4) обеспечивает
нахождение наилучшего значения с при всяком N и полностью исполь-
зует имеющиеся эмпирические данные (последовательность хь ..., Xjv).
Если допустима некоторая потеря эффективности, то вместо (9.5.3)
можно использовать процедуру стохастической аппроксимации Робин-
са— Монро с заменой в первом из соотношений (9.5.3) матрицы Dw
диагональной матрицей la^, где последовательность неотрицательных
числовых коэффициентов ах удовлетворяет условиям (8.2.18), (8.2.19).
При этом последовательность cN, определяемая рекуррентным соотно-
шением
cTv= cTJV_1 - aN	— К'Л)1	(9-5-5)
при N-^-oo сходится к значению с* из (9.3.2), однако при любом N от-
клонение Cjv из (9 5.5) от с* больше, чем отклонение решения (9.5.3)
от оптимального значения с*.
\ Рассмотрим теперь применение конечного метода для нахождения
наилучшего значения cN. Согласно (9.5.2) эмпирическая оценка сред-
него риска /?(с) связана простым соотношением с эмпирической оцен-
кой корреляционной матрицы R(“)=M{xxT}.
Действительно, если R^x) — эмпирическая оценка корреляционной мат-
рицы R(X3C), то
Rn (с) = Sp cTgcR(xx) — Sp cTgR<M — Sp gcR(x,) -j- a	(9.5.6)
и уравнение для наилучшего значения с отличается от уравнения (9.3.2)
только заменой неизвестной корреляционной матрицы R(xx> ее оценкой
йГ-т. е
cX"> = R(Xx’-	(9-5.7)
Последнее уравнение может быть решено любым из способов, при-
меняемых при решении уравнения (9.3.2), в частности прямым обраще-
нием эмпирической корреляционной матрицы R^x). При этом
(9-5.8)
или
CT№WXX).	(9-5.9)
где WA, — матрица, обратная т. е.
(9.5. ю)
(I — единичная матрица).
Способ получения эмпирической оценки корреляционной матрицы
RC**) и среднего риска R (с) и необходимый для этого объем эмпириче-
ских данных (данных обучения) зависит от того, какие имеются допол-
нительные сведения о статистических свойствах данных наблюдения—
вектора х={хь ..., хп}, по которому формируется оценка и(х, с)=сх
вектора X. Если о свойствах последовательности {хь хп) ничего не-
173
известно, то для получения оценки среднего риска ^jy(c) необходимо
иметь совокупность независимых значений вектора x={xi, ..хп}-
Пусть имеется N таких значений х=ха={л'а1, .... хап} (а=1,
2, ..N) (при этом общий объем эмпирических данных составляет Nn
различных величин), тогда оценкой корреляционной матрицы Rf**), че-
рез которую определяется оценка среднего риска и наилучшее значение
с, является
Й<« = Б»« = Ъ^хЛ	(9.5.11)
а=1
Подстановка этого выражения в (9.5.7) или обратной матрицы в (9.5.8),
(9.5.9) завершает решение задачи по нахождению наилучшего значения
с=сЛл При этом благодаря состоятельности оценки (9.5.11) для корре-
ляционной матрицы решение cN уравнения (9.5.7) является со-
стоятельной оценкой для оптимального значения с=с* и при Л'—^оо
сходится к этому значению. Нужно отметить, что фактически в данном
случае рекуррентная процедура (9.5.3) в вычислительном отношении су-
щественно уступает конечному методу: для нахождения сЛ из (9.5.3)
требуется выполнить четыре операции матричного умножения и две
операции сложения вместо одной операции умножения для (9.5.8) или
(9.5.9) при равных затратах на получение значения матрицы W = ATDy.
Поэтому даже в том случае, когда требуется найти последовательность
значений сЛ- для различных N, более экономно для каждого N решать
уравнение (9.5.7) конечным способом, а не с помощью рекуррентного
соотношения (9.5.3). Мы специально останавливаемся на этом, чтобы
предостеречь читателя от чрезмерного увлечения рекуррентными про-
цедурами, которые подчас рекламируются как единственно адекватный
способ нахождения параметров правил решения (алгоритмов обработки
информации) в задачах синтеза с априорной неопределенностью. Ре-
куррентные процедуры на самом деле имеют громадное значение, одна-
ко в тех случаях, когда удается получить решение в конечном виде,
соответствующий конечный метод часто оказывается более экономным
в вычислительном отношении, чем рекуррентная процедура.
Предположим теперь, что имеется дополнительная априорная ин-
формация о статистических свойствах данных наблюдения х, а именно
известно, что вектор x={xi, .. ,,х„} образует подпоследовательность не-
которой эргодической случайной последовательности. Другими словами,
любая из случайных величин xv (v=l, ..., п) является зна-
чением эргодического случайного процесса с дискретным временем.
Наличие этих априорных сведений позволяет ослабить требования к со-
ставу и объему эмпирических данных, необходимых для получения со-
стоятельной оценки среднего риска ^(с).
Вместо совокупности {х,, .... х^} независимых значений вектора
х = {х,.....хп}, каждое из которых содержит п компонент (х = [х
<*=1»	N), в данном случае достаточно располагать
сравнительно длинной последовательностью, составленной из величин х •
Действительно, благодаря стационарности матрица R<**> = J| || содер-
жит не п(«4-1)/2 различных элементов (Я‘*х) = R{xx)), как в случае
174
произвольного вектора x = {Xj......хп}, а всего п элементов, поскольку
/?***’ = Я™ , зависит только от модуля разности v — у., который для v,
|т=1, ..п изменяется в пределах от 0 до п—1. Все эти элементы могут
быть оценены по единственной эргодической последовательности вели-
чин xv, длина которой N больше размерности п вектора х данных на-
блюдения.
Итак, будем считать, что имеются дополнительные эмпирические
данные уже не в виде последовательности векторов ха={ха1.........хап}’
а в виде последовательности значений случайных величин xv длиной N>
> п, т. е. {хр .... xN}. Тогда для любого элемента матрицы R<xx> мож-
но построить состоятельную оценку
N
X	<9-512>
а=1+1»—|х|
которая подставляется далее в уравнение (9.5.7) для определения наи-
лучшего значения c=cjV.
Оценка (9 5.12) наиболее полно использует имеющиеся эмпирические
данные, которые содержат, вообще говоря, разное количество информа-
ции для разных R — наибольшее для |v — у | = 0 и наименьшее для | v—
—у. [ =п—1. Если 7V>n, то оценку для R(xx> можно несколько затрубить,
вычисляя для всех значений |v—у| арифметическое среднее по одному
и тому же количеству (N -j-1 — п) произведений. При этом можно
представить в виде
N
# _|_ 1 _n л<х--74-Л-р4-1’	(9.5.13)
а=п
или, введя вектор-столбец
х = {л , х ,,..., х	(9.5.14)
а '•а* а—1’	’ а—'
переписать это выражение в следующей матричной форме:
л,+1_„-Е *.*'.	(9.6.15)
а=п
совершенно аналогичной (с точностью до числа суммируемых членов)
по виду оценке (9.5.11), но принципиально отличающейся от нее тем,
что вместо независимых векторов х (9.5.11) в оценку (9.5.15) входят
зависимые векторы (9.5.14), представляющие собой последовательность
поочередно сдвигаемых на один шаг отрезков длиной п общей эмпири-
ческой последовательности {xi, ..., xjV}. Все дальнейшее ничем не отли-
чается от предыдущего случая. В частности, остаются неизменными
рекуррентные соотношения (9.5.3) — (9.5.5) при переходе к процедуре
Робинса — Монро.
175
9.6. СЛУЧАЙ ПОМЕХИ С ИЗВЕСТНЫМИ КОРРЕЛЯЦИОННЫМИ СВОЙСТВАМИ
В рассмотренном выше примере была известна взаимная корреля-
ционная матрица х и X, что и дало возможность найти зависимость
R(x, с) и, имея только эмпирические данные для х, получить оценку
оптимального значения с=с* линейного правила решения.
Приведем еще один пример такого рода, предполагая, что х пред-
ставляет собой аддитивную смесь некоторого неизвестного полезного
сигнала S={Si, ..., Sn} с помехой £={gi, ..., gn}, которая имеет извест-
ную корреляционную матрицу
R(^ = M {§Г}
и не коррелирована с S, т. е.
x = s;+X(%v=sv -нл	(9.6.1)
Пусть также параметр X—{Zi, ..., Хг), подлежащий оценке по дайным
наблюдения х={хь ..., хп}, связан с полезным сигналом S, закодиро-
ванным в данных наблюдения, линейным соотношением
X=AS,	(9.6.2)
где A=||Ab||(i = 1, ..., /; v=l...п) — матрица порядка Z\n. Раз-
личным способам ее задания соответствуют весьма разнообразные за-
дачи линейной фильтрации. Так, задаче оценки последнего (или теку-
щего) значения Sn (обычная задача фильтрации) соответствует 1=1,
}A=Sn и Aln=l, А.,=0 при v=l, ..., п—1; задаче оценки сигнала S
в целом — l=n, X—S и А=1; задаче совместной оценки значений сиг-
нала S и, например, двух первых его производных в конце интервала
наблюдения (в момент п.) —1=3>,
X. = Sn, Хг = (8п-8п^М, K =
где At— интервал времени, разделяющий последовательностные значения
л\, и матрица
1	О
_1________1_
At	At
О о... о
о о... о
At2 Д?2 At2
И т. д.
Используя для оценки X линейное правило решения и(х, с)=сх,
для среднего риска этого правила с учетом (9.6.1) получаем
R (и (х, с)) — R (с) — /И{(сх — X)Tg (сх — X)} = М {(сх — AS)Tg (сх —
- AS)} - М {[(с - А) х + А§]-g [(с — А) х Ц- Ас]} —
— М {хт (с — A)Tg (с — А) х} -]~ М {хт (с — A)TgА|} -]~
+ М {£TATg (с — А)х} + М {§ТА^А1} - М {хт (с — A?g (с — A)x}Af_
+ Sp (с — A)TgA/W {|хт} 4- Sp ATg (с — А)А1 {х ст} SpATgAR(^> =
= М {хт (с — A)Tg (с — А)х} + Sp (с — A)TgAR(K)
+ Sp А^ (с — A)R№’+ Sp ATgAR'^’.
(9.6.3)
176
Последнее равенство в этой цепочке справедливо в силу того,
что
м {^хт}=м {£ (S+£)*} = м {Нт}=R(*°
благодаря отсутствию корреляции между полезным сигналом и поме-
хой.
Из выражения (9.6.3) следует, что для получения оценки среднего
риска R (с) достаточно располагать только набором эмпирических зна-
чений х, с помощью которых оценка Йп(с) находится как эмпирическое
среднее функции
R (х, с) = хт (с — A)Tg(c — А)х + Sp (с — A)TgAR(tt> -ф-
+ Sp ATg (с — A)RK) + Sp ATgAR<U).	(9.6.4)
Как и в предыдущем примере, для получения этого среднего достаточно
располагать эмпирической оценкой корреляционной матрицы R^xx) ,
определяемой так же, как в § 9.5, и с помощью которой наилучшее
значение c=Cjv вычисляется по уравнению
сЛ“’=А(Й'Г-	(9.6.5)
прямым методом либо с помощью рекуррентного соотношения, анало-
гичного (9.5.3),
с\ = с^_! — D~' [х — (xNx\ - R(K))AT],	(9.6.6)
где D~' — та же самая матрица, что в (9.5.3), (9.5.4). Аналогично (9.5.5)
можно перейти от Г^1 к матрице 1^, соответствующей процедуре сто-
хастической аппроксимации Робинса — Монро, и, как и в предыдущем
примере, рекуррентная процедура не имеет преимуществ перед конеч-
ным методом решения (9.6.5) в вычислительном отношении.
Замечание. В рассмотренных выше примерах матрица с, осу-
ществляющая преобразование данных наблюдения х в оценку вектора
X для линейного правила решения и(х, с)=сх, при выборе ее наилуч-
шего значения предполагалась совершенно произвольной. Это обеспе-
чивало сходимость найденного в условиях априорной неопределенности
правила решения к наилучшему линейному правилу, полученному для
случая известных статистических характеристик х и 1. Однако, в свою
очередь, полная свобода в выборе с требует нахождения эмпирических
оценок всех элементов матрицы Rf**), что при большой размерности п
вектора х приводит к довольно громоздким вычислениям, а при пере-
ходе к непрерывному времени, когда х представляет собой отрезок слу-
чайного процесса х(/) на некотором интервале времени (бесконечномер-
ный вектор), делает задачу вообще неразрешимой, если не ввести ка-
ких-то дополнительных ограничений. При этом можно, конечно, нало-
жить какие-либо ограничения на корреляционную матрицу R(xx>, так
чтобы упростить задачу ее оценки, например задать ее параметрически
с точностью до некоторого числа неизвестных параметров. Однако при
таких ограничениях целесообразнее использовать более сильные пара-
метрические методы адаптивного байесова подхода. Если же оставаться
в рамках непараметрического описания априорной неопределенности
и параметрического задания правила решения, которые мы рассматри-
12—899	177
ваем в настоящей главе, то следует подчинить дополнительным огра-
ничениям множество допустимых матриц с, так чтобы задача имела
разумную вычислительную сложность и при очень больших или даже
бесконечных значениях п.
Довольно стандартным приемом, который часто используется даже
при известных корреляционных матрицах х и 1, является замена произ-
вольного линейного преобразования и(х, с)_сх (c=||c(v ||, i=l, ..., Z;
v=l, ..., п) линейной комбинацией некоторых стандартных преобразо-
ваний вида
и(х, с)=сНх,	(9.6.7)
где матрица c=|kifeli имеет порядок 1Хт (т меньше или много мень-
ше п и сохраняет постоянное значение при увеличении п или п-^оо
в случае перехода к непрерывному времени), а матрица Н=||ЯЬ || име-
ет порядок тХп и предполагается заданной для любых т и п. Задание
правила решения в виде (9.6.7) уменьшает число неизвестных параме-
тров этого правила, подлежащих оценке с помощью эмпирических дан-
ных, с In до 1т. Физически (9.6.7) означает реализацию алгоритма
фильтрации с помощью т фильтров заданной структуры (совокупность
этих фильтров описывается матрицей Н), выходные величины которых
образующие вектор размерности т
у=Нх	(9.6.8)
для получения оценки параметра Xi суммируются с коэффициентами
сга. При переходе к непрерывному времени, когда данные наблюдения
х представляют собой отрезок случайного процесса x(t) на интервале
времени (h, /2),
yk = \ hk (0 х (t) dt,
h
a H=:{/z1(/) , . . .,	— вектор-столбец функций времени hh(t), воз-
можно зависящих также от или /1. В частности, если фильтры, реа-
лизующие преобразование у=Нх, стационарны, то hh(/)	(/2—'}
и представляет собой импульсную реакцию &-го фильтра.
Задача нахождения наилучшего значения с в правиле решения
(9.6.7) ничем не отличается от рассмотренной выше. Поскольку (9.6.7)
и правило решения (9.3.1) тождественны с точностью до замены х
в (9.3.1) на у=Нх в (9.6.7), то во всех полученных ранее результатах
нужно всюду заменить х на у=Нх и тогда эти результаты определяют
наилучшее значение с для правила решения (9.6.7). Само преобразова-
ние у=Нх является средством понижения размерности исходных дан-
ных наблюдения.
Безусловно также, что правило решения (9.6.7) даже при самом
лучшем выборе с может быть существенно хуже наилучшего линейного
правила типа (9.3.1) и тем более оптимального правила решения. По-
этому переходить к упрощениям, подобным (9.6.7), следует с очень
большой осторожностью.
187
9.7. СЛУЧАЙ, КОГДА ИМЕЮТСЯ ЭМПИРИЧЕСКИЕ ДАННЫЕ О х и X
Рассмотрим теперь третью из описанных в § 9.2 возможностей,
когда при заданной функции потерь g(u, X, х) и выбранной структуре
правила решения u=u(x, с) имеющихся априорных данных недостаточ-
но для нахождения ни среднего 7? (с), ни апостериорного R(x, с) рисков.
Предположим сначала, что имеющиеся эмпирические данные содержат
значения как х, так и X, и образуют последовательность {хь Хр, ..xv,
Хл*}, в которой каждая пара xv, обладает тем свойством, что
AIfe(u(xv> с)> xv)} = Af{g(u(x, с), X, х)} = Я(с), (9.7.1)
т. е. статистически однородна (в смысле равенства математических ожи-
даний функции потерь) с парой х, X, соответствующей решению на ра-
бочем шаге. Тогда при выполнении условия эргодичности последова-
тельности {xb Xi; ...; Xjv, Хл-} выражение (9.2.11) дает состоятельную
оценку среднего риска R(c) и может быть использовано для нахожде-
ния наилучшего значения с=сл-, являющегося состоятельной оценкой
для оптимального значения с=с*, минимизирующего средний риск R(c)
для правила решения u=u(x, с) заданной структуры (9.2.1).
В вычислительном отношении задача нахождения наилучшего зна-
чения с=Су принципиально ничем не отличается от рассмотренной
в § 9.4, когда известна функция апостериорнрго риска R(x, с), с той
естественной разницей, что наилучшее значение c=cw является теперь
уже функцией не только х1( . . ., хх, но и Xi, ..., Xw, т. е.
СдГ^СдДХ,, Хр .... Хд,, Хд,).
При этом могут быть использованы конечные, итеративные или рекур-
рентные методы. В частности, если функция потерь g(u(x, с), X, х)
дифференцируема по с, то для нахождения cv можно использовать ре-
куррентную процедуру, совершенно аналогичную (9.4.2), (9.4.4), со-
гласно которой
Су=Сд,_, Ev Veg'(и (Хд,, ca_j), Хл, xv);	(9.7.2)
Ev = Dw_I + vcvTcgf(a(xv, С„_,), Хд, Хд)
и совокупность {сл-, Djv} образует процесс, компонента которого cN схо-
дится к истинному оптимальному значению с_с\ а разность с—
распределена асимптотически нормально с корреляционной матрицей
порядка 1/N. За счет потери в эффективности, как и выше, можно
упростить эти рекуррентные соотношения, заменив Е^1 из (9.7.2) про-
извольно заданной последовательностью весовых матриц, обеспечиваю-
щей сходимость Сдг к истинному значению с*, например диагональной
матрицей 1ал- с теми же свойствами.
Многочисленные примеры применения рекуррентной процедуры
(9.7.2) рассмотрены в [39, 40], поэтому не будем их повторять, а оста-
новимся более подробно на важном частном случае, когда функция
потерь g(u(x, с), X, х) недифференцируема по с и без определенной
модификации переход к уравнению для градиента оценки среднего
риска Rx(c) из (9.2.11) и его решение рекуррентным методом невоз-
можны.
12*
189
Нужно отметить, что недифференцируемость функции потерь не
является исключением. Она, например, имеет место для громадной мас-
сы задач статистического решения, в которой множество возможных
решений U дискретно, т. е. для задач проверки и различения гипотез,
обнаружения сигналов, распознавания образов и т. д. Действительно,
в этом случае функция потерь g(u, X, х) как функция решения и зада-
на на множестве, состоящем из изолированных точек ui, 112, ..поэто-
му при любом правиле решения вида u=u(x, с) функция потерь
g(u(x, с), X, х) недифференцируема по с. В связи с этим, если даже
для правила решения u=u(x, с) средний риск /?(с) является диффе-
ренцируемой функцией с, из-за свойств множества решений U в данном
случае операции дифференцирования и вычисления математического
ожидания неперестановочны и уравнение для градиента оценки средне-
го риска (9.2.11)
N
Vc£(u(x>’ с)>
V=1
не имеет смысла, а следовательно, не имеет смысла и рекуррентная
процедура (9.7.2) при любой весовой матрице D-1^
Для того чтобы получить решение и в этом случае, используется
несколько приемов. Первый из них заключается в том, что функция
потерь g(u, X, х) сохраняется такой, какой она задана первоначально,
но вместо несуществующего градиента у<Д(и(х, с), Д х) вводится не-
которая его аппроксимация. Последняя должна обладать теми же свой-
ствами, что и градиент неизвестного среднего риска /<(с), т. е. характе-
ризовать изменение потерь при изменении значения с.
Рассмотрим для пояснения пример двухальтернативного решения
с простой функцией потерь
g(u, Я, x) = g(u, Я) = £гй= 1 — 8;А,
где i — номер решения; k—истинные ситуации (значения параметра л).
Будем считать для удобства, что I и k принимают значения 4-1 и —1,
т. е. Ui—1, и2——1, A,i=l, 7,2=—1- Тогда любое правило решения и=
=«(х, с) должно быть выбрано так, чтобы функция и(х, с) при любом
с принимала только одно из возможных значений +1 или —1. В общем
случае такая функция может быть представлена в виде
м(х, c) = sign/(x, с),	(9.7.3)
где f(x, с) —произвольная функция, а
(	1 при и>0,
sign у — I	а
( — 1 при у < 0.
Функция /(х, с) называется разделяющей и в случае полного априорно-
го статистического описания может быть выражена через отношение
правдоподобия — при данной функции потерь g(u, Z)=l—напри-
мер, как
ь (9-7л)
где р\, /?2=1—Pi — априорные вероятности ситуаций Х=1 и Я,==______1.
180
Задание некоторой f(x, с) и последующее определение наилучших
значений параметров с означает наилучшую (в смысле минимума сред-
него риска) аппроксимацию оптимального правила решения с разделя-
ющей функцией (9.7.4) некоторой другой разделяющей функцией из
заданного класса /(х, с).
Для получения рекуррентной процедуры нахождения с—cN пред-
ставим функцию потерь g(u, X) = 1—дг& в формальном аналитическом
виде:
g(u, 2)= 1 —	1/4(а —2)2 = 1/4(signf (х, с) — 2)г.	(9.7.5)
Тогда оценка (9.2.11) среднего риска Rn(c) также определится анали-
тическим выражением
v
8 v (о=4- 5 i(sign f с) -	(9 7-6)
v=»l
Несмотря на аналитическое представление функции потерь g(u, Л) из
(9.7.5) ни сама функция потерь, ни оценка среднего риска (9.7.С)
недифференцируемы по с, поэтому остается в силе все сказанное ранее
о невозможности использования обычного уравнения для градиента
среднего риска
Если, следуя [1, 39, 40J, задать класс разделяющих функций вида
/(х, с) = стф(х),	(9.7.7)
где ф(х) ={ф1 (х), ф2(х), . . .} — некоторая система функций; с—{сь
с2, . ..} — вектор неизвестных параметров, то в качестве аппроксимации
градиента функции потерь (9.7.5) можно использовать следующую
функцию х, К и с.
Vcg(«(x, с), 2, x) = (signcT4‘(x) —2)ф(х),
при подстановке которой в общее рекуррентное соотношение (9.7.2)
вместо Veg' (и (х, с), X, х) получим следующее соотношение для опреде-
ления значения сЛ<
су = су_1 —D“1(signcTy_1^ (ху) — 2^ (ху),	(9.7.8)
которое с точностью до обозначений соответствует алгоритму нахожде-
ния разделяющей поверхности из [1]. В качестве весовой матрицы 1
может быть использована заданная диагональная матрица law
с коэффициентами aN, удовлетворяющими указанным выше условиям,
в частности, просто aN=l/N или аналогично (9.7.2) матрица, завися-
щая от имеющихся эмпирических данных и формируемая рекуррентно
DAf=DAr_,+ij)(xAr)^(Xyv)	(9.7.9)
или
п-1 — п-1 —  РЛГ—1 <ХЛГ> <ХЛГ> Ру-1
N N~l
(9.7.10)
где последнее соотношение аналогично (9.5.4) не требует на каждом
шаге обращения матрицы Dw.
Алгоритм (9.7.8) дает довольно хорошие результаты, особенно в
том случае, когда распределения вероятности х для A=Ai = l л
181
A,=Z,2= — 1 не перекрываются. Однако недостаток рассматриваемого
приема обхода трудностей, связанных с недифференцируемостью функ-
ции потерь, заключается в отсутствии каких-либо общих рекомендаций
о выборе аппроксимации градиента функции потерь и с практическими
трудностями распространения этого приема на более сложные случаи.
Второй прием избавления от недифференцируемости, широко при-
меняемый в [39, 40], заключается в замене исходной функции потерь
g(u, X, х) такой, которая позволила бы применить стандартные рекур-
рентные процедуры. В силу указанной выше принципиальной недиффе-
ренцируемости по и любой функции потерь, заданной на дискретном
множестве решений, естественно, что такая замена возможна только
за счет подмены исходной задачи статистического решения некоторой
повой задачей. Поэтому на самом деле при использовании этого приема
производится не замена одной функции потерь другой, что, конечно, не
имеет особо принципиального значения, а совершается более серьезный
шаг — одна задача заменяется другой Фактически обычно вместо ис-
ходной задачи выбора наилучшего в смысле минимума среднего риска
правила решения п(х, с) осуществляется переход к задаче нахождения
паилучшей в смысле какой-либо дифференцируемой меры отклонения
(чаще всего квадратичной) аппроксимации оптимального правила ре-
шения правилом решения п(х, с) заданной структуры с неизвестными
параметрами, выбираемыми так, чтобы минимизировать меру отклонз-
1ения. Дело вкуса — считать такую подмену задачи законной или нет,
важно только четко представлять себе, что найденное в результате пра-
вило решения совсем не обязано минимизировать средний риск для
исходной задачи и в этом смысле не удовлетворяет исходному критерию
оптимальности — требованию минимума ожидаемых для всякого ре-
шения (из числа возможных) потерь.
Если обратиться к технологии получения правила решения в рам-
ках обсуждаемого приема для примера двухальтернативной задачи, то
в простейшем варианте она сводится к заданию функции f(x, с),
аппроксимирующей неизвестную разделяющую функцию, и некоторой
выпуклой функции F(.. ), в качестве аргумента которой берется раз-
ность X—[(х, с), где по-прежнему предполагается, что X принимает
значения +1 и —1. Далее математическое ожидание
7(c) = Al{E(2-f(x, с)}
рассматривается в качестве меры отклонения аппроксимирующей раз-
деляющей функции f(x, с) от неизвестной истинной, которая характе-
ризуется реализовавшимися значениями	вводится эмпирическая
оценка этого математического ожидания
v
=	с)),	(9.7.11)
V=1
осуществляется ее минимизация по с и в результате находится значение
с=сл-, с помощью которого правило решения и=и(х, с) определяется
как
« = signf(x, су).	(9.7.12)
Для нахождения cN, естественно, можно применить рекуррентную
процедуру. Для этого достаточно в рекуррентных соотношениях (9.7.2)
182
заменить ^(«(х, с), А, х) на F(Л—f(x, с)). В частности, если F(...) —
квадратичная функция, a f(x, с) задается линейной комбинацией
(9.7.7), то
су = сЛ._1-С^(сту_1^ (Х„)~ 2„) Ф(х/У),	(9.7.13)
где оптимальная (обеспечивающая иаилучшую сходимость с.\- к вели-
чине с-1, минимизирующей/(c)) матрица Г~1 определяется рекуррент-
ными соотношениями (9.7.9), (9.7.10). Нетрудно модифицировать этот
прием так, чтобы учесть влияние неодинаковости потерь для исходной
задачи при разных значениях и и А (отличие матрицы потерь gzk от
1—d!fe). Такая модификация рассмотрена в [40, гл. V]. Однако сущест-
во дела от этого не меняется, все сказанное выше о подмене задачи
остается в силе.
Чтобы понять влияние этой подмены, рассмотрим один пример.
Пусть х— одномерная величина, распределения вероятности х для А=1
и А=— 1 неизвестны, но известно, что отношение правдоподобия
Л (х) = Р (х | 2 = 1)1Р (х | 2 = — 1)
является монотонно не убывающей функцией х. Иными словами, из-
вестно, что распределение вероятности х для А=1 сосредоточено
в основном справа от распределения вероятности х для А=—1. В этом
случае при любых априорных вероятностях р\, р-\ ситуаций А=1 и
А=— 1 и любой функции потерь g(u, A)=g'1& оптимальное байесово
правило решения имеет вид
« = «Дх)=|	1 при Х>С°'	(9.7.14)
I —1 при х<с0,
где с0 — некоторый порог, зависящий от р\, p—t, элементов матрицы
потерь g-,/, и характера изменения отношения правдоподобия Л(х).
Этому правилу решения соответствует оптимальная разделяющая
функция
f0(x)=x—Со,	(9.7.15)
где с0 определяется из условия минимума среднего риска для правила
решения (9.7.14).
При отыскании аппроксимирующей разделяющей функции f(x, с)
естественно попытаться выбрать ее так, чтобы при каком-либо с она
совпадала с оптимальной разделяющей функцией. В данном случае
такая возможность имеется, поскольку известен весь класс (9.7.15)
байесовых разделяющих функций для произвольных распределений
вероятности Р(х|А= 1), />(х|А=—1) и произвольных pi, p~t, gik и этот
класс имеет очень простую структуру. Поэтому выберем семейство
f(x, с) в виде, аналогичном (9.7.15), т. е.
f(x, с)=х—с.	(9.7.16)
Это семейство зависит от одного неизвестного параметра с, выбором
значения которого можно добиться, чтобы правило решения
и = и(х, c) = signf(x, <?) = sin(x — с)	(9.7.17)
с использованием разделяющей функции (9.7.16) давало ту же вели-
чину среднего риска, что и абсолютно оптимальное байесо<во правило
решения.
183
Ограничимся для простоты случаем gik=l—bin, тогда состоятель-
ной оценкой среднего риска является функция (9.7.6), которая при-
нимает вид
N
К (с)= w £ (sign —с) — 2»)а =
У=х1
=w JI1 — Ч si?n К—с')]-
V=1
(9 7.18)
Минимизируя эту оценку по с (в данном случае этого можно добиться
применением итеративной процедуры), получаем значение с=Ся, кото-
рое при М->оо сходится к величине с*, минимизирующей математиче-
ское ожидание функции потерь:
м —£) —я1а}=
С
— М — 22 sign (х— c)]J> = A fP(x 12 = l)dx4-
I 2	I J
—00
00
p_ j P (x 12 = —l)dx—R(c).	(9.7 19)
c
Поскольку это выражение совпадает с выражением для среднего риска
оптимального байесова правила решения (9.7.14), величина с* совпа-
дает с величиной Со и, следовательно, cN сходится к Со, а правило
решения
и=и(х, cw) = sign(x—Cjv)	(9.7.20)
— к оптимальному байесову правилу, обеспечивая величину среднего
риска, равную минимальному байесову.
Воспользуемся теперь вторым из рассмотренных приемов, который
обеспечивает нахождение cN без применения итеративных методов, а
с помощью рекуррентной процедуры типа (9.7.13) или конечным мето-
дом. В качестве аппроксимации разделяющей функции вновь возьмем
ту же наилучшую из возможных аппроксимаций (9.7.16), а в качестве
функции F(...) в (9.7.11) — квадратичную функцию. Тогда из (9.7.11)
следует
/V
~ "дГ Ч х-»	•
1
Минимум этого выражения может быть найден как рекуррентно, так
и конечным методом, а минимизирующее значение cN равно
N
(9-7-21)
Это значение сходится при М->оо к величине
с* = Л1 {%} — Л1 {2} =	+	(9.7.22)
где mi и m-i — математические ожидания х и в первой (Х=1) и во вто-
рой (Х=—1) ситуациях.
184
Только в исключительных случаях, а именно, если pl = p-i — i/2 и
плотности распределения вероятности Р(х|А,= 1) и Р(х|А,=—1) вели-
чины х для первой и второй ситуаций отличаются между собой только
сдвигом по оси х, величина с* из (9.7.22) совпадает с оптимальным
значением с0, а правило решения (9.7.20) при подстановке в него cN из
(9.7.21) при достаточно больших N дает минимальную величину риска.
Во всех остальных случаях с* и тем более cN может существенно отли-
чаться от оптимального значения с0 и даже при неограниченном увели-
чении длины N эмпирической последовательности можно получить
существенный проигрыш в эффективности. Так, например, если р\ —
— p-i = 1/2, плотность распределения Р(х|Л=1) равномерна на интер-
вале (tzi, bi), плотность распределения Р (х|А,——1) равномерна на
интервале (<2~i, b_i) и a\>b_[, то для оптимального правила решения и
сходящегося к нему правила решения (9.7.20) с cN, минимизирующим
оценку Rn(c), средний риск равен нулю, поскольку распределения
вероятности х для Л—1 и ?,==—1 не перекрываются. В то же время при
определенных соотношениях между параметрами (аь bi, a~i, b-i) рас-
пределений вероятности х для Х= 1 и к= — 1 величина с*, определяе-
мая (9.7.22), может не попасть в интервал (6-ь щ), разделяющий эти
два распределения вероятности. В результате этого даже при N-+oo
правило решения (9.7.20) с параметром cN, полученным в результате
подмены исходной задачи, будет цавать ненулевую величину риска.
Например, при
bi—ai> (ai—bi) + (щ—a-i)
предельное значение среднего риска равно
Я (С*) = ’А — [(«! — b_ J + (а. — а. ,)М-а,)
и при малой сосредоточенности распределения вероятности х при Л=1
по сравнению с Л— — 1 может достигать величины 74, весьма сущест-
венно отличающейся от нулевого значения
Заметим, что в общем случае разделяющей функции f(x, с), от-
личной от (9.7.16), проигрыш в эффективности по сравнению с
оптимальным байесовым правилом может только увеличиться, так как
)(х, с) может ни при каком выборе параметров с не аппроксимировать
точно границу разделения, на которой разделяющая функция, соответ-
ствующая оптимальному байесову правилу решения, обращается в нуль.
Приведенный элементарный пример задачи с дискретным множест-
вом решений вызывает довольно настороженное отношение к идее под-
мены исходной задачи синтеза по минимуму среднего риска (его оценки
$л(с)) задачей нахождения наилучшей в смысле иной меры (отличной
от ожидаемой величины потерь) аппроксимации правила решения. Как
видно из примера, можно получить простое конечное решение или
изящную рекуррентную процедуру, которая хорошо сходится, но сходит-
ся совсем не к тому, что нам действительно нужно, и приводит к пра-
вилу решения, существенно отличному от оптимального или даже не
заслуживающему практического применения.
185
9.8.	РАНДОМИЗИРОВАННОЕ ПРАВИЛО ДЛЯ ДИСКРЕТНОГО МНОЖЕСТВА РЕШЕНИЙ
Недостатки рассмотренных выше приемов преодоления трудностей,
связанных с недифференцируемостью функции потерь в случае дискрет-
ного множества решений, говорят о целесообразности разборки нового
метода, свободного от этих недостатков и обеспечивающего возмож-
ность применения рекуррентной процедуры. Для того чтобы прийти к
такому методу, следует вернуться к первоначальной постановке задачи
статистического решения и вспомнить, что в общем случае правило ре-
шения является рандомизированным. При этом, если множество реше-
ний U дискретно и содержит конечное число возможных решений
U), . . ., ит, то правило решения полностью определяется заданием т
функций ф1 (х), . . ., фт(х), каждая из которых <рДх) задает вероятность
принять решение u = u, (i=l, . .., /п), если наблюдается данное значе-
ние х. (Выбор решения после наблюдения х производится с помощью
вспомогательного случайного механизма с вероятностями исходов
фг(х), i=l, ..., ш.) Функции с1г(х) подчинены ограничениям
т
0<<рИх)< 1, 2	(х) = !>
г=1
(9 6.1>
последнее из которых означает, что на самом деле достаточно задать
любые т—1 из них.
Средний риск рандомизированного решающего правила для неко-
торой функции потерь g(u, X, х) равен
( т	\
£(u=u‘> х)?' (х)?^
I	I
т
uz, X, х)<р, (х)р(х, X)dxdX =
X, х) (х)Р (х | X) р )dxd‘k,
(9.8.2)
или в случае, когда параметр X также имеет дискретное множество зна-
чений Хь ..., X/,
= 2 S [^*(x)?z(x)PA(x)dx/9*,	(9.8.3)
z=l й=1
где £(й(х) = £(и = и(, X=Xft, х);	(х) = Р(х | Х= X*); (X = Xft).
В байесовом случае при известных Р(х|Х) и р(Х) минимум сгедне-
го риска достигается на функциях фг(х), принимающих значения тоть-
ко нуль и единица, т. е. правило решения получается нерандомизирован-
ным. Очевидно, что любую такую разрывную функцию
Ъ (х)
при х X ,
при х g= X,,
(9 8.4)
1
О
1де Хг — множество значений х, на котором фг(х)=1 и при попадании
186
в которое наблюдаемого значения х принимается решение u=u<. можно
с заданной точностью аппроксимировать непрерывной функцией со зна-
чениями, заключенными в интервале (0,1). Так, правило решения
(9.7.14) для двухальтернативного примера § 9.7 соответствует следую-
щим функциям:
. .	(1 при Л>С0,	, , I 1 при Л<<?.,	с
tP>(-^)= Л F	(')= „ F 0	(9 8.5)
I 0 пои	(0 при
Вместо этих функций можно ввести простую аппроксимацию непрерыв-
ными функциями
?! (Л‘) -ёкр — , (х — c0)j + 1 ’	~ ехр [с, (х — c0)J + 1 ’	(9-8.6)
которые удовлетворяют всем требованиям (9.8.1), при Ci->oo переходят
в (9.8.5) и дают нерандомизированное байесово правило решения,
а при конечном, по достаточно большом значении Ci с заданной точ-
ностью аппроксимируют правило решения, задаваемое решающими
функциями Ф1(х), ф2(х) из (9.8.5).
Далее, если обратиться к общему случаю двухальтернативной за-
дачи, для которой оптимальное байесово правило решения определяется
разделяющей функцией /о(х), такой, что u=ui или cpi (х) = 1 на множест-
ве значений хеХь где fo(x)>O, и u=u2 или ф2(х)=1 на множестве зна-
чении хеХ2, где fo(x)<O, то оптимальное нерандомизированное байе-
сово правило решения также может быть аппроксимировано правилом
с непрерывными решающими функциями:
?i(x)= txpl-vJoWj + l ’	ехр (x)j + 1 ’	(987)
причем выбором значения Ci эту аппроксимацию можно сделать как
угодно точной. Разумеется также, что вместо экспоненциальной аппрок-
симации (9.8.6), (9.8.7) можно использовать любую подходящую функ-
циональную зависимость с непрерывным изменением значений функции
в интервале (0,1) и допускающую предельный переход к ступенчатой
функции, например арктангенс, интеграл вероятности и вообще любую
функцию распределения Вероятности и т. д.
При наличии полной априорной информации, когда можно полу-
чить строго байесово правило решения, нет нужды использовать подоб-
ную аппроксимацию Иное дело в случае отсутствия априорных сведе-
ний о распределениях вероятности, когда имеются только эмпирические
данные о х и X. Определим для этого случая правило решения системой
функций
<р<(х, с), i=l,. ., т,	(98.8)
которые зависят от векторного параметра с, удовлетворяют ограничени-
ям (9.8.1) при любых х и с, непрерывно изменяются в интервале (0,1)
и дважды дифференцируемы по с. При этом любая из функций фг(х, с)
при некоторых значениях параметров с, принадлежащих подмножеству
Сг множества значении с, может принимать как функция х только зна-
чения нуль и единица, г. е. для се:Сг
( 1 при х ех (с),
(х, с)= | г „
I 0 при х е X-i (с),
где множества Хг(с) зависят от значения сеСг. Это условие означает,
что совокупность функций фг(х, с) содержит в себе и нерандомизиро-
ванные случайные правила.
187
Простейшим примером задания системы (9.8.8) является задание
разделяющей функции для двухальтернативной задачи f(х, с'), завися-
щей от совокупности неизвестных параметров с' (так же, как и в § 9.7),
и использование функций (9.8.7), т. е.
(х> с) ехр j.—С')] -р 1 ’
?2\х’ С) ’exp[cj(x, с')] + 1 ’
с = {ср с'}.	(9 8 9)
В этом примере подмножества С] и С2 определены значениями- С]==эо,
а с' произвольно.
Определим для правила решения (9.8.8) средний риск, который бу-
дет зависеть от с:
( т	I
R(c) = A^2g(u=u(, X, х)?/(х, сН=
и=1	J
= gi(K х)?<(х> С)|,	(9.8.10)
где введено обозначение gt(k, x)=gr(u=u,, X, х) для значения произ-
вольной заданной функции потерь при и=щ. Оценкой неизвестного при
отсутствии необходимых априорных данных среднего риска является эм-
пирическое среднее
/V т
=	xv)?((xv, с)	(9.8.11)
V= 1 < = 1
Это выражение является обобщением выражения (9.2.11) для дискрет-
ного множества решении на случай произвольного рандомизированного
правила решения, определенного системой (9.8.8).
Из этого выражения следует, что при переходе к рандомизирован-
ным правилам решения, несмотря на недифференцируемость функции
потерь для исходной задачи, проблемы недифференцируемости при
отыскании наилучшего правила решения просто не существует, посколь-
ку неизвестные параметры, подлежащие оптимизации, входят только не-
посредственно в решающие функции фг(х, с), а не в функцию потерь.
При этом нет никакой необходимости в подмене исходной функции по-
терь (а следовательно, и содержания исходной задачи) и не нужно
вводить новые (и подчас спорные) понятия аппроксимации градиента не-
дифференцируемой функции.
Для отыскания наилучшего значения параметров с—cN, минимизи-
рующего величину оценки среднего риска Лл-(с) и сходящегося при
N-+oo к значению с*, минимизирующему величину самого среднею рис-
ка /?(с) (9.8.10), можно применить конечные либо итеративные методы
или рекуррентную процедуру, совершенно аналогичную (9.7 2) для слу-
188
чая дифференцируемой функции потерь Соответствующие рекуррентные
соотношения имеют вид
т
=	X^VcMXap
1=1	(9 8 12)
m
+ S g,&„, XN)VcW?i(XN, cN_J
1=1
Как и в предыдущих случаях, вместо матрицы D-1W, определяемой
вторым из соотношений (9 8 12), можно использовать произвольную ве-
совую матрицу, обеспечивающую условия сходимости cN к с*. В отно-
шении последних сохраняет силу все сказанное ранее при обсуждении
аналогичных рекуррентных соотношений
Подставляя в (9 8 8) найденное с помощью рекуррентной процеду-
ры (9 8 12) значение cN, получаем правило решения, которое при N-^oo
сходится к паилучшему из заданного класса (9 8 8) правилу решения,
минимизирующему средний риск для функции потерь gt(l, х) (i=l,...
. ,.,/и) При этом, если класс (9 8 8) содержит в себе нерандомизиро-
ванные правила решения и минимум среднего риска (9 8 10) достигает
ся на одном из них (заметим, что в отличие от общего байесова случая
с произвольными решающими функциями <рг(х) это, вообще говоря, не
обязательно), то правило решения, заданное функциями (9 8 8) при
подстановке в них значения с=сл-, минимизирующего оценку среднего
риска (9 8 11), сходится при Л-^-оо к этому нерандомизированному пра-
вилу решения
В заключение приведем пример днухальгернативнои задачи В этом
случае согласно (9 8.1)
<р, (х, с) = ср (X, С), <р2(х, с)= 1—<р(х, с)
Считая, кроме того, что функция потерь не зависит от х и 1 имеет дис-
кретное множество значении, соответствующее двум возможным истин-
ным ситуациям Л==Л1=1 и А,—А,2=2, имеем
ёЛЪ х) =
х) =
8п
812
821
822
при 2=1,
при 2 = 2;
при 2=1,
при 2=2.
Тогда рекуррентные соотношения (9 8.12) принимают вид
— 1	U’v) 82 v)l Vc ? (X;V’ Cv_j),
D V = c v-1 + [81 GU — 82 (M (Ху, слг_1)
(9 8 13)
Из них видно, что градиент решающей функции <р(х, с) берется с ко-
эффициентом, величина которого определяется заданной матрицей по-
терь gzk и равна gn—g2i, если Ajv=1, и gi2—822, если hN=2. При типич-
ном выборе матрицы потерь, когда потери от правильного решения мень-
ше потерь от неправильного решения, т е. guCgzi и g22<gi2, первая
из этих величин отрицательна, а вторая положительна Это означает,
189
что при Лдг=1 величина сЛ- получает приращение того же знака, что и
градиент у7сф(хх, Сдг-i), а при Лдг=2— противоположного
В частном случае, когда х — одномерная случайная величина и из-
вестно, что отношение правдоподобия Р(х|А,=1) /Р(х|Х=2) является
монотонно неубывающей функцией х, в качестве <pi (х, с) целесообразно
выбрать функцию <pi(x) из (9.8.6), которая обеспечивает сходимость
к абсолютно оптимальному байесову правилу решения. Вводя в (9.8.6)
обозначение с2=С1С0, имеем
<р(х, с) = ?(х, <?,, сг) = [ехр(—1]*’;
„	с) д? (х, с) | _
_ ехр (—с,х + с2)	, _п.
[ехр (—с,х + с2) + lj2 * ’	1’
.	, ехр (—с,х + <,) [ехр (—с,х + с,) — 1|
VcVTC? (*. с) -	' л , >----------
При подстановке этих выражений в (9.8.13) получаем окончательный
вид рекуррентных соотношений для определения наилучших значений
С] и с2.
Рассмотренный случай является простейшим примером отыскания
разделяющей функции f(x, с), которая в данном случае задается ли-
нейной по х и с, т. е. f(x, с)=С]Х—с2. Очевидно, что совершенно триви-
ален переход к многомерному случаю, когда х—{xi,. ., хп} — вектор
размерности п.
При этом параметр с, также следует считать векторным той же
размерности c1 = {cj!), ..., и заменить в приведенных выше форму-
лах произведение csx на cTix, х на х, х2 на ххг. Если от линейной раз-
деляющей функции перейти к более общему ее виду (9.7.7), то в тех же
формулах нужно заменить С\Х—с2 на стф(х), вектор {х,—1} на вектор
ф(х), а матрицу
I х“ —х II
I —х 1 |!
на матрицу ф(х)фт(х). Наконец, если вместо экспоненциальной функции
? (х, с) = <? (с,х — с2) = {ехр [— (с2х — с2)]	1} -1,
зависящей от аргумента у—с^х—с? (или ст]Х—с2, или стф(х)), исполь-
зуется любая другая функция ф(у) с нужными свойствами, т. е. функ-
ция, которая при изменении у от —сю до сю непрерывно изменяется от
О до 1, принимает при ,у=0 (на границе разделения, где стф(х)=0) зна-
чение !/г и допускает предельный переход к ступенчатой функции со
скачком при у=0, то приведенные выше формулы принимают вид
<р(х, с) = ? (стф (х));
Vc?(x, с) —У(сгф(х))ф (х);
VcVTc?(x- с) = ?" (стф (х)) ф (х) ф1 (х),
где штрихами обозначены производные по аргументу.
190
9.9.	СЛУЧАЙ, КОГДА ИМЕЮТСЯ ЭМПИРИЧЕСКИЕ ДАННЫЕ О х
И ЗНАЧЕНИЯХ ПОТЕРЬ
Рассмотрим второй из описанных в §9.2 вариантов задания эмпири-
ческой статистики для случая, когда априорные данные настолько огра-
ничены, что для заданной функции потерь g(u, X, х) и введенного клас-
са правил решения u=u(x, с) (9.2.1) невозможно вычислить ни средний,
ни апостериорный риск. В § 9.2 были приведены эмпирические оценки
для среднего риска в этом случае, по которым можно найти наилучшие
значения параметров с правила решения (9.2.1).
Напомним, что непременным условием получения состоятельной
оценки для среднего риска является формирование эмпирической после-
довательности {xv, gj из наблюдаемых значений х и потерь g. с ис-
пользованием правила решения u=u(x, с) заданной структуры, т. е. вы-
бор на каждом шаге решения uv по правилу uv = u(x,, cv), где cv(v= 1,
...,,V)—какая-либо последовательность значений с, достаточно плотно
заполняющая множество значений с по крайней мере в окрестности
значения с=с*, минимизирующего средний риск правила решения и(х,
с). .Только при этом условии величины дают содержательную инфор-
мацию о зависимости среднего риска от величины с и о положении его
минимума.
В § 9.2 мы обсудили общий способ нахождения наилучшего значе-
ния с, основанный на построении оценок среднего риска для достаточно
плотной сетки значений с=с', с",... и прямом переборе значений этих
оценок с выбором минимальной из них. В настоящем параграфе будет
рассмотрен способ упорядоченного перебора, реализуемый рекуррент-
ной процедурой типа процедуры Кифера — Вольфовица и пригодный
в том случае, когда имеется априорная уверенность, что функция сред-
него риска R (с) для правила решения u=u(x, с) есть достаточно плав-
ная функция с ограниченной вариацией.
Идея этого способа заключается в следующем. Пусть на каждом
шаге v= 1, 2, .. наблюдается значение х„. После получения этого зна-
чения выбирается некоторое значение c = cv и принимается решение uv>
которое определяется заданным правилом u = и (х. с), наблюденным зна-
чением x = xv и выбранным значением с~=с, т. е uv = u(xj; cv). Это
решение влечег за собой потери, величина которых gs порождается слу-
чайностью х и неизвестного нам значения k = kv, характеризующего
истинную ситуацию, и неявно зависит от выбранного значения с=с
т е. = (cj, причем вид этой функциональной зависимости нам не-
известен.
Пусть далее на некотором (Лт—1)-м шаге значение с2у_[ выбрано.
Для того чтобы установить, насколько хорош этот выбор и следует ли
принять это значение в качестве наилучшего, нужно, казалось бы, оце-
пить величину среднего риска при с=Су_], а также при всех других зна-
чениях с и сравнить полученные значения, т. е. опять прибегнуть к пол-
ному перебору. Однако, имея в виду, что поиск минимума осуществ-
ляется с помощью многошаговой процедуры, можно ограничиться су-
щественно меньшим, а именно выяснить, есть ли в окрестности значения
с=су_[ хотя бы одно значение с, при котором ожидаемые потери (сред-
ний риск) будет меньше, чем при c=Cy_i, и в случае, когда такое зна-
191
чение имеется, выбрать его в качестве значения с_у для следующего
шага. Для выяснения существования такого значения с достаточно оце-
нить приращение функции среднего риска при переходе от точки
c=Cjv-j к какой-либо другой точке. В рассматриваемом способе в каче-
стве такой оценки применяется величина приращения потерь при пере-
ходе от точки c=cN_ 1 к другой точке с.
Эта оценка может быть получена многими способами, различающи-
мися правилом выбора точки с в окрестности точки с=сЛ--ь Обычно ис-
следование этой окрестности производится заданием ряда точек вида
с = сЛГ_1+ЬЛ,е<‘).	(9.9.1)
где bv— положительное число, зависящее от N. a eu> = [ej0,...,	—
единичный вектор той же размерности, что и вектор с={сь ..., ст}. Век-
тор е,г) может выбираться случайно, но чаще всего на каждом шаге вы-
бирается столько точек вида (9.9.1), какова размерность вектора с=
={с],..., ст}, и каждой точке соответствует свой вектор е<9 (i=l,.. , m),
ортогональный остальным (т—1) единичным векторам.
Выбирая значения с в соответствии с (9.9.1) и принимая для каж-
дого из них в соответствии с правилом и—и(х, с) решение
UV> = U(X№ CAr-l+^e(Z))’	<9-9'2)
получаем для каждого из этих решений значение потерь
Вводя векторное обозначение
§Л-р	+	.... ^)(ciV_I4-^e<-))} (9.9.3)
и формируя разность
VgH^-p ^) = [ёлг(^-р	(9.9.4)
где gN(ciy-i) —потери от принятия решения
ил'=и(хт cjv-i)’	(9-9.5)
получаем искомую оценку для вектора приращения потерь.
Одновременно с (9.9.1) можно задать другую систему точек с, отли-
чающихся от (9.9.1) заменой bN на —Ьи, принять соответствующую ей
систему решений (9.9.2) с заменой bN на —bN, получить соответствую-
щий вектор потерь ^^(c^-i, —bN) и использовать в качестве оценки
вектора приращения потерь разность
Vgtf(Ctf_p fyv) =
~ [блЛС-лг—р fyv)	р	(9.9.6)
Заметим, что предыдущие формулы предполагают, что очередной
N-й шаг содержит одно наблюдение xN и т+1 (для случая (9.9.4)) или
2m (для случая (9.9.6)) решений u_v соответственно для с=сЛ-_ь с=сЛг_! +
+	),..., c=cN._i + &iVe(’n) в первом случае и для с=Сд-_1 + &л.е(1),...
..., c=Ciy_i + 6jve(’n), c=c^-i—, с=сЛ-_1—/? ve<;"> во втором. Наря-
ду с этим для каждого из перечисленных значений с можно использо-
192
вать свое отдельное наблюдение. При этом на очередной шаг затрачи-
вается т + 1 или 2m наблюдений ху, все значения потерь g^} (cw-i ± bNeW)
получаются независимыми и состоятельность оценки приращения по-
терь (9.9.4) или (9.9.6) несколько увеличивается.
Возможны также промежуточные случаи, например, когда одно из-
мерение затрачивается на определение потерь для значений c=cjy_] +
+	(i=l,..., т), а второе —для значений c=Cjv-i—bN№ (i=l,...
.. , m) или только c=cw-i при использовании (9.9.4).
Оценки приращения потерь (9.9.4) или (9.9.6) являются основой
процедуры Кифера — Вольфовица. В остальном она является обычной
рекуррентной процедурой нахождения положения минимума среднего
риска, в которой градиент неизвестного среднего риска заменяется
оценкой приращения потерь VgA-. Соответствующее рекуррентное соот-
ношение имеет вид
^ = ^-1 a,vVg.v (су-1 ’ fyv)*	(9.9.7)
где {а?,-} — заданная последовательность коэффициентов, подчиненная не-
которым условиям. Помимо этих условий, очевидно, что последователь-
ность коэффициентов bN также должна быть подчинена определенным
ограничениям. С одной стороны, величина Ьк не должна быть слишком
малой, чтобы случайные отклонения оценки Vg.v от истинной величины
градиента среднего риска не были чрезмерно велики; с другой — by не
должна быть слишком большой, чтобы величина шага по параметру с
была достаточно мала и не происходило перескакивания через мини-
мум С этой точки зрения ясно, что по мере приближения к минимуму
величина шага Ьк должна уменьшаться, т. е. последовательность {bN}
должна сходиться к нулю.
Эти качественные соображения подкрепляются условиями сходи-
мости процедуры Кифера — Вольфовица, ее подробное исследование
приведено в работе [23]. Здесь же приведем условия, которым должны
подчиняться коэффициенты ах и bN для обеспечения сходимости. Эти
условия имеют вид
00	00
av>0; 2 аЛ,= оо; ^aNbN<oo;
N	N
(9.9.8)
Рекуррентное соотношение (9.9.7) при выполнении условий сходи-
мости решает задачу отыскания наилучшего значения с=с* для много-
численного класса задач, в которых мы располагаем эмпирическими
данными только о наблюдаемых величинах х и потерях g. В то же вре-
мя ясно, что процедура Кифера — Вольфовица допускает многочислен-
ные дальнейшие модификации и усовершенствования. Первое, что бро-
сается в глаза, — это целесообразность разработки рекомендаций по
рациональному выбору весовых коэффициентов aN, которые в практиче-
ских применениях чаще всего берутся равными 1/N. По всей вероятнос-
ти, существенного улучшения эффективности этой процедуры можно
добиться, если по аналогии с рассмотренными ранее случаями заменить
13—899	193
априори задаваемую последовательность коэффициентов ах последова-
тельностью весовых матриц , зависящих от реализации эмпириче-
ской последовательности {xj, gr,... ;хх, gN} и формируемых в соответст-
вии с рекуррентным соотношением
DJV = DAf_1 + v	М’	(9-9-9>
где V VTgjv(Cjv_i, bN) —оценка матрицы вторых производных, формируе-
мая из конечных вторых приращений аналогично тому, как оценка гра-
диента формируется с помощью первого приращения. Замена aN на
D-Ijy из (9.9.9) оптимизирует процедуру нахождения наилучшего зна-
чения cN по крайней мере в окрестности минимизирующего значения
с=с* и при достаточно малом шаге bN. Дальнейшее усовершенствова-
ние процедуры (9.9.7) связано с разработкой способов выбора шага Ьх,
который, возможно, также целесообразно сделать зависящим от наблю-
денной реализации.
9.10.	АСИМПТОТИЧЕСКОЕ ПОВЕДЕНИЕ РЕШЕНИИ РЕКУРРЕНТНЫХ СООТНОШЕНИИ
В этой и предыдущей главах мы неоднократно получали правила
решения, определенные с помощью рекуррентных соотношений либо не-
посредственно (в гл. 8), либо через параметры с аппроксимирующего
правила решения u=u(x, с) или ф(х,с)={ср1(х, с),..., <рт(х, с)} (в этой
главе) по имеющимся эмпирическим данным. Любое из этих соотноше-
ний может быть записано в стандартной форме:
(9.10.1)
i+ VeVT0^ (Уд" ®л'—Л
где в зависимости от вида задачи 0 — само решение, как в гл. 8, или
параметры с аппроксимирующего правила решения u=u(x, с); ул—со-
вокупность получаемых на N-м шаге эмпирических данных — yN=xN
или yN={xx, Z.v} или еще и значение потерь ит. п.;6(...) —некоторая
функция, математическое ожидание которой
7И{О(у, 0)} =/?(©)	(9.10 2)
имеет минимум в точке 0=0*. В качестве функции /?(0) выступала
функция среднего риска (или апостериорного риска в некоторых зада-
чах гл. 8).
Кроме того, каждый раз, когда встречались рекуррентные соотно-
шения типа (9.10.1), шла речь о возможности их упрощения за счет от-
брасывания второго из них и замены в первом весовой матрицы Dy1
какой-либо априори задаваемой матрицей, обеспечивающей сходимость
первого из соотношений (9.10.1) к 0—0*, например, диагональной мат-
рицей la.v, где последовательность коэффициентов ах удовлетворяет
условиям (8.2.18), (8.2.19). Рассмотрим теперь, во что обходится это
упрощение и как это влияет на эффективность рекуррентной процедуры.
Исследуем для этого асимптотическое поведение решения рекур-
рентных соотношений (9.10.1) и получающегося из них рекуррентного
194
соотношения с заменой матрицы DKl некоторой априори задавае-
мой матрицей IV Будем при этом предполагать, что условия сходимос-
ти 0дг к 0* выполнены. Тогда, начиная с некоторого достаточно большо-
го N, разности 0N--1—0*, 0N— 0*, 0N-+1 — 0* и т. д. малы и соотноше-
ние (9.10.1) можно линеаризовать. Введя обозначение
6V=0V—0*,	(9.10.3)
получим из (9.10.1) приближенные линейные относительно 6n соотноше-
ния:
—6лг-1	с№( lv4“BivSiv-i)>	1	(9.10.4)
1 + ВЛ’	/
где
?iv = -VeG(yiv. ©*)	(9-10.5)
— случайный вектор, математическое ожидание которого
М {^} = М {-veG (у„, ©*)} =
= - Vл {G (у, 0*)} = - Ve# (0)U = °	(9-10-6)
по условию обращения 7?(0) в минимум в точке 0=0*;
BiV=VeVTeG(yiV. ©*)	(9.10.7)
— случайная матрица, математическое ожидание которой
B = Al{BiV} = Al{veVT,,G(yiV, 0*)} = VeVTe^{G(y, 0*)} =
= VevV?(0)le=e«	(9.10.8)
является положительно определенной матрицей в силу того, что в точке
0=0* функция 7?(0) достигает минимума. Заметим, что для справед-
ливости приведенных выше соотношений требуется, чтобы функции
7?(0) и G(y, 0) были трижды дифференцируемы, математическое ожи-
дание абсолютного значения третьей производной G(y, 0) ограничено и
операции дифференцирования и вычисления математического ожидания
перестановочны.
Второе из рекуррентных соотношений (9.10.4) имеет очевидное ре-
шение
D„ = 3	(9.10.9)
,=1
которое при достаточно больших N сходится к матрице
=	(9 10 10)
Умножим теперь первое из рекуррентных соотношений (9.10.4) на Dw
слева. Тогда
Dtffyy — l\Av—1 4~	BZv-i (В'л' Bv) Av—1 4"
= 0/V— 1&ЛГ— 1 4“”
При достаточно больших N матрица D№^Dw=yB, и это соотношение
эквивалентно следующему:
yB6v=(y-l)B6v_1 + ^v
13*
195
или
6w=6n-i+ (1 /ЛГ)	—6w-i),
решение которого имеет вид
6«=4B’'S^	<Э1011>
»=1
При ненулевом начальном значении 60 к этому решению добавляется
величина 60/-V, которая при Af->oo с вероятностью единица сходится
к нулю, а при достаточно больших N является малой величиной поряд-
ка 1/J/7/ по отношению к среднеквадратичному значению (9.10.11).
Из выражения (9.10.11) следует, что отклонение 6Л-=0Л—0* асим-
птотически нормально с корреляционной матрицей
PiV = М {Ъ^} = N~ ’В- ‘S.B-1 = N-’р,,	(9.10.12)
где
S0 = M{^J = M{VeG(y, 0*)vTeG(y. ©*)}	(9.10.13)
— корреляционная матрица вектора градиента функции G(y, 0) в точ-
ке 0=0*.
Таким образом, среднеквадратичное значение отклонения 0Л — 0*
имеет порядок 1/V^JV и характеризуется корреляционной матрицей рЛ, =
=N~lpe, зависящей от матрицы В вторых производных функции 7?(0)
в точке 0=0* и корреляционной матрицы So вектора градиента функ-
ции G(y, 0) в той же точке. Вероятно, стоит подчеркнуть, что матрица
рЛ (9.10.12) действительно характеризует ошибки определения значения
0* по рекуррентным соотношениям (9.10.1) только асимптотически. При
небольших значениях # корреляционная матрица этих ошибок может
существенно отличаться от (9.10.12), а ошибки определения значения 0*
заметно превышать те, которые задаются этой матрицей. Выражение
(9.10.12) является точным, т. е. характеризует ошибки определения 0*
при всех N, в том случае, когда функция G(y, 0) квадратично зависит
от 0 и матрица (9.10.7) совпадает со своим математическим ожида-
нием.
Покажем, что матрица pv (9.10.12) характеризует нижнюю грань
ошибок определения значения 0=0* по совокупности наблюденных
данных {yi,..., у^} и при отсутствии иной априорной информации, кро-
ме знания вида функции G (у, 0). Это будет означать, что рекуррентные
соотношения (9.10.1) обеспечивают наибольшую достижимую точность
определения неизвестного значения 0*, минимизирующего функцию
^?(0) (9.10.2), и никакой другой способ отыскания минимума неизвест-
ной функции 7?(0), в том числе рекуррентные соотношения с иным вы-
бором весовой матрицы в (9.10.1), не может дать лучшей точности.
Для доказательства заметим, что любые из рассматриваемых рекуррент-
ных соотношений являются средством получения приближенного реше-
ния уравнения для градиента эмпирической оценки Rn(&) функ-
ции 7?(0)
N
Ve^(0)=Ve^J]G(yv, 0)= ^-^VeG(yv, 0) = О. (9 10.14)
v=l	S
196
Поэтому любая оценка значения 0=0* не может быть точнее, чем ре-
шение этого уравнения. Пусть это решение есть 0=0*+6. Составим
разность
п = -2-В-’ £ [veG(yv, 0*-H)-VeG(yv, 0*)].	(9.10 15)
»=!
В силу того, что значение 0* + 6 удовлетворяет уравнению (9.10.14), эта
разность имеет корреляционную матрицу
2W{W} = ^-*B-W{veG(y, 0*)VTeG(y, 0*)} = P;V, (9.10 16)
совпадающую с матрицей (9.10.12). С другой стороны,
W	V
п Чв- Sв + тВ-’ Sн (у-} 6](9,10-17)
«=1	11=1
где В, определяется выражением (9.10.7); (у| •< 1; И (yv) — некоторая
функция yv с тремя индексами, такая, что произведение И (yv) 6 имеет
смысл матрицы, которая ограничивает абсолютные значения третьих
производных функции G(y,, 0) в точке 0 = 0* и по предположению имеет
конечное математическое ожидание Н.
Из (9.10.17) можно найти величину отклонения
6 = [В”-)г2В. + тВ-,-^У]Н(у,) б]’\.	(9.10.18)
V=1	v=>i
N
При N—»оо произведение	сходится к единичной матрице,
',=1
к
сумма "дГ J] Н (у,) 6 сходится к нулю в силу ограниченности математи-
V=1	__
ческого ожидания М {И (yj) = И и сходимости к нулю величины откло-
нения 6. Благодаря этому имеет место асимптотическое равенство
и, следовательно, корреляционная матрица ошибки определения зна-
чения 0* стремится к корреляционной матрице вектора т|, которая сов-
падает с матрицей рЛ,. Таким образом, наилучшая оценка значения 0*.
определяемая решением уравнения (9.10.14), асимптотически имеет точ-
ность, задаваемую матрицей pv (9.10.12), а всякая другая оценка будет
иметь небольшую точность.
Рассмотрим теперь асимптотические свойства решения рекуррент-
ного уравнения, получающегося из первого из соотношений (9.10.1) за-
меной некоторой другой заданной матрицей Глг. Вновь предпола-
гая сходимость 0.v к 0*, обеспечивающую малость отклонения Sw=
=0№0*, начиная с некоторого достаточно большого N, и линеаризуя
рекуррентное соотношение, получаем
»v = (J-W\-i+My,	(9.10.19)
197
где Bv, определяются прежними выражениями. Предположим те-
перь, что при некотором выборе убывающей последовательности матриц
1\ отклонение при достаточно большом N имеет корреляционную
матрицу
Р„= М {ММ =(1Ю Р>,	(9- Ю.20)
где а>0, а матрица р, не зависит от N. Очевидно, если <х= 1, то ре-
куррентное соотношение для с заменой D^1 на rw имеет такие же
асимптотические свойства, что и рекуррентная процедура (9.10.1), с точ-
ностью до различия между матрицами р, и р„ из (9.10.12). Если же а<
<1, го получается неограниченно возрастающий проигрыш в точности
определения значения 0*.
Условие (9.10.20) означает, что при достаточно большом N величи-
ны могут быть представлены в виде
^=(1/Уа/2)П^	(9.Ю.21)
где вектор имеет корреляционную матрицу р,, не зависящую от N.
Умножим соотношение (9.10.19) на У“/2 и перейдем к соотношению
ДЛЯ Цд
Плг = (I — w [N[(N - 1 )]“/2	+ М2
= (I - W [1 + а/2У + 0 (1/У)] niV_1 +	=
= [I - Г„В„ + (а/2У) I + О (1/У)]	+ №/2	(9.10.22)
где учтено, что благодаря убыванию последовательности Гд- произведе-
ние ГдВ(а/2У)=0(1/ЛГ).
Используя это выражение, образуем произведение и вычислим
его математическое ожидание. При этом следует учесть, что при доста-
точно больших N
=	(9.10.23)
Кроме того, поскольку т]д-1 не зависит от yN, она статистически неза-
висима от и Вд, и учтем также, что исходя из требований сходимос-
ти и условий на Гд, аналогичных (8.2.18), (8.2.19) для простейшего слу-
чая Гл'=^1а_у при У->-оо, имеет место равенство Г2д~0 (1 /У). С учетом
перечисленного получим
Р. = М {nnT} = Р, — [ГдВ — (а/2У) I] Р1 — р, [Г„В —
- (а/2У) 1]т — 0 (1 /АГ) Р14- A^sr^	(9.10 24)
где So — та же матрица, что в (9.10.23), а матрица В определяется вы-
ражением (9.10.8). Из этого выражения получаем следующее уравнение
для определения корреляционной матрицы р^
[Г„В - (а/2У) I] Р1 + Р1 [Г„В - (а/2У) 1]т +
+ 0(1/У)р, = УаГ^Г^	(9.10.25)
Это уравнение имеет решение только в том случае, когда
ПтГг =гл,	(9.10.26)
ЛМос
198
где Го — постоянная матрица, и
а<1.	(9.10.27)
Только в этом случае существует стационарное решение для туу, а от-
клонение 6.v имеет асимптотическую корреляционную матрицу р'.у, за-
даваемую выражением (9.10.20) и убывающую при Л’->оо как 1/№.
Условие (9.10.27) показывает, что получить среднеквадратичное откло-
нение, убывающее быстрее, чем невозможно.
При а<1 уравнение для р, при N—^x> принимает вид
ГоВр.+р.ВГ^Г^П,	(9.10.28)
где учтено, что матрица В симметричная. В этом случае асимптотиче-
ская корреляционная матрицар'у имеет порядок 1/Л/“ и получается не-
ограниченно возрастающий с ростом N проигрыш в точности определе-
ления значения 0* по сравнению с потенциально достижимой точностью,
задаваемой матрицей pv из (9.10.12).
В связи с этим весовую матрицу Гу целесообразно выбирать так,
чтобы при достаточно больших N
Г^Го/У,	(9.10.29)
что соответствует а=1 и гарантирует отсутствие неограниченно возрас-
тающего проигрыша в точности. При а=1, т. е. при выполнении
(9.10.29), уравнение для матрицы р, принимает вид
(Г,в - у21) р,+Р1 (г„в - )т = r.s.n. (9.10 30)
Нетрудно убедиться, что матрица р, совпадает с матрицей р„ из
(9.10.12), характеризующей потенциально достижимую точность, в том
единственном случае, когда
Го=В-’.	(9.10.31)
Во всех других случаях р,>р0, т. е. переход к упрощенной рекуррентной
процедуре даже при правильном выборе порядка изменения Г .у в соот-
ветствии с (9.10.29) дает проигрыш в точности. При этом, как видно из
(9.10.30), для того чтобы среднеквадратичное отклонение величины
0.у—0* имело при N-+oo порядок 1 jV N, дополнительно требуется, что-
бы все собственные числа матрицы ГоВ—]/21 имели положительные дей-
ствительные части.
Если матрицы Го и В диагональны, т. е.
Го = |1т(г)М|; В=||д(О8(А|| и s= ||S(^)||,	(9.10.32)
где индексы i, k нумеруют компоненты вектора 0, уравнение (9.10.30)
имеет простое решение
Pi =
yW у (4) S</A>
у (О (,(/) +yW &(А) — 1
(9.10.33)
В тех же условиях матрица р„, определяющая максимально достижимую
точность, равна
Р.=
o(zfe)
bW &W
(9.10.34)
199
В частности, ошибки определения i-й компоненты вектора 6 характери-
зуются следующими дисперсиями;
N 2Y (ОЫО-1 ’
(9.10.35)
st"’
Hv N bW 2 ’
а их отношение, определяющее проигрыш в точности при переходе
к упрощенному рекуррентному соотношению, равно
р' ап _ (Y(0 ыпу
2Y(O bW — 1 •
(9.10.36)
9.11. ВЛИЯНИЕ КОНЕЧНОГО ОБЪЕМА СОВОКУПНОСТИ ЭМПИРИЧЕСКИХ ДАННЫХ
НА РИСК ПРИНЯТИЯ РЕШЕНИЯ В РАБОЧЕЙ СИТУАЦИИ
Рассматривая в настоящей главе различные применения аппрокси-
мации правила решения u=u(x, с) (9.1.1) с выбором наилучшего зна-
чения с по совокупности эмпирических данных, мы не раз утверждали,
что в силу сходимости найденного по эмпирическим данным значения
Cn к истинному оптимальному значению с=с*, минимизирующему сред-
ний риск R (с), правило решения u=u(x, с,у), которым мы можем вос-
пользоваться после нахождения сл- в рабочей ситуации принятия реше-
ния и по наблюдениям х, сходится к наилучшему в классе (9.1.1) прави-
лу решения u=u(x, с*). Отсюда следует, что при А^->оо правило
решения u=u(x, су) будет давать ту же величину среднего риска, что
и правило u=u(x, с*), т. е. обеспечить минимальное (для класса пра-
вил решения (9.1.1)) значение среднего риска R(c*). Эти утверждения,
конечно, справедливы и тем не менее весьма существенно знать, насколь-
ко величина среднего риска для правила решения u=u(x, су) при ко-
нечном значении N превышает его минимальное значение R(с*).
Оценка этой разницы дает основание судить о качестве приближе-
ния с точки зрения основной интересующей нас величины — ожидаемых
потерь, позволяет сформулировать требования к объему эмпирических
данных и, если нужно, продолжить набор эмпирической статистики для
улучшения степени приближения.
Итак, пусть по данным наблюдения х принимается решение и в со-
ответствии с правилом u=u(x, Су), где параметры ciV выбраны по сово-
купности эмпирических данных объемом N. Случайность потерь от при-
нятия этого решения обусловлена двумя факторами: обычными — свя-
занными со случайностью данных наблюдения х и скрытых параметров
X, определяющих последствия от принятия решения, и случайностью
значения ед-, обусловленной случайностью эмпирических данных. Услов-
ное математическое ожидание потерь при фиксированном значении cN
есть значение функции среднего риска для правила решения (9.9.1) при
£=Cn, т. е.
M{g(u, Z,x)|cJ = M{g(u(x, cj, X, x)|cJV} = R(cJV).
Для получения полного среднего риска — безусловного математического
ожидания функции потерь — эту величину нужно усреднить по сл-, т. е.
200
найти значение
7? = M{g(u, X, x)} = M{g(u(x, cN), X, х)} = Л4{Я(сл)}.
Используя малость отклонения cn—с* и равенство Vc^(c*)=0, бу-
дем иметь
/? = Л4{7?(Сл,)} = Л4{/?(с*) +
+ 7г (Cjv-C*)t VcVT^ (С*) (С„— С*) + ...} =
= /?(c*) + ’/2M{6^B6J,
где использовано обозначение матрицы В (9.10.8) и разности 6w
(9.10.3) с заменой 6 на с. Вычисляя в этом выражении математическое
ожидание, получаем следующее приближенное выражение:
tf = /?(c*) + 72SpBr„,	(9.11.1У
где
г,=Л1{бЛ}	(9.Ц.2У
— корреляционная матрица разности 6n=cn—с*.
Второй член в (9.11.1) дает поправку к минимальному значению
среднего риска за счет конечного объема совокупности эмпирических
данных и характеризует степень приближения к оптимальному в классе
(9.1.1) правилу решения. Корреляционная матрица гЛг ограничена снизу
корреляционной матрицей pN из (9.10.12), для которой величина прира-
щения среднего риска равна
R — £(c*) = (l/2W)SpS0B-1.	(9.11.3>
Такая степень увеличения риска достигается, если при нахождении наи-
лучшего значения cN по эмпирическим данным удается реализовать ко-
нечный метод, применяется точная итеративная процедура или исполь-
зуются рекуррентные соотношения типа (9.10.1) с наилучшей весовой
матрицей D-]N.
Если применяется упрощенная рекуррентная процедура с весовой
матрицей 1\, то матрица rN в (9.11.1) заменяется на матрицу p'N —
= (1/№‘)р1, где Pi определяется уравнением (9.10.28) при а<1 или
(9.10.30) при а=1.
Часть 111
ПРИМЕНЕНИЯ АДАПТИВНОГО БАЙЕСОВА ПОДХОДА
Глава 10
ПРИМЕНЕНИЕ АДАПТИВНОГО БАЙЕСОВА ПОДХОДА К ЗАДАЧАМ
С НЕПРЕРЫВНЫМ МНОЖЕСТВОМ РЕШЕНИИ
10.1.	ВВОДНЫЕ ЗАМЕЧАНИЯ
В этой и следующих главах рассмотрим применение изложенных
ранее методов синтеза к различным конкретным задачам с параметриче-
ской априорной неопределенностью. В ходе изложения общих результа-
тов мы уже приводили ряд иллюстрирующих примеров. Дальнейшее их
рассмотрение, помимо самостоятельного интереса с точки зрения полу-
чения окончательных результатов для практически важных задач, пре-
следует две цели: во-первых, более полное изложение методологии син-
теза информационных систем в условиях априорной неопределенности
с учетом тех особенностей, которые связаны с конкретной постановкой
задачи, и, во-вторых, пояснение некоторых общих закономерностей, на
которых мы не имели возможности подробно остановиться в гл. 4—6 и
которые лучше понимаются на примерах.
Как уже отмечалось ранее, чрезвычайно широкий круг практически
важных задач приводит к задачам выбора решения из непрерывного
множества U. К подобным задачам относятся оценка тех или иных по-
стоянных параметров, измерение координат объектов, определение ха-
рактеристик динамических систем, оценка и экстраполяция функций
времени и других аргументов, выбор управляющих воздействий в систе-
мах управления, распределение ресурсов и планироваение и т. д. В свою
очередь, за каждым из названий скрывается масса практических при-
ложений, различающихся конкретной постановкой задачи, способом опи-
сания имеющихся данных, той или иной степенью априорной неопреде-
ленности и прочими деталями. Тем не менее для всего многообразия
задач с непрерывным множеством решений существуют общие законо-
мерности, которые позволяют свести практически любую из них к зада-
че оценки совокупности некоторых параметров. Это обстоятельство часто
приводит к полной математической идентичности, казалось бы, совер-
шенно разных по своей словесной формулировке задач и при ясном по-
нимании их математического единства делает особенно полезным рас-
смотрение конкретных примеров, результаты которого могут быть без
труда перенесены на другие математически идентичные задачи.
Среди всего многообразия задач с непрерывным множеством реше-
ний одним из наиболее важных является класс, для которого множество
решений U устранено так же, как множество параметров А, определя-
ющих величину потерь от принятия решений, например, когда U и А —
202
евклидовы пространства одинаковой размерности, а и и Z— векторы из
этого пространства. Если при этом функция потерь является симметрич-
ной функцией разности и—Z, то такой случай мы уже рассмотрели
в гл. 6 и получили достаточно простое общее решение всего класса по-
добных задач, которое сводится к требованию максимизации плотности
совместного распределения вероятности х и X по параметрам Z, входя-
щим в функцию потерь, и по параметрам у, использованным для описа-
ния параметрической априорной неопределенности. Дальнейшая детали-
зация этого решения связана с конкретизацией структуры множеств
решений U и параметров Л и вида статистического описания данных
наблюдения х. Эта детализация с учетом особенностей постановки раз-
личных более конкретных задач будет проведена ниже Кроме того, рас-
смотрим примеры задач, в которых структуры множества решений U и
множества параметров Л могут быть различными.
10.2.	ОЦЕНКА ПОСТОЯННЫХ ПАРАМЕТРОВ
Этот термин используется для обозначения обширного класса за-
дач, в которых Zhu являются векторами из евклидова пространства
одинаковой размерности, причем последняя остается неизменной и в том
случае, когда объем наблюдаемых данных х (например, размерность
вектора х=Хи={х1......хп}) увеличивается в процессе наблюдения. На-
ряду с примерами, в которых постоянство оцениваемых параметров
определяется самой исходной постановкой, к подобной задаче сводится
и большое число конкретных приложений, в которых идет речь о сугубо
переменных величинах, например об оценке функций времени.
Пусть, например, исходная задача статистического решения за-
ключается в разработке правила оценки функции /(/, Z), заданной на
интервале (h, t2) и известным образом зависящей от времени t и сово-
купности неизвестных параметров Z, а последствия от принятия того
или иного решения u(t) —оценки этой функции на заданном интервале
времени — определяются некоторым функционалом g(u, f) от u(t) и
f(t, Z), определенном на том же интервале (Л, t2). Если потребовать»
чтобы решение u(t) имело ту же структуру, что и оцениваемая функция,
т. е. определить его как
Z),	(10.2.1)
где Z — некоторая оценка Z (заметим, что в весьма различных условиях
правило решения (10.2.1) является оптимальным), то функционал
g(u, f), определяющий последствия от принятия решения об оценке
функции f(t, Z) функцией u(t), превращается в функцию потерь
g(k, Z), зависящую только от параметров Z и их оценок Z, а сама за-
дача статистического решения в соответствии с правилом (10.2.1)
сводится к задаче оценки совокупности постоянных параметров Z. На-
ряду с этим простейшим можно привести большое количество других
примеров сведения различных практических задач к задаче оценки
постоянных параметров.
Оценка постоянных параметров Z в условиях параметрически за-
данной априорной неопределенности является частным случаем рас-
смотренной в § 6.3 задачи, решение которой заключается в нахождении
значений Z* и у*, максимизирующих совместную плотность вероятности
р(х, Z|y) наблюдаемых данных х и параметров Z, зависящую от пара-
203
метров у, описывающих априорную неопределенность. Обозначая сово-
купность «полезных» параметров 1 и «мешающих» параметров у
через 0, т. е.
0={Д у).	(10.2.2)
и вводя обозначение
1пр(х, Z|y) = L(l, у) = £(0),	(10.2.3)
мы, очевидно, приходим к задаче нахождения оценок, рассмотренной
в гл. 7, путем максимизации функции А(0), зависящей от 0 = {7, у} и
совокупности имеющих данных наблюдения х. Точно так же, как в гл. 7,
решение этой задачи может быть получено конечными методами (точ-
ными или итеративными), либо с помощью рекуррентных процедур
либо путем их сочетания. При этом оценка у является оценкой макси-
мального правдоподобия, а оценка Z — оценкой максимальной апосте-
риорной вероятности.
Если, как это бывает в ряде практических задач, априорная
плотность распределения вероятности Z вообще неизвестна, то макси-
мизацию функции р(х, Z|y)—P(x|Z, a)p(Z|0), у={а, 0} следует за-
менить максимизацией функции правдоподобия P(x|Z, а), а совокупность
параметров 0={Z, у}={1, а, 0} сокращается до 0={Z, а}. Чтобы убе-
диться в этом, представим случай, когда плотность априорного рас-
пределения вероятности Z известна настолько плохо, что она может
быть задана только с точностью до большого числа параметров 0, т. е.
размерность вектора 0 велика и превышает размерность вектора к.
Переписывая выражение для L(k, у) из (10.2.3) в виде
L(k, ч)=Цк, а, 0) = 1пР(х|1, «)-ф-In/?(71 0)	(10.2.4)
и выполняя частную максимизацию по 0, получаем выражение
L*(k, a) = max L(k, а, 0) —1пР(х|л, а)max In у? (к | 0), (10.2.5)
(3)	(S)
из условия максимума которого находятся значения «полезных» к и
«мешающих» а параметров.
При всех условиях в соответствии с приведенными в гл. 2 дово-
дами о соотношении значимости текущих данных наблюдения х, описа-
нием которых является функция правдоподобия P(x|Z, а), и априорных
данных о к, описанием которых является плотность априорного распре-
деления вероятности p(Z|0), функция lnP(x|Z, а) значительно сильнее
зависит от к, чем функция max р(к | 0), и именно первая из них опре-
(₽)
деляет положение максимума выражения (10.2.5), т. е. значение опти-
мальной оценки к. Тем более это имеет место в условиях неполного
знания априорного распределения вероятности к.
Действительно, если размерность вектора 0 велика, то функция
шахр (к |0) очень слабо зависит от к, а если размерность 0 больше раз-
(₽)
мерности к, то во многих случаях max/7(Z|0) вообще не зависит от к
(₽)
Пусть, например, априорное распределение к является гауссовым с ма-
тематическим ожиданием m и корреляционной матрицей, R7 При этом
0={т, {RJ}, где {RJ — совокупность несовпадающих элементов мат-
204
рицы Rr и уже частная максимизация In р (X | Р) по m приводит к выра-
жению, не зависящему от 1 и, следовательно, не влияющему на поло-
жение максимума в (10.2.5).
Таким образом, при наличии неопределенности в отношении апри-
орного распределения вероятности 1 задача нахождения адаптивной
оценки X практически сводится к максимизации функции правдоподо-
бия Р (х | X, а) и совместному нахождению оценок максимального прав-
доподобия совокупности интересующих нас параметров X и лишних
параметров а, введенных для параметрического описания имеющейся
неопределенности знания статистических свойств данных наблюдения х.
При этом мы приходим к рассмотренной в гл. 7 задаче нахождения
оценок максимального правдоподобия для совокупности параметров
0={Х, а} и так же, как в общем случае учета р(Х| 0), можно использо-
вать для этого любой из рассмотренных там методов, в том числе
рекуррентные процедуры нахождения оценок максимального правдо-
подобия.
10.2.1.	Измерение задержки сигнала с неизвестными амплитудами
и фазами
Рассмотрим пример, в котором используются смешанные методы:
точные для оценки «мешающих» параметров и рекуррентные либо ите-
ративные— для «полезного» параметра. Пусть данные наблюдения х
представляют собой отрезок реализации случайного процесса x{t) на
интервале О^^Т, который является аддитивной смесью
x(0=S(0+n(0	(10.2.6)
гауссова «белого» шума н(^) со спектральной плотностью No с некото-
рым сигналом S(t) вида
5 (0 = Re 2 Е »(t - vTr - 2) ехр (/<»/ + /Tv),	(10.2 7)
V=1
где Tr — период повторения; nTr~T; —известная комплексная
функция времени (О (/) ='f>a (0 ехр [рф (£) ]), определенная на интервале,
равном периоду повторения Тг, и обращающаяся в нуль вне этого
интервала; юо— известная несущая частота сигнала; X — неизвестное
запаздывание, которое является полезным параметром, подлежащим
измерению; Ev, (v= 1,..., и)— неизвестные амплитуды и фазы сиг-
нала в соответствующих периодах повторения, которые являются
«мешающими» параметрами, затрудняющими измерение задержки X;
Re — символ действительной части комплексного выражения. Будем
также считать, что функция &(<) нормирована по амплитуде так, что
[|»(0Г^=1.	(10.2.8)
Фактически из-за свойств функции $(J) интегрирование в (10.2.8) про-
водится по интервалу, равному периоду Тг.
Статистическое описание данных наблюдения х — процесса x(t) —
задается функционалом отношения правдоподобия, который при
205
фиксированном сигнале S(t) для «белого» шума n(t) имеет вид
р’М- <10-2'9>
о	о
Подставляя в (10.2.9) S(t) из (10.2.7), получаем функцию правдо-
подобия
п	п
! *4 SЕ-е'"х’т SЕ'-1 • (1°2-10)
Va=l	У=1
которая помимо % зависит от совокупности 2п дополнительных пара-
метров:
«={£,. ъ,..„ Еп, ?„}.	(10.2.11)
В (10.2.10) введено обозначение
Т	со
ХУ (2) = J & (t — vTr—2) х (0 eia>otdt = J & (t — vTr — 2) x (t) elmai dt.
0	—co
(10.2 12)
Величина xv(2) называется обычно корреляционным интегралом и может
быть получена как выхо'д линейного фильтра с импульсной реакцией
h(t, — —т)='0(—(t—т))='&(г—t), взятый в момент 1=уТг±7.,
при подаче на его вход сигнала x(t) ехр (ja>ot). Реализация схем, обеспе-
чивающих формирование корреляционного интеграла для различных
'fl’(Z), подробно рассмотрена в литературе по радиолокации.
Важно отметить, что благодаря обращению в нуль функции
вне интервала длительностью Тг случайная величина xv (к) фактически
зависит только от отрезка реализации x(t) на интервале той же дли-
тельности, содержащем точку t—vTr+X или примыкающем к этой
точке.
На совокупность параметров а, в зависимости от имеющихся априор-
ных сведений, могут быть наложены те или иные ограничения. Например,
может оказаться известным, что все <pv и Е* одинаковы или только Ё*
одинаковы, a <pv различны и т. д. Мы рассмотрим крайний случай априор-
ной неопределенности, когда подобные сведения полностью отсутствуют.
В этих условиях адаптивная оценка % определяется совместной макси-
мизацией функции правдоподобия (10.2.10) по X и всем £v, <pv. Соот-
ветствующие оценки определяются из уравнения
L (2*. а*) = max L (2, а).	(10.2 13)
(Л, а)
Логарифм функции правдоподобия (10.2.10) определяется выражением
п
L(Z, a) = Re4;е^х,(2)-
у-=1
206
п	п
- w s £’. = тг ЕЕ-1 *•<л>| cos	_ 8-) -
>=1
п
-TkYlE'"	(Ю.2 13а)
1=1
где
3v = -argxv(2).	(10.2.14)
Максимизация этого выражения по совокупности параметров а
проводится точно. Действительно,
L* (2) = max L (2, а) = тах	max L(2, а) =
(а)	(Е>.Еп> (<Рх.W
п	п
= max [ max V £ | xv (2)| cos (?v - 8v) - V Е21 =
(Elt ..tEn} L(<Pi. »<РЛ) ®	°	J
V==l	V=I
4	П	П
=™, [г?-1^>1-й7 S £!.]=T^S^.«.	(10.2.15)
V=1	У=1	У Я=1
Это выражение с точностью до несущественного множителя совпа-
дает с логарифмом функции правдоподобия для параметра 2 в том слу-
чае, когда амплитуды и фазы Еч, независимы, <pv распределены равно-
мерно в интервале (0,2т:), a Еч имеют релеевское распределение вероят-
ности, что соответствует известной в радиолокации модели некогерент-
ного периодического сигнала с независимыми релеевскими флюктуа-
циями амплитуд. Таким образом, при использовании адаптивного
байесова подхода полное отсутствие априорной информации о стати-
стических свойствах амплитуд и фаз сигнала приводит к тем же конеч-
ным результатам, что и в байесовой задаче с известными равномер-
ными для у, и релеевскими для Ev распределениями вероятности
Оценка интересующего нас параметра — задержки 2 —находится
максимизацией выражения (10.2.15), для чего можно использовать как
итеративную, так и рекуррентную процедуру. В любом случае для
применения метода последовательных приближений (как в итеративной,
так и в рекуррентной форме) требуется достаточно точное начальное
приближение, поскольку ] Xv(2,)]2 является быстро убывающей функ-
цией модуля разности 2,—2,о, где 2,о—истинное значение задержки.
Требования к точности начального приближения определяются видом
функции автокорреляции сигнала '&(/):
С(2 —20) = ^ J &(f—2)&*(f —2,)df.	(10.2.16)
—00
которая с точностью до множителя 1 /2Т’гЕчехр(—/tpw) равна математичес-
кому ожиданию корреляционного интеграла х,(2) при условии, что истин-
ная задержка сигнала есть 2,q. Функция |х„ (2.) |2 зависит от 2—2,о при-
мерно так же, как |С(2,—2,«) |2, поэтому начальное приближение для
оценки 2 должно отличаться от истинного значения 2.0 на величину
207
порядка ДА, где ДА — эффективная ширина квадрата модуля функции
автокорреляции (10.2.16). Обычный способ нахождения начального
приближения заключается в формировании набора величин х3 —
— lxi(Aj)|2, где Aj—А^-1 = ДА, для значений /, перекрывающих априор-
ный диапазон изменения А, и выбора в качестве этого приближения
того значения Ац для которого величина х3 максимальна.
Выражение для логарифма функции правдоподобия L*(A) из
(10.2.15), очевидно, удовлетворяет основному рекуррентному соотноше-
нию (7.5.16) с функцией
/п(Я)=(1/^Л)|л:я(А)Г.	(102 17)
Поэтому для нахождения оценки параметра А могут быть использованы
общие рекуррентные соотношения (7.5.27), которые с учетом (10.2.17)
принимают вид
2 *   2 * I ГТ~1? у   & I Xn(A*n -1) I2 .
Л п—А п-i ~Тип zn> zn—	ду >
м*	(Ю.2.18)
Г) — Г) I к к — ° 1 e-’H
—'^п-1 Г	7' л ' ЭХ2
Хотя в принципе входящие в (10.2.18) производные могут быть сфор-
мированы точно, на практике часто может оказаться более удобным
заменить их конечными приращениями, определив их выражениями
гп=(1/28А)[|х„а\_1 + ^)|2-МГЬ (10 2.19)
= (1/5А2) [2 I хп (A*,.,) I2 -1 хп (Л*„_, + 52.) I2 -
(10 2.20)
где 6А — некоторая величина, не превышающая ширину функции авто-
корреляции ДА. Эта замена требует одновременного формирования
величины |хп(А) |2 для нескольких значений А(А=А*п-ь А=А*И-1±6А).
Устройство, формирующее величину zn из (10.2.19), разумеется, давно
известно в радиотехнике и называется временным дискриминатором
или дискриминатором дальности (для случая, когда задержка А яв-
ляется мерой расстояния до отражающего объекта при радиолокации).
Можно продолжить дальнейшую детализацию, например, рассмот-
рев различные, еще более упрощенные, способы формирования Кп и Dn,
однако все эти детали можно найти в книгах по радиолокации и они
уже ничего не прибавят к основному смысловому содержанию этого
примера. Последнее, как уже подчеркивалось выше, заключается в
переходе от (10.2.13) к (10.2.15), после которого можно вообще забыть
о том, что исходная задача содержала какую-то априорную неопре-
деленность, и, располагая L*(A), действовать так, как если бы с самого
начала была полностью известна функция правдоподобия для пара-
метра А, т. е. имелось полное статистическое описание.
Этот вывод распространяется на все те задачи с априорной неопре-
деленностью, в которых удается найти точное значение максимума
функции правдоподобия Р (х|А, а) по лишним параметрам а при любых
значениях А. Практические последствия такой возможности весьма ощу-
тимы— это существенное понижение размерности задачи (в рассмот-
ренном примере с 2п+1 до единицы), что облегчает применение
рекуррентных или итеративных методов. Из вида функции правдоподо-
бия L* (А) и рекуррентных соотношений (10.2.18) следует, что оценка
208
максимального правдоподобия параметра Л не зависит явно от вели-
чины спектральной плотности шума No- Таким образом, найденное
правило решения — правило нахождения оценки X* — инвариантно
относительно этой величины, т. е. априорная неопределенность значе-
ния No не является существенной и совершенно безразлично, известна
или нет величина спектральной плотности шума. Это обстоятельство
иллюстрирует обсуждавшийся в гл. 4 вопрос о существенной и несу-
щественной априорной неопределенности и возможности нахождения
равномерно наилучших (в данном случае по отношению к неизвестной
спектральной плотности шума) правил решения.
10.2.2.	Пеленгация источника неизвестного сигнала
Рассмотрим следующую задачу, встречающуюся в радиоастрономии
и других приложениях. Пусть имеется некоторый источник излучения
полностью неизвестного сигнала S(Z), находящийся на неизвестном
угловом направлении Л. относительно заданного направления. (Для
простоты будем считать задачу одномерной, т. е. плоскость, в которой
расположен источник излучения, известной. Распространение результа-
тов на двумерный случай очевидно.) Сигнал S(t) регистрируется двух-
лучевой антенной системой с диаграммами направленности парциальных
каналов бДХ) и б2(Х) и наблюдается в дискретные моменты времени
(v=l, ..., п )в смеси с шумами парциальных каналов пД/) и n2(t).
В итоге мы имеем совокупность данных наблюдения х={хц, x2i, . . ., х]г>,
Х2п), где для v= 1, . .., п
= G1 W + nlv, x2v — G2 (2) Sv Д- n2v;
=	= n, (t.), ra2 (^v)>
по которой следует найти оценку неизвестного углового положения
источника излучения 2.
Шумы «ДД и n2(t) будем считать независимыми с некоррелиро-
ванными во времени значениями и имеющими гауссово распределение
вероятности с дисперсией о2 (безразлично, известной или нет). Тогда
функция правдоподобия
(10.2 21)
Р(х|2, a)—(2iio2^expl 2о2
- п
СД2)3/ +
+ J U2v-Gs (2) Svr
V=I
(10.2.22)
зависит от «полезного» параметра 2, подлежащего измерению, и сово-
купности п дополнительных параметров a={Si, . .., Sn}, характеризую-
щих значения сигнала от источника излучения и неизвестных из-за
полного незнания этого сигнала.
С точностью до несущественного слагаемого логарифм функции
правдоподобия равен
п
a) = -J-r^i[^-GiWsy^(x2v-G^)S,y],	(10.2.23)
v=l
14—899
209
а его максимум по параметрам «={5], ..., Sn}
L* (2) = max L(l, а) =
а
п
2 ^(Х)#;,— Gi(X)X2v]S
1 v=l
2а* 2	G2,(X) + G22(X)
п	ЦП
Av-2Gi(X)G2(A)2 V2, + G2#) 2 x22v
1	7=1	У —1	7=1
2^	G2,(X) + G22(X)
(10.2.24)
Вводя обозначения
/(%) = GI(%)/G2(X)	(10.2.25)
для отношения функций, описывающих диаграммы направленности
парциальных каналов, и
е.=2 %2ь; е»=2 %22>;	(ю.2.26)
V=1	У=1	V=1
для энергий принятых в парциальных каналах сигналов и коэффици-
ента корреляции р между ними, преобразуем выражение (10.2.24)
к виду
Т__________1 е1 — 2f(X)pK7^~2 + f2(X)e2 _	(10 2 27)
2з2	1+/2(Л)
Заметим, что из (10.2.24), (10.2.27) видно, что дисперсия шума а2 не
влияет на положение максимума функции правдоподобия и, следова-
тельно, не является мешающим параметром, поэтому ее знание или
незнание не имеет значения.
Максимизируя далее выражение (10.2.27) по X, с помощью эле-
ментарных преобразований находим следующее неявное выражение для
оценки максимального правдоподобия неизвестного углового поло-
жения:
’	Г(Х*) —1	G2j(X*) — G22(X*)
п
___	2 XbX2v
__ р У е,е2____	у=1__________
е1 — -2 П п
2 х2ь 2xl>2v
V = 1	V = 1
(10.2.28)
из которого при любых заданных диаграммах направленности G] (X)
и G2(X) получается значение оценки X*. Пусть, например, эти диа-
граммы имеют форму гауссовой кривой с шириной ХДо,5 по уровню
половинной мощности и смещены на ±ЛХ относительно направления
Х=0, т. е-
Gt (2) = ехр {-1.4(\?У),
Ga(2) = exp [-1,4
(	0,5 J
210
Тогда из (10.2.28) следует явное выражение для 2*
Я ~5,6ДХ arSil р
п	п \ I п
5,6ДХ
(10.2.29)
Когда функция ср (%) меняется немонотонно, выражение (10.2.28) как
уравнение относительно Я* может иметь несколько корней. В качестве
оценки максимального правдоподобия, естественно, следует выбрать
тот из них, для которого величина £*(%) из (10.2.27) принимает наи-
большее значение.
Определим в заключение этого примера точность оценки макси-
мального правдоподобия л". Найдем для этого информационную
матрицу Фишера для совокупности параметров % и a={Sb . . ., S„}
А (Я, а)=
АхАХа
а л аа
1
в2
п
[Gj 2(Х) + G' 2(Х)] 2	[G,(X)G'i W + G2(X)G'2(X)]a?
V—1
[G^XJG'JX) + G2(X)G'2(X)]a [G\(X) -f- G’2(X)]I
(10.2.30)
где a={Si, ..., Sn} — вектор-столбец, I — единичная матрица порядка
nXn, G/1i2(%) =dG1;2(X)/dX. Обращая эту матрицу по правилам обра-
щения блочных матриц [36], получаем следующее выражение для
дисперсии оценки углового направления:
о\ = 7И{(Я*-Я)!}
______________________1_____________________
X > 2	> 2	[G,(X)G'„(^) + О2(Х)С'2(Х)]2	(10 2 31)
G2 (X) + G2 (X)---------G2j(X) + G22(X)-----•	(10.2.dl)
Сравним этот результат с величиной диспепсии оценки Я для случая,
когда сигнал от источника излучения полностью известен. Эта диспер-
сия <з2Х0 совпадает с величиной которая характеризует точность
оценки максимального правдоподобия параметра Я при отсутствии допол-
нительных неизвестных параметров (известных значениях S,, v=l, ...,
п). Таким образом, полное незнание сигнала от пеленгуемого источника
излучения приводит к проигрышу в точности определения его углового
положения в
Gj 2(Х) + G2 2(Х)
хо
G[2(X) + G'2(X)
(G,(X)G',(X) + G2(X)G'2(X)]2
(10.2.32)
б2,(Х)-f-G22(X)
2
X
раз, причем величина проигрыша зависит только от формы диаграммы
направленности и углового положения источника. В частности, для
14*	211
приведенного выше примера гауссовых диаграмм направленности
. 5,6Ш
5,1 тхт
Л . 5,6Ш'
1Гс11жт
(10.2.33)
При Х=0 проигрыш отсутствует (это имеет место для любых диаграмм
направленности, если суммарная диаграмма направленности по мощ-
ности G2[ (X) + G22(X)—четная функция %), а при малых угловых от-
клонениях X от заданного направления он также весьма мал. Для
рамочного пеленгатора с диаграммами направленности GJX) =cos % и
G2(X)=sinX проигрыш вообще отсутствует при любых угловых откло-
нениях X. Таким образом, полная априорная неопределенность в отно-
шении вида принимаемого сигнала довольно слабо сказывается на
точности пеленгации, а в обычных для практики условиях, когда пред-
варительной установкой антенной системы обеспечивается относитель-
ная малость углового отклонения к от положения максимума
суммарной диаграммы направленности антенны, вообще практически
несущественна.
10.2.3.	Оценка функции при наличии мешающих сигналов
Рассмотрим задачу оценки функции f(t, X), зависящей от совокуп-
ности неизвестных параметров X, по результатам наблюдения ее зна-
чений в дискретные моменты времени (v= 1, ..., и) в смеси
с помехой, содержащей флюктуационную составляющую и дополнитель-
ный мешающий сигнал вида <р(/, а), где <р(Л а)—известная функция
времени t и неизвестных параметров а. Совокупность данных наблюде-
ния может быть описана вектором х = {л'ь . .., хп},
где
+<>«)-	(ю.2.34)
—значение флюктуационной составляющей помехи, которую мы будем
считать гауссовой с
Wv} = 0, Л4{^} = о2Ли.	(10.2.35)
Функция правдоподобия
Р (л I X, а) =----L—-----X
(2п)"/2П <4
X ехр {- 4 S	(10.2.36)
I т>=1	11
помимо X зависит от совокупности параметров а, определяющих деталь-
ный вид мешающего сигнала, и при неизвестных значениях а
определена лишь с точностью до совокупности этих параметров. Таким
образом, мы имеем задачу с параметрической априорной неопреде-
ленностью. В (10.2.36) для краткости введены обозначения
Ш =	*), ?,(«)=<?(/,, а).	(10.2.37)
212
Оценка функции f(t, X) имеет вид f (t, X*), и, следовательно, задача
«сводится к нахождению оценки максимального правдоподобия для
параметров X, а с учетом имеющейся априорной неопределенности —
для совокупности параметров Хна. Нужно отметить, что из выражения
(10.2.36) следует, что при равных величинах дисперсий о\=о2 значе-
ние величины о2 не влияет на положение максимума функции правдо-
подобия по параметрам X и а. Поэтому в этом случае дисперсия
флюктуационной составляющей помехи о2 может быть как известной,
так и неизвестной. Априорная неопределенность ее значения не влияет
на правило оценивания X и поэтому является несущественной (см. гл. 4).
Точность оценок максимального правдоподобия параметров X и а
определяется информационной матрицей Фишера, которая согласно
(7.3 3) в данном случае имеет вид
Аге = А«О. «) =
Ап, Х>(М Ап, “)
Ап, «\(Х- «) А«, ««(“)
1 УхЛ,(Х)ут>Л(М
J
1
У«?,(а)Ут^(^
У)Л(Х)утя?»
V=1
Sya'Pv(«)VTa®11(«)
(10 2 38)
Если матрица А„(Х, а) невырождена, то корреляционная матрица оши-
бок определения значения X и «

у у
YY п Ya
2 , 2
п, a.Y п а.о
_ Л1{(Х*п-Х)(Х*п-Х)т} ^{(Х^-Х)(а*„-а)т} (Ю 2 39)
М {(«V- а)(Х*« — Х)т} М {(а*п —а)(а*л —а)т}
асимптотически приближается к 'матрицеа в частном случае ли-
нейных относительно Хна функций f(t, X) и а), т. е. при
f(tf X)=W(0, <?(Л а) = «'<р(0,	(10.2.40)
где f(£) и <р(£) — векторы той же размерности, что Хна соответственно,
в точности совпадает сА~’ при любом п.
Отмеченное выше требование невырожденности матрицы Ап яв-
ляется необходимым условием обеспечения возможности измерения всех
компонентов векторов а и X В противном случае без использования
каких-либо дополнительных данных задача просто не имеет решения.
Для существования обратной к Ап матрицы достаточно, чтобы функ-
ции yzj (i, X) и уа<? ((, а) были линейно независимы.
Предположим, что условия обращения матрицы Ап выполнены.
Тогда, поскольку из (10 2 36) следует, что логарифм функции правдо-
подобия представляется в стандартном виде (7.5 16) с
«>=--2^-^n-fnW------------------гг ln2ita2n, (10.2 41)
213
мы имеем возможность использовать для нахождения оценок рекур-
рентные соотношения гл. 7, которые в данном случае могут быть за-
писаны в следующей форме:
Х*я
а*п
a*n-i
XX Гп> Ха
Г г
* П, аХ * п, аа
VxM^*»-j)
Vafn^^-j)
где весовая матрица Г„ определяется как
г;1 = ВЛ = А„«*„_,)•	(10-2-43)
В свою очередь, матрица Dn может рассчитываться рекуррентно (ана-
логично тому, как это сделано при переходе от (7.5.30) к (7.5.31) с по-
мощью соотношения
®Л, XX ®л. Ха
D„, аХ ®л, аа
®Л — 1, XX Dп — 1, Ха
D„—1, аХ »Л—1, аа
1
а2

Уа?л(а*л-	1)	1) VTa‘Ma*'«- 1)
(10 2.44)
В частном случае линейных функций f(t, X) и (p(t, а) (10.2.40) этл
рекуррентные соотношения дают точное решение уравнения максималь-
ного правдоподобия.
Рассмотрим на этом примере два вопроса. Первый — переход к не-
прерывному времени, который превращает рекуррентные соотношения
в дифференциальные уравнения для оценок.
При этом можно воспользоваться результатами гл. 7 (§ 7.5), опре-
деляющими дифференциальные уравнения для оценок максимального
правдоподобия, когда вместо последовательности {хь .. ., хп} наблю-
дается непрерывный процесс
x(t) = f(t, 1) + Ц/) + <р(/, а),	(10.2.45)
где 1(f)—дельта-коррелированный случайный процесс («белый» шум) с
М {!• (t)} = 0; М {£ (t) В (f)} = A, (t) 8 (t — f).	(10 2.46
Лая этого процесса
/(т, 0) = /(т, Z, «)=:(1/А0)х(.)[/(т, Z) +
+ <р(т, а)] —(1/2А70)[/(х, Х) + <р(т, а)]2.	(10.2.47)
Наряду с этим можно получить те же дифференциальные уравнения из
приведенных выше рекуррентных соотношений, введя определения для
любого
D(Q = D,M r(Q = (l/A^, o’v = (l/A^y0(Q	(10.2.48)
и осуществив ib них переход к пределу при Ai-^-О. В обоих случаях
получим следующую систему дифференциальных уравнений для опре-
деления оценок максимального правдоподобия X* (t) и a*(t):
dl*
dt
da*
~ЗГ
Гхх(0 rXa(0
Гах(0 Гаа(0
Jlvx/O- V)
IlvaflO
214
X*)-y(f, a*)] .
M>(0
1
Ne(t) •
dt dt
dDaX dDaJ
QvA	(Xtt j
dt dt
VyJ(t, W ViKt’ X*)vT«?(O a*)
Va?(^> «'OVx/O. x*) va<f(t, g*)vTa?(^ a*)
(10.2.49)
где Г(t) = D г(1). Как и в случае рекуррентных соотношений (10.2.42)
(10.2.44), начальные значения Х*(^о), а*(^о) и начальная матрица D(f0)
выбираются с учетом имеющихся априорных сведений, а при полном их
отсутствии V(£o) и a* (to) могут быть выбраны произвольно, например
нулевыми, а матрица D(/o)—нулевой или диагональной с произвольно
малыми элементами, что будет соответствовать произвольно большой
неопределенности значений параметров X и а.
Информационная матрица Фишера А(/, X, а), характеризующая
потенциально достижимую точность оценки параметров а и X, опреде-
ляется при непрерывном времени выражением
А (Л X, а) =
t	t
j*	J Vxftx. X)VTa<P(^	a)dx
^0	^0
t	t
j" Va,’(’c’ a)vT^('t’	a)vT«?(x’ а)л
^0	^0
(10.2.50)
а в частном случае линейных по X и а функций ((t, X) и <р(/, а) (10.2.40)
имеет вид
А (/, X, а) —
t	t
J л^у fWfTW А J Л^Г А
io	io
t	t
J л^у ф(х){т(хИх J л^у ф(х) фт(т)</х
to	io
(10.2.51)
В последнем случае оценка максимального правдоподобия совокупно-
сти параметров {X, а} является эффективной и корреляционная матрица
ошибок оценивания совпадает с матрицей A-1(Z, X, а)
Если, кроме того, матрица А(/, X, а)—блочно-диагональная, т. е.
t
J A^yf ('5)<PT('')d'5 = °.
to
(10.2.52)
то система дифференциальных уравнений для совокупности X* и а*
распадается на две отдельные системы для X* (/) и a*(t), причем в силу
215
следующего из (10.2.52) соотношения
a*(0)dx =
<0
io
дифференциальные уравнения для определения Х*(0
принимают вид
= Гх>.(0 f Ю дд- МО - f W0I.
^i=vb-t(i)fr(O. r„(i)=DrJ(i).
at aV0(c)
(10.2.53)
упрощаются и
(10.2.54)
т. e. вообще не зависят от параметров а и их оценок а"'. Таким образом,
условие ортогональности (10.2.52) является условием того, что совокуп-
ность параметров а не является мешающей и наличие дополнительного
сигнала <р(/, а)=атф(0 не вносит априорной неопределенности в ре-
шение задачи оценки функции f(t, X)=XTf(f)-
Если условие (10.2.52) не выполняется, однако функцию <р(/, а)
можно представить в виде
<?(t, a) = a\<p,(0 + aT2<p2(O,	(10.2.55)
где полная совокупность неизвестных параметров a={ai, аг} разбита
на две совокупности ai и аг, и соотношение ортогональности (10.2.52)
выполняется для векторной функции <р2(0> т- е-
t
J^f(x)<ps(x)dT = O	(10.2.56)
io
И
t
J	<₽> 0е) <₽т» (х) ^ == °,	(Ю.2.57)
io
то в этом случае параметры a2 не являются мешающими и при решении
задачи оценки параметров X им могут быть приписаны произвольные
значения, например нулевые.
Второй вопрос — это влияние данных, полученных при предвари-
тельном наблюдении (в процессе обучения), когда не требовалось при-
нимать основное решение (в данном случае оценивать параметры X).
Выше уже отмечалось, что в задачах, подобных задаче оценки, абсо-
лютно никакой разницы между способами использования этих данных
и данных, полученных в процессе принятия решения (на рабочем шаге),
не существует. Следствием этого является полное единство структуры
алгоритмов обработки информации. Применительно к рассматриваемо-
му здесь примеру обучение может заключаться в наблюдении отрезка
реализации x(t) (или последовательности хь ..., хп), который содер-
жит только мешающий сигнал <р(Л а). Такое наблюдение позволяет
получить предварительную оценку параметров а и функции <р(£, а),
описывающей помеху, к моменту начала наблюдения данных, предна-
216
зпаченных для решения задачи оценки основных («полезных») пара-
метров X и зависящей от них функции f(t, X). Пусть данные обучения
получены на интервале (^, ^), предшествующем интервалу (4> 0 на-
блюдения в смеси с помехами оцениваемой функции f(t, X). При этом
случай равенства соответствует соприкасающимся интервалам
наблюдения только помехи и помех в смеси с полезным сигналом.
Наблюдаемый процесс x(t) имеет вид
x(t)=Ut)+q(t, а)	(10.2.58)
на интервале (£ь t2) и (10.2.45) при t^to и аналогично в дискретноч
случае. Если в соответствии с этим определить
f(t, Х)=0 при	(10.2.59)
и дополнительно для случая t2<to ввести определение
N0(t) = о° при t2<t<to,	(10.2.60)
то решение задачи совместной оценки X и а по-прежнему дается систе-
мой дифференциальных уравнений (10.2.49), которая теперь подлежит
решению при Матрица Фишера также определяется прежним
выражением (10.2.51) с заменой /0 на t\ и с учетом (10.2.59), (10.2.60).
Аналогичное совпадение имеет место и в дискретном случае.
Таким образом, наличие данных обучения ничего не меняет в фор-
мальной структуре алгоритма оценивания. Фактически дифференциаль-
ные уравнения (10.2.49), конечно, упрощаются. Для ^<^^2 они
приобретают вид
г/1 *	/7г» *	1
* = 0; ^- = Г„ (/) „ ((, «•) [Л (() _ ? р, «•)];
1^1=0.	I (10.2.61)
г„ (<)="£₽).
для интервала t2<t<to
rj'k *	fin *	\	dD
d-L = 0;	= 0; —= 0; —= 0,	(10.2.62)
dt ’ at	dt ’ dt	v '
а для имеют полную форму (10.2.49).
При достаточно большом интервале (tlt t2), когда получаемые на
этом интервале оценки параметров а достаточно точны, можно отка-
заться от дальнейшего уточнения оценок этих параметров при t^t0
и в результате упростить уравнения (10.2.49) и на этом интервале,
положив в них а* (0 = а* (^г) и гаа (0 = гХа (0 = гах(0 =0- При этом
оценка X*(Q определяется системой дифференциальных уравнений:
/fl *	1
=	Х*)-?(/, а*О;
**); rxx(0 = Dn(0-	(10-2.63)
Рассмотрим влияние данных обучения на точность оценки пара-
метров X. Выпишем для этого информационную матрицу Фишера
217
А((, X, а) с учетом дополнительного интервала наблюдения (^, (2) и
(10.2.59)
А (/, X, а) =
t	t
tydi	Wa^> a)dx
^0	$0
t	t
= f Л^Г V«<P (*>	J	va<p (t, a)vTa<p(x, a)dz-(- .
/□	to
/а
+ C Va? ('> a)VTa<P ('. a) di
ti
(10 2 64)
Из этого выражения следует, что если при отсутствии предварительного
наблюдения матрица А((, X, а) вырождена, т. е. измерение всех компо-
нент параметров X и а невозможно и априорная неопределенность яв-
ляется неустранимой, то при наличии участка наблюдения (г i
интервале (ti, t2)) реализации только помех (10.2.58) матрица А((, X, а)
неособенная и появляется возможность совместного оценивания полез-
ных X и мешающих а параметров. При этом априорная неопределен-
ность, связанная с незнанием параметров а, мешает оценке параметрон
X лишь в той мере, в которой полученные оценки а* отличаются от
истинных значений.
Для более полного понимания влияния мешающего сигнала и воз-
можности его предварительного наблюдения на точность оценки пара-
метров X найдем корреляционную матрицу ошибок для асимптотически
эффективных оценок максимального правдоподобия, т. е. матрицу S(Z),
обратную информационной матрице Фишера. Выполнив обращение
(10.2.64), получим следующее выражение для блока (() матрицы
2((), характеризующего ошибки оценивания параметров X:

Г X)vTJ(t, X) п vxf(T,	a)
,) ЛГ0(т)	J ;V0(x)
L^o	io
Va?(T. ct)W(x, «)
Лб)
J---mw---
Vay(b «)УД(Х> X)
di
(10.2.65)
При известных значениях параметров а, т. е. в отсутствие априорной
неопределенности, соответствующая матрица ошибок для оценок пара-
метров X имеет вид
р Vxffr X)vTJ(x, X)
di
Л^0(м
(10.2.66)
218
Таким образом, матрицу 2хх(0 можно представить в виде
(Ю.2.67)
где матрица'А (/)
г	X)vTx/(x- М \ * С	X)vTa<p(x. «) ,
J	(^) d~l J	Л10(г) ~d'X
t0	' to
С V«?(x» «)W(X. «)	. Г Va?(t. a)W(x> «)	\ '
J N0(x)	d'5“t"J	M,(t) dTl *
t0	ti	•
t
C V„?(x» a)Vxf(x, X)
.)	M,(x)
to
(10.2.67a)
характеризует влияние априорного незнания параметров а. Это влияние
зависит от вида функций f(t, X) и ср(^, а) и наличия интервала пред-
варительного наблюдения (t\, t2).
Пусть, например,
f (t, X) = XTf (/); ср (t, a) = aTf (t),	(10.2.68)
т. e. мешающий сигнал <p(£, a) представляет собой линейную комбина-
цию тех же функций времени t(t), из которых образуется оцениваемая
функция f(t, к). В этом случае при t2—Ь = 0, т. е. при отсутствии дан-
ных обучения, все интегралы, входящие в (10.2.65), одинаковы и матри-
ца А(^) обращается в бесконечность (соответствующая матрица Фишера
А(£, к, а) вырождена). При этом задача оценки X и функции f(t, X)
неразрешима, что совершенно естественно, поскольку параметры X и а
не различаются ничем, кроме обозначения, и можно оценить только
сумму сигнала f(t, X) и помехи ср(£, а), т. е. функцию f(t, X) +<р(Л а) —
— (X + a)Tf(Z).
Наличие дополнительного интервала наблюдения (ti, t2) ликви-
дирует вырождение матрицы А(/, X, а), а матрица А(/) принимает виц
Л(О=лН-
, С fWfT(x) /г f(x)fT(x) \-1	n9R(h
+ ]'	•	(10-2.69)
to	'ti
При больших значениях длины интервала (h, t2) она слабо отличается
от единичной матрицы и точность оценки параметра X получается почти
такой же, как при известных значениях а.
Рассмотрим теперь, как ухудшится точность оценки X, если оценка
параметров а производится только по данным обучения (на интервале
(Л, t2) и не уточняется на рабочем интервале наблюдения (to, t), т. е.
в том случае, когда оценка X* (/) формируется в соответствии с диф-
ференциальными уравнениями (10.2.63). Прежде всего заметим, что
корреляционная матрица ошибок определения параметров а по интер-
валу предварительного наблюдения (Л, t2) асимптотически совпадает
с матрицей, обратной информационной матрице Фишера для пара-
219
метров а:
Saa = {(«*(fs) - а) (а*&) - а)т} =
__ ’pVa?(t, а)ута?(т, а) I-1
— J ЛГДг) d* 
-ti
(10.2.70).
Далее, линеаризуя уравнения (10.2.63) относительно ошибок измерения
e(/)=X*(Z)—X и 60=а*(^2)—а, получаем
4vV('. Ч. Г»(О=1Ч1(О=2'»0.	<10-2-71)-
где во второй строке сразу записано решение (10.2.66) для весовой
матрицы гхх(/) линеаризованной системы уравнений. Подставляя его в
первое уравнение, получим решение этого уравнения для ошибки е(0
t
г (0 = 2’хх (0 J yj (г, X) [5 (г) -	(т> a)6o]	(10.2.72).
to
с помощью которого определяется матрица ошибок оценивания пара-
метров X
2ХХ (0 = М {8 (0 ет(0} = 2“ХХА1 (0,	(10.2.73)-
где
л, ю=i+Z’u f J,,,;" * x
to
t
X2 J	(10.2.74)
' x aa j	Д/o(**)	f
to
Нетрудно убедиться, что матрица АДО всегда больше АД) из
(10.2.65) <и совпадает с ней только в том случае, когда )Д, X) и <рД, а)
определяются соотношениями (10.2.68). Пользуясь выражениями
(10.2.65) и (10.2.74), нетрудно оценить влияние отказа от уточнения
параметров а на рабочем интервале при произвольных функциях f(t, X)
и <р(0 а).
10.3.	ВЛИЯНИЕ ВОЗМОЖНОСТИ УТОЧНЕНИЯ ПО ДАННЫМ НАБЛЮДЕНИЯ
АПРИОРНОГО РАСПРЕДЕЛЕНИЯ ВЕРОЯТНОСТИ ПАРАМЕТРОВ X
НА ТОЧНОСТЬ ИХ ОЦЕНКИ
В приведенных выше примерах предполагалось полное незнание
априорного распределения вероятности для параметров X или столь
большая его неопределенность, что так или иначе лучшей оценкой яв-
ляется оценка максимального правдоподобия X*, построенная совместно
с максимально правдоподобными оценками для мешающих параметров a
функции правдоподобия. Рассмотрим теперь, как влияет на структуру
и точность оценки параметров X возможность уточнения параметров ji
априорной плотности вероятности р(Х|р) с помощью имеющихся дан-
ных наблюдения. Естественно, для того чтобы такое уточнение было
220
возможно, среди этих данных должны быть такие, которые хотя бы
в принципе давали возможность найти оценки неизвестных парамет-
ров р.
Обратимся к самому простому примеру. Пусть задача статистиче-
ского решения заключается в оценке по совокупности данных наблюде-
ния {xi, ..., хп} параметра Л, имеющего нормальное распределение
вероятности с математическим ожиданием т и дисперсией о2о. Величи-
ны независимы и нормально распределены с математическим ожи-
данием X и дисперсией о2. Пусть наряду с {х{, ..., хп} имеется
совокупность наблюденных значений {Ль ..., Л#}, каждое из которых
имеет то же распределение вероятности, что и Л. Тогда полная совокуп-
ность данных наблюдения х есть
x<={xlt .	х„; Л,, ..., Лд,},	(10.3.1)
а логарифм совместной плотности вероятности х и Л равен
п
(10 3 2)
1>=L1
где
С = С (с2, о20) = — [(и + N + 1)/2] In 2it —
— (п/2) In о2 — [(АГ + 1)/2] In	(10.3.3)
— слагаемое, не зависящее от {хь ..., Xw} и Л.
Если параметры т и о2о плотности априорного распределения веро-
ятности Л известны, то L является функцией только от Л и, максимизи-
руя L по Л, мы получим оптимальную байесову оценку Ло параметра Л
при отсутствии априорной неопределенности:
п
——/п),	(10.3.4)*
v==l
где
82 = о2/о2о	(10.3.5)
— отношение дисперсий х^ и 2. Эта оценка имеет средний квадрат от-
клонения от истинного значения, равный
м м - *)2} = °7(« +§2)-	(Ю.з.б)
Если априорное распределение вероятности Л определено только с точ-
ностью до неизвестных параметров, то в соответствии с общими пра-
вилами адаптивного байесова подхода необходимо проводить
совместную оценку Л и этих неизвестных параметров. Пусть единствен-
ным неизвестным параметром является математическое ожидание т,
22 Ь
т. е. p = m. Предположим сначала, что данные наблюдения о значениях
отсутствуют, т. е. N—0 Тогда функция L принимает вид
L — L (Я, т) =
п
= - -i- S К -	—2^Г(л ~ т)г+с-	(1° 3-7)
V«1
Максимизируя ее по т, получаем функцию
L* (Я) = max L (Я, т) = —	V (х — Я)’ + С, (10.3.8)
(m)	20 jU *
v=l
совпадающую с логарифмом функции правдоподобия. Это свидетельст-
вует о том, что при отсутствии данных наблюдения, способных по-
влиять на уточнение параметров априорного распределения вероятности,
последнее можно считать полностью неизвестным
Параметрическое задание плотности р(Х|р) в этом случае (при
невозможности оценки параметров р) не приводит ни к каким улучше-
ниям оценки параметра X по сравнению с оценкой максимального
правдоподобия
Последняя получается максимизацией (10.3.8) и имеет вид
я
(10-39)
v-1
а ее отклонение от истинного значения характеризуется дисперсией
3\0 = М{(Я*0-Я)2}=:ог/п.	(10.3.10)
Индекс «0» подчеркивает, что эта оценка образована при отсутствии
наблюденных значений ЯДМ = 0).
Таким образом, наличие априорной неопределенности приводит к
проигрышу в точности в
Ло/ЛоПТ=1 + 87"	(10.3.11)
раз. Этот проигрыш может оказаться существенным только в том слу-
чае, если л не очень велико, а отношение б2=о2|о2о достигает больших
значений, т е априорный разброс значений измеряемого параметра X
(величина о0) не велик по сравнению с апостериорным разбросом
(величиной Охо), полученным в результате оптимального оценивания
этого параметра.
Пусть теперь N5^0, т. е имеется некоторое количество значений Ял
(v=l,	., N), которые могут быть использованы для уточнения пара-
метров априорного распределения вероятности X. Максимизируя функ-
цию L из (10 3 2) по т и X, получаем следующее выражение для оценки
параметра /.
"дГ J] + n + 8W/(W+l)	дГ ’ (10-3-12)
У = 1	V=1 L	Ц—1
которое отличается от выражения (10 3.4) для оптимальной байесовой
оценки заменой известного значения т его среднеарифметической оцен-
222
Koii-^-^2v по совокупности наблюденных значений {Ль .A>v} и
заменой величины б2 величиной b2N/(N+1).
Дисперсия этой оценки
° М {(Л\	}= п 1) > (Ю-З 13)
а проигрыш в точности измерения по отношению к оптимальной байесо-
вой оценке характеризуется отношением
1 + 87[п W + 1) + m	(10.3.14)
Уже при У=1 величина этого отношения не превосходит двух при ка-
ких угодно значениях /г>1иё2.
Если наряду с математическим ожиданием т неизвестна и априор-
ная дисперсия о2о параметра Л, то оценка этого параметра по-прежнему
определяется по (10.3.12) с заменой б2 ее оценочным значением
(10.3.15)
При этом минимально необходимое количество N наблюденных значений
для построения такой оценки равно двум.
Полученные результаты являются подтверждением отмеченных
в гл. 2 общих закономерностей, относящихся к влиянию неопределен-
ности априорного распределения вероятности параметров Л на точность
оценивания этих параметров. Это влияние практически несущественно,
если априорный разброс значений Л велик по сравнению с апостериор-
ным разбросом, получающимся в результате оптимального оценивания
в соответствии с байесовым правилом решения, или, что то же самое,
по сравнению с разбросом, получающимся при оценивании методом
максимального правдоподобия, т. е. в тех случаях, когда ширина плот-
ности априорного распределения вероятности Л велика по сравнение
с шириной функции правдоподобия. В этих условиях возможность уточ-
нения параметров априорного распределения вероятности Л за счсг
использования данных наблюдения слабо влияет на точность оценки Л
(при б2/«<С1 оценки Л*о и имеют одинаковую точность).
Поэтому затраты на получение дополнительных данных наблюде-
ния, необходимых для оценивания параметров априорного распределения
вероятности Л, и усложнение алгоритмов оценивания Л в этих условиях
практически не оправданы. Эти дополнительные усилия имеют смысл
только в том случае, когда априорный разброс Л относительно невелик.
10.4.	ОЦЕНКА ПЕРЕМЕННЫХ ПАРАМЕТРОВ
Рассмотрим теперь многошаговый процесс получения данных на-
блюдения и принятия решений, к которому сводятся многие практические
задачи, в частности, задачи фильтрации.
Пусть для любого n-го шага (n== 1, 2, ...) совокупность данных
наблюдения описывается вектором Х„={х1, .. , х„}. каждая компонен-
та которого xv зависит от параметра Лу. Значения меняются от шага
223
к шагу, а их совокупность для n-го шага описывается вектором Л„ =
= {X,....Х„} увеличивающейся размерности. Задача статистического
решения заключается в том, чтобы на каждом n-м шаге (п=1, 2, ...)
с помощью Хл оценить значение Лл. Последовательность этих оценок для
каждого фиксированного значения п дает оценку вектора Лл в целом,
причем каждая его компонента Xv(v=l.......п) оценивается с соблю-
дением принципа физической реализуемости, т. е. зависит только от тех
данных наблюдения, которые получены до v-ro шага включительно. При
этом, как всегда, xv и Xv, вообще говоря, являются векторами той или
иной (одинаковой или разной) размерности.
В практических приложениях индекс v чаще всего соответствует
дискретному времени, а — значению некоторой функции X (/) в момент
времени t — tv. При этом полученная оценка является оценкой функции
Х(/) в дискретных точках. При переходе к непрерывному времени век-
тор Х„ переходит в отрезок реализации наблюдаемого процесса х(т)
на интервале времени от to до t=tn, вектор Хп— в отрезок реализации
процесса Х(т) на том же интервале, а задача статистического решения
заключается в том, чтобы на основании наблюдения х(т) на интервале
(to, t) оценить значение Х(/) для каждого момента времени t, большего
tQ и меньшего некоторого tK^.oo, соответствующего прекращению про-
цесса оценивания.
Пусть последовательность Хь • • •, ^п,    обладает марковским
свойством, т. е. для любого п
/’(Ч|лл_1)=/2л(хл|хл_1, ₽).	(Ю-4-1)
где Рп(Хп|Хп-ь Р)—переходная плотность вероятности, зависящая от
совокупности неизвестных параметров р, описывающих априорную
неопределенность статистических свойств последовательности Хь ...
..., Хп, ... Выбором соответствующей размерности вектора Х„ и подхо-
дящей совокупности параметров р практически всегда можно добиться
того, что соотношение (10.4.1) выполняется [31]. Будем считать также,
чю условное математическое ожидание
=	₽) = M{x„IV.} =
= уХл/?л(Хл|Хл_1, P)dX„	(10.4.2)
и условная корреляционная матрица
р„=Pn (V Л ₽)=м {(Х„ - f„) (Хл - f „)-} =
=	fn) (Ч - f гЖ (^П I V X. ₽)	(10.4.3)
существуют, причем функция fn(Xn-i, Р) дифференцируема по Xn-i и р.
Важным частным случаем, для которого выполняются условия
(10.4.1) — (10.4.3), являются процессы, описываемые рекуррентным соот-
ношением
*п=ЦЧ->- P) + 5n, п=1, 2............... (10.4.4)
где |ь |2, •••—последовательность независимых векторных случайных
величии с корреляционной матрицей
МОтп} = РЖ-х, Р).	(10.4.5)
224
Отметим, что последняя может быть вырожденной и может содержать
нулевые диагональные элементы, что соответствует несобственному
условному распределению вероятности вектора кп, целиком сосредото-
ченному па некоторых гиперповерхностях пространства, в котором задан
этот вектор. Наряду с (10.4.4) часто также используется соотношение
VMU ₽) + Bn(k->.	(W-4.6)
где т]р — случайный вектор, размерность которого не обязательно сов-
падает с размерностью Хп, имеющий корреляционную матрицу р0, не
зависящую от kn_i и р, а Bn(kn_ь р)—прямоугольная матрица соот-
ветствующих размеров. 3 этом случае .
,	p„(Z„_„ Р) = В(1П_„ Р)р0В-„(Х„_1, р).	(10.4.7)
При переходе к непрерывному времени аналогом рекуррентного
соотношения (10.4.4) является стохастическое дифференциальное урав-
нение
dk(dl — f(t, к, Р1+!(/),	(10.4 8)
где 1(1) —дельта-коррелированный процесс («белый» шум) с корре-
ляционной функцией
М {| (0 (/')} = р (Л X, Р) 3 (t -t').	(10.4.9)
При дискретизации этого уравнения мы, очевидно, возвращаемся
к рекуррентному соотношению (10.4.4), в котором при достаточно малых
Ain —- tn tn—1
MV.- +	V.- РЖ;
(10.4.10)
pn(V>. P)=p(Mi> V РЖ-
а условная плотность вероятности (10.4.1) является гауссовой.
Будем считать также, что наряду с неопределенностью статистиче-
ского описания переменного параметра Хп, подлежащего оценке,
существует априорная неопределенность в отношении данных наблю-
дения, которая приводит к заданию распределения вероятности величи’1
xv с точностью до совокупности неизвестных параметров а, т. е. для
любою v
=	(10.4.11)
Набор плотностей вероятности (10.4.1) и (10.4.11) для v=l, 2, ..., п
дает параметрически неопределенное -Статистическое описание задачи.
В соответствии с общими результатами гл. 6 адаптивное байесово
правило решения интересующей нас задачи заключается в формирова-
нии совместной оценки величин Хп, аир. Для того чтобы добиться
единообразия в формулировке этой задачи совместной оценки, припи-
шем параметрам аир таюйе индекс «и», формально рассматривая их
как меняющиеся от шага к шагу. Чтобы при этом не исказить существа
дела, связанного с их фактической неизменностью, необходимо считать,
что их последовательные значения ап, Р« и ап-ь Рп-i связаны мржду
собой соотношениями
(10.4.12)
Р„ = Р„-г I
1 5-8 с
225
С учетом (10.4.12) мы, очевидно, имеем право записать
Р а) = Р (xj\, av)	(10.4.13)
₽) = Pn(MVi. Pn-x).	(10.4.14)
поскольку в силу (10.4.12) безразлично, какой индекс приписать а и 0.
Очевидно, также, что выражения (10.4.12) являются частным слу-
чаем рекуррентного соотношения (10.4.4) и им можно поставить в соот-
ветствие переходные плотности вероятности
(10.4.15)
Р„-х) = 8(р„—
Объединим теперь параметры Хп, ап и р„ в единую совокупность,
введя вектор
а„, ₽„}	(Ю.4.16)
суммарной размерности. Последовательность 0Ь ..., 0„, ..., очевидно,
удовлетворяет марковскому свойству и имеет переходную плотность
вероятности
Рп (©„ I ®Л-1) = Рп (^л» an’	®Л-1’ Рл-1) —
’	=/МЧ1К-1.	(Ю.4.17)
причем, условное математическое ожидание и условная корреляционная
матрица соответственно равны
Ф«(0„-1) = ^{0«|0п-1} =
Л4{Хл | вл-1}
Л1{«л| вл-1}
MttnlQn-!}
1л(^Л-1, ₽л-1)
«л-1
р/1-1
R„ (в„-1) = м {(6П - ф„) (в„ - <р„)т} =
Рл(^л-1, ₽л- i) О О
=	0	0 0.
О 0 0
(10.4.18)
(10.4.19)
Аналогично плотность распределения вероятности для наблюдаемо-
го значения хп (10.4.13) можно записать:
''	Р„(х„|Х„, а) = Р„(х„К, а„) = Рп(х„10„) = ехр{/„(©„)},	(10.4.20)
имея в виду, что она зависит от части из совокупности параметров
0п=={Л<п» Ип, Рп}-	'
С помощью этих нехитрых операций так же, как в случае задачи
оценки постоянных параметров, мы добились полного устранения фор-
мальных различий м^жду интересующими нас полезными параметрами
и «мешающими» параметрами аир, описывающими априорную
неопределенность. По форме задача свелась к байесовой оценке век-
тора с переходной плотностью вероятности (10.4.17) по совокупности
наблюдаемых данных хь ..., х„, каждое из которых имеет распределе-
ние вероятности с плотностью (10.4.20). Решение этой задачи хорошо
известно [2, 30] и в асимптотическом гауссовом приближении для
226
апостериорной плотности вероятности вп задается следующей системой
рекуррентных соотношений, обеспечивающих последовательное вычисле-
ние оценочных значений 0П параметра вп и апостериорной корреляци-
онной матрицы Гп, характеризующей ошибки оценивания:
6n=<P„(0„_1)+rnzn,	(Ю.4.21)
°	+	(10.4.22)
где
z„ - z„ («„_,) = veU0) |^n_	(10.4.23)
(10.4.24)
Фл=?Д(в) 1в=вп_г = veTTn(e„-,);	(10.4.25)
ф1£п_т, —
<10.4.26)
а функции <рп(6), Rn(e), 1п(в) определяются выражениями (10.4.18) —
(10.4.20) соответственно.
Рекуррентные соотношения (10.4.21), (10.4.22) являются обобще-
нием рекуррентных соотношений гл. 7 для оценок максимального
правдоподобия постоянных параметров. Как и в гл. 7, при вычислении
весовой матрицы
r„=Dr‘	(10.4.27)
практически без ухудшения Точности оценки параметра 6П можно за-
заменить в соотношении (10.4.22) матрицу Кп матрицей	,d <-
К/i—К„(в^_1) = .Л4{ VeVT0^(6) 11*} |e=(f)n(§n_i)	с ,
~лЦ-уву’вМв>}|е-а,_г <10-4-28>
получающуюся подстановкой значения в = <р„(вл_1) или в = 0я_1 в мат-
рицу Кл(в), определенную рыражением
К„ (6) = М {- VeVTe/„(0)}.	(10.4.29)
Выбор начальных условий для рекуррентных соотношений (10.4.21),
(10.4.22) осуществляется так же, как для рекуррентных соотношений
гл. 7 с учетом ограниченных сведений об априорном разбросе значений
при п=0, если последние имеются, и нулевыми для вп и D„ = Г~
при п=0, если всякая информация о начальных значениях отсутствует.
Как и и случае постоянных параметров, если только начиная с некото-
рого п матрица Dn=r-1n становится невырожденной и существует
обратная ей матрица Гп, т. е. действительно имеется возможность изме-
рения всех компонент параметра вп, то начальные условия быстро забы-
ваются и очень слабо влияют на значения оценок 0П и характеристики их
точности. В связи с этим при полном отсутствии априорных сведений для
начальных значений можно задавать матрицу Го любым подходящим
способом, обеспечивающим обращение матриц в (10.4.22) на начальных
15*	227
шагах, с соблюдением единственного условия, чтобы собственные числа
матрицы Го, которые характеризуют априорный разброс начальных
значений 0О, были достаточно большими.
Для улучшения скорости сходимости рекуррентной процедуры и
уменьшения влияния произвола в выборе начальных условий полезно
более точно вычислить апостериорную плотность вероятности на на-
чальных шагах для некоторого п — п0, не прибегая к гауссовой аппро-
ксимации, и затем найти то значение©^ , которое обращает ее
в максимум.
Это максимизирующее значение ©Ло вместе с малицей вторых про-
изводных логарифма апостериорной плотности вероятности в точке 0
и являются наилучшими начальными значениями для рекуррент-
ной процедуры, которай начинается с п—п0. Как правило, указанная
максимизация требует решения, трансцендентных уравнений, поэтому
число начальных шагов следует выбирать исходя из компромисса меж-
ду сложностью этих уравнении и желанием получить наиболее точное
начальное приближение Практически целесообразно выбирать п0 рав-
ным тому минимальному значению, для которого все компоненты
максимизирующего значения 0,!о являются нетривиальными оценками
вектбра0Ло, т. е. действительно зависят от полученных за п0 шагов
данных наблюдения.
Если далее в процессе выполнения рекуррентной процедуры матрица
не становиюя особенной, то заданная система полезных пара-
метров Х„ и параметров аир, выбранных для описания априорной
неопределенности, является допустимой в том смысле, что все эти
параметры действительно могут быть оценены по имеющимся данным
наблюдения. Если же матрица Dn вырождается, то необходимо либо
исключить часть этих параметров из числа оцениваемых, приписав им
те или иные выбираемые на осйове априорных предположений фиксиро-
ванные значения (результат оценки остальных параметров будет за-
висеть оттого, сколь точно эти значения соответствуют действительным),
либо расширить объем данных наблюдения, так чтобы обеспечить воз-
можность оценки всех имеющихся параметров.
С точки зрения практического использования благодаря широкому
распространению ЭВМ наибольшую ценность имеют именно рекуррент-
ные соотношения (10.4.21), (10.4 22), которые позволяют решить гро-
мадное количество самых разнообразных прикладных задач. Однако
Для аналитического исследования более удобны дифференциальны.'
уравнения, которые получаются из рекуррентных соотношений (10.4 21),
(10.4.22) соответствующим предельным переходом либо могут быть
найдены непосредственно при рассмотрении процессов с непрерывным
временем. При этом соответствующие стохастические дифференциаль-
ные уравнения для оценок, как и исходные уравнения для оцениваемых
параметров, могут пониматься либо в смысле Ито, либо в смысле Стра-
топовичд с теми особенностями в построении схем устройств, моделиру-
ющих эти уравнения, которые следуют из различия в этом попиманн г
и обсуждены в [ВО]. Дополняй уравнение (10.4.8) дифференциальными
уравнениями для параметров a=a(t) и р —р(/)
228
da/dt^O, dfHdt=O,	(10.4.30)
получаем дифференциальное уравнение для составного вектора
0(9={Х(О, а(0. ₽(0>
	d&/dt= <p(Z, 0)-4-т](/),		(10.4.31)
где	f(Z, е) <p(Z, 0) =	0	=	f(Z, X, ?) 0	;	(10 4.32)
	0 КО П (0 = 0 ,	0	0	(10.4.33)
— дельта-коррелированный случайный процесс с корреляционной мат-
рицей
=	0)8(Z-f) =			
	Л, ?) 0 0		
=	0	0 0	o(Z-0-	(10.4.34)
	0	0 0		
Соответствующие дифференциальные уравнения для оценки 0(Z)
и апостериорной корреляционной матрицы Г(/) имеют вид
d@'dt = (f(t, 0)4-r(f)Z(/, §),	(10.4.35)
‘	dr/d^R(;, 0)_ Г(/)К(С 0)Г(/)4- -
+ Ф (t, 0) г (/) Г (^)фт	0);	(10 4.36)
где z(t, 0) и К(/, 0) определяются так же, как в гл. 7 формулами
(7.5.43) и (7.5.47) с возможной заменой К (t, 0) на К (t, 0) из (7.5.49),
а матрица Ф (Z, 0) определяется соотношением
Ф(С 0) = ve<pq(c 0)1е=е
Дифференциальное уравнение для матрицы
E(Z) = r-1(r)	(10.4.37)
имеет вид
dD <dt = — Г (Z) Ф (t, 0) — Фт (Z, 0) D (Z) —
— D(z) R(Z, 0)С(/)+К(/, 0).	(10 4 38)
Матрица Гп, определяемая соотношением (10.4.22), и соответствен-
но Г(/), определяемая дифференциальным уравнением (10.4.36), пред-
ставляют собой апостериорные корреляционные матрицы оцениваемой
совокупности параметров. Корреляционная матрица ошибок оценивания
этих параметров
2„ = 7И{(0„—0„)(0„ —0ДГ}
(10 4.39)
и соответственно
2 (Z) = М {(0 (Z) - 0 (Z)) (0 (Z) — 0 (/))*}	(10.4.40)
229
асимптотически (при достаточно большом объеме данных наблюдения
или при достаточно высокой точности единичных измерений параметров
0П по одному наблюдению хп) определяются теми же рекуррентными
соотношениями и дифференциальными уравнениями, что Гп и Г(0>
если в них всюду заменить оценочные значения параметров вп их
истинными значениями, а матрицы К«(0) и К(^, в) их математически-
ми ожиданиями Кп(0) и K(t, 0) соответственно. Этот факт достаточно
хорошо известен для неадаптивного случая [2, 30], а в силу того, что
при наличии априорной неопределенности задача оценки сводится
к обычной байесовой задаче относительно расширенной совокупности
параметров, полностью переносится и на адаптивный случай. Указанное
совпадение полностью аналогично асимптотической сходимости корре-
ляционной матрицы ошибок оценивания постоянных параметров к ма-
трице, обратной информационной матрице Фишера. Таким образом, при-
веденные выше рекуррентное соотношение (10.4.22) и дифференциальное
уравнение (10.4.36) дают возможность простой подстановкой в них
истинных значений оцениваемых параметров найти точность оценки
этих параметров.
Так же, как в § 10.2, дискретный (10.4.21), (10.4.22) и непрерывный
(10.4.35), (10.4.36) алгоритмы формирования оценок автоматически учи-
тывают наличие данных обучения, описание которых производится со-
ответствующим заданием функций правдоподобия Рп(хп|Хп, а) (и соот-
ветственно in(0n) или l(t, 0)), где под хп понимается вся совокупность
наблюдаемых на n-м шаге данных, возможно (при наблюдении на
интервале обучения «чистых» реализаций значений измеряемого пара-
метра) включающих в себя и значения Соответствующие примеры
будут приведены ниже.
10.5.	ПРИМЕРЫ АДАПТИВНЫХ АЛГОРИТМОВ ОЦЕНКИ ПЕРЕМЕННЫХ ПАРАМЕТРОВ
10.5.1.	Измерение координат и скорости объекта, движущегося
в поле тяготения планеты с неизвестной массой
Для данной задачи вектор X={r, V} имеет три координатных ком-
поненты г={г<1>,	Л3>) и три компоненты скорости ¥={7(4, И2), У<3)},
которые в системе координат, связанной с центром планеты, подчиняют-
ся дифференциальным уравнениям
dr/t# = V,	(10.5.1)
dNfdt = — ₽г/г’,	(10.5.2)
где г2—гтг — квадрат модуля вектора г (расстояния от центра плане-
ты), а ₽ — неизвестная постоянная, пропорциональная массе планеты.
В данном случае |(/)==0 и р(/, Х)=0.
Будем считать, что наблюдается совокупность величин xv, представ-
ляющих собой единичные замеры некоторых величин, связанных с ко-
ординатами и скоростями объекта. В частном случае вектор ха может
представлять собой шестикомпонентный вектор единичных замеров ко-
ординат и скоростей в центральной системе координат, это может быть
также вектор единичных замеров всех или части координат и скоростей
в любой другой системе координат и т. п., важно только, что функция
230
его распределения зависит от г и V. Будем считать для простоты, что
она полностью известна, т. е. логарифм функции правдоподобия
/та(Хп)=/та(гта, Vn) не содержит дополнительных параметров. Интегри-
руя (10.5.1), (10.5.2) от момента tn-i до tn, соответствующих двум по-
следовательным замерам xn-i и хп, получаем следующие рекуррентные
соотношения:
г„=гл~1+ J v(оа^Гд-.+дг^,	tn_lt р)^
,	^гя_1 + У„_1Д<„.	(10.5.3)
*П- 1
(Ю.5.4)
где приближенные выражения соответствуют достаточно малым про-
межуткам времени &tn=tn—tn-i. При необходимости в (10.5.3), (10.5.4)
можно сохранить и точные выражения, известные из любого курса не-
бесной механики, либо удержать следующие члены разложения по сте-
пеням Atn.
Ограничиваясь линейным приближением в (10.5.3), (10.5.4), бу-
дем иметь для полного вектора измеряемых параметров 0П={ХП, Р)=
={Гп, Vn, Р)
Фл(®л-1)=Ч>л(гл-1. V«-1> ₽л-1) =
Гл+1 + Vn-I&tn
г«_,
= Vn-l-----вп~1~^3
	г п— 1
₽П-1
Матрица R„(0„_,) = O, а матрица Ф„ имеет вид
(10.5.5)
I	Шп
ГдчГТп-
(10.5.6)
МП
где первые два диагональных блока имеют порядок 3x3, а послед-
ний 1X1. Так как матрица Rn равна нулю, рекуррентное соотношение
для матрицы Гп (10.4.22) упрощается и принимает вид
г„- ’ = D„ = К„ + (Ф-„) - *D„_ .ф;1,	(10.5.7)
где с точностью до членов порядка Д.1п матрица Ф~’п определяется вы-
ражением
-Utn
ф
п
Г3П-!
(10.5 8)
231
Подстановка <pn(0n-i) из (10.5.5) в (10.4.21), а также конкретных зна-
чений zn=zn(0?l-i) и Kn=Kn(0n-i), определяемых видом функции
правдоподобия для единичного замера хп, в (10.4.21) и (10.4.22) или
(10.5.7) завершает конкретизацию рекуррентных соотношений, опреде-
ляющих оценки координат объекта и одновременно параметра ji, рав-
ного произведению неизвестной массы планеты на гравитационную
постоянную.
В соответствии со сказанным в § 10.4 корреляционная матрица
ошибок оценивания УГ1 определяется уравнением (10.5.7) при подста-
новке в него истинных значений параметров 0„={ги, V„, (3} и матема-
тического ожидания Кп матрицы К«. Из-за нелинейности этого уравне-
ния получить достаточно наглядное его аналитическое решение в общем
случае довольно затруднительно. Поэтому приведем характеристики
точности оценки в предположении, что интервалы Xtn между соседними
замерами достаточно малы с точки зрения возможности перехода от
рекуррентного соотношения (10.5.7) к соответствующему дифференци-
альному уравнению типа (10.4.36) или (10.4.38). При этом, полагая
tn—t и Zn=Z(z‘), будем иметь
</2/Л-=Ф(Л 0) S (/) 4- S (t) ФТ(Л ©) — S(0KS(0.	(10 5 9;
либо соответствующее уравнение для матрицы S-1(l)
d^'/dt —	0)-Фг(г, 0)S-*(O К, (10.5 10)
где матрица К удовлетворяет соотношению
(10.5.11)
и предполагается далее не зависящей от rn=r, Vn=V и времени /, а ма-
трица Ф(/, 0) определяется выражением
Ф(0 ©) =
О I О
(10 5.12)
и фактически зависит только от координат объекта г=г(/). Будем счи-
тать также, как это чаще всего бывает на практике, что при единичном
измерении производится замер только координат объекта, а скорость
непосредственно не измеряется. Это означает, что х„ зависит только от
г„=г и матрица К имеет следующую структуру:
к4 0 0
0 0 0
0 0 0
(10 5 13)
Кроме того, предположим, что длительность интервала времени от /о
до I, на котором получены замеры координат объекта, не очень вели-
ка, так что интервал t—t0 составляет не более 0,1—0,2 периода обра-
2 32
щения объекта. В этих' условиях приближенное решение уравнения
(10.5.10) ймеет вид
2Г’(0 =
^rr(t-t0) --j-hrr(t-toy
4- Кгг(/ - t,y -у ^rr<t " z«)3 —8	У’
1 ~ rr	1 ~ r1	1 гтК/тГ
“77“ K/T у 0 ^o)4 g” 0 Q‘ '20	^«)°
(10.5.14)
Выполнив обращение этой матрицы, получим следующее выражение
для корреляционной матрицы ошибок определения координат г и ско-
ростей объекта:
Err(/)Ero(0 __
XorlO^folO
Тт \
ГтКггГ 1
12
a-to)
(10.5.15)

Эта матрица отличается от корреляционной матрицы ошибок определе-
ния координат и скоростей при отсутствии априорной неопределенности
(известном значении 0) наличием членов, которые добавляются к ма-
трице К”1 в каждом из ее блоков. Величины дополнительных ошибок
зависят от значений координат объекта на момент их оценки. Характер
зависимости ошибок измерения от длительности интервала измерения
не меняется, сами’же величины ошибок (особенно по скорости) меня-
ются довольно существенно. В частности, при одинаковых и независи-
мые ошибках единичных замеров различных проекций координат, т. е.
при диагональной матрице Кгг с одинаковыми элементами, ошибка из-
мерения любой координатной проекции увеличивается из-за незнания
величины р в 2,25 раза, а проекции скорости в 16 раз. При увеличении
интервала измерения t—t0 относительное увеличение ошибок измерения
г и V из-за незнания, р уменьшается. При этом, конечно, с ростом
t—t0 уменьшаются и абсолютные значения ошибок измерения.
Дисперсия ошибки измерения неизвестного параметра р определя-
ется выражением
7ДГг-^у •	(10.5.16)
Она также зависит оъ координат объекта и быстро убывает со вре-
менем.
10.5.2. Измерение скорости тела при наличии сил сопротивления
Рассмотрим задачу измерения скорости тела, движущегося под дей-
ствием постоянной силы и испытывающего сопротивление, зависящее
от скорости. Уравнение движения имеет вид
(10.5.17)
233
Параметры а и Ь, входящие в это уравнение, будем считать неизвест-
ными. Примером подобной задачи может быть свободное падение тела
в атмосфере при неизвестном ускорении свободного падения а и неиз-
вестной плотности атмосферы либо при неизвестном коэффициенте со-
противления тела, что влечет за собой незнание параметра Ь. Только во
избежание громоздкости записи мы будем считать, что силы, действую-
щие на тело, не зависят от координат. При желании легко учесть изме-
нение силы тяжести и плотности атмосферы с изменением координат.
Также ради простоты будем считать движение одномерным.
Предположим, что результатом наблюдения является совокупность
единичных замеров скорости
=	(10.5.18)
где V, — V(tj; — момент измерения;	— нормально распределенные
независимые случайные величины с дисперсией а2*.
Дифференциальному уравнению (10.5.17) соответствует рекуррент-
ное соотношение
V„= Vn_, +аЫ„ - bV'n_£tn,	(10.5.19)
где A/n = Zn —Дополняя Vn неизвестными параметрами а и Ь, полу-
чаем полный вектор измеряемых параметров 6n = {Vn, а, Ь), для которого
<P«(en->) = <Pn(V„-1. ап-р &„-,) =
(10.5.20)
Т»-] -\-ап-х^п—'bn-iV^n^j^tn
Лп- 1
Ъп-1
матрица Rn(0n_1)=O, а матрица Ф„ определяется выражением
ф„= п				•	(10.5.21)
	0 0	1 0	0 1		
Соответственно матрица k„=R.=tV		1 0 0 0 0 0	1		(10.5.22)
а вектор 1	Хп — Vn - i — &n-	0 0 0 -1Д61+ 0 0			(10.5.23)
Подставив эти выражения в рекуррентное соотношение (10.4.21),
получим следующий алгоритм определения скорости и неизвестных па-
раметров а и Ь:
Vn Gn	’ bn r<U) 4- r(12) «	n p(13) n	Vn-,	— 6n-1V2«_ i^tn 'лп-1	“Ь bn -1 Xn — Vn - 1 — dn-i&tn + bn.- iV2n-
	02n	’
(10.5.24)
234
где — элементы симметричной матрицы Гп, которая в соответствии
с соотношением (10.4.22) и выражением (10.5.21) для матрицы Фп
определяется в данном случае соотношениями (индексы 1, 2. 3 относят-
ся к V, а, b соответственно)
г™=г«>	+
г',3’=С -
+ Д/.Г23;	(10.5.25)
Г<22)= Г<22) — 11 /а2 1 Г<12)2-
п	п-l	* 1 / п' Л _ , ’
р(23)__р(23) _	р(12)р(13) .
г^г^-чуо’Х?,’-
Эти рекуррентные соотношения совместно с (10.5.24) окончательно
определяют алгоритм оценки скорости при незнании коэффициентов а
и b дифференциального уравнения (10.5.17), т. е. при незнании коли-
чественных параметров сил, действующих на тело. Если какой-либо из
параметров а или b известен, то соответствующие этому параметру
строку и столбец матрицы Гп следует заменить нулями. При этом число
рекуррентных соотношений сокращается с девяти до пяти и алгоритм
оценки скорости, естественно, упрощается.
Корреляционная матрица ошибок оценивания получается реше-
нием системы уравнений (10.5.25) при замене в них оценочных значе-
ний V, а и b истинными. Если для простоты считать, что о2„ и Atn не
зависят от п, т. е. <з2п=о2‘ и А/П=А1, то ошибка измерения полезного
параметра — скорости Vn — определяется выражениями
(10.5.26)
при малом времени измерения, когда [ abnAt 1, и
Х‘П) = <у=°7п	(10.5.27)
при большом времени наблюдения^([/abnAl > 1), когда происходит стаби-
лизация скорости тела (V„ ~ Valb).
10.5.3. Измерение марковского параметра
Рассмотрим теперь пример, когда переменный параметр %(/), под-
лежащий измерению, описывается невырожденным случайным процес-
сом, т. е. дифференциальным уравнением (10.4.8), в котором g(Q#=O
и матрица р (t, Л, р) из (10.4.9) отлична от нуля. Пусть Л(/) подчиня-
ется линейному дифференциальному уравнению
— рЛ 4-6(0,	(10.5.28)
235
в котором р — неизвестный коэффициент, a g(/)—«белый/? шум с из-
вестной корреляционной функцией Af{g(/)g (/')}—р6(/—Г), где р не за-
висит от t и 2. Как известно, этому дифференциальному уравнению со-
ответствует нормальный случайный процесс А.(/) с экспоненциальной
функцией корреляции
R (t -1') = М {2 (0 2 (Г)} = (р/2р) ехр (- 2,31 f - f |), (10.5.29)
причем из-за незнания параметра [3 неизвестно ни время корреляции,
ни дисперсия этого процесса.
Пусть данные наблюдения представляют собой последовательность
! еличин xv (v — 1, .... п), где
(10.5.30)
величины независимы, имеют гауссово распределение и дисперсию
Al{i)\}= a’v, а индекс v относится к дискретному моменту времени tv.
Интегрируя (10.5.28) от tn_x до tn, получаем рекуррентное соотношение
2„=2„_1ехр(-рд/„)+5„,	(10.5.31)
где интервал ktn—tn — tn_, не обязательно мал (так что ехр( — (ЗД^П)=£
=£ 1 — |ЗД£„);	— случайная величина с дисперсией
P„ = (pW -ехр(-2рДу] = р„(Р)	(10 5 32)
Рекуррентное соотношение (10.5.31) является точным, при малых зна-
чениях Мп оно может быть упрощено так же, как в рассмотренных вы-
ше примерах, но в данном случае мы пока не будем этого делать, чтобы
проиллюстрировать, что отказ от подобных упрощений исходных ре-
куррентных соотношений практически не приводит к усложнению рекур-
рентных соотношений для оценок.
Дополняя неизвестным параметром fj, получим вектор 0„=
р}, задающий полную совокупность оцениваемых параметров, для
которого
(10.5.33)
(10.5.35)
Кроме того,
(10.5 36)
236
Подставляя эти значения в выражения (10.4.22), получаем систему
рекуррентных соотношений, определяющих оценки интересующего нас
параметра и неизвестного коэффициента р:
' е ^л-1Л(л
- Iе
(10.5.37)
?Л-,
Г Т ^Л-1Л^
Хп -- Ад _ , С____
З2л
р(11)у(12)
п п
р(12)р(22)
__________________________О2п___________________________________
З2п + рл + е^п- >А,Л [Г<4> - 2Х„_ ,4^2’ +^„_ ,
р„+	1Г<’Д -2kn.^tnr^\ +	-
+ Д,_,л/2пг^> ]	-Г„_
,-^п [Г(Ы) _Тп_	J	Г(22) + 1 [рпГ(22) +
+ ^п-^п (Г^'Г^’-Г^)!
(Ю.о 38)
Эти рекуррентные соотношения задают алгоритм оценивания пере-
менного параметра Хп, определяемого линейным стохастическим урав-
нением (10.5.28) с неизвестным коэффициентом р.
Рассмотрим поведение этих рекуррентных соотношений на началь-
ных шагах, полагая, что всякие априорные данные о начальных значе-
ниях отсутствуют. С учетом этой полной априорной неопределенности
положим
X,= 0, 2о = О, r<in = lf2)=oo, Г<12) = 0.	(10 5 39)
Равенство Г^11* = Гд22) =оо означает, что мы допускаем сколь угодно
большой разброс значений Хо и р (конечно, вместо бесконечности мож-
но положить эти элементы матрицы Го равными каким-либо достаточно
большим числам), равенствоГ^12* = 0 означает отсутствие статистиче-
ской взаимосвязи между Хо и р, i е также соответствует наибольшей
степени априорной неопределенности начальных условий.
Подставляя (10.5.39) в рекуррентные соотношения (10.5 37),
(10.5.38), будем иметь для первого шага:
£=0,	Г;12»=0, Г*22’= оо (10 5.40)
и аналогично для второго шага
(22)_ °2i+ Д2г + Ра
2 ~	Д^2Х2,
(10.5.41)
Начиная со второго шага, все элементы матрицы становятся конеч-
ными и алгоритм вырабатывает ненулевые оценки обоих параметров. При
дальнейшем увеличении п элементы Г^|2) и Г^22) матрицы Гп убывают (при
больших п как 1/п), а элемент Г^1* (по крайней мере при з2п —const и
Д£п — const) стабилизируется и стремится к постоянному значению.
237
На этом примере наглядно видно, что процесс адаптации практи-
чески заканчивается за конечное число шагов и может быть оборван
при достижении некоторой, практически удовлетворительной для дан-
ной задачи точности оценки «мешающих» параметров, введенных для
описания априорной неопределенности. Действительно, из соотношений
(10.5.38) следует, что если выполняется приближенное равенство
Р„ + e“2V	[Г<“ > - 22„_,ХД
Рл е-2?л-	>,	(10.5.42}
то очередное и последующие значения элемента Г(11) матрицы г„ могут
быть вычислены без обращения к значениям элементов Гл12) и Г^22), а
оценка параметров р в первом из рекуррентных соотношений (10.5.37) и
в рекуррентном соотношении для Г^Н) может быть заморожена. Эта воз-
можность является следствием того, что дальнейшее уточнение значе-
ния параметра р в силу (10.5.42) никакой пользы не принесет
с точки зрения возможности увеличения точности оценки значения
Хи. Таким образом, при выполнении (10.5.42) имеется вполне законная
возможность, начиная с соответствующего шага, перейти от адаптивно-
го алгоритма оценивания Хи, определяемого системой рекуррентных со-
отношений (10.5.37), (10.5.38), к обычному неадаптивному байесову
алгоритму оценивания, который включает в себя первое из рекуррент-
ных соотношений (10.5.37) и рекуррентное соотношение дляГ^11', полу-
чающееся из (10.5.38) при Гл12) = Гл22) = 0.
Это обстоятельство, конечно, характерно не только для данного
примера, но представляет собой общую закономерность. Если вернуть-
ся к общим рекуррентным соотношениям (10.4.21), (10.4.22), предста-
вить матрицу Гп в виде
(10.5.43}
и рассмотреть рекуррентное соотношение для подматрицы гп которое-
входит в систему рекуррентных соотношений (10.4.22), то при некото-
ром п это соотношение становится практически независимым от соот-
ношений для остальных подматриц. Тогда, начиная с этого п, можно
отказаться от уточнения параметров а и 0 и перейти от полного адап-
тивного алгоритма оценки Хп к алгоритму с замороженными значения-
ми параметров аир, поскольку дальнейшее их уточнение практически1
не приводит к увеличению точности оценки Хп. Это означает, что после
некоторого числа шагов адаптивный алгоритм оценивания совпадает
с байесовым, который получается из (10.4.21), (10.4.22}, если, начиная
с некоторого п, в этих соотношениях считать все элементы матрицы Гп„
кроме элементов подматрицы Гп п, равными нулю.
238
Критерием выбора момента перехода с адаптивного на неадаптивный
алгоритм оценивания является равенство с заданной степенью приближе-
ния матрицы гл t вычисленной по полным рекуррентным соотношениям
(10.4.22), и матрицы г„0)и, вычисленной, при замене всех элементов мат-
рицы Гл1 для предыдущего шага, кроме элементов подматрицы гл_1, п»
нулями. При этом степень приближения Гя u к выбирается '^исходя
из допустимого отличия по точности алгоритма с замороженными приб-
лиженно оцененными значениями а и ₽ от чисто байесова алгоритма с
известными значениями аир.
Возвращаясь снова к рассматриваемому здесь примеру, приведем
выражение для ошибки измерения кп при достаточно больших п, когда
становится справедливым равенство (10.5.42). При этом в случае о2п=
=<j2=const и A/m=A/=const достигается режим измерения с устано-
вившейся ошибкой, дисперсия которой определяется выражением
= Л=[(|/ (а’ + -£)	- (а’+5г)] •
(10.5.44)
При рд£<1 и а,= 1/КД£ > р/2р, т. е. при большой (по сравнению с
дисперсией процесса X(f)) дисперсии единичного замера о2=1/КА/, из
(10.5.44) получается установившееся значение дисперсии ошибки изме-
рения
= Л = (/FR? - Ж- (10.5.45)
которое соответствует процессу наблюдения x(t) с непрерывным време-
нем, когда	a ^(f)—«белый» шум со спектральной
плотностью 1/К.
В заключение, чтобы показать единство алгоритмов обучения по
“ предварительным данным наблюдения и адаптации в процессе приня-
тия решений, рассмотрим на этом примере случай, когда процесс полу-
чения данных начинается с наблюдения значений Xi............. чистой
реализации процесса Х(/). Пусть для т=1........по в отличие от (10.5.30)
(10.5.46)
Это означает, что для этих значений v в (10.5.37), (10.5.38) нужно про-
сто положить о2„=0. При этом из (10.5.38) следует:
pill)
Г(11) = о, 4-=1;
n	S2n
р(12)_д ?п2>_____ __ [ехР (
"	’	°1л ””	P/.+ lexpl-S^-.Af,.)]
Г<22) -------------,	(10.5.47)
ря+ [ехр (— 2^п_,Д/п)] Лгя-1Л<2яГ^|
а рекуррентные соотношения (10.5.37) принимают вид
1=	-Г<22>	[х„ - x„_t ехр(- fc_,AQ]. (10.5.48)
239
Факта чески вычисления производятся только по второму и по последне*
му “ИЗ рекуррентных соотношений (10.5.47), в котором Xn-i заменяете
ЙЙ‘Хп-1.
Начиная С л=Ло+1, когда хп4определяется согласно (10.5.30) т. <е.
появляются помехи, маскирующие истинное значение Л, осуществляется
переход на рекуррентные соотношения (10.5.37), (10 5.38) Если, кро
ме того, при n^=tio выполняется соотношение (10 5 42), которое в дан-
ном случае благодаря равенствам Хи=хи и Г^11) = Гу2) =0 принимает
вйд
р„ + [ехр(-	р„.	(10 5 49)
1 е. при
г,в, ч[ехр(,₽г.ди _ и. (10 5 30)
1	УХ п- -^1 п
то при переходе к рабочим тактам оценки значении кп (п—Ло+1, ло +
+2, . . .) по значениям хп из (10.5.30) можно Закончить процесс адап-
тации .(уточнения оценок параметра р) и произвести оценку значений
с помощью байесова неадаптивного алгоритма (при Г”2) = П22)с= 0), ко-
торый имеет вид
= ^-1ехр(-£ди + (Г<П)/о2„)[х„- £„_,ехр(-^оду, (10.5 51)
J.UI) _ в2»	+ (ехр 2^»А/'г)) гп-11	(10 5>52)
4	“ а2„ + р„+[ечр(-2?;оЛ^)]Г(г”)1
с начальными условиями
£	, Г'П) =0.	(10.5.53)
Пример показывает, что особой необходимости как-то выделять этап
обучения нет Основной алгоритм (10.5,37)), (10.5.38) примера и общие
рекуррентные соотношения (10.4.21), (10.4.22) естественно учитывают
этот этап простым изменением параметров приведенных рекуррентных
соотношений (в данном случае — величины сг2и).
10.6.	АДАПТИВНЫЕ СИСТЕМЫ УПРАВЛЕНИЯ
Рассмотрим теперь несколько задач, в которых множества решений
U и параметров А. определяющих величину потерь, имеют разную
структуру. Примеры подобного рода постоянно встречаются При синтезе
систем управления, когда решением является выбор управляющего воз-
действия, а потери зависят от координат управляемою объекта. Итак,
йусть имеется объект управления, вообще говоря, нелинейный, описы-
ваемый следующим рекуррентным соотношением:
«n-Р р).	(10.6 1)
где — вектор, задающий состояние объекта на л-м шаге; un_i —
управляющее воздействие на (л—1)-м шаге, перейодящее объект из
состояния Хи-1 на (л—1)-У1 шаге в состояние Хп на л-м шаге; 0 — сово-
240
купность неизвестных параметров, характеризующих неполноту априор-
ного Описания объекта из-за ограниченного знания его структуры и
характеристик, fn(Xn-i, un_i, 0) — известная функция состояния объек-
та, управляющего воздействия и совокупности неизвестных параметров.
Простейшим примером (10.6.1) является линейная система, описы-
ваемая соотношением
(10.62)
где С — квадратная матрица того же порядка, что и вектор ln-i; В
прямоугольная матрица с числом столбцов, равным размерности векто-
ра un-i. Если об этой системе ничего, кроме ее линейности, неизвестно,
то совокупность параметров 0 включает все элементы матриц С и В
В общем случае ограниченного знания ее характеристик можно пред-
ставить матрицы С и В в виде функций от некоторого количества па-
раметров 0.
Естественно, что при переходе к непрерывному времени рекуррент-
ные соотношения (10.6.1,) или (10.6.2) заменяются соответствующими
дифференциальными уравнениями.
Пусть цель управления заключается в том, чтобы на каждом п-м
шаге минимизировать некоторую функцию, зависящую от состояния
объекта на этом же шаге и, возможно, от велйчины выбираемого
для достижения этого состояния управляющего воздействия un-i. Обо-
значим эту функцию через gn-i(^n, un-i). Кроме того, будем считать,
что управляющее воздействие un-i не произвольно, а может выбираться
из заданной ограниченной области Un. \. Описанная цель управления
соответствует локальному критерию оптимальности, при котором выбор
управляющего воздействия на каждом шаге осуществляется независимо
от остальных шагов. К этому случаю иногда сводится и требование
глобальной оптимальности системы, если только функция потерь, 'зави-
сящая от состояний объекта и управляющих воздействий, на всех шагах
обладает свойством сепарабельности, например, аддитивна, т. е.
^(Xi, но; К, и ; ...; 1„, u„_,;	=	(\. uv -)-
а возможные ограничения на совокупность управляющих воздействий
u0, Ui, .. ., un-i, • . разбиваются на совокупность ограничений на от-
дельные значения un_i. Используя общие уравнения динамического про-
граммирования (гл. 2), можно показать, что при некоторых ограниче-
ниях на вид^у1 (1г uvl) и уравнения (10.6.1) управляемый многоша
говый процесс принятия решений разбивается на совокупность незави-
симых решений на отдельных шагах, т. е. соответствует требованию
локальной оптимальности.
Функция потерь gn-t(h-n, un_i) в зависимости от требований к си-
стеме управления может иметь различный вид. Если, например, требу-
ется, чтобы на на n-м шаге состояние объекта было наиболее близким
к некоторому заданному состоянию 72О) и мера близости задается квад-
ратичной, то
gn-A^>	О- (Ю.б.з>
16—8 99
241
где gn-i — некоторая матрица того же порядка, что вектор Хп. В этом
случае функция потерь gn-i(Xn,Un-i) зависит от un_i только неявно,
посредством зависимости от un-i вектора состояний объекта кп- Если
реализация управления влечет за собой определенные затраты, зави-
• сящие от величины выбираемого управляющего воздействия, то функ-
ция потерь будет явно зависеть и от un-i, например:
gn-AKv u„_,) = (Xn-	+	(10.6.4)
.где слагаемое cn-i(un-i) учитывает затраты, связанные с выбором
управляющего воздействия un-i-
Выбор управляющего воздействия un_, осуществляется с использова-
шием последовательности данных наблюдения х,......хп_,, где каждая из
наблюдаемых величин х, (в общем случае векторная) зависит от состоя-
щий объекта управления \ на v-м шаге и имеет плотность распределения
вероятности
^(х,|Л¥) = Р (Х,|Ь,,<Х).	(10.6.5)
также в силу имеющейся априорной неопределенности зависящую от со-
вокупности неизвестных параметров а. В практических задачах х, чаще
всего представляет собой результат измерения состояния объекта 1, на
v-м шаге с некоторыми ошибками измерения, т. е.
х,= *, + Д,.	(Ю.66)
.где Av—ошибка измерения, статистические свойства которой известны не-
полностью и могут быть описаны только с помощью распределения
вероятности, зависящего от совокупности неизвестных параметров а.
Согласно общим правилам теория решений выбор оптимального
решения — управляющего воздействия un — осуществляется минимиза-
цией апостериорного риска, т. е. функции
(u„, Х„) = М {g^n+v u„) (Х„},	(10.6.7)
-где Xn={xi, ..., Хп} — вектор, описывающий совокупность полученных
за п шагов данных наблюдения, а минимизация (10.6.7) производится
по значениям un, принадлежащим к области Un, соответствующей за-
данным ограничениям на управляющее воздействие. Подставляя
в (10.6.7) значение Хп-ц из уравнения (10.6.1), описывающего состояние
объекта управления, будем иметь
Rn (u„, Х„) = М {gn (f„+, (Х„, u„, 3), u„) [ Х„}.	(10.6.8)
Из этого выражения видно, что для получения апостериорного риска
шужно усреднить функцию потерь по апостериорному распределению
вероятности для вектора Хп, описывающего состояние системы на и-м
.шаге, при заданном значении вектора Хп, описывающего имеющуюся
совокупность данных наблюдения. При этом имеется в виду, что для
всех предыдущих шагов задача уже решена и соответствующие управ-
.ляющие воздействия uo, ui, ..., un-i выбраны.
При наличии априорной неопределенности апостериорное распреде-
ление вероятности Хп зависит от неизвестных параметров а, 0. Допол-
242
няя, как в § 10.4., вектор Хп этими параметрами и вводя обозначение для
их полной совокупности е„={Хп, ап, ₽п}, где ап=а; ₽»=₽, будем иметь
Rn (u„, Xn) = М {gn (fn+I (0„, u„), u„) | Xn},	(10.6.9>
где
fn+I(en.u„)=f;+l(xn,un,₽n).	(Ю.6.10)
В тех же приближениях, что в § 10.4 (при гауссовой аппроксимации
апостериорного распределения вероятности), после вычисления услов-
ного математического ожидания в (10.6.9) и предполагая, что функция
потерь g'nfZn+i, un) дважды дифференцируема по Xn+i, получаем
(un. Xn) = Rn (u„, 0„) = gn (f„+, (0„, u„), u„) +
+ ’/2Sp в;’фтп+1 [vxvTxg„ (fn+l (©„. и„), u„)] ф„+1, (Ю.6.11),
где Vx — оператор градиента по первому аргументу функции потерь
g„(Xn+1, ura); — оценка совокупности параметров 0„; 0“*—апостери-
орная корреляционная матрица этой совокупности;
+ 1	ФлГ+1 (®n> un)   Vg^+l un) I й •
(10.6.12}
Оценка 0„ и матрица 1 (или определяются по рекуррентным соот-
ношениям (10.4.21), (10.4.22), в которых в соответствии с видом урав-
нения (10.6.1) следует положить /?П(0)=О. При этом, вычисляя оценку
0П на n-м шаге, в правой части этих рекуррентных соотношений, кото-
рая зависит от предыдущего значения управляющего воздействия un_i
посредством вектора <pn(0n-i) (10.4.18)
<₽n(0n-1)=<₽n(0n-P u„_,) =
fn(^n-l> un-l> ₽n-l)
«П-1
₽n-l
следует положить un-i равным тому значению управляющего воздей-
ствия, которое уже выбрано на (п—1)-м шаге.
Само выражение (10.6.11) получается путем разложения функции
потерь gn(fn+i(0n, u„), un) в ряд Тейлора в окрестности точки 0П=
=0П по степеням малой разности 0„—0П и интегрирования этого ряда
с гауссовым распределением вероятности для разности 0П—0П с от-
брасыванием после интегрирования членов четвертого и более высоких
порядков малости.
Последним этапом в решении задачи является выбор оптимального
значения управляющего воздействия un путем минимизации (с учетом
имеющихся ограничений) явно зависящего от un выражения для апо-
стериорного риска (10.6.11). При этом часто второе слагаемое (по край-
ней мере асимптотически, когда с ростом числа шагов матрица D“’
стремится к нулю) является малой поправкой к величине функции по-
терь gn(fn+i(0n, Un), Un). В этом случае выбор и„ соответствует зна-
чению, минимизирующему функцию потерь, в которой значения векто-
16*	243.
pa Zn, характеризующего состояние управляемого объекта, и параметра
Р, введенных для описания неопределенности свойств этого объекта,
заменяются их оценками, вычисленными по имеющимся данным наблю-
дения по рекуррентным соотношениям § 10.4. Зависимость оптимально-
го управляющего воздействия un от и рп при этом получается точно
такой же, как зависимость и„ от и р в полностью детерминирован-
ной задаче, когда значения и р на каждом шаге точно известны.
Это приближение для апостериорного риска, т. е.
Rn (u„, Х„) = Rn (u„, 0„) == gn (f„+1 (в„, u„), u„),	(10 6.13)
справедливое при	—<• 0, наиболее удобно с точки зрения решения за-
дачи минимизации апостериорного риска по un, но может оказаться
сравнительно грубым. Более точным является приближение, в котором
только оценки параметров аир считаются точными и учитываются
ошибки оценки состояния объекта Zn. При этом соответствующие бло-
ки матрицы D' в (10.6.11) заменяются на нули и в результате имеем
еще одно приближение:
Rn (««- Х„) = Rn (и,г, ©„) « gn (f„+t (©„, u„), u„) 4-
+ ’/2SpD;Inor„+I> jvxvxg(f„+J(en. «J- МФ„+1. v <10-6-14)
где D~’u — подматрица матрицы D~’ для компонент вектора а
Фл-г1.х=¥Хяи,(Ч> ип, Р),	.	(10.6.15)
Это приближение за счет уменьшения порядка матриц во втором сла-
гаемом проще (10.6.11) с точки зрения решения задачи минимизации
Un-
10.6.1.	Управление линейным объектом
Рассмотрим пример адаптивного управления многомерным линей-
ным объектом с целью удержания его в заданном состоянии, которое
задается последовательностью значений xj0), .. , к(0), ... Будем считать,
что потери, связанные с отклонением от этого состояния, задаются квад-
ратичной функцией (10.6.3), а сам объект описывается уравнением
(10.6.2), в котором матрица С полностью неизвестна, а матрица В=1.
Апостериорный риск (10.6.11) в данном случае имеет следующий
вид:
Rtl (ti„, в„) =(Z^t - C„X„~ № (С ~	- и«)	(6«). (Ю.6.16)
где последнее слагаемое не зависит от un и представляет собой мини-
мальное (при отсутствии ограничений на un) значение апостериорного
риска, зависящее от оценок вп={Х„, ап, Сп} и апостериорной корреля-
ционной матрицы. Для нахождения оптимального управляющего воз-
действия цР это слагаемое не имеет значения.
244
Входящие в (10.6.16) оценки определяются рекуррентными соотно-
шениями (10.4.21), (10.4.22) при /^п(вп-1)=0 и
Сп-Дп-i+un- 1	‘
«П-!
О Ф„
n.Xg
I о »
О I
(10.6.17)
к„, XX К„, Ха 0
К„-
К„, аХ К„,аа О
ООО
где совокупность всех элементов матрицы С представлена в виде век-
тора-столбца р, в котором сначала идут по порядку элементы первой
строки матрицы С от первого до последнего, а затем — второй строки
и т. д. При таком обозначении для совокупности элементов матрицы С
входящая в (10.6.17) матрица Ф„ имеет столько же строк, сколько
вектор 1, и число столбцов,
ляется в следующем виде:
равное квадрату числа строк, и представ-
Ф , =-
w/l, 13
XV,	о о ... О
о о	...	о
(10.6.18)
Фп (©„-.) =
0 0 о ... vn_,
где каждый нуль есть строка из нулевых элементов той же длины, что
вектор X.
После того, как значения оценок и Сп для п-го шага получены,
можно выбрать оптимальное управляющее воздействие un. При отсутст-
вии ограничений на п„ минимизация апостериорного риска (10.6.16) про-
изводится элементарно и оптимальное управляющее воздействие un
получается равным
(Ю.6.19)
При этом отклонение состояния объекта управления от заданного со-
стояния равно
д •= 1 _ z<0’ = СГ - С„7„
/7^1	Пт1	П4-1	П	ПИ
(10.6 20)
и целиком определяется точностью оценивания состояния объекта
на п-м шаге и характеристик объекта, задаваемых матрицей С.
Если заданы некоторые ограничения на вектор пп то оптимальное
управляющее воздействие будет отличным от (10.6.19). Пусть, напри-
мер, эти ограничения имеют вид
u\Q„u„<l,	(10 6.21)
где Qn — некоторая матрица, г. е. ограничивают выбор управляющего
воздействия un внутренними точками области, имеющей форму эллип-
соида, соответствующего матрице Qn. Минимизируя (10.6.16) по un
245
с учетом ограничивающего условия (10.6.21), получаем, что оптималь-
ное управляющее воздействие ип имеет вид (10.6.19), если
(Х'°> - С„ V Qn (С - СЛ) < 1.	(10.6.22)»
а если неравенство (10.6.22) не выполняется,
’g„(С”	(Ю 6.23)
где множитель р. зависит от	и определяется из уравнения
(С-Cnknygn(^n+gn)-IQn(^n+gn)-1gn(^ -С„Ч)= 1- (Ю.6.24)
В частном случае, когда gn—I, a Qn=<7nl,
un= yL--------	(10.6.25}
Vqn / (^°ji - 6Х)Т	еХ)
Этот последний случай соответствует заданию ограничений на область
возможных значений un в виде внутренности сферы радиусом 1/К?»
10.6.2.	Стабилизация скорости движения объекта при наличии
сил сопротивления
Рассмотрим задачу стабилизации скорости объекта, на который
действует постоянное ускорение и ускорение, обусловленное силами
сопротивления и зависящее от квадрата скорости. Задачу измерения
скорости такого объекта при отсутствии управляющего воздействия мы
рассматривали в п. 10.5.2 в предположении, что величины постоянного
ускорения а и коэффициента сопротивления b неизвестны. Пусть теперь
к тому же объекту приложено управляющее воздействие. Тогда уравне-
ние, описывающее изменение состояний объекта, — скорости Vn —
в соответствии с (10.5.19) будет иметь вид
Vn = Vn_,	- йГп_1Д/„ + «„_1,	(10.6.26)
где un-i — управляющее воздействие, имеющее смысл приращения ско-
рости, сообщаемого объекту за время Д/п. Целью управления является
стабилизация скорости объекта около заданного значения W с мини-
мальным среднеквадратичным уклонением. Кроме того, будем считать,
что затраты на реализацию управления величиной ип характеризуются
некоторой функцией с(мп), имеющей ту же меру, что квадрат отклоне-
ния скорости от заданного значения. Таким образом, будем считать,
что функция потерь имеет вид
gn (*га+1. ««) = (Ип+1 - У<0))’ + с (ип).	(10 6 27)
Оценки = {Vn, ап, Ьп} — скорости Vп и параметров а и b опреде-
ляются рекуррентными соотношениями п. 10.5.2, в которых в соответст-
вии с переходом от (10.5.19) к (10.6 26) следует заменить Кя_,-|-а Д^ —
— К-Угп-^п на	— Ьп-У\-№п	а апостериорный
риск (10.6.11) определяется выражением
246
Rn К- e„) =(P„+ anMn+l-\V\Mn+l +un - V^y^c(un) + Rn (§n),
(10.6.28)
где слагаемое J?n(©n) не зависит от ип и не влияет на выбор опти-
мального управления ип-
Если функция с(мп) дифференцируема, то оптимальное значение
ип выбирается из уравнения
Pn+a„A/n+t -	- VW +«„ + -А-	= 0, (10.6.29)
которое в зависимости от вида функции с(мп) может быть решено ана-
литически или численно. Так, например, если затраты на реализацию
управления линейно зависят от величины приращения скорости, сооб-
щаемого объекту, т. е. с(ип)—2сип, то
Un = V^-c-Vn-anMn+l^nV\Mn+l.
Если с(ип) — си*п, то
un = (V<‘> - V-an^tn+l+bn?\Mn+1)l(l 4-с).
(10.6.30)
(10.6.31)
и т. д. Если функция с(мп) недифференцируема, то отыскание миниму-
ма апостериорного риска несколько усложняется, однако из-за просто-
ты его функциональной зависимости от ип не ведет к сколь-нибудь
серьезным трудностям. В любом случае оптимальное управляющее воз-
действие м„ является функцией только от величины
<”= у(., _	bnV'nbtn+1,
которая представляет собой оптимальное управляющее воздействие при
отсутствии ограничений и нулевых затратах на реализацию управления
(с(мп)=0). Пусть, например, затраты на реализацию управления опре-
деляются следующей разрывной функцией:
P(«J=(° "Р" |“л-=“.
И при |«»|
Тогда оптимальное значение ип будет следующим:
(10.6.32)
(0)
Un
при
(10.6.33)

и.

при «,<|«;
при и,+ Кё’<1«*0)|.
(10.6.34)
т. е. является линейно-ломаной функцией м*0).
Наряду или вместо задания затрат на реализацию управления
в виде аддитивной добавки с(мп) в функции потерь (10.6.27) могут
быть заданы ограничения непосредственно на область допустимых зна-
чений ип. Пусть, например, с(мп)=0, а управляющее воздействие ип
может выбираться равным только одному из трех возможных значений
и0, 0, —«о, где мо — некоторая константа. Эти ограничения соответству-
ют, например, случаю, когда тяга двигателя, используемого для стаби-
лизации скорости объекта, постоянна; интервалы	одинаковы,
247
а управление осуществляется путей включения или невключения двига-
теля и реверсирования направления тяги. Оптимальный закон управле-
ния в данном случае принимает вид
	0	при	ю	< ’Mol
ип =	«0	при		>	2^0’
	-и.	при	<<	„	/ 2U0
(10.6.35)
и также зависит только от значения из (10.6.32).
10.6.3.	Обобщение для управляемых объектов, испытывающих
случайные возмущения
Рекуррентное соотношение (10.6.1) описывает объект управления,
состояние которого на n-м шаге однозначно определяется состоянием
на (п—1)-м шаге и совокупностью неизвестных параметров 0. Несом-
ненно, что реальная действительность гораздо разнообразнее и в общем
случае состояние управляемого объекта на п-м шаге связано с его
состоянием на (п—1)-м шаге не детерминированной зависимостью
(10.6.1), а вероятностной, которая может быть описана условной плот-
ностью вероятности
₽)•	(Ю-6.36)
зависящей также от управляющего воздействия un-i и совокупности
неизвестных параметров 0. Примером, когда приходится прибегать
к более общему статистическому описанию (10.6.36), является управ-
ляемый объект, испытывающий случайные возмущения, для которого
состояния на последовательных шагах вместо (10.6.1) связаны рекур-
рентным соотношением
Ч =	0)-Н„,	(10.6.37)
где |п — некоторое случайное возмущение с корреляционной матрицей
₽),	(10.6.38)
возможно, зависящей от Хя_1; un-i и 0. Функция fn(Zn^1, un-1, 0) при
этом является условным математическим ожиданием состояния объек-
та на п-м шаге, т. е.
₽)	,	(10.6.39)
Определяя эту функцию именно таким способом, а также матрицу р„
(10.6.38) как условную корреляционную матрицу
М {(!„ - f„) (Ч- f„)T| V.} м {UTJ = РЛ- ₽), (10.6.40)
получаем статистическое описание для случайного процесса изменения
состояний объекта кп, полностью аналогичное тому, которое было ис-
пользовано в § 10.4 для общей задачи измерения переменных параме-
тров. Отличие заключается лишь в том, что условное математическое
ожидание и, вообще говоря, условная корреляционная матрица зависят
от управляющего воздействия un_t на (п—1)-м шаге.
Дальнейшее решение задачи выбора оптимального решения —
управляющего воздействия ия— не отличается от рассмотренного в на-
248'
чале этого параграфа. Полностью сохраняется основное, выражение
(10.6.11) для величины апостериорного риска, минимизацией которого
производится выбор оптимального управляющего воздействия. Отличие
от ранее рассмотренного случая управления детерминированным объек-
том имеется только в алгоритме формирования оценок 0„={Х„, ап, fk},
который в данном случае определяется полными рекуррентными соотно-
шениями (10.4.21), (10.4.22) с ненулевой матрицей Rn, равной

Pn(^n-1> un-l’ ?К-1) б О
О	0	0
0	0	0
(10.6.41)
Все остальные процедуры по минимизации апостериорного риска
(10.6 11) и выбору оптимального управляющего воздействия un вы-
полняются так же, как в случае детерминированного объекта.
10.7.	АДАПТИВНАЯ ЗАДАЧА ВЫДЕЛЕНИЯ РЕСУРСОВ
Адаптивные правила принятия решений особенно существенны в та-
ких задачах, как планирование, распределение ресурсов, организация
экспериментов, проведение разработок проектов и т. п. Как правило,
на практике любая из подобных задач сопровождается некоторой апри-
орной неопределенностью, а критичность к выбору решения велика и
даже сравнительно небольшое отклонение от оптимального решения
приводит к довольно серьезным последствиям и большим потерям.
С целью иллюстрации применения развитых выше методов синтеза
в условиях априорной неопределенности рассмотрим простой пример
задачи принятия решения о величине выделяемых ресурсов.
Пусть задачей решения является выбор величины и, характери-
зующей количество ресурсов, выделяемых для достижения той или иной
цели (энергия излучения радиолокатора в единичном зондировании при
обнаружении цели, денежных средств на проведение эксперимента
ит д ). Будем считать, что реализация поставленной цели, помимо
выделяемых ресурсов, зависит от некоторых случайных факторов, влия-
ние которых тем больше, чем меньше выделено ресурсов. Во многих
задачах это влияние можно описать следующим образом: имеется не-
который уровень X, такой, что если количество выделенных ресурсов и
меньше X, то поставленная цели вообще не достигается, причем величи-
на этого уровня является случайной. Обозначим потери, являющиеся
следствием недостижения поставленной цели, через g0 и будем считать,
что они измеряются в тех же единицах, что ресурсы и. Тогда полная
функция потерь слагается из затрат на выделяемые ресурсы и потерь
от возможного недостижения поставленной цели и может быть записа-
на з виде
Пусть X имеет распределение с плотностью р(Х). Тогда ожидаемые
потери — средний риск — равны
R(u) = M{g(u, l)} = u-\-gt С p(l)dX
(10,7.2)
249
и оптимальное значение и находится минимизацией этой функции по и
с учетом имеющихся ограничений на допустимые значения и. Функция.
R(u) всегда дифференцируема по м, поэтому оптимальное значение
и—«о находится из уравнения
goP(uo)=1,	(10.7.3)
если
g.max р(и)5^ 1,	(10.7,4).
где U — заданная область допустимых значений и, и
«о—0,	(10.7.5).
если g, шах/»(«)< 1, т. е. при невысокой стоимости потерь от недости-
жения поставлеииой цели.
Если значение м=м0 определяется из (10.7.3) неоднозначно, то-
требуется дополнительное исследование прямым сопоставлением зна-
чений R(u) из (10.7.2) для различных решений уравнения (10.7.3).
Особый случай представляет распределение с равномерной плотностью,
когда решение уравнения (10.7.3) не определено. В этом случае мини-
мум среднего риска (10.7.2) достигается при
(0	при	g„< а,	/1П ~
и,= \	r	•	(10.7.6).
1а	при	g, >а,
где а — верхняя граница интервала, в котором сосредоточено равномер-
ное распределение X. Любопытно отметить, что оптимальное решение не
зависит от положения нижней границы b этого интервала или ширины
равномерного распределения а—Ь. Минимальный средний риск Л(«о)
для равномерного распределения равен
/?е = /?(Ив) = М’ при ё'<а'	(10.7.7).
(а [при g„>a
и также не зависит от значения Ь.
До сих пор мы рассматривали чисто байесову задачу. Пусть теперь-
из-за имеющейся априорной неопределенности распределение вероятно-
сти % неизвестно и задано только с точностью до некоторых неизвестных
параметров а, т. е.
р(Х)=Р(Л|а).	(10.7.8)
Тогда корень уравнения (10.7.3) «o=«o(a) также зависит от а и, сле-
довательно, оптимальное решение тоже неизвестно (мы опускаем три-
виальный случай, Korflag,max Р(м|а)<1 при всех а и оптимальное-
решение «о=О). В случае равномерного распределения таким неизвест-
ным параметром является верхняя граница интервала а, определяющая
правило решения (10.7.6). Заметим, что значение нижней границы Ь,
которая не влияет на структуру правила решения, не является сущест-
венным параметром и ее незнание не вносит априорной неопределенно-
сти в решение задачи.
Воспользуемся для выбора решения и адаптивным байесовым под-
ходом, предположив, что к моменту принятия решения имеется совокуп-
ность данных наблюдения x={xt, .. ,,хп], где каждое xv (v=l, ..., «)»
250
.представляет собой выборочное значение величины с плотностью рас-
пределения P(xv[a), т. е. распределено так же, как X. Тогда в соот-
ветствии с общими правилами адаптивного байесова подхода правило
решения определяется следующим образом:
ип = и<1(а*п).	(10.7.9)
.где «о(а)—значение и, которое обращает в минимум средний риск
R(u)—R(u, а) при данном значении а (решение уравнения (10.7.3) при
,р(Х) из (10.7.8)), а a*n — оценка максимального правдоподобия, по-
дстроенная по совокупности данных наблюдения x={xi, ..., хп}, которая
•определяется по общим правилам гл. 7. Естественно, что при выполне-
нии условий сходимости оценки а*п к истинному значению а правило
решения (10.7.9) сходится к оптимальному байесову правилу с извест-
ным значением а, а средний риск правила (10.7.9) — к минимальному
•среднему (байесову) риску.
Рассмотрим до конца пример с равномерным распределением %.
В гл. 7 было показано, что оценка максимального правдоподобия для
параметра а (верхней границы интервала равномерного распределе-
ния) определяется выражением
а*„ = шах{х1...х„}.	(10.7.10)
Подставляя ее в (10.7.6), получаем следующее адаптивное байесово
правило выделения ресурсов:
, „.	[	0	а. <гпах{х,...х,},
и = и =и — 1	So 1 1 nf (10 7.11)
(max{xI( ..., хп} g-0 > max {хр . хп].
В гл. 7 мы видели, что оценка (10.7.10) является суперэффективной
оценкой параметра а, быстро сходящейся к истинному значению со
•среднеквадратичным отклонением порядка 1/п. Поэтому правило реше-
ния (10.7.11) быстро сходится к оптимальному правилу (10.7.6), а сред-
ний риск — к минимальному среднему риску (10.7.7).
Действительно, величина риска (10.7.2) для правила решения
(10.7.11) при фиксированном значении а*п равна
go	При	(Ю.7.12)
g, + ^n-gt(a*n-b)l(a-b) при a*„<g0,
•где учтено, что оценка а*п из (10.7.10) заключена в пределах
а сама величина а*п в соответствии с результатами гл. 7 име-
ет плотность распределения вероятности
рп (а*„) = п (а*„ - Ь)п~1/(а - &)".	(10.7.13)
Вычисляя математическое ожидание величины R(un) из (10.7.12),
•которая зависит от случайной величины а*п, получим следующее выра-
жение для среднего риска адаптивного байесова правила:
Rn=M{R(u^
go	при ga<b,
=	при b<g„<a, (10714)
fl+ g-°nV~a	ПрИ ^>а-
251
Из сравнения с (10.7.7) видно, что средний риск адаптивного байе-
сова правила при go^b точно совпадает с минимальным байесовым
риском, при b<g0<a добавка к величине байесова риска сходится
к нулю экспоненциально, как ехр{ п!п[(а—6) / (go—6)]}, а при g0~^a,
т. е. высокой стоимости потерь от невыполнения поставленной цели, эта
добавка сходится к нулю по закону 1/«. Такая быстрая сходимость,
конечно, является следствием существования нерегулярной суперэффек-
тивной оценки для неизвестного параметра распределения вероятности.
В регулярном случае имеет место обычное поведение риска адаптивного
байесова правила, при котором отличие этого риска от минимального
байесова чаще всего имеет порядок 1 /уп.
Глава 11
АДАПТИВНАЯ ПРОВЕРКА ГИПОТЕЗ
11.1.	ВВЕДЕНИЕ
Большое число задач, связанных с информационными системами,
функционирующими при не полностью известной обстановке, сводится
к проверке статистических гипотез. Это широкий класс задач, в которых
основные ситуации, обозначенные выше вектором X, описываются ди-
скретными распределениями вероятностей. В результате существует
обычно конечное заданное число т ситуаций Л, (t=l, .. . иг), каж-
дой из которых нужно сопоставить некоторое решение ut, или, что то же
самое, принять гипотезу Я(, связанную с ситуацией кг. Это делается
на основании наблюдения сигналов х, причем процедуры наблюдения
сигналов и на этой основе принятия решений могут бьпь различными.
Объем наблюдаемой выборки Хи={х1, . . ., х„} может быть задан.
Если х— сигнал (совокупность входных данных) на v-м шаге наблю-
дений, это означает, что задано число шагов, на которых производятся
наблюдения, после чего принимается решение. При переходе к непре-
рывному времени это означает, что задано время Т наблюдения сигна-
ла x(t) до принятия решения. Может применяться процедура последо-
вательного анализа, при которой объем выборки нс задан, решение
может быть принято на любом v-м шаге наблюдений (в любой момент
времени), но в случае отсутствия достаточных данных на v-м шаге
наблюдение может быть продолжено. При принятии гипотезы наблюде-
ние прекращается. Наконец, может иметь место процедура проверки
гипотез, практически применяемая, но нашедшая слабое отражение
в литературе, при которой число шагов наблюдения не фиксируется,
решение принимается на каждом шаге (отказ от принятия решения не
допускается), но на последующих шагах это решение уточняется и мо-
жет быть заменено другими.
Различные процедуры анализа при проверке гипотез соответствуют
разным видам задач и условий работы систем, которые мы обсудим
ниже.
К проверке статистических гипотез сводятся все те задачи, в кото-
рых на основе наблюдений необходимо произвести некоторую классн-
252
фикацию, т. е. определить, к какому из заданных классов распределе-
ний вероятностей относится закон распределения, описывающий на-
блюдаемые сигналы х. К таким задачам относится обнаружение сигна-
лов в шумах или помехах, а следовательно, обнаружение объектов,
связанных с этими сигналами, обнаружение тех или иных разладок при
работе систем. К этому же классу относятся задачи так называемого
распознавания образов. Это распознавание вида сигналов, принимае-
мых в шумах, распознавание букв, цифр, искаженных благодаря тем
или иным обстоятельствам, распознавание объектов, наблюдаемых
оптическими приборами, радиолокаторами, лазерными локаторами и
вообще различными приборами, использующими всевозможные физиче-
ские сигналы, и т. д.
Во всех случаях законы распределения вероятностей наблюдаемых
сигналов, а также ситуаций, в связи с которыми проверяются гипотезы,
могут быть известны не полностью. В большинстве задач вид этих за-
конов известен, но может быть неизвестно то или иное число параме-
тров, от которых эти распределения вероятностей зависят. Как уже
указывалось в гл. 3, в таком параметрическом виде может быть пред-
ставлена достаточно глубокая априорная неопределенность, если только
число неизвестных параметров достаточно велико.
В этой главе мы применим полученные в гл. 6 общие решения к за-
дачам проверки статистических гипотез при не полностью известной па-
раметрически заданной обстановке. При этом разовьем и конкретизи-
руем упомянутые решения для случаев проверки как многоальтерна-
тивных, так и в частном случае двуальтернативных гипотез при
применении различных вышеупомянутых процедур анализа.
11.2.	КЛАССИЧЕСКАЯ ПРОЦЕДУРА АНАЛИЗА
Под классической процедурой будем понимать принятие решения
после наблюдения входных данных, описываемых выборкой заданного
объема Хп={х1; ..., хп], либо в случае непрерывного наблюдения сигна-
лов во времени после наблюдения, вообще говоря, векторной функции
времени х(/)={х!(/), .. ., Xi(t)} на данном интервале (О, Т). Такая про-
цедура имеет смысл в тех случаях, когда принятия решения до оконча-
ния заданного интервала времени не требуется, а после принятия реше
ния совершаются некоторые необратимые операции, так что изменить
решение уже невозможно.
применяя такую процедуру проверки гипотез, найдем оптимальное
правило принятия решений, основанное на адаптивном байесовом под-
ходе (гл. 6) в условиях частичной параметрически заданной априорной
неопределенности. Получим это правило в соответствии с принципами
минимизации усредненного риска (§ 6.5), ибо правило, основанное на
принципе, изложенном в § 6.2, получается из него просто приравнива-
нием единице соответствующих коэффициентов.
Величина X в данном случае представляет собой скаляр, который
может принимать только значения Xi (г=1, . . ., m), где пг — число кон-
курирующих гипотез, так что каждому X, соответствует гипотеза Н t.
Обозначим априорные вероятности гипотез рг, тогда априорная
плотность вероятности ситуаций X может быть записана в виде
m
р(Л) = £ /W-Xj	(11.2.1)
<=ю
253
Если Uj (/’=1, ..т)—принимаемые решения, то функция потерь
_g(u, X, х) может принимать лишь дискретные значения gij=g(Uj, Xt),
которые в громадном большинстве задач от сигнала х не зависят. Ве-
личины gn представляют собой потери при принятии /-го решения в t-й
ситуации.
Допустим, что в каждой t-й ситуации с точностью до параметров
обстановки, выражаемых вектором at, определена плотность вероятно-
сти наблюдаемых сигналов P^Xnlai)1’. Обозначим через а*,(Хп) оценку
максимального правдоподобия параметров щ, т. е. величину, определя-
емую из условия
Л- (Х„ I <) = шахр(. (Х„| аг).	(11.2.2)
(а;)
Плотности вероятности параметров обстановки а, или при невоз-
можности их вероятностной трактовки соответствующие весовые функ-
ции, смысл которых в общем виде обсужден в § 6.5, обозначим ©Да;).
Учитывая доказанную выше оптимальность для рассматриваемой
задачи проверки гипотез нерандомизированной стратегии, мы должны
для нахождения оптимального правила составить усредненный апосте-
риорный риск (6.5.3) и минимизировать его выбором решения Uj. При
этом усредненный апостериорный риск с учетом введенных обозначений
принимает вид
р (Х„, X | а) ш (а) da j dX =
2 SijPi J Pi (Хп I а») <>/ (at) daz 2 SiiPipi <x«)
__ Z—l________________________. =
2 Pi f Pi <Xn I “/) “i (“t) dai
=	X) f
* v*nj t)	Lt?
(Xn)
Применяя обоснованный в § 6.5 приближенный метод вычисления сред-
них по параметрам обстановки плотностей вероятностей для нахожде-
ния Pi(Xn), имеем
Л-(Х„)= j Л (Х»^(а{)Лх^ Л (X„|a*0 at (XJ, (11.2.4)
где
ai (Х„) = а»,- (a*i) (2«)'i/2/det1/2	(11.2.5)
k — число компонент вектора а,, а матрица D, аналогично (6.5.6)
находится по формуле
D---------д*ln^(X"|a<)	= _ v VT 1пЛ(Х„|а,)|	., (11.2.6)
a**1’,	(р, v= 1...li) — компоненты вектора а,-.
Задача минимизации усредненного апостериорного риска (11.2.3)
в приближении (11.2.4) отличается от аналогичной задачи при проверке
многоальтернативных гипотез в условиях полностью известной обста-
Ч Мы не вводим здесь неизвестных параметров априорных распределений для
ситуаций Xt, ибо в рассматриваемом случае наблюдается выборка Хп при реализации
всего одной ситуации. На основании этих наблюдений параметры априорного распре-
деления для ситуаций в принципе восстановлены быть не могут.
254
<новки лишь тем, что вместо априорного распределения ситуаций pt по-
явились величины p'i(Xn) =pidi(Xn), а вместо распределений Pj(Xn)
величины Pj(Xn|a*i). Обычно величины ai(Xn), а следовательно и р'г,
значительно слабее зависят от Хп, чем А(Хп|а*»), и могут быть по-
этому заменены постоянными величинами. Как известно [2], при этом
величины Pi(Xn]a*i) представляют собой набор минимальных доста-
точных статистик для рассматриваемой задачи при произвольных коэф-
фициентах потерь gij и произвольных p'i, т. е. полностью определяют
характер оптимального преобразования сигнала Хп.
Минимизация (11.2.3) сводится к следующему правилу принятия
решения. При наблюдении выборки Хп принимается решение «й, если-
при всех
т	т
3 ^^(Xn)P((Xn|a*0<2	(И-2-7)'
!»1	i=l
Вводя обозначение
an=giipiai,	(11.2.8)'
перепишем (11.2.7) в виде
т	tn
2 aikPi (Х„ | а*г) < 2 aijPi (Х„ | a* ).	(11.2.9)'
Учитывая слабую зависимость а,- от Хп, можно считать ац коэф-
фициентами, ще определяющими вид оптимальной обработки сигналов
Хп, которая, как уже указывалось, определяется набором величин*
А (Хп | a*i). Коэффициенты же ац определяются только при известных
априорных распределениях для проверяемых гипотез и параметров-
обстановки. Впрочем, из результатов гл. 6 следует, что конкретный
вид распределений вероятностей параметров обстановки мало влияет
на обсуждаемые коэффициенты. Что же касается вероятностей рг, то-
их незнание представляет собой обычную априорную трудность [10],
которая может иметь место и при синтезе неадаптивных систем. При
ее наличии может быть применена, например, процедура Неймана —
Пирсона [2, 16].
Правило принятия решений (11.2.9) можно конкретизировать дл>г
различных видов функции потерь. В частности, при часто применяемой
простой функции потерь
g^X-g&i,	(11.2.10)’
где 6,-3— символ Кронекера, это правило принимает следующий вид.
Принимается решение «й, если при всех /=#&
ckPk (Х„ [ a*ft) > CiPj (X | a*/),	(11,2.11 )-
где
cl~-giPiai (7=1.....m).	(11.2.12)-
Таким образом, в данном случае оптимальный алгоритм проверки
гипотез сводится к максимизации взвешенного апостериорного распре-
деления для проверяемых гипотез
gkdkPkPk (Х„ | а*й) = max gja-iPiPi(Х„ | а*;),	(11.2.13>
(/)
255-
причем соответствующие апостериорные распределения составляются
При значениях параметров обстановки, равных максимально правдопо-
добным их значениям при наблюдении данной выборки Хп.
Это эквивалентно составлению совокупности отношений правдопо-
добия
(X„|a*/), i. j---l, , m, (11.2.14)
и сравнению их с порогами
(11.2.15)
Можно, например, попарно составлять отношения правдоподобия
для гипотез с несовпадающими номерами, затем выбранные гипотезы
опять попарно сравнивать между собой с помощью отношений правдо-
подобия и т. д. до выбора одного решения.
В случае необходимости учёта зависимости величин а} от сигна-
лов Х„ обычно бывает удобным сравнивать не отношения правдоподобия
(11.2.14) с переменными порогами (11.2.15), а величины Лгза,/а3 с по-
рогами gjPjIgiPi- Однако это относится лишь к удобству представления
результатов и принципиального значения не имеет.
Особенно удобно пользоваться отношением правдоподобия при
проверке двухальтернативных гипотез, когда т=2, и гипотеза Hi при-
нимается при произвольной функции потерь, если
Л12(Х„) = Л(X ) —	g21-~g-2	(И.2.16)
12' п' v Р2(Хп|а*^) £iS—gn W,	v	’
При выполнении обратного неравенства принимается гипотеза Я2.
Все конкретные критерии оптимальности получаются при различных
способах выбора коэффициентов (i, J=l, 2). В частности, при при-
менении критерия идеального наблюдателя [17, 22], соответствующего
простой функции потерь (11.2.10), условие (11.2.16) принятия гипоте-
зы Н\ принимает вид
Л (Х„) У g^ajg^a. = С12.	(11.2.16а)
Здесь в случае неизвестных априорных вероятностей pi и р2=1-—Pi
в классическом виде может быть применена процедура Неймана —Пир-
сона определения порога С]2 по заданной вероятности ложной трево-
ги [10].
Следует подчеркнуть, что оптимальные правила проверки гипотез,
найденные >в данном параграфе, включают в себя составление по дан-
ной выборке Хп оценок максимального правдоподобия параметров об-
становки, которые имели бы место при всех проверяемых гипотезах,
п применение этих оценок в соответствующих распределениях вероят-
ностей Так, например, при проверке двухальтернативных гипотез по
одной и той же выборке Х„ составляются оценки a+i и «‘"2, соответству-
ющие альтернативным ситуациям. Векторные параметры си и а2 могут
содержать величины, имеющие одинаковый смысл в обеих ситуациях,
например интенсивность или иные параметры шумов, которые во мно-
гих задачах не изменяются в различных ситуациях. Однако эти пара-
метры могут содержать и величины, имеющие даже разный физическии
смысл в различных ситуациях. Такими величинами могут быть, напр1-
мер, параметры сигналов, которые в задачах обнаружения могут при-
сутствовать либо отсутствовать, а в задачах распознавания иметь
разный вид. Тем не менее все эти параметры оцениваются по выборке
256
Хп з предположениях, что эта выборка относится к той или иной ситуа-
ции.
Заметим также, что в оптимальные алгоритмы адаптивной проверки
гипотез входят оценки параметров обстановки, полученные на основа-
нии всей выборки Х„. Это не означает, что нельзя применять рекуррент-
ные алгоритмы построения оценок, полученные в гл. 7. Однако при
применении таких алгоритмов следует использовать оценки, полученные
в последний момент времени. В ряде случаев это вызывает трудности
реализации оптимальных алгоритмов проверки гипотез при работе в
реальном времени. Тогда могут быть применены текущие оценки пара-
метров обстановки в алгоритмах проверки гипотез. Конечно, качества
соответствующих алгоритмов получаются хуже, чем при использовании
оценок по полной выборке сигнала. Впрочем, эта трудность возникает
не всегда.
Напомним, что адаптивные байесовы правила принятия решений,
рассмотренные в § 6.2, отличаются от правил § 6.5 тем, что не произво-
дится усреднения по параметрам обстановки, а неизвестные их значения
заменяются соответствующими оценками максимального правдоподобия.
Нетрудно видеть, что для задачи проверки гипотез это означает лишь
замену Рг(Хп) на А(Хп|а*г), а следовательно, все полученные оконча-
тельные выражения для оптимальных правил принятия решений
остаются в сило, если в них положить все аг— 1 (i—1, 2, ..., т). Соот-
ветственно пороги С,, определяются как
Сг^ёзРз/ёгРъ	(11.2.17)
а оптимальное решающее правило по-прежнему состоит в сравнении
с этими порогами отношений правдоподобия (11.2.14).
В последующих главах, при решении задач обнаружения и распо-
знавания, мы приведем ряд примеров применения полученных правил
принятия решений, соответствующие функциональные схемы, а также
в ряде случаев анализ качества получающихся адаптивных алгоритмов.
11.3.	ПОСЛЕДОВАТЕЛЬНАЯ ПРОЦЕДУРА АНАЛИЗА
При параметрически заданной априорной неопределенности, отно-
сящейся к законам распределения вероятностей наблюдаемых сигналов,
рассмотрим процедуру последовательной проверки гипотез, предложен-
ную А. Вальдом [19]. При применении этой процедуры, как известно,
число шагов (время наблюдения) не фиксируется. После каждого м-го
шага, на котором наблюдается выборка X„={xi, ..., хп} (п=1, 2, ...),
совершается попытка принять одно из возможных результативных реше-
ний и3 (/ = 1, ..., т). Однако, если указанная выборка оказывается
неблагоприятной для принятия результативного решения, допускается
отказ от его принятия и продолжение наблюдения, при котором рас-
сматривается выборка Хп+ь Такой способ анализа применяется тогда,
когда не безразличен момент принятия решений и желательно обеспе-
чить наибыстрейшее в среднем их принятие. Вместе с тем после при-
нятия решения совершается некое необратимое действие, так что про-
должение наблюдений бесполезно и они прекращаются.
Следует подчеркнуть, что все сказанное относится только к про-
цедуре последовательной проверки гипотез, а не к оптимальному
правилу принятия решений. При отсутствии априорной неопределенности
и при независимых наблюдениях хь .  , хп такое правило синтезирова-
17—899	257
но и описано в [6, 9]. Оно сводится к составлению на каждом шаге
наблюдений отношений правдоподобия и к сравнению их с двумя по-
рогами.
Из результатов гл. 6 следует, что при наличии параметрической
априорной неопределенности это правило должно остаться в силе, если
место неизвестных параметров, от которых зависят отношения правдо-
подобия, займут их оценки максимального правдоподобия, найденные
на тех же шагах наблюдения. Однако при такой априорной неопреде-
ленности остается открытым вопрос о выборе порогов, с которыми
должны сравниваться отношения правдоподобия.
Кроме того, представляет несомненный интерес синтез оптимально-
го алгоритма последовательного анализа в случае статистической зави-
симости выборочных значений хь . .., хп, . ..
Нахождение абсолютно оптимального решения, связанного с мини-
мизацией среднего риска при априорной неопределенности и статисти-
ческой зависимости данных наблюдения, наталкивается на большие
трудности. Поэтому мы применим в рамках процедуры последователь-
ного анализа принцип локальной оптимальности, связанный с миними-
зацией текущего среднего риска на каждом шаге наблюдений, и прове-
дем с этой целью следующие рассуждения.
Как и при классическом анализе ситуации X могут принимать лишь
дискретные значения X; (i= 1, 2, ..., т), в связи с которыми на каждом
п-м шаге наблюдений могут быть приняты решения и3 (/=1, ..., т).
Введем формально решение ит+\ о том, что необходимо продолжить
наблюдения и перейти к (п+1)-му шагу. Обозначим потери на п-м шаге
наблюдений в случае принятия решения и3 в ситуации Хг- через gi3(n),
т. е.
g(u}, Кг,	(11.3.1)
Смысл потерь, связанных с результативными решениями, остается
тем же, что и при классической процедуре анализа. Разница заклю-
чается лишь в возможной зависимости этих потерь от номера шага п.
Рассмотрим для пояснения этой зависимости пример медицинской диаг-
ностики. Допустим, что надо распознать болезнь, требующую хирурги-
ческого вмешательства, от болезни, не требующей такового. Так как
болезнь развивается, небезразлично, на каком шаге наблюдения будет
принято решение. Даже если оно будет правильным, но принятым слиш-
ком поздно, потери могут оказаться чрезмерно большими.
Вместе с тем имеют место потери при принятии на п-м шаге реше-
ния о необходимости продолжения наблюдений. Обычно это стоимость
n-го шага эксперимента, на котором решение не принято. Однако сюда
могут быть отнесены и потери за счет задержки в принятии решения,
если они не включены или неполностью включены в потери, связанные
с результативными решениями.
Для формализации последующих рассуждений полезно ввести так-
же нулевые потери
gi,mV2. (ft) = 0,
возникающие при п>По, где fto — номер шага, на котором принято
результативное решение.
Тогда общие потери, связанные с системой последовательного
анализа,
G=2 Sa{n)> i = l,2, ..., пг; /== 1, 2, ..., т-^2.	(11.3.2)
П=1
258
Среднее значение этих потерь следует минимизировать. Принцип
минимизации текущего риска сводится к тому, что вместо минимизации
суммы (11.3.2) будем искать решение, минимизирующее на каждом
шаге наблюдений среднее значение потерь gi3(n), связанных с этим
шагом. Допустим, что на каждом n-м шаге при наличии i-й ситуации
с точностью до параметров аг известна плотность вероятности Pi (Хп | щ).
Составляя выражение для среднего значения потерь, связанных с п.-м
шагом наблюдений Rn, и применяя к нему приближение (11.2.4), по-
лучаем
т-|-1 т
= J 2 S ^/(n)'?/(Xn)^(XJPi(Xnja*i(X„))dXn, (11.3.3)
/=1 (•=!
где приняты те же обозначения, что в § 11.2, а ч|>ДХп)—вероятность
принятия /-го решения при наблюдении выборки Хп, что соответствует
общему случаю рандомизированных стратегий.
Благодаря оптимальности нерандомизироваяных стратегий анало-
гично (11.2.7) задача минимизации Rn приводит к следующему правилу:
на n-м шаге наблюдений принимается решение Uk, если
т
2 gtk (п) p&Pt (Х„ I а*, (Х„)) <
issl
т
<2 £</(п)АаЛ(Х„|а*((Х„)), k. j= 1, 2, ..., т-[-1,	(11.3.4)
м
где а*г(Хп)—оценки максимального правдоподобия параметров аг,
полученные на n-м шаге наблюдений.
Разумеется, выбор решения на n-м шаге производится по получен-
ному правилу, только, если на предыдущих шагах анализ не завер-
шился.
При проверке двухальтернативных гипотез, т. е. при т=2, пра-
вило (11.3.4) принятия k-ro решения, где k=\ соответствует принятию
гипотезы k=2— гипотезы Н2, a k=3— принятию решения о необ-
ходимости продолжения наблюдений на (m+1)-im шаге, после элемен-
тарных преобразований принимает вид
PAigik (и) -~gtI (л.)] Л12[ХП (a*, (XJ, а*г (Х„)]<^гаг [gs/ (и)—gtk (и)], (11.3.4a)
где
Л..[Х.|«-,(Х,). «Х„)1=	(11-3.5)
представляет собой отношение правдоподобия для двух сравниваемых
гипотез.
При gij(n)—g1ft(n)>0 условие принятия k-ro решения преобра-
зуется к виду
Л18 [Х„ | а*, (Х„), а*2(Хп)]>	(П-З.б)
S1J \п) &lk \п) Р1а1
если же gx] (п) — gxk < 0, это условие записывается в виде
Л„ [XJ а*,(Х„), а*г(X.)] <	(n)-~	№..	(11.3.6a)
181 nl n’ 2V	8ii(n) — glk(n) P1ax	'	>
Различные конкретные способы задания коэффициентов потерь при-
водят при применении (11.3.5), (11.3.6) к разным результатам.
17*	259
/
Так, если все коэффициенты потерь одинаково зависят от п (от вре-
мени), отличаясь лишь коэффициентами пропорциональности, gijfn)
выражается формулой
^3(«)=gJ(«).	(Н-3.7)
При этом потери, связанные с неправильными решениями, больше по-
терь, связанных с продолжением наблюдений, а последние больше
потерь, связанных с правильными решениями, т. е.
g 12	g.3 gill gzi gzi gz2*
(11.3.8)
Подстановка (11.3.7) в (11 3.5), (11.3.6) с учетом (11.3.8) приводит к сле-
дующим результатам.
Условия принятия первой гипотезы (£=1)
Л1г(Х„|а*1, а*г)>^
&21	£22
£12 — gll ’
Aii(X„|a*l,a*i)>gJ
£21	£23
£13	£11
(11.3.9)
Условия принятия второй гипотезы (k — 2)
А1г(Хп|а*1( a*,)<gg
821	822
812 — Sit
(11 3.10)
Л„(Х. К. «•,)<»
823 — 821
812	813
Наконец, условия продолжения наблюдений на (п + 1)-м шаге
(Л=3)
р2&2
РЛ
fc^<A12(X„|a*1, а*г)
Р2а2 £21	£23
Piai £13	£11
(11.3.11)
Если удовлетворяются неравенства
£21	£23 \ £21	£22	£23	£22
£13 —£11 "£12 — £и	.£12 — £1з ’
(11.3.12)
то рабочими являются вторые неравенства (11.3.9) и (11.3.10), а нера-
венства (11.3.11) совместимы. В частности, при равенстве потерь, свя-
занных с обоими ошибочными решениями £12 —gn, потерь, связанных
с правильными решениями gn=g22, и потерь, связанных с продолже-
нием наблюдений g-13=g-23, неравенства (11.3.12) принимают вид
(g\a gi,)[(git gii) > 1 (й\з gn)/(gi2 giz)-
Отсюда следует, что
S"l2—gl3>gl3—gll,	(11.3.13)
т. e. разность потерь, связанных с ошибочными решениями и с продол-
жением наблюдений, должна быть больше разности потерь, связанных
с продолжением наблюдений и с правильными решениями.
В случае несоблюдения указанных условий попытки построения
системы последовательного анализа, минимизирующей средний риск на
каждом шаге наблюдений, приводят к нереализуемым процедурам, т. е.
такая система имеет смысл только при соблюдении определенных со-
отношений для потерь.
260
Если неравенства (11.3.12), (11.3.13) соблюдены, то оптимальная
система последовательного анализа сводится к составлению на каждом
п-м шаге наблюдений (п=1, 2, ...) отношения правдоподобия, в кото-
ром вместо неизвестных векторных параметров обстановки щ и а2
используются их оценки максимального правдоподобия, полученные на
основании выборки Х„. Это отношение правдоподобия должно сравни-
ваться с двумя порогами, зависящими от выборки Х„ только через ко-
эффициенты ai(X„) и а2(Хи). Если пренебречь этой зависимостью, то
порош будут постоянны (от шага к шагу не меняются).
Рассмотрим более общий случай, приводящий, вообще говоря,
к переменным порогам в системе последовательного анализа и, воз-
можно, к усеченному последовательному анализу, т. е. к обязательному
принятию результативного решения на некотором шаге, если оно не бы-
ло принято до этого. Допустим, что потери, связанные с продолжением
наблюдений, — это стоимость п шагов эксперимента, вообще говоря,
различная в двух альтернативных ситуациях. Обозначая эти стоимости
С] (п) и с2(п), имеем
£1з(ц)=С1(ц), g23(n)=c2(n).	(11.3.14)
Будем считать, что при принятии правильных решений имеют место
выигрыши gi(n) и g2(n) соответственно и потери на эксперимент, так
что
gll(n) = — gi(n) + cAn)’ gzAn) = — gAn)+c2(n).	(11.3.15)
При ошибочных решениях возникают потери q>i(n) и <Р2(«), а также
имеют место потери, связанные со стоимостью эксперимента, в резуль-
тате чего
g>2 («) = ?>(«)+ (П), g2An) = <?2(n) + c2{n).	(11.3.16)
Подстановка (11.3.14) —(11.3.16) в (11.3.5), (11.3.6) приводит к следую-
щим условиям.
Первая гипотеза (й=1) принимается, если
Л1г(Хл|а’.,
Рг«г <Рг (га) + ga (га)
?i О) + g> («) ’
(11.3.17)
Л1г(Х„|<,
?г (га)
gi (га)
Вторая гипотеза (k = 2) принимается при условиях
A.a(X„|a*.,
р,тг уг (га) + Да (га)
Pi«i («) + Г, («)
(11.3.18)
Л1г(Х„|а\, а\)<	.
12 ' п 1	1	2/ piai (л)
Решение о продолжении наблюдений соответствует неравенствам
Ргаг §2 (п) д /-у I г»* А г-''
¥i(ra)	,, «	.
Легко видеть, что, если на некотором п-м шаге
ga (га) _ Уа (га)	?а (га) +ga (га) _ »г (га)
<Pi(n) gi (га) ’	'Pi(ra)+g1(ra) g, (га) ’
(11.3.19)
261
т. е. все пороги в неравенствах (11.3.17) — (11.3.19) одинаковы. Это
значит, что решение о продолжении наблюдений принято быть не мо-
жет и 'на данном шаге анализ заканчивается принятием результативного
решения (первой или второй гипотезы).
Для того чтобы последовательный анализ продолжался, необходимо
соблюдение условия
ml <?> {п) 4- Si (п1 ?г (п)
(11.3.20)
Если выигрыши при обоих правильных решениях и потери при непра-
вильных соответственно равны между собой, т. е gi\ti) g2(n), Ф1(п)"7
=<р2(«), условие (11.3.20) приводит к тому, что последовательный
анализ продолжается, если выигрыш за счет правильного решения
остается меньшим, чем потери при неправильном решении
g(n)<<f(n).	(11.3.21)
Если с изменением числа шагов п функции g(n) и <р(п) меняются так,
что на некотором шаге достигается равенство g(n) =<р(и), то последо-
вательный анализ прекращается.
Однако обычно соотношение между обсуждаемыми потерями и вы-
игрышами либо не изменяется, либо потери с ростом п растут быстрее,
чем выигрыши В этих случаях последовательный анализ по получен-
ной схеме остается оптимальным в смысле минимизации текущего сред-
него риска, связанного с каждом шагом наблюдений. Полученное
решение было основано, как и в § 11 2, на принципе минимизации
усредненного риска (§ 6.5). Если же применять адаптивный байесов
подход, описанный в § 6.2, то все результаты остаются в силе, если
положить ai(X„) = a2(XK) = l.
11.4. РЕКУРРЕНТНЫЕ адаптивные алгоритмы проверки гипотез
Рассмотрим теперь процедуру проверки гипотез, имеющую смысл
в случаях, когда желательно (или даже необходимо) Принятие реше-
ний на первых же шагах наблюдений, однако после их принятия ника-
ких необратимых действий не совершается, и уже принятые решения
могут быть изменены, если продолжение наблюдений свидетельствует
об их неправильности.
Будем по-прежнему рассматривать систему проверки т-а’льтерна-
тивных гипотез ..., Ят) и считать, что обстановка, в которой они
проверяются, известна не полностью, что характеризуется неизвестными
векторами аг (i=l, 2......т). Гипотезы проверяются (т. е. решения
принимаются) на каждом n-м шаге наблюдений (п=1, 2, ...) на осно-
вании наблюдения составного вектора Xn={xj, .. ., хи), компоненты
которого xv— векторы, представляющие собой совокупности наблю-
даемых величин на каждом v-м шаге. Таким образом, для принятия
решения на n-м шаге используются все данные, имеющиеся в наличии
к этому шагу наблюдений. Уже принятые решения могут либо под-
тверждаться, либо изменяться на последующих шагах. При этом по-
следующие решения не зависят от того, какими именно были
предыдущие решения.
Описываемая процедура отличается как от классической, так и от
последовательной, которые анализировались в предыдущих парагра-
фах Практически она широко применяется Примерами могут служить
262
радиолокаторы обнаружения, которые никаких необратимых действий
не совершают и лишь передают данные об обнаруженных объектах,
в случае же неподтверждения данных о их наличии дают команду на
«сброс» соответствующих траекторий. Таким же образом действуют
так называемые автоматы захвата, применяемые в системах поиска сиг-
налов по частоте, задержке модуляции и другим параметрам. После
обнаружения сигнала поиск прекращается, но в случае неподтвержде-
ния его наличия (либо пропадания сигнала) поиск продолжается.
Обозначим через Р(.п} (Х„ | а,) плотность вероятности наблюдаемых
величин^ Хп, имеющих место к n-му шагу наблюдений в ситуации Z,-,
известную с точностью до а, = {а(1),... , a(Z/)}; gu(n)— потери при при-
нятии на n-м шаге решения и/ в ситуации Будем считать потери
аддитивными, т. е. потери за N шагов наблюдения
= S Siln(n),	(П.4.1)
Я=1
где /п —номер решения, принятого на n-м шаге.
При любом данном N оптимальная система должна обеспечивать
минимизацию среднего риска, который при аддитивной функции потерь
определяется суммой средних рисков, связанных с каждым данным
шагом наблюдений:
(И.4.2)
п=.1
Очевидно также, что благодаря независимости решения, принима-
емого на каждом п-чл шаге, от решений, принятых на предыдущих ша-
гах, минимизация среднего риска R сводится к минимизации каждого
слагаемого Rn
minl? = 2	(11.4.3)
п
Минимизация Rn с учетом оптимальности нерандомизированного
правила принятия решений ничем не отличается от задачи, рассмотрен-
ной в § 11.2, которая сводилась к составлению и минимизации усред
ненного по параметрам обстановки апостериорного риска. В результате
правило принятия решения uh на каждом n-м шаге наблюдений сводит-
ся к выполнению условия
т	tn
2 <») /><»;” л)р'”а’ <х» I»; *"’> < з w р#'” со р(х. !<"’)
l=al	1*8=1
для всех jny=k,	(11.4.4)
где а*п) (X?) определяется выражением (11.2.5), а а* (я)=а*г (Х„)—оценки
максимального правдоподобия, полученные на n-м шаге наблюдений на
основе выборки Х„.
Таким образом, при данной процедуре проверки гипотез на каждом
шаге наблюдений правило решения ничем не отличается от такового
при классической процедуре. В частности, при простой функции потерь
gilnW=l—	(11.4.5)
263
оно сводится к максимизации взвешенного апостериорного распреде-
ления
gk(ri)a^ (Xn)7?ftP<'l>(Xn|a*(re>) =
=max^ (n)a;?>(X„)A	(n))-	(П-4.6)
(/n) ,n ‘n <n >n	In
Практически (11.4.6) может быть осуществлено, как и в предыдущих
случаях, с помощью составления отношений правдоподобия
(/	p(")(X„|a*<re>)
(11.4.7)
и сравнения их с порогами
cy-g, («) Р^Т}Мё. («) рЛП} (XJ- (11.4.8)
В случае же проверки двухальтернативных гипотез оптимальное
решение сводится к сравнению отношения правдоподобия Л*"’(Хп)
с порогом при любых функциях потерь, причем порог определяется
выражением
£(«) __ g2I (n) —g2a (п) Р^' (Х«)
12 gia(«) — gn(n) (Х„)‘
(11 4 9)
Учитывая, что при рассматриваемом методе анализа в соответствии
с указанной процедурой решения принимаются на каждом шаге, целе-
сообразно найти рекуррентные формулы как для величин, сравнивае-
мых с порогами, так и для используемых при построении* этих величин
(и порогов) оценок параметров обстановки.
Как будет видно из дальнейшего, такие рекуррентные соотношения
упрощают алгоритмы принятия решений на каждом п-м шаге.
Введем обозначения Ljn) (а;) и /jn) (а/) с помощью соотношения
Р\п} (Х„ | а;) = ехр [Z.;re) (а;)] = pf (х„| Х„_„ а;)(Xn_t | а;) =
= ехр (а,)] ехр (а;)],	(11.4.10)
где (х„|Х„_1( as) — условная плотность вероятности для наблюдения
хп на /z-м шаге при заданных Xn_i и аг а
= In^(хя|Хл.., а;).
Считая разность оценок максимального правдоподобия параметров
обстановки а/, полученных за п шагов и за п—1 шаг [а* <п) —
величиной малой, представим Z.jn) (а*(п)) следующей приближенной фор-
мулой :
L™ (а} (п)) =	(а*(ге)) +/<"’ (а}(n))^	(а*	+
+ 1\п} (а} (я-,)) - 72 (а* - а* (п-’’)т D<n) (а* (п) - а* (',-”)+
+ z<n)T(«;(n) - а*(,,-1)),	(11.4.11)
264
где матрица Djn) определяется как
D<n) =
d!L<re) (a* (п-1))

(п)
и вектор z} 7
состоит из элементов
dl\n} (a/n-i})/da.^ (fi v=l, 2,.
В соответствии с (7.5.27) для оценок максимального правдоподобия
параметров обстановки справедливы следующие рекуррентные соот-
ношения:
a*(,l) = a*(re-1) + (D;re))-1z;.n); D)re)—Е^1’+K<re),	(11.4.12)
где
д*1^ (а* <ге-1’)
д^да.^

(11.4 13)
На основании (11.4.12) можно переписать (11.4.11) в виде
E're)(a*(n))^ E<n-1)(a*(re~n) + /p)(a*(re-1)) + 72z<re)T (E<re))-*z<n).
(11 4 14)
Рекуррентные соотношения (11.4.12) дают алгоритм формирования
оценок неизвестных параметров обстановки, соотношение (11.4.14) —
логарифма функции правдоподобия в ситуации К3. Совокупность вели-
чин L*n) используется для принятия решений в соответствии с указан-
ными выше простыми правилами комбинирования.
В соотношении (11.4.14) основную роль в правой части играют два
первых члена. В случае высокой точности оценки параметров обстанов-
ки, когда разность a*(n)— весьма мала, достаточно учесть лишь эти
члены. Третий член в (11.4.14) дает поправку за счет неточности опре-
деления параметров а3 и играет существенную роль только при малых
п, пока ошибка оценки этих параметров значительна. С ростом числа
шагов его роль уменьшается благодаря наличию убывающих множи-
телей (Dj'l))-1. Начальные условия для полученных рекуррентных
алгоритмов могут быть нулевыми
a*(0)=0, D'0) = 0, Е‘0) = 0,	(114 15)
причем нулевые начальные условия для подалгоритма формирования
оценок параметров а, соответствуют крайнему случаю полной априор-
ной неопределенности относительно этих параметров.
Оптимальный алгоритм проверки многоальтернативных гипотез
при простой функции потерь для достаточно большого числа шагов л
с учетом полученных результатов сводится к следующему: на n-м шаге
наблюдений принимается гипотеза Hk, если
In Л<?> (XJ = 4П) (а*(га)) -	(<#(л)) SMn
(11 4.16)
265
или
lnAj> (Х„) = In	(a* (ra-1)) -I™ (a* ‘""’’j In C[n’
для любых j=/sk(j, k=\, 2.............m).
Применяя формулу (11.2.5) для a,"'(Xra), получаем в том же прибли-
жении для порога In С'"’ выражение
1пС*'.1) = 1п
KI
gi (») Р)
gk («) Pk
ln2it-|-ln

, 1	det Dlre)
2~	detD1-'^’ ~	^kl
(11.4.17)
где
fs/W=ln4^gL+i±^ln2«	(11.4.18)
M	gk(n)pk ~ 2
— часть порога, не зависящая от наблюдений и изменяющаяся лишь
за счет изменения весовых коэффициентов gj(n) с ростом числа шагов п:
(О/ (а* («-’))
?а/(Х„) = 1п
det D^n)
det D(re)
(11.4.19)
1
2
— часть порога, зависящая от наблюдений Хи как непосредственно, так
и через оценки параметров обстановки.
В (11.4.17), как и в левой части неравенства (11.4.16), не учтены
члены второго порядка -малости по
При проверке двухальтернативных гипотез оптимальный алгоритм
при любых функциях потерь сводится к составлению рекуррентного
соотношения для логарифма отношения правдоподобия
InA^’ (Хя) = 1пЛ,(Г” (Х„-1ШГ> « '"’НГ’ {П~'1 (11-4.20)
и сравнению его с порогом
lnC{? = fn(n) + <pM,	(Н.4.21)
где
fi2 («) = 1п
Гgzi СО '— ga (Р) Рг 1 । ^2 G
[§12 (n)'-gn(n) а]"1” 2
In 2it;
?i2 (Х„) = In
«2 («2 (П-1))
w, (а* ("-В)
ьЦ-in
det О)"’
det D^n)
Таким образом, логарифм Отношения правдоподобия на каждом
шаге формируется путем добавления к его значению на предыдущем
шаге поправки, зависящей от вновь наблюденного значения сигнала и
оценок неизвестных параметров обстановки а, построенных по резуль-
татам наблюдения на предыдущих шагах. От этих же оценок зависит
и порог, с которым на данном шаге сравнивается логарифм отношения
правдоподобия. Оценка обстановки, производимая совместно с приня-
тием основных решений, производится рекуррентно по формулам
266
(11.4.12), которые нужно рассматривать совместно с (11.4.16), (11.4.20).
При применении адаптивного байесова подхода, соответствующего
принципу § 6.2, как и для рассмотренных выше процедур анализа, все
результаты остаются в силе, если положить все коэффициенты
а'п)(Х„) = 1 Эти изменения касаются только порогов, с которыми
сравниваются отношения правдоподобия или их логарифмы. В частно-
сти, порог (11.4.17) принимает вид
In С'"> = In (g, (п) pjgk (п) рк),	(11 4 22)
а порог (11 4.21) превращается в
1пГ(^) ln	(”) Р£\	(11 4 23)
шь12 — ln^i2(ra)_gii(ra) pJ
и не зависит от результатов наблюдений Хи.
Г л а в а 12
ОБНАРУЖЕНИЕ СИГНАЛОВ В ШУМАХ
12.1. ВВЕДЕНИЕ
Обнаружение сигналов в шумах является частным случаем про-
верки гипотез. При наблюдении некоторой выборки или реализации
случайного процесса x(t) проверяется гипотеза о том, что этот процесс
описывается распределением вероятностей, свойственным шуму, против
гипотезы о том, что он описывается распределением вероятностей,
свойственным смеси сигнала и шума
В теории обнаружения [2, 22] обычно предполагается, что законы
распределения как сигналов, так и шумов или помех полностью извест-
ны. Вместе с тем при реализации технических систем, производящих
обнаружение сигналов, приходится сталкиваться с ситуациями, в кото-
рых ряд параметров как обнаруживаемых сигналов, так и шумов
неизвестен. В частности, мощность обнаруживаемого сигнал-а зависит
обычно от вида объекта, с ним связанного, и является случайной вели-
чиной Если сигнал является флюктуирующим за счет условий его
передачи или распространения либо за счет изменения свойств объекта,
его излучающего или рассеивающего, параметры функции корреляции
сигнала могут принимать разные значения и являются случайными.
Параметры модуляции обнаруживаемого сигнала, в которых заложена
некоторая информация, всегда случайны Параметры шумов также не
всегда можно считать заданными. Так, интенсивность шума, создавае-
мого некоторыми внешними мешающими источниками, может быть
разной, даже если вид его плотности вероятности определен из общих
физических либо технических соображений
В этих условиях законы распределения сигналов и шумов зависят
от неизвестных случайных параметров и задача обнаружения может
решаться на базе теории адаптивной проверки гипотез, развитой
ь гл. 11.
267
Рассмотрим ряд примеров адаптивного обнаружения сигналов
в шумах, найдя при этом оптимальные алгоритмы обнаружения для
трех процедур анализа, изложенных в гл. 11. Применение всех этих
процедур в случае проверки двухальтернативнах гипотез приводит к со-
ставлению на п-м шаге отношения правдоподобия
л(х,|«*„	02 id
и к сравнению его с соответствующими порогами.
В задачах обнаружения Р|(Хп|а*1)—плотность вероятности смеси
сигнала и шума (помехи), a*i — оценка максимального правдоподобия
вектора параметров этой смеси, полученная на основе наблюдений Хга;
/52(Хи|а*2)—плотность вероятности шума (помехи); а*2 — оценка мак-
симального правдоподобия вектора неизвестных параметров шума.
Найдем соответствующие алгоритмы обнаружения как при дискрет-
ном наблюдении, так и при переходе к непрерывному наблюдению
сигналов. Построим также вероятностные характеристики обнаружения,
сравнив их со случаями известных параметров сигналов и шумов, ког-
да оптимальные алгоритмы не являются адаптивными.
12.2. ОБНАРУЖЕНИЕ СИГНАЛА С НЕИЗВЕСТНОЙ АМПЛИТУДОЙ
В НЕКОРРЕЛИРОВАННОМ ШУМЕ
Пусть требуется обнаружить наличие сигнала as(t), где s(t) —
заданная функция времени, а a—неизвестная амплитуда, при приеме
в гауссовом шуме g(Z), который при дискретном наблюдении будем
считать не коррелированным с дисперсией о2, а при переходе к непре-
рывному наблюдению — белым со спектральной плотностью No-
Априорные вероятности наличия и отсутствия сигнала обозначим
Pi и р2 соответственно. Амплитуда а распределена в широком диапазоне
а2—ai = Aa, в котором по-прежнему ее можно считать распределенной
равномерно.
Рассмотрим сначала классическую процедуру анализа, при которой
наблюдение производится на интервале	либо при дискретном
наблюдении длина выборки n=Tf\t задана.
Принимаемый сигнал можно записать в виде реализации
x(0=Xas(0+g(0-	(12.2.1)
или в виде выборки
X„ = 2aS„+ S„,	(12 2.2)
где хг=х(/г); s,=s(/t); £г=|(^), Z=Zi=l с вероятностью рх и
А,—Хг=0с вероятностью рг(р\+р2= 1).
Согласно (12.1.1) оптимальный обнаружитель должен образовать
угнетение правдоподобия
А (Х„| И = (Х„ | а*)/Р2 (Х„),	(12 2.3)
де, учитывая, что функция корреляции шума ti) = c25lh
(х« Iа) = (Jy 2 ехР [ - 2^- (Х« — «S„)T (Х„ — aS„)] ,
(12.2.4)
Рг (Хп) — (2геа!)п/2 еХР f 2а5"	-
268
Оценка максимального правдоподобия амплитуды а удовлетворяет
уравнению	^-1пР,(Х„|а) = 0	(12 2.5)
и имеет вид	п s*(x»)=S4xta=4Ja'a’	(12-2-6) г=1
где принята	п нормировка У, s\- = Е.
Отношение правдоподобия принимает вид
Л (Х„ | а*) - ехр (-1,- a*X\S„ - а* 2STnS„) = ехр= ехр й*. (12.2.7)
где h* = a*2E/2a2— оценка максимального правдоподобия отношения
сигнал/шум, определяемая согласно (12.2.6) по формуле
	/ili' = (XTraSn)2/2o2P= (1/2о2£)	.	(12.2.8) V=1	7
При переходе к непрерывному наблюдению функционал отношения
правдоподобия Л [tv (/) | а*] выражается по-прежнему формулой
Л[х(0 |а*] =Qh*, где
г т	-,2	т
F 1 Р	Р
(12.2.9)
Lo Jo
и произведен переход к пределу при n —оо, Af—>0, nAt — T,
Рис. 12.1. Функциональная
схема оптимального обнару-
жителя сигнала с неизвест-
ной амплитудой в шуме:
1 — генератор сигнала «(/)-, 2 —
интегратор- 3 — квадратор; 4 —
реле
1
Таким образом, оценка отношения сигнал/шум, определяющая
в данном случае алгоритм обнаружения, представляет собой соответст-
вующим образом нормированный результат квадратичного детектиро-
вания выхода корреляционного приемника. Функциональная схема оп-
тимального обнаружителя1) представлена на рис. 12.1.
Согласно теории, развитой в гл. И, оптимальный обнаружитель
должен сравнивать полученное отношение правдоподобия с порогом
Ei2=[(g2i— g22)/(gi2—gu)] (p2a2/piai), где gt3 (t, /=1, 2) — соответст-
вующие коэффициенты потерь; «2=1, а
a1=a>1(a*)-^X-=;A-l/<^,	(12.2.10)
' ' К Е/аг bafE	'
’) На функциональных схемах мы будем далее везде обозначать кружком со
знаками «—», «-j-», «X» соответственно вычитающие, суммирующие н перемножающие
устройства, а треугольником — интегратор.
269
ибо согласно (11.2.6)
Отсюда порог
__Ssi §22 Рг (Аа)гЕ
12	§I2~§11 Pi У 2а^к
Если а1 = 0, то
Г -- §21-§22 Рг 1/ДЛ
L» — 1г~_Г V- И — 	(12.2.12)
где ДА—априорный диапазон изменения отношения сигнал/шум. По-
следнее выражение остается в силе и при непрерывном наблюдении,
при котором отношение Efo2 везде заменяется на Eo/No.
Функция оптимального адаптивного обнаружителя должна со-
стоять в составлении оценки отношения оигнал/шум h* и сравнении ее
с порогом 1пС12=С. При превышении порога принимается решение
о наличии сигнала.
При достаточно больших величинах априорной вероятности отсут-
ствия сигнала и диапазона изменения отношения сигнал/шум порог
получается положительным и полученный алгоритм дополнительных по-
яснений не требует.
Однако могут быть соотношения параметров, при которых С<0.
Тогда должно приниматься решение о наличии сигнала независимо от
результатов наблюдения. Это значит, что соблюдаются условия, при
которых даже наилучшая обработка сигнала при наблюдениях не мо-
жет улучшить априорных данных.
Рассчитаем характеристики обнаружения для синтезированного
алгоритма. Обозначая
u=X*„S„; а=1/2о2Е,	(12.2.13)
имеем h*=av2.
Величина и распределена по нормальному закону с математиче-
ским ожиданием
и с дисперсией
f 0 при Z = 0,
| аЕ при Z = 1
о% = (о — о)2 = с’Е.
(12.2.14)
(12.2.15)
Отсюда, обозначая через а>(о) плотность вероятности величины v,
имеем для плотности вероятности величины h* выражение

и соответственно при 1=0
Р(Л*|О) =
0 при А*< 0,
t-p=- ехр (- А*) при А* > О
(12.2.17)
270
и при Л = 1
МЛ*П) =
О	при й*<0,
(12.2.18)
+ «р[-(/Л'+Wl} I
при Л*>0,
где к^=а.гЕ!2аг — истинное отношение сигнал/шум.
Плотности вероятности (12.2.17), (12.2.18) относятся и к случаю
непрерывного наблюдения, если под h* понимать величину (12.2.9),
а под h величину a2E0/2N0.
Вероятность ложной тревоги теперь вычисляется как
со	С
F = f p(/i*|O)d/i*= 1 — С^=е-^х = 2[1 — Ф(/2С)], (12.2.19)
J	J У ПХ
с	о
где Ф(. .) — интеграл вероятности.
Вероятность правильного обнаружения
оо	С
D = f р (Л* | 1) dh.*= 1 - [ —U {ехр [-(/^ - //Г)2] +
J	J 21/гсХ
с	о
4-	ехр [— (У'х 4- /Я)2]} dx = 2 — Ф (У 2С — /2Л) — Ф (]/2С -{- /2Л).
(12.2.20)
Исключая С для разных отношений сигнал/шум h, строим характери-
стики обнаружения D(F), изображенные на рис. 12.2.
Представляет интерес сравнение полученных характеристик обна-
ружения с соответствующими характеристиками для обнаружения при
известной амплитуде сигнала (известном отношении сигнал/шум). Та-
кой оптималыный обнаружитель, как известно, действует в соответствии
с алгоритмом, при котором принимается
если
02	Х1$1 С
i=i
или при непрерывном наблюдении
т
-±-^x(f)s(t)di^C.	(12.2 22)
о
Ему соответствуют характеристики
обнаружения
Е = Ф(—С//2А);
D = Ф (— С//2Й + /2Л)
(12.2.23)
(12.2.21)
решение о наличии сигнала,
Рис. 12.2. Характеристики обнару-
жения сигнала с неизвестной
амплитудой в шуме:
/) Л—1; 2) h—3. 3) /1=10, 4) случай
известной амплитуды сигнала, h—1
271
Соответствующая кривая при h=\ также изображена на рис. 12.2.
Этот рисунок дает возможность судить о проигрыше, получающемся
за счет неизвестности амплитуды обнаруживаемого сигнала.
Полученные соотношения позволяют без каких-либо дополнитель-
ных построений записать также алгоритм последовательного анализа,
обсуждавшийся в § 11.3. В связи с тем, что оценка отношения сиг-
нал/шум й-(и), полученная на n-м шаге наблюдений и определяемая
выражением (12.2.8), представляет собой логарифм отношения правдо-
подобия на этом шаге, оптимальный алгоритм последователыного ана-
лиза сводится к следующему. На каждом n-м шаге h*(n) сравнивается
с двумя порогами Ct(n) и Сг(п). Если h* (п) Ci (и), принимается
решение об отсутствии сигнала, если h* (п) ^Сг(п)—решение о его
наличии, если же С] (п) <й* (п) <С2(га)—наблюдения продолжаются
на (п+ 1)-м шаге.
Если, например, потери на n-м шаге определяются выражениями
(11.3.14) — (11.3.16), то пороги после подстановки величин at и а2 на-
ходятся как
С, («) —ln^-у- Да
. / Д gt («) 1 __ 1п Г А 1/4А
К 2гса2 у, (п) J L А ' 11
А (п)
(«) J ’
(12.2.24)
Сг (и.) = In Да |/
Е ?8 (n) j _______in [ A. l <pg (n) 1
2Tta® gl (Л) J L Ру Г	п gi («) 1 ’
где gi(n) и gi(n) —выигрыши от правильных решений; <pi(re) и <р2(п) —
потери от ошибочных решений, если эти решения принимаются на ге-м
шаге. В данном случае пороги не зависят от выборки Хп и полностью
определяются априорными данными.
Для нахождения рекуррентного адаптивного алгоритма обнаруже-
ния необходимо, согласно (11.4.16), составить рекуррентное соотноше-
ние
In Л(п> = 1пД("-1>	(а* (п — 1)) —	(12.2.25)
В данном случае 1пЛ=й*, так что (12.2.25) принимает вид
h* (n) =h* (п — 1) 4- /'л> (а* (п. — 1)) — 1{2п),
где
(a) = lnX7j (л,, |Хл_1Г а);
/«п> = 1пл(л:„|Х„_1);
Pi (-^п|Хга_1, а) и p2(xn|Xra_i)—плотности вероятности для хп при
наличии и при отсутствии сигнала соответственно. Согласно (12.2.4)
/w(a) = lnJ ‘ ехр Г — -^г(хп — as„)sl] ,
( у 2тсо8 L 43	J I
/'П)=1п Г . L .. ехр f—-Д- X2,J 1,
2 L К 2па= Г 2a2
так что
/<«) (а) _ /<«) = (а/02)	_ a’s’„/2o’,	(12.2.26)
272
и рекуррентное соотношение (12.2.25) принимает вид
Л* (В)=Л»(п-1)+£,|г^__|) knl,(n-
<”-'>]  <12-227>
п
где Е (n) = ^s2i и использована найденная выше связь между а* и Л*.
<=1
Порог, с которым сравнивается h*(n), согласно (12.2.12) зависит
от п только в случае переменных коэффициентов gij(n) и определяется
как
C(n) = ln rg=’(”).~g3=	.	(12.2.28)
v ’ Lgis(«) — gn(n) p, r re J	v	7
В данном частном случае логарифм отношения правдоподобия
совпадает с оценкой неизвестного параметра обстановки (отношения
сигнал/шум). Поэтому одно рекуррентное соотношение (12.2.27) пол-
ностью определяет алгоритм обнаружения.
Найденные правила принятия решений в рассмотренной задаче
оптимальны не только как байесовы адаптивные правила, но они также
являются минимаксными, обсуждавшимися в гл. 5.
12.3. ОБНАРУЖЕНИЕ ДЕТЕРМИНИРОВАННОГО СИГНАЛА В ШУМЕ
НЕИЗВЕСТНОЙ ИНТЕНСИВНОСТИ
В тех случаях, когда шумы определяются не только приемниками
с известными характеристиками, но и внешними источниками, возни-
кает следующая задача. Требуется обнаружить наличие сигнала за-
данного вида s(t), аддитивно смешиваемого с шумом £(/), который
будем считать некоррелированным гауссовым, обладающим неизвестной
интенсивностью.
В рамках классической процедуры анализа это означает, что
наблюдается выборка Хп = {а4, ..., *п}, которая может состоять либо
из шумовых компонент, либо из компонент, получающихся при сложе-
нии сигнала с шумом. Тогда
X„ = ZS„+S„,	(12.3.1)
где %—1 с вероятностью рй Z=0 с вероятностью
Si = s(ti)-, If—l-fti). Корреляционная матрица гауссова шума К£ =
= II er26ijII, где 8ij — символ Кронекера, а о2 неизвестна и может считать-
ся распределенной равномерно в некотором диапазоне А (о2).
Оптимальный обнаружитель должен составлять согласно (12.1.1)
отношение правдоподобия
Л(Х„|о2*, оГ)=Л(Х„|оГ)/^(Х„|оГ)>	(12.3-2)
где Oj* и а|* — оценки максимального правдоподобия дисперсии [шума,
полученные в предположениях о наличии и об отсутствии сигнала соот-
ветственно.
18—899
273
Далее, очевидно, что РуХ^ст2) и Рг(Хп|о2) определяются выраже-
ниями
р. (X, I «) = -g-kj ехр f -	(X, - S,)'(X. - Sjl.
) l	J
P2(X„|a2) =------exp <-_L-XT„X_') ,	(12.3.3)
8 ' n '	(2rca2)"/2 r у 2°	" n)	'	'
так что
XTnX„
(Xn — Sn)T(Xn — S)
Величины а,* и	2* а2, находимые из уравнений		
	51п/\ 2 (Хд | а2) __ а (о2)	0,	
имеют вид	_2*	(Хл — $л)т (Хл — 8л)	2»	ХтлХл
Поэтому	1	п		п
(2* \ n/2
°2 |	__ Г ХтлХл "I
“ (x„-s„r (x„-s„) I
1 / J
Z=zl
(12 3.3a)
(12.3.4)
(12.3.5)
(12.3.6)
У (*,—
Согласно (11.2.16) сравниваться с порогом	отношение правдоподобия (12.3.6) должно £  Sz\	Pz^Z (Хл)	(12 3 7) 12 gia — gn Pi«i (Хл) ’	\ ‘	>
где Й1 (Х„)	и Й2(ХП) определяются в соответствии с (11.2.5) как “ <х") <х»- <х«-s-»’ (12.3.8) п ,V X 	 1 f 21t \У2	у “г (лл)	д (®2) \га’/2) Л лЛ"’
так как	a2inP,,2(Xnh*2) _газ ! bS.s—	a(32)S	2 вг1>2-	(12 З.У)
и введены обозначения Bi— (Xn—Sn)T(Xn—Sn), B2=XTnXn.
Сравнение с порогом (12.3.7) отношения правдоподобия (12.3.6)
после подстановки (12.3.8) приводит к следующему алгоритму.
Принимается решение о наличии сигнала, если
а2* /gai — gaa Pa \2/(n~2) _ £
а?* I gia — gn Pi J
(12.3.10)
274
или
2*’z 2 (Xt -s‘)2>с.	(12.3.П)
z=i / Z—I
При выполнении обратного неравенства принимается решение об от-
сутствии сигнала.
Таким образом, оптимальный адаптивный обнаружитель должен
в данном случае составлять оценки неизвестной дисперсии шума
в предположениях, соответствующих обеим конкурирующим гипотезам,
и сравнивать с порогом отношение этих оценок.
Найдем характеристики обнаружения для построенного алгоритма.
Учитывая, что
п	п
B, = 2(Xz-sz)!.	=	(12.3.12)
I	Z=1
запишем отношение оценок дисперсии шума в виде
<[> = o^/af = Bs/B1.	(12.3.13)
Для нахождения характеристик обнаружения нас интересует веро-
ятность
Р (ф > С) = Р [(Вг — СВ,) > 0] = J w (z) dz,	(12.3.14)
о
где w (z)—плотность вероятности для величины z, определяемой как
п	п	п
z = Bi-CBl='£i - С 2 (*' - s‘)‘ =0 -С)	+ * 1TZC У
Z—1	Z—1
п
(12.3.15)
z-i
Из (12.3.15) ясно, что w(z)—нецентральное %2-распределение [8].
При больших п действует гауссово приближение
, .	1 Г
w (г) = ,, ехр
V 7	/2™%, н [
(z — Zn)1
2»гп
(12.3.16)
Непосредственными вычислениями легко найти, что при 1=1
z^, = (l — С) ла2-|-Е;
а’„, = 2(1— С)га* [Ла2 + 2Е/(1 — С)‘],	(12.3.17)
а при Х = 0
гпг = (1 — С)пс' — СЕ;	(12.3.18)
а\г =2(1-С)^‘ [Ла* + 2 (С1(1 - С)У Е],
где В = 2
z-i
Далее,
т^]‘'г=ф(-йг)-	<12-319’
0	0
где Ф(...) — интеграл вероятности.
275-
Соответственно вероятность ложной тревоги
р __ ф /	\ — ф О — С) п/2 — hC
\ И о2Л2 /	/(1 —C)2n/2+ 2hCr
и вероятность правильного обнаружения
(12 3.20)
(12.3.21)
д____ф / г”1 \ _ ф (1 — Q п/2 -|- h
\V^ni J [_ К (1 — С)2 п/2-J-2ft
где h—Er2<32 — отношение сигнал/шум.
Кривая D(F) при й=1 и п==10 построена на рис. 12.3, где она
сравнивается с характеристикой обнаружения при известной интенсив-
ности шума.
Из выражений (12.3.20), (12.3.21) легко получить асимптотическое
представление характеристик обнаружения при п^>1. Представляя
порог из (12.3.10) в виде
С = С2/(л-2> = ехр(^1пС0),	(12.3.22)
где C0 = [(gsl —gs2)/(gis — gn)] (/?,//?,) — порог при отсутствии априорной
неопределенности, и имея в виду, что при ге^>1 С~ 1 + (2/п)1п Со, по-
лучаем
\ V2h )	< |/2й У	v ’
о^ф(~_1п+-.Л — 1 _ф/1пС.°—ft\__и,
к К2Л / к К2й )	°
где Ко и Do — вероятности ложной тревоги и правильного обнаружения
при отсутствии априорной неопределенности.
Для нахождения алгоритма обнаружения, который следует приме-
нять при наблюдении непрерывной реализации случайного процесса
%(/), приведем следующие рассуждения.
Рис 12 3. Характеристика обна-
ружения сигнала в шуме не-
известной (?) и известной (2)
интенсивности.
Если осуществить формальный пре-
дельный переход в (12.3.10), (12 3.11) при
п->оо, Д/—>0, nAt=T, то порог
Нт С= lim Co/(re-2)= 1, (12.3.24)
П->СО	П-М50
а при единичном пороге (12.3.11) преобра-
зуется к виду
п	п
(12-3-25)
г=1	i=l
и после перехода к пределу
дующее условие принятия
личйи сигнала:
получается сле-
решения о на-
(12.3.26)
т
где Ео= Js2(/)dt — энергия сигнала,
о
276
Этот алгоритм и следует применять, если Со= (gn—gw) X
ХРг/(ё'12—gii)pi представляет собой величину порядка единицы.
Однако, учитывая, что, с одной стороны, могут иметь место соот-
ношения коэффициентов потерь и априорных вероятностей, при которых
Со весьма велико либо весьма мало, а с другой стороны, реальный шум
не является белым, а имеет полосу Af, мы приходим к следующему
алгоритму принятия решения о наличии сигнала:
j х2(/)г/( / [%(/) — s(/)]2c?/ - С,	(12.3.27)
о /6
где порог С определяется (12.3.10) при ti/2=Tkf-, Т — время наблюде-
ния. Характеристики обнаружения получаются из (12.3.20), (12.3.21)
при указанном значении п и при отно-
шении сигнал/шум h=E0l2N0, где
No — двусторонняя спектральная плот-
ность шума в полосе А/.
Следует учесть, что x(t) в (12.3.27)
это уже не белый, а реально суще-
ствующий шум, так что вопроса о су-
ществовании интегралов не возникает.
Конечно, алгоритм (12.3.27), строго
говоря, не оптимален. Оптимальный
алгоритм нужно было бы записать
с помощью функционала отношения
правдоподобия для случая коррелиро-
ванного гауссова шума. Однако при
является ‘достаточно хорошим приближением к оптимальному, пере-
ходя при единичном пороге в (12.3.26).
Функциональная схема оптимального обнаружителя представлена
на рис. 12.4.
Алгоритм последовательного анализа, определяемый формулами
(11.3.17) — (11.3.19) при подстановке в них (12.3.6), (12.3.8), принимает
следующий вид. На каждом n-м шаге наблюдений отношенйе оценок дисперсии
шума i2* (Хп)/а^ (Х„) сравнивается с двумя порогами С, (п) и С2 (п). В случае
'jfl'a2' < С, (п) принимается решение об отсутствии сигнала, в случае
^f/a]* -C2(n) — решение о его наличии. При С, (пХ a2*jа2* <С С2 (п) на-
блюдения продолжаются. Величины порогов находятся по формулам
2	2
СЛп) = Г-^W 1^=2-, С.(п) = Г /№(") 1;^.	(12.3.28)
1 v ’	[ РхчЛп) ]	2V ' L Pigi (") J
При построении рекуррентного адаптивного алгоритма обнаруже-
ния в данном случае удобно представить (12.3.10) на ге-м шаге в виде
Рис. 12.4. Функциональная схема
оптимального обнаружителя сигнала
в шуме неизвестной интенсивности:
/ — генератор сигнала s(f); 2 —квадрато-
ры; 3 — интеграторы; 4 — делящее устрой-
ство; 5 — реле.
больших А/ алгоритм (12.3.27)
2» (
1П °2 (га>_	2 1nrg2i(n)—gaatn) Ра]
af(n) "п—2	[g12 (га) — gu (n) р, ]•
(12.3.29)
Для левой части неравенства (12.3.29) непосредственной подста-
новкой (12.3.5) легко находится рекуррентное соотношение
.	, sF(n- 1) ..	1 +хгп/(га- 1) (га- 1)
1П X----= 1п —-----------Н 1п--------------------5!------,	(12.3.30)
(га) <.2 (п - 1) l + (x„-sn)’/(n-l)’i (га-1)
277
которое должно дополняться [рекуррентным соотношением [для оценок
а2*(п) и а,*(п). Для последних, исходя из [(12.3.5), в данном случае сра-
зу находятся точные формулы
(П)1==<(п - 1) + (1/п) [(%„'- sny -х; (и - 1)], зо
> а22‘ («)>Л («-!) + (!/«) [А -	1)1-
12.4.	ОБНАРУЖЕНИЕ ДЕТЕРМИНИРОВАННОГО СИГНАЛА В ШУМЕ
НЕИЗВЕСТНОЙ ИНТЕНСИВНОСТИ (АЛГОРИТМ С ОБУЧЕНИЕМ)
Мы рассмотрели адаптивный алгоритм обнаружения детерминиро-
ванного сигнала в шуме неизвестной интенсивности, в котором оценка
дисперсии шума производилась в процессе обнаружения на основе
использования одной и той же выборки Х„. Однако часто (встречаются
ситуации, в которых для оценки неизвестной интенсивности шума может
быть использована отдельная чисто шумовая выборка. В радиолокации,
например, шумовой фон может измеряться в направлениях, где отсут-
ствуют цели, либо при дальностях, на которых их быть не может. Это
соответствует задаче с обучением, при котором система обнаружения,
прежде чем обнаружить сигнал, настраивается на нужные значения
параметра обстановки (дисперсии шума).
Рассмотрим соответствующий алгоритм и сравним его с предыду-
щим алгоритмом в рамках классической процедуры анализа.
Как и в предыдущей задаче, будем считать, что наблюдается вы-
борка Х„ на интервале времени	T—nAt, A£=l/2Af, Af— по-
лоса шума. При этом можно считать, что
Х„ = AS„+ Е„,	* (12.4.1)
En — вектор некоррелированного гауссова шума с неизвестной диспер-
сией er2 = 2A70Af; Sn — заданный вектор, %—1 с вероятностью рг, %=0
с вероятностью p2(pi + P2=l). По наблюдению Х„ нужно решить, имеет-
ся ли в наличии сигнал S„.
Однако для нахождения неизвестной интенсивности шума на ин-
тервале	+ на котором сигнала s(t) быть не может,
производится наблюдение выборки Ут={у1, ут}, т=Т\1Ы. Это
процесс обучения.
Если по выборке Ym находится оценка максимального правдоподо-
бия дисперсии шума, то согласно предыдущему параграфу
т
* — ^ТпУт/т=^1 у^т.	(12.4.2)
/=1
Ясно, что при достаточно большой длине этой >выборки, когда оценка
о2* близка к истинному значению о2, к оптимальному будет прибли-
жаться алгоритм обнаружения, в соответствии с которым решение
о наличии сигнала принимается, если
л<х>”)=тапЯ-:>с'	<1243)
где Р1(Х„[о2) и /32(ХТ1|ст2) —плотности вероятности для Хп при диспер-
сии шума о2 и при значениях Х= 1 и Л=0 соответственно. Они нахо-
дятся согласно (12.3.3). В результате отношение правдоподобия
Д(Х.|^)=ехр(-^-+^).	(12.4.4)
278
Правило принятия решения о наличии сигнала (12.4.3) может быть те-
перь преобразовано к виду
XT„S„ a2* In С + 0,5ST„S„	(12.4.5)
или
(12.4.6)
что можно трактовать как сравнение функции от х,, представляющей
левую часть неравенства, с переменным порогом, определяемым оценкой
дисперсии шума за время обучения.
Можно, однако, переписывая (12.4.6) в виде
п	т
-а^у\-Е2.	(12.4.7)
1 = 1	1 = 1
где a — CJirr, C0 = lnC; £ = 2 s’‘’
Z = 1
считать, что операция обработки Хп и Ym, определяемая левой частью
(12.4.7), сравнивается с постоянным порогом.
Рис 12.5. Функциональная схема обнаружи-
теля сигнала в шуме неизвестной интенсив-
ности (алгоритм с обучением)
/ — генератор сигнала s(<); ? —квадратор, 3 —
интегратор за время ТУ; 4— интегратор за вре-
мя Т, 5 — усилитель с коэффициентом усиле-
ния а; 6 — линия задержки на время
Г—Г,—/о (/о^— Л), 7 — реле
Если интересоваться операциями над непрерывно наблюдаемыми
сигналами, приближающимися к оптимальным, то, умножая (12.4.7)
на А/ и переходя к пределу при Д£->0, ге->оо, получаем следующий
алгоритм обнаружения сигнала:
Т	to+Ti
J x(t)s(t)dt — a j x\t)dt ^-,	(12.4.8)
о
т
где, как и ранее, Ео = J s2 (/) d/. Функциональная схема обнаружителя,
о
соответствующая (12.4.8), представлена на рис. 12.5.
Для нахождения характеристик обнаружения, соответствующих
алгоритму (12.4.7), представим последний в виде
и = — и^Е/2,
(12.4.9)
где
«i=2 x,s“ и* = а21 У^<	(12.4.10)
/=1 /=1
и найдем законы распределения вероятностей для «1 и Иг-
279
Учитывая, что x(t)—нормальный процесс, из (12.4.10) имеем
	п . .	1	Г (и, — и,)21 ККЛ ехр1 2"-. Г	(12.4.11)
где	_	(0 при 2 = 0, и — < ~	(12.4.12)
а	1 (Е при 2 = 1, < = (и1-й1)2 = агЕ.	(12.4.13)
В связи с тем, что уг — независимые нормально распределенные
величины, и2 описывается ^-распределением с т степенями свободы,
а при больших иг справедливо нормальное приближение и
р’(“’>=Т1ЬгехрГ
_ («2 — «2)°]
2о% J
(12.4.14)
причем	
и2 = а	У*1 = ата2 = С „а2, t=i т	(12.4.15)
= (“2 - «=)’ = a2 J (/<• “ ^)2 = 2aW= С2^. ‘=‘	(12.4.16)
Отсюда ясно, что u—Ui—u2 также описывается (при больших т)
нормальным распределением с математическим ожиданием U=Ui—й%
и дисперсией а2и = cr2i + о22. Согласно (12.4.12), (12.4.15), (12.4.16)
_	| — С0а2 при 2 — 0,
U ( Е — С^2 при 2=1,
и
as„ = asE + 2Cs0a7m.
Вероятность ложной тревоги определяется как
00
F = Р(»10)du = Ф ( — £/2 ~С-^.
Ё/2
а вероятность правильного обнаружения как
00
D^= JP(u| l)du= ф( —£/2 + °-°-С°~£^.
Е /2
(12.4.17)
(12.4.18)
(12.4.19)
(12.4.20)
Под Р(и|0) и P(u| 1) понимаются плотности вероятности для ве-
личины и при 2=0 и %=1 соответственно; Ф(...)—интеграл вероят-
ности. Вводя отношение сигнал/шум h=E/2<j2 из (12.4.19) и (12.4.20),
получаем
F =ф/\_ ’	, В=Ф<-^ Д -Y (12.4.21)
\ К 2 KA+C20/m J	к К 2 К/г-НЛ/m J '	’
280
Характеристики (12.4.21) справедливы
и при непрерывном наблюдении сигналов.
В этом случае отношение сигнал/шум h—
=E0/2Nq, а под т следует понимать т~
=2Tr\f.
На рис. 12.6 построена характеристика
обнаружения, полученная по (12.4.21) при
h=l и т=10. Из нее видно, что с помощью
применения рассматриваемого алгоритма
с обучением можно достигнуть результатов,
весьма близких к тем, которые получаются
при известной интенсивности шума.
12.5.	ОБНАРУЖЕНИЕ СИГНАЛА С НЕИЗВЕСТНОЙ
АМПЛИТУДОЙ В ШУМЕ НЕИЗВЕСТНОЙ
ИНТЕНСИВНОСТИ
Рис. 12.6. Характеристика обна-
ружения сигнала в шуме не-
известной (1) и известной (2)
интенсивности алгоритма с обу-
чением.
Выше рассмотрены случаи обнаруже-
ния либо сигнала с неизвестной амплитудой
в шуме, обладающем данной интенсив-
ностью, либо сигнала полностью известного
вида в шуме с неизвестной интенсив-
ностью. Теперь усложним задачу и рассмотрим практически интерес-
ный случай, в котором и амплитуда обнаруживаемого сигнала и интен-
сивность шума неизвестны одновременно. Как и ранее, начнем с клас-
сической процедуры анализа.
Допустим, что в моменты t±, ..., tn наблюдается выборка Хп=
={Х1, хп} случайного процесса x(t), которая может состоять из
компонент шума g(0 либо из компонент суммы сигнала as(t) задан-
ного вида с неизвестной амплитудой а, и шума. Будем считать, что
интенсивность шума неизвестна.
Тогда Хп можно записать в виде
X„=ZaS„-LEn>	(12.5 1)
где Х=1 с вероятностью рр, /.=0 с вероятностью pa(pi + p2=l); S„ —
заданный вектор (Si=s(C)); а — случайный параметр, который по
предыдущему будем считать распределенным равномерно в диапазоне
Да=а2—аь шум является гауссовым с корреляционной матрицей =
—CT2||6,J|, а ст2=2Д/Хо — неизвестная интенсивность шума. Будем счи-
тать ее распределенной равномерно в интервале А (о2).
Согласно приведенным выше результатам оптимальный алгоритм
обнаружения состоит в сравнении с соответствующим порогом отноше-
ния правдоподобия
(12.5 2)
где х обозначены оценки максимального правдоподобия соответствую-
щих параметров и применяются введенные выше обозначения.
281
Плотность вероятности Р2 (Хл | <з2) и оценка о^* определяются вторыми
формулами (12.3.3), (12.3.5) и соответственно
а2;=Хг„Х„/п,	(12 5.3)
= (^УехР^ 4г) •	<12'5'4>
Плотность вероятности P^Xja, <з2) определяется формулой
Л(Х„|а, 02) = —2-^expf- A-(X„-aS.,)T(X,J-aS„)l. (12.5.5)
Оценки максимального правдоподобия а* и с2* находятся из системы
уравнений
& In Pi (Хп | а, я2)_q д In Р, (Хп | а, а2) _q	(12 5 6)
да	’	д (а2)	’	\	 )
После преобразований эти уравнения имеют вид
(1/<з2) (Х„ —aSn)TS« = О,	(12.5.7)
(1 /2о2) \п — (Х„ — aS„)T (Х„ — aSn)/<32] = О,
откуда
i=i
п
о2* (а*) = А- (Х„- a*Sn)T (Х„ - a*S«) = X £ (х, - а%-)2- (12.5.8)
Отношение правдоподобия (12.5.2) принимает вид:
2*	~|п/2	( п I п
Л (Хп |а*. 0J*, S*) =	"Ч J S х2‘~~
L	'•/ = 1	I i=a\
п
Здесь, как и ранее, £ = 2s2<-
i=l
Отношение (12.5.9) должно сравниваться с порогом
Szi 822 Ргаг (fin)
8,2—gn Р1Л1 (Хп)
Величина а2(Хп) относится к ситуации, когда имеется только шум
неизвестной интенсивности, и поэтому определяется второй из формул
(12.3.8)
(12-5Л0>
где Ва = Х\Х„.
282
Величина аг (Хл) в соответствии с (11.2.5) определяется как
а, (Х«) = ® (а*, 0*)-Д—.	(12.5.11)
Учитывая независимость и равномерность распределения для а и а2,
находим, что ш(а*. а^*) = (1/Да)(1/(Да2)). Матрица D, определяется как
D,=		<521пР,	д2 In В,	а=а*
		даг _ d2In В, д (а2) да.	дад (а2) д2 In В,	
			д (а2)2	
				а2=О2*
Согласно (12.5.7)				
З2 In в,		Е	_	2	;п
да?	сс	~~ а2 =а*	В1 а=са*	(а*) ’
(12.5.12)
где '
Вг (a) = (X„-aS„)T(X„-aS„);
ЭЧпЛ _ 1 (	2В, (a)\	n3 1
d(a2)2	2a4 (П a2 J	2 В2, (a*)
' ' a=a*	\	/ a=a*	’ ' '
a'=j2*	a’=a2*
d2lnP,
да.d (a2)
-^(X„- aS„)TS„|a=0l. =0
Отсюда
. P _ ni E
aet и, — —2-	,
in /2 B?'2 (a*)
(X„) =--------- 
1V ДаД (a2) n2B1/2
В результате порог C12 имеет вид
Q _ g21~ g22 Ma / Д____________________ai*
12 gi2 —g«i	2a|*(a*) a2* (a*)’
(12.5.13)
(12.5.14)
(12.5.15)
Сравнение с порогом (12.5.15) отношения правдоподобия (12.5.9)
эквивалентно алгоритму, в соответствии с которым принимается реше-
ние о наличии сигнала,если
02X(a-) C(X„),	(12.5.16)
где порог С (Х„) определяется как
2
С(ХЛ	р^^yjy у-2	(12.5.17)
' П'	\gl2~gll Pl V П	)	'
а A*0 = £/2a^*(a*) — оценочное значение нормированного отношения
сигнал/шум йв = £/2а2. Если же считать, что а, = 0, то
2
С (X )__(^21 ^22 ^2 1/~>	(12.5.18)
' П’ \g,2 — g,l Р, V * )
283
где Ай*— оценочное значение диапазона изменения отношения сиг-
нал/шум (при заданном диапазоне изменения амплитуды сигнала и
оценочном значении интенсивности шума, полученном в предположе-
нии о наличии сигнала). Нетрудно видеть, что выражение в скобках
в (12.5.18) совпадает с соответствующим порогом, определяемым фор-
мулой (12.2.12), при обнаружении сигнала с неизвестной амплитудой
в шуме известной интенсивности с той лишь разницей, что истинный
диапазон Ай заменен на оценочный Ай*. Вместе с тем структура алго-
ритма, включая и зависимость порога от п, оказалась такой же, как
при обнаружении детерминированного сигнала в шуме неизвестной
интенсивности.
При переходе к наблюдению непрерывных сигналов алгоритм
(12.5.16) в результате предельного перехода
вид:
принимает следующий
о
г
f х1 (t) dt — j,—
г т
2 1
Рс[х(0Ь
L0
(12.5.19)
где
т
Eri — j s2 (t) dt.
о
Порог C[x(/)] определяется как
г т
С [л (/)] — С х2 (t) dt —
-b
/ т
1 / Г
Ей 1
'0
2	2Д/7-2
(12.5.20)
fgti—gtt Pz -/'ЦТЕгЛ 1
\gi2 — gn Pi r ~	)
a £,m=a22-E'o — максимальная энергия сигнала.
В отношении алгоритма (12.5.19) следует сделать те же оговорки,
которые были применены к алгоритму непрерывных наблюдений
в § 12.3. Шум здесь подразумевается не белым, а имеющим полосу А/,
а алгоритм (12.5.19) является лишь приближением к оптимальному
алгоритму. При применении процедуры оптимизации, изложенной
в § 6.2, алгоритмы (12.5.16), (12.5.19) остаются в силе, однако порог С
становится постоянным и определяется как
Q ___ £21	£22
““ £12 —£и
А/
Функциональная схема оптимального обнаружителя, выполняющего
операции (12.5.19), изображена на рис. 12.7.
Рис. 12.7. Функциональная схема оптималь-
ного обнаружителя сигнала с неизвестной
амплитудой в шуме неизвестной интенсив
ности:
1— генератор сигнала s(t)/ У Ео; 2 — квадрато-
ры, 3 — интеграторы, 4 — делящее устройство, 5 —
реле
284
Найдем характеристики обнаружения, соответствующие получен-
ному алгоритму. Если пренебречь зависимостью порога от Хп, то этот
алгоритм может быть записан в следующем виде. Решение о наличии
сигнала принимается в случае, если
fx2,	(12.5.21)
г=1	/ \i=i	/
где
(12.5.22)
i=i
Введем линейное преобразование
Y„-GX„	(12.5.23)
с такой матрицей G, что GT=G_1. Тогда
Х„=0-Х=6т¥„; XTn = YT„G;
Хт„Х„=¥т„ОО-Х=¥тп¥„,
т. е.
п.	п
2^=2^
1=1	1=1
В силу вышеописанных свойств Хп и G функция корреляции
(yi—у^ {У) —ш) = 2 G‘kG<‘ (Xk —	~ =
к. М
= 2 °!Gz*GSI = °25"-	(12.5.24)
k=i
При нахождении математического ожидания yi учтем, что соглас- но (12.5.22) и (12 5 23)		
	G„, = Si/r£.	(12 5.25)
Из условия G~	п. 1==GT, т. е. ^GikGjk^^u, вытекает к=1	
	п	п VGlkGnk = VGtk-^==bin. &	V Е k=\	6=1	(12.5.26)
Отсюда при i у= п	п ^GtkSk — Q, а значит при 2=1 к=1	
	_	п.	—	п yt = ^ GtkXk = Ct 2 GtkSk = о. 6=i	6=i	(12.5.27)
285
При Х=0 математическое ожидание Xk=0, следовательно, и уг=0. Из
(12.5.22)
О при Я = О,
а ]/Д при Я = 1.
(12.5.28)
Таким образом,
(12.5.29)
где iji — статистически независимые нормально распределенные вели-
чины с параметрами (0, о) при i^=n и (тп, а) при i=n.
Алгоритм обнаружения сводится к сравнению с порогом С°=С—1
величины
I п—1
? = У\ % у\-	(12.5.30)
/ Z=»l
Для расчета характеристик обнаружения необходимо найти веро-
ятность Р (^С°). Очевидно, что
Р(С*>С’)= 1 — (/(?) + Ft(—/С5),	(12.5.31)
где — интегральный закон распределения для С.
Если же ввести
п—1
1/	(12-5.32)
у	1=1
то
Р(^С»)= 1	()/(п- 1)С’) + (-У(п- 1)С’),	(12.5.33)
где F— интегральный закон распределения величины т), т. е. распреде-
ление Стьюдента [16]. При Х=0 это центральное, а при %=1 нецен-
тральное распределение Стьюдента.
В результате характеристики обнаружения могут быть найдены
по таблицам и графикам, приведенным, например, в [8]. Этими графи-
ками следует пользоваться при малых вероятностях ложной тревоги F.
При больших F и достаточно больших п хорошим приближением
является
п—1
2 /г^(п—1)о2	(12.5.34)
/=»1
В результате алгоритм обнаружения сводится к тому, что реше-
ние о наличии сигнала принимается, если
у2„^(п—1)02С’ = К°,	(12.5.35)
что с точностью до множителя совпадает с алгоритмом обнаружения
сигнала с неизвестной амплитудой в шуме известной интенсивности.
При этом характеристики обнаружения определяются формулами
(12.2.19), (12.2.20). Характеристика обнаружения при «=10 и Л=8
приведена на рис. 12.8.
286
Адаптивный алгоритм последовательного анализа при обнаруже-
нии сигнала с неизвестной амплитудой в шуме неизвестной интенсив-
ности в тех же предположениях, что и в предыдущих задачах, сводится
к сравнению на каждом п-м шаге наблюдений отношения
п
°2* (П)/°1* (П> Я* (П)) =
1=1
(12.5.36)
с двумя порогами
С (я) =
’v I я («)
2
Г (п\— Г Р2 i/&h* («) ]"~2,
(12.5.37)
где ДЛ*(п)= a2max£„/2a^*(n, а* (я))— оценочное значение диапазона из-
менения отношения сигнал/шум, полученное на п-м шаге наблюдений.
Легко видеть, что структура порогов получилась такой же, как
(12.3.25). Однако эти пороги, вообще говоря, случайны за счет зависи-
мости от АЛ*(я).
Рис. 12.8. Характеристика
обнаружения сигнала с не-
известной амплитудой в шу-
ме неизвестной интенсив-
ности.
Для нахождения рекуррентного адаптивного алгоритма обнаруже-
ния подобно (12.3.26) представим правило принятия решения о нали-
чии сигнала на п-м шаге наблюдений в виде
1п
а2* <п)	2 1п Гg2, — g22 р2 ,/~Мг* (n) 1
4*(n, a*(n)>	— 2	|g12 — g„ p, Г re ]’
(12.5.38)
Подставляя (12.5.36) в левую часть (12.5.38) и полагая, что при
достаточно больших п можно использовать неравенство s2n^.En-i, по-
лучаем
In ’2*(П)	— In
1П —nZ----------1П “«T-------------------"t*
a,* (n, a* (n)) aj (n — 1, a* pi — 1))
+1П_____________1 +	>?(.-.)________________ 2 539
'	1 + (Xn1) S„)2/(n — 1) a?* (n —1, a* (n —1))
Эту рекуррентную формулу гследует дополнить рекуррентными соот-
ношениями для а*(я), а,* (я, а* (я)) и а2* (я), которые легко вывести,
287'
используя (12.5.8) и (12.5.3). В том же приближении, что и (12.5.39),
они имеют вид
а* (п) = а* (п — 1) + (sn/En) (хп — а*(п — 1) s„),
°i*(ra> а*(п))^о,*(п—1, a*(n—l)) + [(xn — a*(n—l)s„)2 —
— <3j*(n—1, а*(п—1))]/п,	(12.5.40)
Ь («) =	(« — 1) + [х2п — * (п — 1)]/п.
12.6. ОБНАРУЖЕНИЕ СИГНАЛА С НЕИЗВЕСТНЫМИ АМПЛИТУДОЙ И ФАЗОЙ
В НЕКОРРЕЛИРОВАННОМ ШУМЕ
Задача обнаружения высокочастотного сигнала с неизвестными
амплитудой и фазой при его приеме в гауссовом шуме неоднократно
рассматривалась в литературе [2, 17, 22]. При этом сигнал считался
медленнофлюктуирующим с заданным законом распределения вероят-
ностей.
Рассмотрим несколько иную задачу. Будем считать, что законы
распределения постоянных за время наблюдения амплитуды и фазы
или, что то же, амплитуд косинусной и синусной составляющих сигна-
ла неизвестны. Приближенно известны только диапазоны их измене-
ния. Тогда в рамках классической процедуры анализа задача может
быть сформулирована следующим образом.
На интервале	наблюдается сигнал x(t), который может
быть представлен в виде
х (t) = 7.иа (t) [я, cos (wj + <[> (t)) 4- a2 sin (a>„t 4- <p (^))] ]- $ (/),	(12.6.1
где Х=1 с вероятностью pi, л=0 с вероятностью рг; ua(t) и ф(^) —со-
ответственно амплитудная и фазовая модуляции сигнала; со0 — несущая
частота; си и аг — неизвестные амплитуды косинусной и синусной со-
ставляющих сигнала, диапазрны изменения которых Aaj и Дй2; l(t) —
гауссов шум, обладающий полосой и спектральной плотностью
в этой полосе приблизительно постоянной и равной No, так что при
наблюдении сигнала через интервалы At=ll2\f компоненты шума
можно считать независимыми и обладающими дисперсией o2—2NoNf.
При наблюдении сигнала в дискретные моменты времени tr (i=l,
2, ..., п)
Х„=	(12.6.2)
где
с( = Ua (tt) cos (%/, 4-(I,))-,
Si = Ua (tt) sin (<о0/г -|- ip (^));
(12.6.3)
В соответствии с (12.1.1) оптимальный алгоритм обнаружения сиг-
нала в шуме сводится к сравнению с порогом отношения правдоподобия
Л (Х„ | я*,.	(Х„ | а*., я*2)/Р2 (Х„),	(12.6.4)
288
где Pi(Xn|ai, аг) и Рг(Хп) при сделанных выше допущениях записы-
ваются в виде
(Х„I ai’ аг) ~Z. 2\П/2 еХР Г 2a2
— a2S^T(X„—a2C„ —a2S„)j ;
(12.6.5)
^2 (X„) = ^^n/2 eXP ~2^~	л^л)>
a a*i и a*2 — оценки максимального правдоподобия параметров ai и аг,
определяемые из уравнений
п
InР, (Х„ I a,, а2) = ~	(х, — а,сг — a2s,) с, = О,
(12.6.6)
п
In Р, (Х„ I а„ а2) = — У} (х, — а2с( — a2s,-) s, = 0.
г=1
Из этих уравнений
a*i=2 (Xi—a^S()Ci 12с*/;
i=l	I i=l
(12.6.7)
a*2=2>-<c')s‘ 2 s*1-
1=1	I i«=l
Решая уравнения (12.6.7) совместно и вводя обозначения
£с = 2’с2г, £« = 25*г’ е^ — ^с‘8‘’
1=1	1=1	l=sl
(12.6.8)
П	fl
Х = 2Л<С" Xs — '£ixlsl,
1=1	1=1
получаем
a*, = (EsXc — ECSXS)I(ECES — £2CS);
(12.6.9)
a*2 = (EcXs — EcsXc)/(EcEs - E2CS)
Подставляя (12.6.5) и (12.6.9) в (12.6.4), имеем
In Л (Х„ [ a*., a\) = ХГ„ (а*£п + a*2S„) -
-^(<C„4-a*	+	• (12.6.10)
Алгоритм обнаружения сводится к тому, что принимается решение
о наличии сигнала, если
EsX2c + EcX2s — 2EcsXcXs р/19К111
2s2^EeEs_E2Cs)	- G — 1П С(1Z.b 1 i)
19—899
289
где Ci2 — порог, с которым должно сравниваться отношение правдопо-
добия. При выполнении обратного неравенства принимается решение
об отсутствии сигнала.
В случае соблюдения условий
иа (t 4- 2ir/<»0) =5: иа (0; ф (<+2it/too) ~ Ф (0; /bf)
^ua(ty, ф(/+1/Д/)^ф(0
соблюдаются приближенные равенства
Ес= Es Е =-±-^u2ai, Ecs = 0,	(12.6.12)
г—1
и алгоритм (12.6.11) принимает следующий упрощенный вид:
(X2cyX2s)/2c2E C.	(12.6.13)
Учитывая, что оценки параметров си и аг в данном случае прибли-
женно определяются как
а*,= Хс/Е, а\ = Х,/Е.	(12.6.14)
алгоритм (12.6.13) можно переписать в виде
(Е/2о2)(а;24-а;2) = й*гг=С,	(12.6.15)
где h* — оценочное значение отношения сигнал/шум h=(E/2a2) (a2i +
+ а2г) •
Представление алгоритма обнаружения в виде (12.6.15) подчерки-
вает его адаптивную сущность, заключающуюся в том, что строится
оценка неизвестного отношения сигнал/шум и сравнивается с порогом.
Согласно выведенным выше формулам порог находится как
В данном случае аг (Х„) = 1, а
а, (XJ = ®(a*,, а*2) 2^АеУ2Т),.
Матрица Di находится как
(12 6.16)
(12.6.17)
(12.6.18)
Из (12.6.5) находим, д21п Р1 __ Ес	дг In Р,	d2 InP,		ajcsa*! aa«sa*2 2lnP, 	
	da2, d2 In P,	da,da2 d2 InP,	d	
	da2da, ЧТО d2 In P, _	da22 Es .		
da2,	a2	’ da22	a2 ’		da,da2
откуда, заменяя <o(a*,,a*2) на l/Aa,Aa2, имеем
а, = 2^2/^а,^агУ ECES — E2CS .	(12.6.19)
Применяя приближение EC~ES—E, Ecs=0, а также предполагая,
что амплитуды ai и аг изменяются в пределах —аШах •  • аШах, так что
Aai=Aa2=2amaxi получаем
a, =4toa/2a!m0X£ = it/2/imax,	(12.6.20)
290
откуда величина порога
С = 1П f ~ Sa А 2/ггплх .
4^12 — ^11 А П J
(12.6.21)
Далее будем считать, что С>0. При отрицательных С, как и в за-
даче с неизвестной амплитудой сигнала, соблюдаются условия, при ко-
торых наблюдения не могут улучшить априорных данных.
При наблюдении в непрерывном времени, умножая (12.6.8) на At
и переходя к пределу при At—>-0, п—>оо, nAt—T, ozAt=No, алгоритм
обнаружения (12.6.13) преобразуем к виду
где
Таким образом, оптимальный алгоритм обнаружения состоит в кор-
реляционной обработке принимаемого сигнала в двух квадратурных
каналах за время наблюдения Т и в сравнении с порогом суммы квад-
ратов результатов этой области. Функциональная схема обнаружителя
Рис. 12.9. Функциональная схема
оптимального обнаружителя сиг-
нала с неизвестными амплитудой
и фазой в шуме:
1 — гетеродин, генерирующий колеба-
ния Ua(t) cos (W+M>(0); 2 —фазовра-
щатель (Л/2); 3 — интеграторы; 4 —
квадраторы; 5 — реле.
представлена на рис. 12.9. В результате оптимальным оказался тот же
обнаружитель, что и при известном гауссовом априорном распределе-
нии для постоянных за время наблюдения амплитуд <ц и аг.
Характеристики обнаружения, соответствующие полученному алго-
ритму, усредненные по нормальному закону распределения для ампли-
туд И1 и аг, приведены во многих литературных источниках (например,
[2, 22]) и имеют вид
D=FW+h\	(12.6.23)
Однако по самой сути решаемой задачи мы нашли адаптивный
алгоритм, связанный с оценкой неизвестных амплитуд ai и аг, закон
распределения которых также неизвестен (приближенно задан лишь
диапазон их изменения). Этот алгоритм свелся к вышеописанному
алгоритму, но характеристики обнаружения в данном случае следует
рассчитывать при тех значениях ai и аг, которые имеют место в дейст-
вительности и оцениваются (хотя бы в неявной форме) при работе
алгоритма.
19*	291
Перепишем алгоритм (12.6.13) в виде
Х'24-Х'Ъ=2С,	(12.6.24)
где X'c = Xd ]/а2Е и X'з = Хз№°гЕ —согласно (12.6.8) нормально
распределенные случайные величины, при Ecs==0 статистически неза-
висимые с дисперсиями, равными единице, и с математическими ожи-
даниями
Шз —
(О при Л = 0,
тс = <	г-—_
(ajj/E/o при Л=1;
О при 2 — О,
а2 ]/Е/°2 при 2 — 1.
Поэтому х = Х'2-[-Х'2 описывается х2-распределением [16] с двумя
(12.6.25)
степенями свободы. При 2=0 это центральное ^-распределение, и плот-
ность вероятности величины х выражается формулой
Е(х|0) = Г/2е“Х/2. «^ 0,	(12.6.26)
I 0, х<0.
Вероятность ложной тревоги
E = J р (х 10) dx = е-с.	(12.6.27)
2С
При 2=1 величина х описывается нецентральным ^-распределе-
нием с двумя степенями свободы и с параметром нецентральности
a = (a214-a22)E/o2 = 2/i.	(12.6.28)
В результате плотность вероятности для х имеет вид [22]
р(х\ 1) = / 72е-/1е х/2/0(]/2Ь;) при х^О, (12.6.29)
[ 0 при х<0.
Здесь /0(х)—модифицированная функция Бесселя нулевого порядка.
Представляя /0(х) в виде [13]
00
k=0
и находя вероятность правильного обнаружения, имеем
00	00	00
= J ^(х| l)dx = — e'AJ e-X/2Jj W” (^~Уа%==
2С	2С	k=Q
<Х>	00
=4-e’AS W- (4) ^e-x/2dx.	(12.6.30)
k=0	2C
Вычисляя интеграл в (12.6.30) [13], получаем
00	00 k	1
&=0	k=l i—1	J
oo k
=л'*ЕЕ*ч^','(1птГ'-	<12A31>
A=0 i=0
292
Практически для вычислений достаточно пользоваться нескольки-
ми членами ряда (12.6.31), а при малых F можно использовать таб-
лицы, помещенные в [8], при параметре нецентральности a=2h. На
рис. 12.10 изображена получающаяся характеристика обнаружения при
й=1.
Алгоритм последовательного анализа, минимизирующий текущий
средний риск, сводится в данном случае к сравнению оценки отноше-
ния сигнал/шум h* (п), построенной на каждом n-м шаге и определяе-
мой (12.6.15), с двумя порогами
C/raJ^lnl^^-
v La п
С2(га) = 1п [~2~
gt (П)
<Р1 («)
?г (»)
gi («)
(12.6.32)
где gifn), gz(n), <pi(rt), <р2(«) определяются, как и в предыдущих за-
дачах.
Рис. 12.10. Характеристика
обнаружения сигнала с неиз-
вестными амплитудой и фазой
в шуме:
/ — при заданных амплитудах ai и
аз; 2 — усредненная по нормально-
му закону распределения для
di и ал.
Рекуррентный адаптивный алгоритм обнаружения сводится к ре-
куррентному соотношению для отношения сигнал/шум h*(n), которое
сравнивается с порогом С(п). Из (12.6.13) легко найти, что при
u*°n I2 u‘ai 1
Л* (П) == ft* (п - 1) + (2 /cs) [а*, (п - 1) сп + а*2 (п — 1) s„] х„ +
+ (с2п + згп)х*п[а2Еп,	(12.6.33)
где a*i(n) и а*г(п) определяются рекуррентными формулами
а\(п)^а\(п-1) + хпсп/Еп,
(12.6.34)
а*2 (п) =й а*2 (п — 1) -j- xnsn[En.
Порог, с которым сравнивается h*(n), определяется как
С (и) — In g21 W ~ g22	.	(12.6 35)
L A g,s (п) — g,t (n)j к J	'
29а
"12.7. ОБНАРУЖЕНИЕ В ШУМАХ ФЛЮКТУИРУЮЩЕГО СИГНАЛА
С НЕИЗВЕСТНОЙ СТАТИСТИКОЙ ФЛЮКТУАЦИЙ
Обнаружение в некоррелированном гауссовом шуме флюктуирую-
щего сигнала с известным законом распределения, в частности с гаус-
совым законом распределения при известной функции корреляции
флюктуаций, достаточно полно рассмотрено в литературе (например,
[2, 22]). Однако на практике часто встречаются случаи, в которых не
только функция корреляции, но и вид закона распределения обнару-
живаемого флюктуирующего сигнала неизвестны.
С позиций вышеразвитой теории обратимся к задаче обнаружения
такого флюктуирующего сигнала в некоррелированном гауссовом шу-
ме. При этом введем некоторые обычно выполняющиеся предположе-
ния. Будем считать, что обнаруживаемый сигнал является высоко-
частотным периодически модулированным с периодом модуляции Тг,
много меньшим возможного времени корреляции флюктуаций, так что
за период Тг амплитуды косинусной и синусной составляющих сигнала
практически постоянны. Шум, как и в предыдущем параграфе, будем
считать весьма широкополосным по сравнению с шириной полосы мо-
дуляции сигнала.
При наблюдении на интервале OsCigCT, где T=mTr, сигнал может
быть записан в виде
х (I) = Лиа (0 [a, (t) cos (С»о/ + ф (0) + а2 (0 sin (да/ -ф- ф (/))] Ц- $ (t), (12.7.1)
где законы амплитудной «а(0 и фазовой ф(^) модуляции — периоди-
ческие функции с периодом Tr; сц(£) и аг(0 на интервале kT,<t^
^(/г+1)Тг постоянны и равны и аг/; соответственно; Х=1 с вероят-
ностью pi и 7—0 с вероятностью pz(pi+p2—l); £(0 •—гауссов шум
с дисперсией <з2=2АМф.
Если наблюдаются значения сигнала в дискретные моменты вре-
мени t-i, то они могут быть записаны в виде
= Я (а,;гс1 —a2^st) —j—£г>	(12.7.2)
где х,=--х(6); с( =иа (6) cos (<o0Z, -фф(Л)); st = ма(^) sin (%/!,• Ц-ф(О); =
= £(/,) и предполагается, что (k — 1) I < i <kt, 1-=-Тг[М, &t = li — h_t.
Считая, что Д/=1/2Дф имеем ?Л/=°23</.
Пользуясь системой записи, примененной во всех предыдущих за-
дачах, запишем сигнал, наблюдаемый в п точках (п=Г/Д^) в виде
=	агпг^п) S„,	(12.7.3)
где n = ml, а а1т и а2т — диагональные матрицы.
Таким образом, задача сводится к обнаружению сигнала, обладаю-
щего неизвестными векторными параметрами aim и az™. при его приеме
в некоррелированном гауссовом шуме. При сформулированных выше
условиях больше никаких сведений о сигнале не имеется, за исключе-
нием, быть может, диапазонов возможного изменения амплитуд ащ
и ctzn, нужных для определения порогов.
Плотности вероятности Pi(Xn|aun, аг™) и Р2(Хп), отношение ко-
торых определяет согласно (12.1.1) оптимальный алгоритм обнаруже-
ния, находятся как
7^1 (Х« | Ctim> H2m) — 2,п/2 eXp J п 2 [Х/г (<Х1тС/г -ф- H2,,2S/2)]r [Х«
"Ф" агт$п)1}1
294
1
(2fta2)n/2
1 vt v
2^5- Л пЛ.п

(12.7.4)
Оценки максимального правдоподобия параметров сць и аг* (£=1,
2, ..., т) определяются из уравнений
да1к Pi (Хл | aiOT> a2m)
т jl
=-----S (xt-allCt-a2lS[y =
/=1 <=(/-1)1+1
kl
= Jj (X, —a1&Ci —а2й$г)с,=0,	(12.7.5)
i=(k-1)4-1
ki
-g^^P1(Xn\aim,a2m)=^-^- У] (л, ——a2*s<)s<==0,
/=(*-1)1+1
из которых
«• ___ EskXck Ecskxsk * ___________ EckXsk — Ecskxck
lk~ EckEsk-E*Csk ' a 2k~ EckEsk-E\sk
(12 7 6)
где
ki	ki	ы
Eck= 2	c2<; Esk = 2	s2,; Ecsk= £	c,s,; (12.7.7)
i=(k~ i)z+i	i=(k- i)i+i	<=(*-i)/+i
kl	kl
Xck~ —	X>iCi) XskXtSt.
)/-p	r==(fe_i)Z4-|
При соблюдении вышеупомянутых условий
i
Ecsk^0-, Eck = Esk = E= 2-J]“2a(^)	(12.7.8)
1 = 1
и оценки
a*1* = Xc*/£, a\k = XsklE.	(12.7.9)
При этом логарифм отношения правдоподобия
In Л 1Y I ГУ* О* 1 __ In (X» I Ck*2m) _______
1П Л (An I и 1(П> и 2<П/	(Хп) ------
т kl	т kl
S (а*^Сг + a*2ftS‘)—’i’S S (a*i*c< + a*2*Si)2=
Л=1 t={k—1Ц-Р	A==1	f=(£—1)Z4-1
tn	tn
= -КГ-J	(*«< + *’..)	(12.7.10)
k=l	fe=l
Алгоритм обнаружения состоит в сравнении (12.7.10) с порогом
Cz=ln С12 При превышении этой величины порога принимается реше-
ние о наличии сигнала. Так как величина
т
*=1
(12 7.11)
295
представляет собой отношение сигнал/шум за время наблюдения, вы-
ражение (12.7.10) может трактоваться как оценка отношения сиг-
нал/шум
т
fe=l
и алгоритм обнаружения сводится к сравнению этой оценки с порогом.
Величина порога
S21 Вгг Рг^г (Хп)
£12 —£и Pi«i(Xn)
С — 1пС12 = 1п
Здесь а2(Хп)=1, а
„ /у \ ... ___________
“1 (ЛП/ —	det Dj ,
(12.7.12)
причем, как и в предыдущих задачах, совместная априорная плотность
вероятности для всех <иь и a2* (k=l, 2, ..., т) заменена величиной
1/(Да)2т, где Да — диапазон изменения каждого из параметров aih, а^ь-
Учитывая, что
Э21пР, __	Eck_______Е~.	дг In Р,	_ _ Esk	____Е_ .
3a2lfe	a2	a2 ’	3a22£	a2	a2 ’
d2 InP, __ _ ECsk ____ „ d2 In P, _d2 InP, __ „
3aife5a2fe	®2	’ da.2kda2i ’
имеем
<ЫО,=(4)“;	(12.7.13)
Если считать, что амплитуды aik и a2/; могут изменяться в диапа-
зоне —атах • • • аШах, т. е. Aa=2amax, то
С =1пС]2 = In (-Р2-} 4-mln (Aa)22£- =
12	^£12 —£11 Pi J 1	2ita2
(12.7.14)
\£12 — £11 Pl J 1
где 2a2maxE/2о2=/гmax/— максимальное отношение сигнал/шум за
период Тг. Как и в предыдущих задачах, будем полагать, что соблю-
даются условия, при которых С>0.
Алгоритм обнаружения при непрерывном наблюдении сигнала мо-
жет быть получен из (12.7.10) при переходе к пределу при Hd—>-0,
п—>-оо, 1№=Тт, c‘2‘\t=N0 и сводится к тому, что принимается решение
о наличии сигнала, если
и-.
2ЛГо£о ZJ i J ’
1)7>
cos
kTr
J X(/)Ua(0sin(«»oif4-
(й-1)Гг
т
1 С
2
- 2
(12.7.15)
ТГ
где	uza(t)dt.
о
296
Порог С выражается формулой (12.7.14), в которой
^шах / т=2а2тах£о/2N0.
Функциональная схема обнаружителя, реализующего алгоритм
(12.7.15), представлена на рис. 12.11. Оптимальные операции над сиг-
налами свелись к корреляционному приему в двух квадратурных кана-
лах за каждый период модуляции сигнала и к суммированию квадра-
тов выходных величин этих каналов за время наблюдения. Результаты
суммирования сравниваются с порогом.
Рис. 12.11. Функциональная схема оптималь-
ного обнаружителя флюктуирующего сигна-
ла с неизвестным законом распределения
флюкт} аций в шуме:
1 — гетеродин, генерирующий колебания
ua(t) cos (со/+-ф(/)), 2 — фазовращатель (л/2), 3 —
интеграторы за период Тг; 4 — квадраторы, 5 —
накопитель; 6 — реле.
Как известно [2], такой же обнаружитель является оптимальным
при обнаружении быстрофлюктуирующего гауссова сигнала, принимае-
мого в белом шуме (при полностью известной функции корреляции
флюктуаций). Таким образом, оптимальный адаптивный обнаружитель
сигнала с неизвестной статистикой флюктуаций, осуществляющий оцен-
ку неизвестных амплитуд и фаз сигнала в каждом периоде модуляции,
совпадает с оптимальным обнаружителем гауссова быстрофлюктуи-
рующего сигнала в шуме.
Характеристики обнаружения в данном случае должны рассчиты-
ваться при заданных он* и аг* (&=1, 2, ..., гп), которые оцениваются
в процессе работы алгоритма обнаружения.
Запишем алгоритм обнаружения в виде
m
(^+<5>2С-	(12-716>
*=1
где zV'ci — Xck/^^E, X'sk = XSk]V°2E — нормально распределенные
случайные величины, статистически независимые, обладающие диспер-
сиями, равными единице, и математическими ожиданиями
( 0 при 2 =- О,
mck = <	—
\агк]/Е/а2 при 2=1;
( 0 при 2 = 0,
msk = '	г—!—
1 а2* ]/£/а2 при 2=1.
(12.7.17}
В результате при Х=0 величина х описывается центральным
^-распределением с 2m степенями свободы, а при Х=1—нецентраль-
ным х2-распределением с 2m степенями свободы и с параметром не-
центральное™
о = £ №ск 4- т\к) =	£] (a2,* + a22fe) = 2h.	(12.7.18)
4=1
2 97
Этим и определяются характеристики обнаружения. Запишем их
для случая больших т, когда справедливо гауссово приближение.
Учитывая, что при /.=0
к = 2т; с2х = х2 — х2 = 4/тг,	(12.7.19)
для вероятности ложной тревоги имеем
1— Ф[(С —	(12.7.20)
При Л  1
х— 2m2/г; <?х= 4/тг8/г,	(12.7.21)
так что вероятность правильного обнаружения
1 —Ф[(С —(m + /i))/Km-|-2/i ].	(12.7.22)
В последних выражениях Ф(х)—интеграл вероятности. Характеристи-
ка обнаружения при т=25 и h—1 представлена на рис. 12.12.
Рис. 12.12. Характеристика
обнаружения сигнала с неизве-
стным законом распределения
флюктуации в шуме.
При последовательном анализе в тех же предположениях, что и
в предыдущих задачах, алгоритм обнаружения при наблюдении сиг-
нала в каждом т-м периоде модуляции сводится к составлению
т
(12-7'23)
fe=I
и к сравнению этой величины с двумя порогами
СДт)^1п	(12.7.24)
1V/ L Pi (w) J	кт	'	'
С2 (т) = In ^-\ 4- т In (т} 
L Pi gi (т)!	гл
Рекуррентный алгоритм обнаружения определяется рекуррентным
соотношением для /г*(т), которое имеет вид
1)4-(Е/2а2)(а^ + а;2г),	(12.7.25)
298
а порог, с которым сравнивается (12.7.25) при наблюдении т-го перио-
да модуляции сигнала, согласно (12.7.14) имеет вид
С (т) = In
gai («) — gSs (ffl)
— 611 (m)
—] 4- tn In
Pi J 1
2ftmay
-rn
(12.7.26)
12.8. ОБНАРУЖЕНИЕ СЛУЧАЙНОГО СИГНАЛА НА ФОНЕ КОРРЕЛИРОВАННОЙ
ПОМЕХИ ПРИ НЕИЗВЕСТНЫХ ФУНКЦИЯХ КОРРЕЛЯЦИИ СИГНАЛА И ПОМЕХИ
Рассмотрим еще один пример адаптивного обнаружения в усло-
виях большой априорной неопределенности, когда для получения не-
тривиального решения задачи необходимо иметь предварительные дан-
ные наблюдения, полученные в процессе «обучения». Пусть результа-
том наблюдения является отрезок реализации случайного процесса
x(t) на интервале (0, 7»), который может представлять собой либо
помеху в виде стационарного гауссова случайного процесса со спек-
тральной плотностью 5л((о), либо аддитивную смесь этой помехи со
случайным сигналом, имеющим спектральную плотность 5с(<о). Корре-
ляционные функции помехи и сигнала, соответствующие этим спек-
тральным плотностям, будем считать произвольными и удовлетворяю-
щими единственному условию:
^орп«Л ткорс<Л	(12.8.1)
где Ткирп, Ткорс — время корреляции помехи и сигнала.
Как известно [2], в этих условиях минимальная достаточная ста-
тистика (логарифм отношения правдоподобия), определяющая опти-
мальный алгоритм обнаружения, имеет вид
г
1 = ^ y^dt,	(12.8.2)
о
где y(t)—отклик фильтра с частотной характеристикой	квад-
рат модуля которой определяется выражением
IН (t< = Sc (a>)/Sa (Ю) [Sn («>) + («)]	(12.8.3)
при воздействии на вход этого фильтра наблюдаемого сигнала x(t).
Решение о наличии сигнала принимается при превышении величиной z
заданного порога С.
Если спектральные плотности Sc(<o) и Sn((o) обладают определен-
ной гладкостью, так что обе эти функции не испытывают резких скач-
ков в пределах некоторого интервала частот (и, и + Аю) при любом
значении <о, где А<о=2лА/: и А)>1/Г, то минимальную достаточную
статистику z можно представить в следующем эквивалентном видеп:
Z S sn (“<) lsc (U) + Sn (<oz)] = S F+\z Sn7<oz) ’	(12.8.4)
I	i
где
<?<=-Sc(<o;)/Sn(<«z).	(12.8.5)
— отношение спектральных плотностей сигнала и помехи на частоте со,
т
Zi = ^y\(t)dt,	(12.8.6)
Представление z в виде (12.8 4) является приближенным.
299
а Уг(^)—огибающая отклика фильтра с полосой Д/ и единичным ко-
эффициентом усиления, настроенного на частоту <ог, при воздействии
на вход этого фильтра наблюдаемого сигнала x(t). Суммирование
в (12.8 4) производится по всем i, которым соответствует отличная от
нуля спектральная плотность сигнала. Практически вклад в сумму и
эффективность обнаружения сигнала дают те значения частот аг, для
которых отношения сигнал/помеха q. принимают относительно боль-
шие значения
При таком представлении z реализация оптимального алгоритма
обнаружения обеспечивается с помощью набора одинаковых полосо-
вых фильтров (с полосой Д/>1/Г), настроенных на частоты аг, накоп-
ления за время Т квадратов огибающих выходных сигналов этих филь-
тров и суммирования накопленных значений гг с весовыми коэффи-
циентами [<?г/ (1+<7г)] [l/Sn((Oi)]*
Очевидно, что совокупность величины гг представляет собой доста-
точную статистику при любых возможных спектральных плотностях
сигнала и помехи, поэтому как в байесовой задаче, так и в условиях
априорной неопределенности вполне законно вместо исходной реализа-
ции сигнала x(t) ограничиться рассмотрением только набора вели-
чин гг. Нетрудно убедиться [2], что величины независимы и с точ-
ностью до коэффициента пропорциональности имеют ^-распределение
с 2\fT степенями свободы. При этом, если присутствует одна помеха
(Х=0),
(12.8.7)
а если присутствует сигнал с помехой (-1=1)
/?(«,[ 1) = /?Сп(г<) = г(n)s„n. (1 + 9;)„ ехр [- 5^(1'+?,)]’ <12 8 8>
где
г^д/Г	(12 8 9)
Будем считать теперь, что спектральные плотности Sn(<o) и 5с(<о)
помехи и сигнала (соответственно величины Sm и 3Сг, равные qtSm для
всех t) неизвестны. При этом совместное распределение вероятности
совокупности величины zt при отсутствии сигнала
/’(zlOj-n^^^JJj^-exp^-^-)	(12.8.10)
i—1
зависит от N неизвестных параметров {Sni, ..., Snjv}, а при наличии
сигнала
N	N	г"-1	г
(z I 0 = П Лп(*<) = П г(П)5»П1(1 + ?()« ехр [~ sn/(i+<7i) J
(12.8.11)
— от 2А? неизвестных параметров {Sni, •••, Smv} и {Sci, • •, <$cn} или
{qi,  , Qn}, где z={zi, ..., zN} — совокупность имеющихся данных на-
блюдения, a N — число интервалов частот шириной Af	пе-
300
рекрывающих полный частотный диапазон Afo, в котором априори мож-
но считать спектральную плотность сигнала отличной от нуля (W=
=Afo/Af). Как следует из (12.8.10) и (12.8.11), в первом случае число
неизвестных параметров равно числу наблюдаемых величин, а во вто-
ром— вдвое больше. Поэтому данные наблюдения не только не содер-
жат избыточной информации, но их просто не хватает для того, чтобы
найти нетривиальные оценки неизвестных параметров, характеризую-
щих априорную неопределенность, и получить какое-то нетривиальное
правило принятия решения о наличии сигнала, отличное от чисто ран-
домизированного решающего правила без использования данных на-
блюдения.
В связи с этим рассматриваемая задача имеет нетривиальное ре-
шение только в том случае, когда наряду с данными наблюдения z=
={щ, ..., zN}, полученными на рабочем шаге принятия решения о на-
личии сигнала, имеются дополнительные данные, которые совместно
с основными можно использовать для нахождения оценок неизвестных
параметров. Будем считать, что такие «обучающие» данные получают-
ся в процессе предварительного наблюдения реализации сигнала x(t)
на интервале (—Ti, 0), предшествующем рабочему интервалу наблю-
дения. При этом реализация x(t) на этом интервале обязана своим
происхождением только помехе, а спектральная плотность последней
на этом интервале достаточно точно совпадает со спектральной плот-
ностью помехи на рабочем интервале (0, Т). В реальных условиях,
конечно, может иметь месте и нестационарность помехи, приводящая
к изменению ее спектральной плотности от интервала (—7\, 0) к ин-
тервалу (0, Т) Ч что налагает определенные требования на выбор
длительности интервала «обучения» (—Ti, 0). Последний выберем так,
чтобы требования практической неизменности спектральной плотности
удовлетворялись.
Интервалу «обучения» (—Л, 0) соответствует совокупность на-
блюдаемых данных y={yit ..., yN}, где каждая из величин уг форми-
руется по реализации входного сигнала x(t) на этом интервале так же,
как Z} формируется из x(t) на рабочем интервале (0, Т), а все вели-
чины уг (i=l, 2, ..., N) в совокупности образуют достаточную стати-
стику, информационно эквивалентную исходной реализации x(t) на
интервале (—Л, 0). Их совместное распределение имеет вид, анало-
гичный (12.8.10), т. е.
тт Ут~Х
Р =П ехр хг) (12-8-12)
с заменой п на m=AfTi. Обозначая полную совокупность имеющихся
данных наблюдения через х={у, z}=tyt, yN; Zi, ..., zN], будем
иметь следующее описание для плотностей распределения вероятности
*> При этом имеется в виду спектральная плотность квазистационарного про-
цесса S(w, t), определяемая преобразованием Фурье от его функции корреляции
ОО
$М = f + t) e-'*T<fc.
—ОО
301
этой совокупности при отсутствии и наличии сигнала на рабочем ин-
тервале наблюдения:
Л”	щ_1 72—1
/)(х|0)=р(у)р(г|0) = П-Г1^^-р(-^}	<12 813>
?(x|1) = p(y)p(z|l) = n--------r|„,rwss+.,,+<i).------- (12-8'14>
2 = 1
В соответствии с предыдущими результатами адаптивное правило
решения имеет следующую структуру:
max р (х | 1)
\ __ {Sn<’ q,}___z>
max /? (x | 0)	’
(12.8.15)
где максимизация производится по совокупности всех неизвестных
в соответствующей ситуации параметров, а С — порог сравнения. Бу-
дем считать также, что априорные вероятности наличия и отсутствия
сигнала и цены ошибочных решений в данном случае неизвестны и
используем далее для выбора порога критерий Неймана — Пирсона.
Поскольку оценки неизвестных параметров Sni и у, не представ-
ляют самостоятельного интереса и максимизация в (12.8.15) может
быть проведена по разным параметрам независимо (при этом в числи-
теле удобно провести замену 5пг(1 +<7i)=Sni+SCt=Scni и рассматри-
вать эту сумму как самостоятельный параметр), то для конкретизации
вида (12.8.15) достаточно воспользоваться очевидным соотношением
max—^-е :/а =-X-е-л,	(12.8 16)
(£1) ап	\	/
с помощью которого величина z'—ln Л может быть представлена в сле-
дующем виде:
Эта величина является минимальной достаточной статистикой для за-
дачи обнаружения в условиях априорного незнания спектральных плот-
ностей помехи и сигнала, аналогичной величине z из (12.8.4) при
известных спектральных плотностях. Решение о наличии сигнала при-
нимается, если величина г' превышает пороговый уровень С'.
Найдем теперь характеристики обнаружения — вероятности лож-
ной тревоги и правильного обнаружения. При этом с целью оценки
влияния априорной неопределенности рассмотрим сначала эти харак-
теристики для байесовой задачи известных спектральных плотностей
помехи и сигнала, когда решение о наличии сигнала принимается путем
сравнения величины z (12.8.4) с порогом С. При больших значениях
УоТ независимо от выбора величины Af=Afo/?V величина z распреде
302
лена нормально при наличии и отсутствии сигнала [2], поэтому доста-
точно ограничиться нахождением математического ожидания и диспер-
сии величины z.
В соответствии с (12.8.8) и (12.8.7) при наличии сигнала
М i = «(«+ 1)(1 +?')“’	(12.8.18)
( П4 |	( ° ni )
а при отсутствии сигнала
М/-$-)= п («+!),	(12.8.19)
( '3ni I	( 13 ni J
откуда следует, что
.V	у
тсп=Л1{г| 1} = «^<7„ т„ = Ж{г10} =«^44 ;
l=sai	1 = 1
N
°!сП=Л1{(г — тс$\ 1} = /г^9гг-, о2п = Л1 {(г — тп)г 10} = n	•
I == 1	i ess I
(12.8.20)
В наиболее интересном с практической точки зрения случае малого
отношения спектральной плотности сигнала к спектральной плотности
помехи (<7i<§;l)
= qi' ^2 V — n'Z	°2cn = a\ = n^q2i,	(12.8.21)
i =яэ 1	I ass 1	/ = 1	I =ss 1
и характеристики обнаружения зависят фактически от одного пара-
метра
/~ N	Г~ оо
*=1/“1/ • <12-8-22’
J	X —1	У	—со
имеющего смысл отношения сигнал/помеха на выходе оптимального
приемника, формирующего достаточную статистику z.
Вероятности ложной тревоги F и правильного обнаружения D
определяются по (12.8.20) или (12.8.21) следующими выражениями:
F = 1 —	D = 1 _ ф / с.-.?сП.\	(12.8.23)
\ °п )	\ °сп 7
откуда получаем связь между D и F
О=\ — Ф[(тп — т(;п-[-спФ~^\ — Р))1ссп\,	(12.8.24)
где Ф(...)—интеграл вероятности; Ф-1(...)—обратная ему функция.
Подставив в (12.8.24) выражения (12.8.21) для малых qit найдем из
него пороговое значение отношения сигнал/помеха ро, необходимое для
решения задачи обнаружения с заданными вероятностями D и F:
!л,о = ф-1 (1 — ^-(-ф-1 (О).	(12.8.25)
Проанализируем теперь случай неизвестных спектральных плот-
ностей. Используем следующие из (12.8.18) и (12.8.19) представления
Z;/SnI=«(l+9z)[14-^7V^]	(12.8.26)
303
при наличии сигнала,
Zi/Snt = п (1 + Сг//а)	(12.8.27)
при отсутствии сигнала и
yt/Sni ~т (1 +	(12.8.28)
где t,i и г); — независимые случайные величины с нулевым математи-
ческим ожиданием и единичной дисперсией. Подставляя эти представ-
ления в выражение для достаточной статистики z' (12.8.17) и разлагая
логарифмы по малым составляющим порядка 1/]/п и 1/р^т с точ-
ностью до членов второго порядка, получаем, что при наличии сигнала
величина z' может быть представлена в виде
Zo = 2/=J](e1 + /7=Z„)“	(12.8.29)
i «а 1
и при отсутствии сигнала
N
za=^2z'=^l^i,	 (12.8.30)
z=i
где gi (i—l, 2, ..., N) —совокупность приближенно нормально распре-
деленных независимых случайных величин с нулевым математическим
ожиданием и единичной дисперсией. Приближение к нормальному рас-
пределению для величин тем лучше, чем больше пит.
Таким образом, в тех же предположениях, что при отсутствии
априорной неопределенности (большая величина произведения Д/оТ,
обеспечивающая выполнение условия либо и=Д/7'2^>1, либо N—
выход адаптивного обнаружителя — величина za=2z'
(коэффициент 2 не имеет принципиального значения и вводится только
для того, чтобы воспользоваться стандартным распределением вероят-
ности) будет иметь центральное ^-распределение с N степенями сво-
боды при отсутствии сигнала и нецентральное с параметром нецен-
тральности
N
a2 = _jnnyt _jn s	(12.8.31)
т-\-п	т-\-пг*	'	'
t—i
при его наличии. Вероятности ложной тревоги и правильного обнару-
жения определяются выражениями
F = 1-К„(С);	(12.8.32)
D = l—KN(C,at)^ 1— Ф(/С — а),	(12.8.33)
где K.n(C)—функция распределения центрального, а Kn(C, az) не-
центрального ^-распределения. Поскольку вероятность ложной трево-
ги F в соответствии со структурой адаптивного алгоритма не зависит
ни от каких неизвестных параметров помехи и сигнала, порог С может
быть выбран в соотвеютвии с критерием Неймана — Пирсона по задан-
ной величине вероятности ложной тревоги F.
Исключая из (12.8.32), (12.8.33) величину С, получаем пороговое
значение величины у/0, необходимое для решения задачи обнаружения
304
с заданными вероятностями ложной тревоги и правильного обнаруже-
ния в условиях незнания спектральных плотностей сигнала и помехи:
И'.=V(m + п)1т [Ф-1 (D) + /К"1 (1 - F)],	(12.8.34)
где (1 — F)— функция, обратная интегральной функции распределе-
ния KN. Это выражение для пороговой величины выходного отношения
сигнал/помеха отличается от выражения (12.8.25) для байесова случая
наличием множителя V, зависящего от соотношения длитель-
ностей „обучающей" и рабочей реализации наблюдаемого сигнала, и за-
меной функции Ф~* (1—F) функцией (1—F), зависящей от числа
интервалов разбиения априори ожидаемого частотного диапазона сигна-
ла N=z&fjbf.
Отношение ц'о/щ) характеризует энергетический проигрыш, обус-
ловленный незнанием спектральных плотностей сигнала и помехи. Этот
проигрыш зависит от достоверности дан-
ных, полученных при «обучении» — дли-
ны интервала (—0) m=AfTi и коли-
чества интервалов разбиения N. Уже
при т=(3—5)и первый фактор не имеет
существенного значения, поэтому брать
интервал «обучения» длиннее, чем три-
пять рабочих интервалов, практически не
имеет смысла, поскольку это увеличива-
ет опасность проявления нестационарно-
сти помехи. Естественно также, что уве-
личение N, необходимость в котором тем
больше, чем меньше наши априорные
представления о допустимой величине
интервала частот Af, в пределах которо-
Рис. 12.13. Характеристика
обнаружения случайного сиг-
нала на фоне коррелированной
помехи при неизвестных функ-
циях корреляции сигнала и по-
мехи.
го можно считать спектральные плотно-
сти слабо изменяющимися, приводит
к увеличению энергетического проигры-
ша, который является естественной пла-
той за априорную неосведомленность
о виде спектральных плотностей помехи
и сигнала. Количественно это проигрыш
получается относительно малым и зависит от заданных вероятностей
D и F, уменьшаясь с увеличением D и уменьшением F, т. е. он полу-
чается тем меньше, чем более высокое качество решения задачи обна-
ружения требуется.
Величина отношения р/01/ —-т-— /р0, определяющая зависимость
F т —р fi
энергетического проигрыша от N при £>=0,9 и нескольких значениях
вероятности ложной тревоги F, построена на рис. 12.13. Из него сле-
дует, что оптимальный в условиях априорной неопределенности алго-
ритм обнаружения даже при очень большом числе неизвестных пара-
метров (2N порядка 100—200), используемых для описания априорной
неопределенности, дает относительно небольшой энергетический про-
игрыш по сравнению с байесовым алгоритмом.
Приведенный ряд примеров обнаружения сигналов в шумах при
наличии неизвестных параметров тех или других можно было бы про-
20—899
305
должить, распространив их на более сложные случаи. Мы ограничились
лишь простейшими задачами для иллюстрации применения предложен-
ного выше адаптивного байесова решения. Во всех случаях получаю-
щиеся системы обнаружения можно трактовать как адаптивные, свя-
занные с оценкой неизвестных параметров сигналов и шумов. Конечно,
такая трактовка не является обязательной, ибо, подставляя в получаю-
щиеся алгоритмы явные выражения для оценок параметров «обстанов-
ки», мы получаем просто некоторые операции над принимаемым сиг-
налом, которые и определяют алгоритм обнаружения. При этом в не-
которых случаях алгоритмы совпадают с известными, полученными при
полном априорном знании и с адаптацией не связанными. Нужно,
однако, помнить, что здесь эти алгоритмы получились при наличии
параметрически заданной априорной неопределенности с помощью
оценки параметров «обстановки». Поэтому и подчеркивается их адап-
тивная сущность.
Глава 13
РАСПОЗНАВАНИЕ ОБРАЗОВ
13.1. ВВЕДЕНИЕ
Широким классом задач, относящихся к проверке статистических
гипотез, является распознавание образов. Собственно говоря, это на-
столько емкое понятие, что его можно считать синонимом проверки
гипотез, а изученные выше задачи обнаружения объектов могут рас-
сматриваться как случаи распознавания образов. По сути дела, к рас-
познаванию образов сводятся любые задачи классификации объектов,
ситуаций, процессов и т. д. на основании наблюдения выборочных зна-
чений некоторых случайных величин или реализаций случайных про-
цессов.
Однако здесь рассматривается распознавание образов отдельно
(например, от обнаружения объектов или сигналов) для объединения
с помощью этого термина только тех задач, в которых наблюдаемые
физические сигналы-носители информации во всех возможных ситуа-
циях содержат не только шумы или помехи, но и полезные сигналы,
связанные с некоторыми распознаваемыми объектами или процессами.
Ясно, что к такому определению относится много задач, имеющих
разный физический смысл и технические приложения. В качестве при-
меров достаточно упомянуть распознавание объектов, наблюдаемых
радиолокатором по характеристикам отраженных от них радиолока-
ционных сигналов, смешанных с шумами или помехами; распознавание
объектов по их оптическим изображениям (в частности, полученным
фотографированием); распознавание людей по их голосам; определе-
ние видов животных, живших в разные эпохи по остаткам их костей;
диагностика заболеваний по некоторой совокупности наблюдаемых при-
знаков и т. д.
Во всех случаях наблюдаются некоторые, вообще говоря, случай-
ные данные или сигналы и на основе их наблюдения производится
классификация, т. е. результаты наблюдений связываются с тем или
иным классом объектов, процессов, ситуаций.
306
Из статистической сущности процессов распознавания вытекает
адекватность для синтеза распознающих систем и анализа качества
их работы методов теории статистических решений. При полностью
известных законах распределения вероятностей распознаваемых ситуа-
ций и наблюдаемых сигналов могут отыскиваться байесовы правила
распознавания, минимизирующие средний риск. Однако в большинстве
практических задач, связанных с распознаванием, упомянутые законы
распределения известны не полностью, а в лучшем случае с точностью
до совокупности некоторых параметров. Часто сигналы, имеющиеся
при наличии различных распознаваемых ситуаций, представляются
функциями заданных видов, зависящими от некоторого числа неизвест-
ных параметров. Эти параметры принимают разные значения при из-
менении внешних условий или в принятых выше терминах «обстанов-
ки» работы системы распознавания.
Такими параметрами могут являться, например, задержка моду-
ляции отраженного от объекта радиолокационного сигнала, пропорцио-
нальная неизвестной дальности до объекта; амплитуда этого сигнала,
зависящая от отражающей поверхности объекта; признаки побочных
заболеваний, влияющие на характеристики основного заболевания че-
ловека, выявляемого при постановке диагноза и т. д.
Неизвестными дополнительными параметрами могут быть и пара
метры шумов, с которыми смешиваются сигналы, а также в конечном
итоге любые другие параметры законов распределения вероятностей
для величин, на основании наблюдения которых производится распо
знавание.
При наличии подобной параметрически заданной априорной не-
определенности задачи распознавания образов сводятся к проверке,
вообще говоря, многоальтернативных гипотез при наличии неизвест-
ных параметров принимаемых сигналов и, возможно, априорных рас-
пределений для распознаваемых ситуаций. Если ограничиться задача-
ми, в которых подразумевается наблюдение сигнала в какой-то одной
распознаваемой ситуации, то параметры априорного распределения
вероятностей ситуаций восстановлены быть не могут и поэтому мы
ограничимся далее рассмотрением случаев неизвестных параметров
распределений вероятностей лишь наблюдаемых сигналов.
В этих условиях оптимальные системы распознавания являются
адаптивными, производящими наряду с распознаванием образов оцен-
ку параметров обстановки, в которой производится распознавание, и
могут быть найдены путем непосредственного применения теории, раз-
витой выше.
В частности, при наличии двухальтернативных ситуаций, которые
надо распознать, при классической процедуре анализа оптимальная
система распознавания должна составлять отношение правдоподобия
<♦.)=% g:’g	(13.LD
и сравнивать его с порогом
__§21	Д22 Рч^Ч (Хл)
12	Д12 —§11 pSh (Хл)
Здесь /Ji(Xn|ai) и ^(Xnlaa)—плотности вероятности принимаемых
сигналов Xn={xi, ..., хп} при наличии объектов (ситуаций) первого и
второго распознаваемых классов соответственно; оц и а; - векторы не-
20*	307
известных параметров обстановки, характерной для этих двух классов
ситуаций; и а*2 — оценки максимального правдоподобия этих вели-
чин; параметры, определяющие величину порога С12, имеют смысл, ука-
занные в гл. 11, и определяются приведенными там формулами.
Могут применяться также процедуры последовательного анализа
и рекуррентного составления отношения правдоподобия с принятием
решений на каждом шаге и с последующим их уточнением. Соответ-
ствующие формулы могут быть заимствованы из гл. 11. Никакой спе-
цифики задачи распознавания образов в них не вносят. В настоящей
главе мы применим упомянутые результаты к некоторым задачам, от-
носящимся к распознаванию образов, получив при этом оптимальные
алгоритмы адаптивного распознавания, соответствующие им функцио-
нальные схемы распознающих устройств, а также в ряде случаев ста-
тистические характеристики распознавания. Кроме того, отдельно рас-
смотрим случай, в котором различны лишь априорные распределения
для распознаваемых ситуаций, а распределения вероятностей для при-
нимаемых сигналов одинаковы.
13.2. РАСПОЗНАВАНИЕ КВАЗИДЕТЕРМИНИРОВАННЫХ СИГНАЛОВ,
ПРИНИМАЕМЫХ В ШУМАХ
Как уже упоминалось, многие задачи сводятся к тому, что с рас-
познаваемыми образами, объектами, ситуациями связаны сигналы
вполне определенных видов, описываемых заданными функциями не-
которых переменных, например времени. Однако существуют дополни-
тельные обстоятельства, имеющие стохастический характер, которые
приводят к зависимости этих функций от совокупности постоянных слу-
чайных параметров. Так, например, в каналах связи применяют коди-
рование сообщений синусоидальными сигналами различных частот. #а
счет случайных изменений, связанных с источниками питания передат-
чиков и приемников, а также с другими причинами, могут случайно
изменяться амплитуды и фазы этих синусоидальных сигналов, т.*. па-
раметры, не несущие информации об интересующих нас ситуациях.
При наблюдении радиолокационных сигналов с целью распознавания
связанных с ними объектов сигналы часто имеют также заданный вид,
но зависят от таких дополнительных параметров, как задержка моду-
ляции, пропорциональная неизвестной дальности до объекта, и доп-
леровский сдвиг частоты, пропорциональный неизвестной радиальной
составляющей скорости объекта.
Такие квазидетерминированные сигналы обычно принимаются
в шумах, и на основе наблюдения смеси сигнала с шумом необходимо
распознать вид сигнала, т. е. ту ситуацию (объект, образ), которая
с ним связана.
В рамках двукальтернативных задач и классической процедуры
анализа задача может быть сформулирована следующим образом. На
интервале (О, Т) наблюдается реализация сигнала x(t), которая может
иметь один из двух видов:
x(0-=/(a,Z)+40	(13.2.1)
либо
л-(0-'НЬ,/)+Ч0.
(13.2.2)
308
где a={cii, ср}, b={61; Z’m} — векторы неизвестных параметров
сигналов; /'(a, t) и тр(b, I) —заданные функции времени и параметров
a, b; g(0—гауссов шум, которой при наблюдении в дискретные мо-
менты времени будем считать не коррелированным с заданной диспер-
сией о2, а при переходе к непрерывному времени — белым со спек-
тральной плотностью No.
Пусть априорные вероятности ситуаций, описываемых (13-2.1) и
(13.2.2), pi и р2 соответственно (pi+p2=l), тогда, вводя случайную
величину X, которая может принимать два значения Х=1 с вероят-
ностью pt и Л=0 с вероятностью Рг, можно записать х(1) в виде
х (0 = Ц (а, 0 + (1 - Л) ф (Ь, 0 + $ (0.	(13.2.3)
При наблюдении в дискретные моменты времени выборки Хп она за-
писывается как
Х„ = ZF„ (a) -h (1 — Л) (b) + S	(13.2.4)
где = f (а, Л); ф, (Ь) — ф (b, tt)\ а 5, =-~Л (Л) — нормально распределен-
ные случайные величины с матемвчпчеснп'й егжпданпв'й gi=P> и с "функ-
цией корреляции §i§fe=o26ife. Здесь о2=2Д^0, a Nf — полоса шума, ко-
торая подразумевается настолько большой, что соблюдается некорре-
лированность шумов при соседних замерах.
Плотность вероятности принимаемой выборки Хп в соответствую-
щих двух ситуациях при соблюдении наложенных условий имеет вид
P*(XJa) = ^^exp{~^[X"-Fn(a),T[Xn“Fn(a)1r (13-2-5)
Р^п I b)= ехр f - -А- [X (Ь)Г [Х„ - (b)] I,
(Лга )	(	)
а логарифм отношения правдоподобия при заданных а и b находится
как
1п Л12 (Х„ | а, Ь) = - (1 /2ог) {[Х„ - F„ (а)]т [Х„ - F„ (а)] -
- 1Х„- ЧТп(Ь)Г ^Х„-	(13.2.6)
В (13.2.6) согласно (13.1.1) должны быть подставлены оценки макси-
мального правдоподобия параметров а и Ь, которые удовлетворяют
системе уравнений
^rlnP,(XJa)=a-y][.r,-f,(a)ia;®=0, 6 = 1,2............1- (13.2.7)
/=1
-^j-lnP. (Х„ I b) =A- yj [x. _ ф(. (b)]	= 0, / = 1,2.m,
или
¥аХТп(а)==’/^аРп(а)тРп(а),
(13.2.8)
VW „(b) = Ч t	„ (ЪП„ (b),
где Va и Vb — градиенты соответствующих функций по составляющим
векторов а и b соответственно. Решение полученных уравнений может
быть осуществлено способами, изложенными в гл. 7.
309
Трактовка решений уравнений (13 2 7), (13 2 8) и совместно с ними
операции над сигналом Хп (13 2 6) носила бы в общем виде формаль
ный характер Поэтому отложим ее до рассмотрения частных случаев
13.2.1. Линейная зависимость сигналов от неизвестных параметров
Многие задачи, представляющие практический интерес, сводятся
к распознаванию при приеме в шумах сигналов видов
f (а.О- 2
*=i
(13 2 9)
ф(Ь,/)=—2	(0 “ Ьл1‘О),
Г-1
где )<ft)(Z) и if>o)(Z) —заданные функции времени
При наблюдении в дискретные моменты времени tt
(Ь)-=2 ^C)==bT'Fn	(132 10)
1=1
где	ф'7)=ф(,)(/,); F( = {^1). ,	, ф<т’}
Учитывая, что в данном случае
9ft (а) _ f(k). дф, (Ь)	,(/>
dnit ' i ’ дЬ] Ч ’
уравнения (13 2.7) можно переписать в виде
2	^2 ГС)=°22 и^’	(132 и)
z=l	s=l 1=1	s=l
2 м^-2 ^2 €4(,~°22 v>sbs’
2=1	S=I ( = 1	S = 1
где
2 = 1
(13 2 12)
w 1
1 = 1
Обозначая U-матрицу (ZxZ) из элементов Uhs, V-матрицу (mX^i
из элементов V]S, оценки максимального правдоподобия векторов а и b
находим как
310
а*=-^-и-‘V’1 хЛь	(13.2 13)
1-=1	1 = 1
Подставляя (13 2.10) и (13.2.13) в (13.2.6), имеем
In Л]2 (Х„ | а\ ь*) = - ~ £ [(х( - Рга*)2 - (xt ~ ч^ь*)2] =
! = 1
= -2^(Хти-хХ— YW-’Y),	(13.2 14)
где обозначено
X^xJ,; Y==2x‘4f‘	(13.2.15)
4=1	4 = 1
и использовано то обстоятельство, что
У] .rzFW=^r x(FTtU_,FsXs = -p-XTU",X
4 = 1	1, 6 = 1
П
и аналогично x(4rTt b*=YTV_1Y, а также
t=i
п	п	п
^(FT1a>)2=X^(r,u-X)2 = ^^ £ Cf^U-^stU-^XsX^
1=1	1 = 1	1 = 1 k. s, V, p.
=4г V uh(u-'),,(u-\rx,xf=XX4->x
k, S, v, p.
и аналогично (4fTtb*)2= -^- YTV~1Y.
t^=i
Оптимальный алгоритм распознавания сводится к сравнению ло-
гарифма отношения правдоподобия (13.2.14) с порогом С. При пре-
вышении этой величиной порога принимается решение о наличии сиг-
нала /(а, /), в противном случае — решение о наличии сигнала ф(Ь, t).
При применении метода минимизации апостериорного риска, изложен-
ного в § 6 5, порог С находится как
C==lnC 2 = ln fg21 ~g22	(13.2.16)
12 у £12 —ёи Pi«i (X ) J	'	'
где
fll (X.) =<0, (a*)	, a2 (X„) =-»2 (b*)	;	(13 2.17)
ojj (а) и <o2 (b) — априорные распределения для параметров а и Ь, которые
/ / \ -1 ।	\ -1
по предыдущему приближению заменяются на ( £[ Да* | и I Д Д&; |
\fe=i /	\ ;=i	/
соответственно, а Да* и Д6; — диапазоны изменения отдельных состав-
ляющих векторов а и Ь.
311
Матрицы Di и D2 определяются как
D,=
a2 InP, (X„fa)
da^da-s
a=a
и после вычислений имеют вид
D, = U, D2 V.
a2 in Pg (x i b)
dbkdbs
b=b*
(13.2.18>
В результате величина порога
(13.2.19)
Следует еще раз напомнить, что задача нахождения порога С но-
сит менее принципиальный характер, чем задача определения функции
от наблюдаемого сигнала, сравниваемой с порогом. При разных част-
ных подходах к оптимизации решающего правила при наличии априор-
ной неопределенности пороги будут меняться. Так, например, при при-
менении адаптивного байесова подхода, изложенного в § 6.2, порог
получится из (13.2.16), если в нем положить а2=1, и будет иметь
тот же вид, что и при отсутствии априорной неопределенности, а имен-
но С=1п {[ (g21—g22) I (gl2~gii)J (P2/P1)}.
Величина (13.2.14), сравниваемая с порогом в данной задаче,
является точно минимальной достаточной статистикой (§ 4.5), чем и
определяется принципиальный характер ее нахождения при любых
частных подходах к оптимизации распознающей системы.
Для получения квазиоптимального алгоритма распознавания при
непрерывном наблюдении сигналов применим прием, совершенно ана-
логичный § 12.3. Имея в виду, что шум обладает полосой Sf, так что
G2=2Noj\f, где No — спектральная плотность шума в указанной полосе,
совершим формально предельный переход в полученных выше выра-
жениях при St—>0, п—>оо. Разумеется, все оговорки, сделанные
в § 12.3, остаются в силе и в рассматриваемом случае. Если при этом
обозначить
о	о
Uks=-j~^fW(t)fM(t)dt, k,s=l,...,l;	(13.2.20)
о
т
= -±- у ф(*) (/)фР) (t)dt,
о
то правило принятия решения о наличии сигнала f(a, t) имеет вид
(l/2№0)(XTU-,X-rv-,Y)>C,	(13.2.21)
где С находится по предыдущим формулам.
312
Во многих практических задачах соблюдается условие ортогональ-
ности отдельных составляющих сигналов. В результате
Uks =-~	(О Z(s> (t)dt = Fkhs;
и	(13.2.22)
j<P> (0<?'s) (t)dt=Bkhs,
0
t. e. матрицы U и V диагональны, и алгоритм (13.2.21) принимает вид
(I	т	\
fe=l	/=1	'
где С определяется формулой (13.2.19), в которой
аеШ = П Fk' detV = J]B/.
fe=i	/=1
Функциональная схема устройства, распознающего сигналы, соот-
ветствующая алгоритму (13.2.23), представлена на рис. 13.1.
Рис. 13.1. Функциональная схема устройства
распознавания квазидетерминированного
сигнала в шуме:
/ — усилители с переменными усилениями
ДЮ(/) (£=1, .... 0; 2 — усилители с переменными
усилениями i]>(J)(f) (/=1, .	т); 3 — интеграторы,
4 — квадраторы; 5 — усилители (аттенюаторы)
с усилениями 1/Гд (6—1, .... О? $— усилители
(аттенюаторы) с усилениями МВ.	т);
7 — реле.
Принимаемый сигнал х(1) умножается на генерируемые в распо-
знающем устройстве элементарные сигналы /(fe)(0 и ф(Л(/) или, что то
же самое, подается на усилители с переменными соответствующим об-
разом изменяющимися коэффициентами усиления. Получающиеся сиг-
налы интегрируются за время наблюдения, квадратируются, умножают-
ся на весовые коэффициенты, складываются по группам, соответствую-
щим двум конкурирующим видам сигналов. Результаты такого
суммирования вычитаются друг из друга, а результат вычитания срав-
нивается с порогом.
Рассмотрим два примера.
Пример 1. Декодирование сигналов с неизвестными амплитудами.
При передаче сообщений по линиям связи часто первичное кодирова-
ние двоичных символов осуществляется с помощью применения неко-
торых заданных видов сигналов f(Z) и ф(0> которые обычно бывают
ортогональными. Например, это могут быть синусоидальные сигналы
различных частот. Однако амплитуды этих сигналов на практике
часто бывают неизвестны. Это связано, например, с замираниями ра-
диосигналов при распространении, со случайными колебаниями напря-
313
жений источников питания и т. д. В результате, если обозначить эти
амплитуды а и Ь, приходим к рассмотренной в данном параграфе зада-
че при m=l=\, f (a, t) —af (t), ф(Ь, t)—bty(t).
Ьсли обозначить
B, = p2/)^, £г=р2(г)Л	(13.2.24)
о	о
и считать, как это обычно бывает, что Ei=E2=E, а диапазоны измене-
ния амплитуд Аа=АЬ, то функциональная схема рис. 13.1 принимает
вид рис. 13.2, где порог С определяется согласно (13.2.19) как
§21 Sss Рг \
§12 — gll Д1 )
(13 2,25)
с^2адл
Рис 13 2 Функциональная схема де-
кодирования сигналов с неизвестными
амплитудами:
1 — усилитель с переменным усилением
/(/), 2 — усилитель с переменным усиле-
нием *ф(/); 3 — интеграторы; 4 —квадрато-
ры; 5 — реле.
Пример 2. Различение высокочастотных сигналов с неизвестными
амплитудами и фазами. Различаемые при приеме в шумах высокоча-
стотные сигналы могут иметь помимо неизвестных амплитуд еще и
неизвестные фазы. Рассмотрим, например, случай, когда эти сигналы
представляются в виде
f (a, t) = Aul (f) cos (от/ = cos от/-[-a, sin®/), (13.2.26)
<J> (b, i) = Bu2 (i) cos (<ost -j- ?2) — u2 (t) (bj cos b2 sin <n2t),
где a, = A cos?; a2= —Asin?; Ьг— Bcos?2; &2 = —Bsin?2; a={a1( aj;
b = {bltb2}; ux(t) и u2 (t) — заданные законы амплитудной модуляции раз-
личаемых сигналов. Будем полагать, что «1,2 (0 являются медленно
меняющимися по сравнению с cos <01,2/) функциями.
В данном случае /п=/_2
f(I> (О =ui (0 cos ю/, f'2* /)==Uj (р sin от/;
'pI) /)=и2 (0 COSot/, <р(2) (0=U2(0sino>/
Элементы матриц U и V находятся как
Т	т
f lf<‘'<°1’ d‘ = W fwdi - X-
0	b
6
T
= ^2> = r W	0,
0 J
6
T	T
Г,,=тМ1Г>№^
0	b
314
т
v22-~j[F>
о
7
°’	(13.2.27)
о
Здесь принято, что аи^Г^!.
Будем считать, что Ei=Ez=E, Aai=Aa2=A&i=A&2- Тогда порог
C=2.V0£ln{[(g2i—£22)/(£12—gn)] (pzlP\)} и функциональная схема
оптимальной системы распознавания сигналов принимает вид рис. 13.3.
Принимаемый сигнал гетеродинируется с помощью двух гетеро-
динов с частотами й] и й2- В каждом случае образуется по два квадра-
турных канала, в которых получаемые после гетеродинирования напря-
Рис. 13.3. Функциональная схема разли-
чения сигналов с неизвестными амплиту-
дами и фазами:
/ — гетеродин частоты <о5; 2 — гетеродин часто-
ты СО2; 3 — фазовращатели (jt/2); 4— генера-
тор ИЦ/). 5 — генератор Uz(ty, 6 — интеграто-
ры; 7 — квадраторы; 8 — реле
жения умножаются на соответствующие законы амплитудной модуля-
ции (стробируются при импульсной модуляции). После интегрирования
за время наблюдения и квадратирования выходные величины квадра-
турных каналов складываются, а результаты сложения, соответствую-
щие двум проверяемым гипотезам, вычитаются один из другого. Полу-
чающаяся величина сравнивается с порогом.
13.2.2. Различение сигналов с неизвестными запаздываниями
Многие задачи сводятся к различению принимаемых в шумах сиг-
налов заданных видов, но обладающих неизвестными запаздываниями.
Так, например, могут приниматься радиосигналы от разных объектов,
находящихся на неизвестных дальностях, которым пропорциональны
запаздывания. При этом сигналы
f (a, =	— a), ^(b,t) = ^(t — b),	(13.2.28)
где а и b — неизвестные запаздывания сигналов (их задержка отно-
сительно некоторого опорного сигнала, определяющего начало коорди-
нат).
Пользуясь для нахождения оптимальной системы различения этих
сигналов при их приеме в белом гауссовом шуме спектральной плот-
ности No выражениями (13.2.6), (13.2.7) и переходя сразу к пределу
315
при Д/—>оо, п—>оо, получаем
^LdL^f^t-aY	(13.2.29)
где штрих обозначает производную по времени.
Соответственно уравнения для нахождения оценок максимального
правдоподобия запаздываний а и Ь принимают вид
т
4- [ [х (0 - f	f' (t - a) dt=O;
1V 0 J
0
(13 2.30)
r
-1-	j* [X (0 - Ф (f - b)] ф' (t - b) dt=0.
о
Будем предполагать, что эффективная длительность сигналов
Тэф^Т и априорные диапазоны изменения запаздываний Да и Д& за-
ключены внутри интервала (Гэф, Т—ТЭф). Тогда соблюдаются условия,
при которых энергии сигналов
т	Т
Et= f2 (t— a)dt, Es = JO— b)dt (13.2 31)
6	о
не зависят по меньшей мере приближенно от запаздываний а и Ь.
В этом случае
J f (t — a) f' (t — a) dt = 0; J ф/Z — b) ф' (t — b)dt = O
о	6
и уравнения (13.2.30) принимают вид
Jx(Of (t — a)dt = O; [х(0Ф' (t — b)dt = O	(13.2.32)
о	6
Логарифм отношения правдоподобия (13.2.6) после перехода
к пределу имеет вид
т
In Д12 [х (01 a, ft] = J {[л (0 - f (t - а)]2 - [А- (0 - ф (t - ЭД2} dt =
о
т
=^Jx(0O-a)-O*-6M-А=^-.	(13.2.33)
о
В нем должны использоваться а—а* и b—b*, получаемые реше-
нием уравнений (13.2.32). Оптимальный алгоритм распознавания сиг-
налов сводится к тому, что принимается решение о наличии сигнала
f(t—а*), если
т
J х (0 [f (t — a*) — ty(t — b*)] dt^ C.	(13.2.34)
о
При выполнении противоположного неравенства принимается решение
о наличии сигнала ф(/—b*).
316
Порог С при применении процедуры оптимизации § 6.5 определя-
ется как
С =	in	\	(13.2.35)
2	1 *	ygi2 —gn РА J	'
где
а, [х (0] = <0, (а*)	, аг [х (/)] = »2 (6*)	;
Ю1(а) и й)г(Ь)—априорные распределения для запаздываний а и Ь,
D'= —1пР< Iх а*Ь = - "Ж 1пР= ® । Ь^‘
1’гКак неоднократно указывалось выше, при достаточно больших вре-
менах наблюдения Т матрицы D-. можно заменять их математическими
ожиданиями т. е. информационными матрицами Фишера. Поэтому
вместо величин Di и D2 мы вычислим сразу их математические ожи-
дания
4=5,=^,/^, Ai = Dt=M.JNl),	(13.2.36)
где
М, = — (f(t— a) f" (t — a)di, Мг = — J — b)ty" (t — b) dt
о	о
представляют собой величины в принятых предположениях, не завися-
щие от а и Ь. Заменяя также йц(а*) на 1 /Да и (й2(Ь*) на 1/Д6, где Да
и Д& — диапазоны изменения запаздываний сигналов, получаем порог С
в виде
С	I Л7 In	а (	Y/2 1	714 9
с-—2—J-
Рис. 13.4 Функциональная схема систе-
мы распознавания сигналов с неизвест-
ными запаздываниями:
/ — генератор f(t—а); 2 —генератор ф(/—b),
3 — дифференцирующие цепи, 4 — интеграто
ры, 5 — реле
Реализация полученных оптимальных операций над смесью сиг-
нала в шумах x(t), необходимых для различения сигналов, иллюстри-
руется функциональной схемой рис. 13.4.
Можно рассматривать разные варианты использования этой схемы.
Во-первых, реализация х(£) на интервале (О, Т) может быть за-
писана. Затем с помощью многократного повторения этой реализации
317
при настройке соответствующих каналов на различные значения а и b
могут быть найдены такие а=а* и b=b*, при которых ^i=§2=0. При
этой настройке каналов величины Zi и z2 подаются на вычитающее
устройство и результат сравнивается с порогом.
При работе системы распознавания в реальном времени, когда
результат распознавания должен быть получен в момент Т, можно себе
представить блок устройств вида рис. 13.4, настроенных на разные зна-
чения аь и bi. При большом числе подобных каналов должны фикси-
роваться те из них, настроенные на а^=а* и bi=b*, на выходах кото-
рых g1==g2=0 (практически наиболее близки к нулю). Выходы и
этих каналов подключаются к устройству дальнейшей обработки, изо-
браженному правее пунктирной линии. Соблюдение дополнительного
условия обеспечения работы в реальном времени приводит к много-
канальности системы распознавания сигналов.
Рис. 13.5. Частный вид сигнала f(t—а).
Рассмотренные варианты соответствуют конечным методам по-
строения оценок максимального правдоподобия, рассмотренным в гл. 7.
В интересном частном случае, когда
п—1	л—1
Hf-a) = 2 /„(/-а-Ж); ф(^-&)=3 ф0(/-&-Ж),	(13.2.38)
k=£
где f0(t) и фо(О —функции, отличные от нуля лишь в пределах перио-
да Тт, диапазоны изменения запаздываний а и b также лежат в пре-
делах Тг (рис. 13.5), возможно применение рекуррентных методов по-
строения оценок максимального правдоподобия неизвестных запазды-
ваний а и Ь.
Обозначая X/, отрезок реализации x(t) при kTr^.t^.(k+l)Tr и при-
меняя рекуррентную процедуру построения оценок, выражаемую фор-
мулами (7.5.31), имеем
(*4-1)77
(13.2.39)
kTr

(k+l)Tr
-1- f
*4
318
Вычисляя информационные матрицы Фишера для наблюдения Xk,
имеем
________________ (44-1>гг
-«%-,)л=тЙ-.	а3-2«»
JV qIL
'	«Ч-1)ГГ
Л
Х«-'>’»-,)‘"=тЙ-.
т. е. представляют собой величины, не зависящие от оценок a*k-i и
b*k-i.
Согласно второму из соотношений (7.5.31)
г}(1)_TH')_________ &
k — ЬА-1-ГЛА — п N„ ’
(13.2.41)
n(2)	n(2) 1 'е<(2>_ -A4g
Dk ~Dk-i+Kk - — ~N^
и рекуррентные соотношения для оценок а*;, и Ь*ь принимают в соот-
ветствии с первым из уравнений (7.5.31) вид
(А-М>ГГ
Л =	f x(t)f'(t-a*k_Jdi;
kTr
(13 ? 42)
(А-НИГ
b4 = b\^	f x(t^’(t-b\_^dt.
kTr
Функциональная схема распознающего устройства, применяющего
рекуррентно получаемые оценки в каждом периоде наблюдаемых сиг-
налов, представлена на рис. 13.6.
Часть схемы, связанная с составлением логарифма отношения
правдоподобия и сравнением его с порогом, остается прежней, однако
задержки, на которые настроены генераторы функций f(t—а) и ф(/—Ь),
меняются каждый период Tr с помощью изображенных частей схемы,
содержащих дифференцирование функций f(t—а) и ф(/—Ь), умноже-
ние их производных на реализацию x(t), интегрирование за период Тг
с обнулением после его окончания, усиление результатов интегрирова-
ния в указанное на схеме число раз, вычитание в конце периода Тг
получающейся величины из задержанной с помощью линии задержки
величины, имевшей место в предыдущем периоде. Получающиеся вели-
чины представляют собой оценки запаздываний a*k и b*k и рлужат
для настройки генераторов функций f(t—а) и ф(£—Ь).
319
В одноканальной схеме рис. 13.6 платой за обеспечение работы
в реальном времени является ухудшение качества распознавания. Это
связано с тем, что используются текущие рекуррентно получаемые
оценки запаздываний а и Ь, которые менее точны, чем оценки, полу-
чаемые за время наблюдения Т=пТг. При достаточно больших п схема
приближается к оптимальной.
Рис. 13.6. Функциональная схема системы
распознавания периодических сигналов с не-
известными запаздываниями:
/ — генератор	2 —генератор ф(/—Ь); 3 —
дифференцирующие цепи; 4 — интеграторы за пе-
риод Тт\ 5 — усилитель с усилением n/kMt; 6 —
усилитель с усилением nfkM^, 7 — интеграторы за
время Т, 8 — реле; 9 — линии задержки иа пе-
риод Тг
13.3. ЭФФЕКТИВНОСТЬ РАСПОЗНАВАНИЯ КВАЗИДЕТЕРМИНИРОВАННЫХ СИГНАЛОВ
13.3.1. Основные соотношения
Эффективность распознавания так же, как и эффективность про-
верки любых гипотез, может быть охарактеризована условными веро-
ятностями правильных решений и соответствующих ошибок. В двух-
альтернативных задачах эта система вероятностей состоит из четырех
вероятностей, две из которых выражаются через две другие, так что
достаточно интересоваться, например, только условными вероятностями
правильных решений. Для их нахождения удобно полученный алго-
ритм распознавания квазидетерминированных сигналов, принимаемых
в шумах, представить в следующем виде. Решение о наличии сигнала
f(a, Q при наблюдениях в дискретные моменты времени принимается,
если
п	п
[х,— Л(а)]2 —	[xi — ^(b)]2<C0> (13.3.1)
(	1	г==1
где Со——In С12.
В случае соблюдения противоположного неравенства принимается
решение о наличии сигнала ф(Ь, t).
При непрерывном наблюдении величина z находится как
Г	Т
z=min-^- C[x(0 — f (a,/)]2d? — min^J [х(0 — ф(Ь, t)Y di. (13.3.2)
(а) о	о
т
Если раскрыть (13.3.2), то в него входят интегралы видов J £2 (t) di
.	о
320
т
и J 6 (0 f (t) dt, где Е (Г) — белый шум, a f (t) — заданная функция времени.
Нетрудно убедиться, что до предельного перехода, приводящего к рас-
смотрению непрерывных реализаций, выражение, в пределе переходящее
т
в	сокращается и, следовательно, этот интеграл не требует no-
fl
т
яснений. Интегралы вида [^(f)f{t)dt следует понимать в смысле Ито
о
т
[43], т. е. как J f (t)dti(t), где т; (t)— винеровский процесс,
о
Для вычисления вышеуказанных вероятностных характеристик на-
до обратиться к закону распределения вероятностей величины z. Эта
величина включает в себя случайные функции векторных параметров а
и Ь. Нахождение точного распределения для минимума случайных
функций (тем более одновременно двух зависимых) возможно в прин-
ципе только в некоторых частных случаях, например, когда эти функ-
ции квадратично зависят от а и Ь. Поэтому мы воспользуемся прибли-
женным методом, широко распространенным в теории оценок постоян-
ных параметров.
Будем считать, что
п	п
l>=X[Лг“fi (а)]г и Lt=~^~ X[Л/ _ (Ь)]! (13-3-3)
1 = 1	t = l
дважды дифференцируемы по а и b соответственно, и выберем неко-
торые точки а и Ь, близкие к ожидаемым значениям, обеспечивающим
minL, и minLj. Пусть для определенности имеет место первая ситуация,
(а)	(Ь)
т. е. х(£)—f(ao, 0+1(0, гДе ао— истинное значение неизвестных пара-
метров а. Тогда в качестве таких точек целесообразно взять а=а0 и
b=bi, где bt обеспечивает1шп£2 при отсутствии помехи, т. е. определя-
сь)
ется из соотношения
п	п
<7. =	£ [fi (а0) - фг (Ь)]г =	£ [f, (а0) - ф,- (Ь,)]в (13.3.4)
и зависит, вообще говоря, от значения ао. Нетрудно убедиться, что
именно около этих значений группируются распределения вероятности
для оценок максимального правдоподобия параметров а и Ь, обеспечи-
вающих min L, и minLj, а при увеличении отношения сигнал/шум иско-
(а)	(Ь)
мые минимизирующие значения а и b стремятся соответственно
к а0 и bi.
Разлагая /1(а) и фг(Ь) в ряды по степеням а—а0 и b—bi и огра-
ничиваясь членами первого порядка, что при подстановке в (13.3.3)
21—899	321
обеспечивает, как нетрудно показать, сохранение членов не выше вто-
рого порядка, получаем
ft (а) = fi (а0) + Vaft (а0) (а — а0);	(13 3.5)
.,	( &	д I	I д д |
Здесь Va= { -5—,..., -а— ) и v& = !	,• ••.	> — операторы
w v I да, да/ J v | db, dbm J
градиентов по параметрам л = {а,.......at} и b = {bt,..., &m}, знак ,т“ оз-
начает транспонирование.
Подставляя (13.3.5) в (13.3.3), имеем
п
L, = -2I2- J {[X/ — fi (ао)]2 — 2 [х,- - fi (a0)J ^afl (а0) (а — а0) +
-HVTaf, (а«) (а — а0)]2}.
Уравнение для нахождения значения а, минимизирующего Llt имеет
вид
VaL, = — тг J] — fi (ао)1 Vafi (а0) - Vaf< (а0) VTaf, (а0) (а — а0)} = 0,
(13.3.6)
откуда
Т? J] [*,- — fi (а0)] Vaf, (а0) = тг J] Vaf, (а.) vTaf,- (а0) (а — а0).
Z = 1	Z = 1
Вводя матрицу порядка (ZX0
п
' Ц = Jvaf,(a0)vTaf,(a0)	(13.3.7)
i=\
и вектор-столбец порядка (/ХП
п
ё =	2 [X, - h (а0)1 Vaf,- (а0),	(13.3.8)
получаем
а — а0 = 17Ч	(13.3.9)
Если учесть, что
п
51?та^(а<,)(а“а<,)12=
г==1
п
= 27	[VTaf,:(а.) Ц-’ |]! =
____!_V V	(ао) HJ-1 \ (П-'\ е е _
— 2’! Zj U dak да° ' 1	1
( = 1 k, S, V, р.
= 4-ётиг’ё.	(13.3.Ю)
322
то
п
minL1 = ^-^[^-fi (a0)]!-4 ГиА	(13.3.11)
г=1
Аналогично
п
min L, = 4- Jj Iх' ~ +'•	----Г &ТуГ' (13 3.12)
где
п
(133ЛЗ)
Z = 1
— матрица порядка (mXm)’>
п
S == 4 S[Х/ ~ (bi)l Vo'b(ь>) =
1=1
п
=^'SlXz-^(a«)l V^(bx)	(13.3.14)
z=i
— вектор-столбец порядка (т\1).
Последнее равенство выполняется благодаря тому, что bt удовле-
творяет уравнению (13.3.4).
Таким образом, при выполнении первой гипотезы величина z из
(13.3.1) определяется выражением
п
2 S~f 1 (а°)]! —ги”‘1 ~
/ш!
П
- 4-S (b*)]! - -HTVr'& (13-3-15>
х=1
и представляет собой квадратичную функцию величин х,- (/=1, 2, ..., п).
Если в действительности имеет место вторая гипотеза, т. е. x(t) —
(Ьо, 0+1(0, Ьо — истинное значение параметра Ь, то величина z
определяется таким же выражением, в котором всюду следует заме-
нить bt на Ьо и а0 на at, где а! определяется из уравнения
п
= min -4	[Л' (а) — фг (Ь,)]! =
1=1
п
= yjlMaJ-Mb.)]’-	(13.3.16)
i=l
Отметим, что выражение (13.3.15) для величины z является точ-
ным, если функции /у (а) и ф»(Ь) линейно зависят от а и Ь, т. е.
/	т
f, (а) = 2	; фг- (Ь) = 2	’	(13 3-17>
fe=i	/=1
21*
323
где f\k^ и — произвольные величины, среди которых могут быть и
совпадающие. При нелинейной зависимости от параметров выражение
(13.3.15) тем точнее, чем больше отношение сигнал/шум для каждого
из сигналов f(a, t) и -ф(Ь, t). Практически приближение удовлетвори-
тельно, если отношение энергии сигнала к спектральной плотности шу-
ма превышает несколько единиц.
Непосредственной подстановкой нетрудно убедиться, что величина
z приводится к виду
2= - qt - В - I +	(13.3.18)
где
Л
6 в - *' <13-3-19>
1 = 1
а остальные величины введены выше.
При выполнении первой гипотезы величины е, |, g имеют нулевые
математические ожидания и корреляционную матрицу с элементами
п
Д=-±- JJ[A-(a°) —’|’/(bI)]Vaf/(a0)=gI;
п.
^=0; fF=U,; J] Vaft (aJvWb,)^ Gt; gT^V,.
4 = 1
(13.3.20)
Вводя векторы-столбцы порядка [(/+m+l)-l] y={e, g, g} и d=
={1, 0, 0}, а также матрицу порядка [(/+/n+ 1) (l + m +1)]
0 0	0
Q= 0 l^1 0	,
о 0 — Vf1
можно переписать (13.3.18) в виде
z= — qt — dy— */гУтЧу»	(13.3.21)
причем вектор у имеет математическое ожидание у=0 и корреляцион-
ную матрицу
2?! gT! О
g! и, G,
О GTi Yj
R=yyT=
(13.3.22)
13.3.2. Распределение вероятностей величины z и вероятности
правильных решений
Найдем характеристическую функцию <pi(n), соответствующую
плотности вероятности величины z при выполнении первой гипотезы.
Обозначая плотность вероятности вектора у через да (у), имеем
01) = ехр (/tjz) = ехр (—/ад,) j ехр — ndTy-nyTQy^ w (у) dy —
У
324
= exp (—/Wi) j exp (— /TjdTy-Ь- ЛутОу^ X
X—^+1)/2------exp (-г У^~ *y) dy- (13.3.23)
(2n)	det1/2 R 4
Вычисляя обычным образом интеграл (13.3.23), в котором У обозна-
чено пространство величин у, получаем
»(1) = ехр(-/«,) de,,»R(letl,'(R-,-+^ X
Х«р!—(13.3.24)
Знаменатель (13.3.24) преобразуется как
det R det (R~* + л Q) = det (1/+ш+1 + nQR),	(13.3.25)
где I, — единичная матрица порядка v.
Далее,
QR =	0 0	0 и	0 -1	0	gTi g, U,		0 6,	=	
—	0 и?	0 0 -’g	—v-> 0 , I/	0 GT, 0 Uf1 G,		V, >		(13.3.26)
h+m+i + JlQR		о	— Vf’GT 1 лир’еч iz		—Im 0 (1 + Й)		hu	) -1 G,	—
где введены вектор-столбе		ц	о	—nVr'G1-, 1	0	1 В Iz+<n + /’jHj 1 в = {/^‘6,, 0} и		Im(l — J'V) > матрица			(13.3.27)
н,== В результате (13.3.25) п det R det (R~			h	Uf1 G, -vt‘g\ _Im ринимает вид * + /TlQ) = det (Iz+m		+/W			(13.3.28) (13.3.29)
Входящая в показатель степени (13.3.24) матрица С—(/rjQ + R-1)-1
умножением слева на RR-1 записывается в виде
C = R(Iz+m+l + nQR)-.
Обращая матрицу (13.3.27), имеем
l/+m+i	(1/ +т+1 4-HQR)(Iz+m+1 + nQR)-,=
__ 1 О II I «1 Yi ________________
В 1/+/я+ II I р, 6,
__	а,	у,
Ва, + (I/4-m -f- Р1Н,) р, Ву, (I; +щ иН,) 6]
— I 1	0
1 0	11+т ’
(13.3.30)
(13.3.31)
325
откуда
а, = 1;	+
у,=0; 6, = (Iz+m + /tjHJ-1.
(13.3.32)
Обозначая	(1,^ + лН,)-1^		«г Ys	O’ XD	(13 3 33)
имеем					
Л+т~ Отсюда следуют ура	IZ 0 _ 0 Im <Х2	?2 Ys Y2 1внения	= (Ь + т~Ь Л)Н,)" 1/(1+Л) — /7]Vf ’GTj		’(L+m + nH,)^ Gj Im (1 — Л)	
(1 + п)с2-лРЛГ'от1 = 1/;
ла2 L)-’G,р2 (1 — л) = 0;
	y2(1 + /^)-/^2V7igt1=0, ЛТг Ц-1 G, + 6г (1 — п) = lm.		(13.3.34)
При этом		1	0	0	
	(L+m+i +/11QR) 1 —	—na2Uf* g, a2 — PlYsU?’ gi Ys 62	,	(13 3.35)
и искомая матрица С находится как
C = R(IJ+m+1 + nQR)-I =		2^, gT, g. u, 0 Gt, 0	0		0 Gi v,	X
	1				
x	—ji]a2Uf1 g, —'^2иГ‘ £1	a2 ?г Ys			(13.3 36)
(13.3.24) входит квадратичная форма
В показатель степени q>i(r))
d‘Cd —Си,	(13.3 37)
поэтому следует вычислять лишь элемент Си матрицы С. Из (13 3.36)
(13 3 38)
Величина аг определяется из уравнений (13.3 34), из которых
(13 3.39)
326
a, (1 + л)+г=^ (циг’ал-1 о\ = Iz;
= [(1 + h) и, - олг1 о\] ’ * •
Подставляя (13.3.29), (13.3.37) —(13.3.39) в (13.3.24), получаем ха-
рактеристическую функцию z в виде
(i)= ех?! -
_2f_^1-ng\^(l+j71)U1-r^Q1VrIQT1)”g1]}-	(13.3.40)
При выполнении второй гипотезы характеристическая функция ве-
личины z находится аналогичным способом и определяется выраже-
нием
<ра frl) = -ri/2~7;—-77~ ехР -
det1/J (Iz+nJ —/т]Н2)	(
- К + mT2 f(i - n) v2 -1^- O2U7’ отг) ” g,l),	(1 з. з 41)
^L	\	1 j ч	J \)
где
Im V2 1 О2
Н2	,
—ЦТ Gr2 -Iz
g,=-^г j} [Ф< (b.) — fi (а,)] у&Ф< (b0);
1=1
°2' Sv^' vT^z (a,>:
i=\
°2=S v°^(ai) (a*);
1=1
V2 =~ V V^- (b0) V^i (b0).	(13.3.42)
° -uJ
i=t
Оно получается из выражения для <р2 (?)) следующей заменой:
— q2> ГП — — Ь> 1-^т, т-^1,
gx-g2. U,-^V2, V^U,,
G. -Сц.	(13.3.43)
Характеристические функции (13.3.40), (13.3.41) приводят к извест-
ным распределениям вероятности для z только в некоторых частных
случаях. Поэтому рассмотрим прежде всего асимптотическое поведе-
ние z при больших отношениях сигнал/шум. Разлагая 1п ф(т>) в ряд
Маклорена, получаем следующие выражения для семиинвариантов
величины z при выполнении первой гипотезы:
г, =х{1) = — q, — */2 (/ — т);
327
< =x<‘> = 2?I + */2 (/ + m - Sp U-’G.Vj-’G7, - Sp V-’G^Uf’G,);
4+1= -Sp h2A+1 -	g’, (I,+m - и;' o.v;' GT,)*- ‘Uf'g.;
4;2=<^sph^2+
_|_(a+aLgTi(Iz+m_u->Givr1GTi)^lur'git k==i, 2, ,	(13.344)
где Sp H — след матрицы H. При выполнении второй гипотезы семиинва-
рианты з?2) определяются путем замены (13 3 43) (Замена )т] на —/») соот-
ветствует изменению знака у нечетных семиинвариантов )
Полученные выражения позволяют представить распределение ве-
роятности z рядом Эджворта, в результате чего вероятность правиль-
ного решения, если верна первая гипотеза, определяется выражением
—00
10	/ С __z \
K ’	(13 3 45)
где Ф(х)—интеграл вероятности, Ф(й)(х)—его k-я производная,
Pi(z)—плотность вероятности для z при соблюдении первой гипотезы
Аналогично при выполнении второй гипотезы вероятность пра-
вильного решения
СО	___
С()
—гг-^г- ф<6) (———W •	(13 3 46)
6' 5%	\	°2	/ 1	4	’
где 4 — семиинварианты z при выполнении второй гипотезы В част-
ности,
z^-xp ==<?, +‘A (m —/);
(13 3 47)
Л=4’ =Ч + ‘А	+1 - Sp vr'ojir1 g* -
-SpU7‘GT2 V7*g2)
При непрерывном наблюдении сигнала полученные формулы оста-
ются в силе, если обозначить
1 = 7^- J[-v(O — f (а.> OlVaf(ao, t)dt;
О
328
т
и, =f (а0, OvT«f(a., t)dt;
1V 0 J
О
T
g = J_j[x(0-<|>(b1, 0W(b„ t)df,
о
т
Vi=-4-( уЖьр ОуМ'Ф» t) dt-,
2Vо J
О
/
=	0-ф(Ьр 01*dt-,
6
(13.3.48)
т
1На.. О-Ф(Ь.. tWdf,
О
т
8= j [Х(О — f (а0, 01[f(ao. о —Ф(Ьр f)}dt\
О
т
g. = X-J[f(a.. О —Ф(Ь,, OlV«f(ao. t)dt-,
О
т
G. =-^jv«f(ao. OVVHbp t)di
о
и аналогично для U2, V2, g2 и G2.
С помощью (13.3.44) нетрудно установить условия, при которых от.
юсительные величины семиинвариантов х^1,2)/о* 2 (6 = 3, 4,...) малы по
сравнению с единицей. Фактически для этого достаточно либо
</2^*1, либо / + /п^>1. В этих условиях всеми поправками к нормаль-
ному распределению вероятности можно пренебречь и ограничиться
в (13.3.45), (13.3.46) только первыми членами, т. е.
Р, = Ф f С° ~ 21 ) , Р2 = 1 — Ф С° ~ z‘ ;	(13.3.49)
Эффективность распознавания определяется в основном парамет-
рами Qi и q2- Эти параметры представляют собой отношения мини-
мальных по а и b соответственно средних квадратов отклонений f(a, t)
и ф(Ь, t) к дисперсии (при дискретном наблюдении) или к спектраль-
ной плотности (при непрерывном наблюдении) шума.
Для оценки степени приближения в приведенных выше формулах
для вероятностей Pi, Р2 рассмотрим простой частный случай l=m=l,
в котором а и b — скаляры, т. е. каждый из распознаваемых сигналов
зависит от одного неизвестного параметра. Многие практические зада-
чи сводятся именно к этому случаю.
329
В случае дискретных наблюдений
G — 1 VI	.
1 о2 / J да дЬ ’
/=1
1Л («о) -фл&х)]^2;
1=1
и~^\;и- VTl=iivt
И аналогично для Ut, Уг, Gt, g2.
Обозначая
P’.^G’xAVp ?\=G\fUtVt	(13.3.5C)
и подставляя в (13.3.44), (13.3.47) выражения для матриц Н, и Н2
Н,=	1	G,/U1 , Н2=	1 GJVi ,	(13.3.51)
-o./r,	-1	-Сг/иг -1 v ’
имеем
= —z2 =<?/,	— P2,; o22 = 2q2 + 1 — p22;
*3°______________3g2,________.
_ Ut (2^ + 1-p2,)3^	’
(2)
хз ____________3g%
= %	Г2(2^ + 1-р2г)3/2 ’
х4!)	(1 -W + WM .
A	(2?x+1-P2,)2	’
(13.3.52)
x42’ _r (l-p22)2+2g22/V2
(2<?2+l-p22)2 '
Для выяснения смысла величин pi и рг учтем, что уравнения для
нахождения оценок параметров а и b имеют в данном случае вид
=	(133.53)
Z =	i=l
Разлагая fi(a), dfi(a)/da, $i(b), &ф,(Ь) /дЬ в ряды Тейлора в слу-
чае, когда соблюдается первая гипотеза, около Яо и bi соответственно
и ограничиваясь членами лишь первого порядка малости, легко пока-
зать, что из (13.3.53) получаются следующие приближенные выраже-
ния для оценок а* (Хп) и Ь* (Хп):
п
(X.) -	[Л -1, (а.)]
1=1
(13.3.54)
»*(XJ»6,+^r У][х,-ф(6,)|
1=1
330
Из (13 3.54) следует, что
F(XJ	&.*>, о’0 = [а" (Х„) - а.Г = 1 /Дг
о%=Г&*(хл)-&1]2 = 1/г1,
я коэффициент корреляции оценок а*(Х„) и и' (Хп)
[а* (Х,.)-а0] [Ь* (X„)-b,] _	1 у, df, (апУ дф, (Ь,) = G, =
аа°*	vu.v^ д‘г дь v^i^i Pl
(13 3.55)
Аналогично при соблюдении второй гипотезы
<Л=1Д,; о2й=1/1/2;
[а* (Х/р аг] [Ь* (Хя) Ьо]______Ог_____	(13 3 56)
°а’6	“	~Н2’	'	‘
Таким образом, рь р2 являются коэффициентами корреляции оце-
нок параметров anb при соблюдении 1-й и 2-й гипотез соответственно.
Нетрудно заметить, что отношения g2\!Ui и имеют порядок
91 и 9г- Поэтому относительные величины семиинвариантов fe-ro поряд-
ка убывают как 9]~2/2- Точные же их значения могут быть определены
по формулам (13.3.52) и более общим формулам (13 3.44), которые
дают оценки степени приближения в вышеприведенных выражениях
для вероятностей Pi и Р2.
Рассмотрим теперь один важный частный случай, когда распреде-
ление вероятностей для z приводится к одному из табулированных
распределений и может быть вычислено точно при любых отношениях
сигнал/шум (любых величинах 91 и 92) Допустим, что ошибки изме-
рения параметров а и b некоррелированы. Из предыдущего вытекает,
что при этом Gj=G2=0. Последнее имеет место, в частности, при ли-
нейной зависимости f(a, t) и ф(Ь, t) от а и b (13,2.9) и ортогонально-
сти функций f^ft) и ф<й>(().
В результате при наличии сигнала /(ао, t) (первая гипотеза)
п
q' = И [адР.-ЫДЧ2,
/=1
а так как при Gj=O минимум (13.3.4) в данном случае имеет место при
bi=0, то
п	I
д=1^-У](атор‘)2^
1=1	k, s=l
п
Х^5^Т, = 4ат°и>а«-	(13 3 57)
Это равенство имеет место в силу справедливости (13 3 4), из которого еле
д^ет, что
Lf , , дф,- (Ь,) =	Эф, (&,)
° дь 2L 61 дь
1=1	1=1
331
Вместе с тем, подставляя конкретный вид функций в (13 3.20), по-
лучает
g.^F^U.a.,	(13.3.58)
откуда
72gT1Ur'g. =	= 72a\U,a0 = qt
а аналогично
72gT2Vr'g2 = <72-	(13.3.59)
Подставляя (13.3.59) вместе со сформулированными выше усло-
виями в выражения для характеристических функций (13.3.40),
(13.3.41), получаем
(1 + л)'/2(1 _л)-/2 ехр (“т+л91; ’
(13.3 60)
?2 (1]) = (1 + /7))'/2 (1-п)т/2 ехр	92) •
Учтем, что
, .	1	( mitk \
? 4	(1 — 2/i]a2)ft/2 еХР ( 1— 2/т]аг )
(13.3.61)
представляет собой характеристическую функцию суммы квадратов
независимых нормально распределенных случайных величин (а, о)
и, следовательно, соответствует закону распределения величины
o2X2fe(a2&/o2), где х2н(с)—величина, имеющая нецентральное ^-распре-
деление с k степенями свободы и параметром нецентральности с [8].
Используя (13.3.61) и известные свойства характеристических функций
[16], приходим к выводу, что при выполнении первой гипотезы вели-
чина z распределена как z=1/2[x2m(0)—X2/(2^i)], а при выполнении
второй — как z=* /2 [%2т (2q2) ~X2i (0) ].
Таким образом, величина z представляется в виде разности неза-
висимых случайных величин, имеющих стандартные %2-распределе-
ния [8].
Особенно простые результаты получаются при нулевом пороге Со,
с которым должна сравниваться величина z. В этом случае вероятно-
сти правильных решений Pi, Р2 определяются следующим образом:
р _ р Г X2! (241)	11 р \тхг1 (241)	211 —
*	[ X2m(0) J [ /X2m(0) > I ]
=	I, Ш, 2q^,
^2=^[^./(2<72)>4-] = l-Q(4-’ m’ l’ 2^J ’ (13-3.62)
где P[ ] — вероятность выполнения написанного в скобках неравенства:
Р, ъ(с) — величина, подчиняющаяся нецентральному распределению Фи-
332
шера (F-распределению) со степенями свободы Vi и V2 и параметром
нецентральное™ с; Q(x, V2, с) —функция распределения этой вели-
чины Асимптотические свойства и таблицы этого распределения при-
ведены в [8], благодаря чему вероятности правильных решений могут
быть определены без труда.
Если 1—гп и является четным, то выражения для вероятностей пра-
вильных решений дополнительно упрощаются. В частности, при /=т=2
Р, = 1 — 7,e"?‘/2, Рг = 1 — 7ге"?’/2.	(13.3.63)
13.3.3.	Различение сигналов с неизвестными амплитудами
Воспользовавшись полученными результатами, найдем вероятности
распознавания ортогональных сигналов f(t) и ф(/) с неизвестными
амплитудами при приеме в шумах. Алгоритм оптимального распозна-
вания таких сигналов был найден в примере 1 § 13.2.
Благодаря ортогональности сигналов при непрерывном их наблю-
дении
г
G,=Gt=^p(0<H0<tt = 0
О
и соблюдаются условия (13 3 59). Поэтому при нулевом пороге (Со—0)
справедливы формулы (13.3 62) и
Л.2 = 1-С(1. 1- 1. 2<71>г),	(13 3 64)
где
т
„	1 __ Л2о 1	(*
2	2 J '	— 2N, ’
о
(13.3.65)
о
— отношения энергий сигналов к спектральной плотности шума, а ао
и Ьо — истинные значения неизвестных амплитуд сигналов.
В данном случае, однако, нет необходимости пользоваться табли-
цами распределения Фишера, так как вероятности Pi,2 могут быть вы-
числены следующим образом. Согласно (13 3 62)
р„=р(^>^=р^>^) = Я Рв.2, С)^.д, (13.3.66)
мц1>2. о
где SJ>2 и С — нормально распределенные независимые случайные вели-
чины с математическими ожиданиями 6112 = }Л2<71.2; С = 0 и дисперсиями
07 = 07 = 1, a	С) — их совместная плотность вероятности. Область
интегрирования в (13 3 66) обозначена Af(S1>2, С) и заштрихована на
рис 13 7. Перейдем в^(13 3 66) к новым переменным:
u = (t2 + Q//2; ц=(С-^)/Г2.	(13.3.67)
Величины и, v распределены по нормальному закону, причем
и =У<71,2; р = —	а2„ = а2£, = 1; (и — и)(у — и) = 0.	(13.3.68)
333
В результате совместная плотность вероятности для и и и

w(u, v) =
2 J exp L ~	2
и искомые вероятности находятся как
о
Р1>2 = jj w(u> v)dudv= j у=^ехр
Л! (и, и)	—оо
_	duX
+ [1-Ф(-Г<71.2)]Ф(ГЛ2) = 1-2Ф(/<71.гН1’-Ф0/<71,2)]) . (13 3 69)
где Ф( ) —интеграл вероятности.
Рис 13 7 Область интегрирования
в (13366)
Для сравнения рассчитаем вероятности правильных решений при
известных амплитудах сигналов. В связи с тем, что эти вероятности при
дискретных и непрерывных наблюдениях могут быть выражены оди-
наковыми формулами, перейдем при их выводе к дискретным наблю-
дениям. В этом случае при выполнении первой гипотезы
X„ = aF„+E„,	(13 3.70}
при выполнении второй
Х„ = ^п+ап,	(13 3 71>
где а и b — известные величины, а g, распределены по нормальному
закону (0, о) и £г^=0, &=k.
334
Плотности вероятности для Хп при выполнении первой и второй
гипотез имеют соответственно вид
Л (Х„) = ,9 \ni2 - еХР Г ~	(Х« - aF„)T (Х« - aFa)l -
(2л5г) ' L
(13.3.72)
Р2 (Х„)= ехр Г-(Х„- &V (Х„ - ^„)1 -
Составляя логарифм отношения правдоподобия и сравнивая его с ну-
левым порогом, имеем алгоритм принятия первой гипотезы в виде
(Х„ - aF„)T (Х„ - aF„) < (Х„ -	(Х„ - ЬЧп).	(13.3.73)
Обозначим
Р = (Х„ - aF„r (Х„ - aF„) - (Х„ - &V (Х„ - Ьч?п)	(13.3.74)
и вычислим вероятность события, заключающегося в том, что ц^О,
Р (р > 0) = J W (р) dp-,	(13.3.75)
о
где w (р)—плотность вероятности величины р.
При выполнении первой гипотезы и при ортогональности f(t)
и if(i)
[(^-«мг-(^-ад]=з р!‘-(*<+<ф-вд=
г=1	i=i
= -2о2(<71+<7г)-2 2 ^(af,-^),	(13.3.76)
г=1
где
п	п
(13-3-77)
1=1	1=1
и ясно, что при переходе к непрерывным наблюдениям (13.3.77) пре-
вращается в (13.3.65).
Величина р подчиняется нормальному распределению с матема-
тическим ожиданием р=—2G2(qi+q2) и дисперсией ог =8о4 (q± ф q,).
Следовательно, согласно (13.3.75)
Р (р 0) = Ф (р/0[х) = Ф (- ]/(<?!+ ^)/2).	(13.3.78)
Отсюда вероятность правильного принятия первой гипотезы
р;°> = 1 - Р (Р 0) = Ф (К (^Н-^/З).	(13.3.79)
Нетрудно также убедиться, что вероятность правильного принятия вто-
рой гипотезы Р^ = Р^ •
Вероятности 1— Р1>г и 1— Р{°| построены на рис. 13.8 для qt~
335
Рис. 13.8. Зависимость ве-
роятностей ошибок от q:
1 — сигналы с известными пара-
метрами; 2 — сигналы с неизве-
стными амплитудами; 3 — сиг-
налы с неизвестными амплиту-
дами и фазами.
=q2—q. Из рис. 13.8 видно, что незнание амплитуд сигналов приводит
к заметному проигрышу в вероятности правильного решения (при боль-
ших q вероятности правильных решений различаются в два раза).
13.3.4.	Различение высокочастотных ортогональных сигналов
с неизвестными амплитудами и фазами
В примере 2 § 13.2 был найден оптимальный алгоритм различения
высокочастотных ортогональных сигналов с неизвестными амплитуда-
ми и фазами. Вероятности Р± и Р2, соответствующие этому алгоритму
можно найти, если учесть, что ) coi—а>2|ГЗ>1—приближенное условие
ортогональности высокочастотных сигналов при любых их фазах,
в результате чего
G 1=62=0.	(13.3.80)
Так как рассматривается случай, в котором т.—1=2, для вероят-
ностей Pt и Р2 справедливы выражения (13.3.63), в которых согласно
(13.3.59) и (13.2.27)
91 == 2 aToUao 2 ® 01^11 Н 2* ® 02^22
= JL- (аг 4- а2 1
2Nq ' 01 '	02/ — 2jV0 •
(13.3.81)
1	да F
а = — bT Vb =
Чг 2 °	2/V„ ’
где
Т
£1-2 = 4“ ^dt'
о
и величины До и Во представляют собой истинные значения амплитуд
сигналов. Таким образом, qt и q2, как и раньше, равны отношениям
энергий сигналов к спектральной плотности шума. Зависимость 1—Pii2
от q, когда энергии сигналов одинаковы, т. е. qt=q2=q, построена на
336
рис. 13.8 пунктиром. Из рис. 13.8 видно, к какому дополнительному
проигрышу в эффективности различения сигналов приводит незнание
еще одного параметра — фазы сигнала.
13.3.5.	Различение сигналов с неизвестными запаздываниями
Найдем вероятности правильного различения сигналов, обладаю-
щих неизвестными запаздываниями, соответствующие алгоритму
п. 13.2.2. В этом случае параметры а и b — неизвестные запаздывания,
т=1=\. Применив для вероятностей Pi и Р2 разложения (13.3.45) и
(13.3.46), вычислим семиинварианты х*1,2> по формулам (13.3.52). Для
этого найдем входящие в эти формулы величины. При непрерывном
наблюдении
т
= w J[/ (/" а*} ~ *(t - W dt
о
(13.3.82)
где bi — запаздывание, обеспечивающее минимум (13.3.82).
Используя введенные в п. 13.2.2 предположения о малой эффектив-
ной длительности сигналов ТЯф<^Т и о том, что априорные диапазоны
Да и Д5 заключены внутри интервала (Тэф, Т—ТЭф), а также вводя
дополнительное предположение о четности функций f(t) и ф(/), по-
лучаем
Т	о©	Г	оо
О	—оо	0	—оо
Т
max Г f (t —	— bj dl =
о
T	®e
0	—oo
и, следовательно,
(13.3.83)
причем, очевидно, что q2—qi',
т
gl=	a„) - Ф (t - 5,)] f'(t - a„) dt
0
i
f(t)f(t)dt- U(t)f'(t)dt =0
и аналогично g2 — 0;
т
«0)]2 dt^l

22—899
(13.3.84)
337
В (13.3.84) штрихом обозначены производные по времени. Выбор
нулевого порога Со обеспечивает в данном случае выполнение естест-
венного требования равенства вероятностей правильных решений при
обеих гипотезах. При Со=О согласно (13.3.45), (13.3.46), (13.3.52)
Р — Р % Ф ,--------
1	Е 2 * * * 6 к r^T+i-p^
1__(-LrP2.)2.- Г.
41
4 (2^ + 1-pSf
(13 3.85)
где
Р\ = Р\ =
00	*12
р' (ОФ' (t)dt
\Y2(t)dt. (13.3.86)
—Оо	—00
Нечетные семиинварианты игь-н (&=1, 2, ...) обращаются в нуль
благодаря равенству gi—g2=Q. При p2j=l, что соответствует, напри-
мер, случаю, когда функции f(t) и ф(/) различаются только ампли-
тудами, четные семиинварианты хгь+г (&=1, 2, ...) тат'же обращаются
в нуль и в (13.3.85) остается только первый член. Однако даже при
р21=0 поправка к нему пренебрежимо мала, если только q<>2—3.
Приведем для сравнения вероятности правильных решений Pj0),
для известных запаздываний сигналов а—Оо, b=bo, При нулевом по-
роге Со=О алгоритм принятия первой гипотезы (наличие сигнала
f(t—По)), соответствующий сравнению с порогом логарифма отношения
правдоподобия, имеет вид
г т
“W K[A(0-ftf-ao)]2^
’О
В случае El = E2 — Ef где
£i= f Г(*~ aa)dt
б
Е2 = ( Ф2 d — \) dt
О
алгоритм (13.3.87) принимает вид
т
z = fx(t)[f(t — а,)-
6
Г	.
— (О — ФР — &o)]2dA^O. (13.3.87)
о	'

(13.3.88)
Если обозначить
(13.3.89)
338
то при выполнении первой гипотезы
т
Z = р V — a,) If (t—а.) — — Мdt =
О
- оо	оо
[f^Ddl- ^f(t-aa + ba)^(t)di
—оо	—оо
°?г = -AV J Р 5	- а«) - * - &о)1	~ ~
О О
- ф & - &.)] dt^ = ~ j [f (t - а.) - ф (/ - b„)]* dt = 29..
о
Так как величина z
распределена по нормальному закону,
Р<°>=у
о
кёгех4
=ФО0=Ф(/ -т)-
(13.3.90)
Рассматривая аналогично случай выполнения второй гипотезы, легко
находим, что Р^0’= Р*0).
Рис. 13.9. Зависимость ве-
роятностей ошибок от qi:
1, 2 —сигналы с неизвестными
запаздываниями /) pi—1; 2) pi™
=0, 3—6 — сигналы с извест-
ными запаздываниями; 3) Aq=*
= 1. 4) Д?=3; 5) Д<? = 5, 6) Aq=
= 10.
Сравнивая (13.3.85) и (13.3.90), замечаем, что проигрыш в эффек-
тивности различения сигналов, возникающий из-за незнания их запаз-
дываний, отсутствует, если запаздывания равны, т. е. <20==&0, и p2i=l.
Во всех остальных случаях незнание запаздываний сигналов уменьшает
вероятности правильных решений.
Зависимость вероятностей 1—Pij2 от qi для крайних значений p2i=l
и p2i=O построена на рис. 13.9. Из него видно, что влияние коэффи-
циента корреляции ошибок измерений запаздываний pi довольно не-
существенно и уменьшается с ростом отношения сигнал/шум <?i. На
22*	339
этом же рисунке показаны пунктиром зависимости вероятностей
1 от ПРИ Разных значениях
(13.3.91)
соответствующих различным разностям ао—Ьо запаздываний сигналов.
Они дают возможность оценить величину проигрыша из-за незнания
запаздываний. Случаю а0=6о(Д^=0) соответствует кривая 1.
13.4. ОБОБЩЕНИЕ НА СЛУЧАЙ КОРРЕЛИРОВАННЫХ ПОМЕХ
Выше были найдены правила распознавания квазидетерминирован-
ных сигналов, зависящих от совокупности неизвестных параметров, при
их приеме в некоррелированных шумах (при непрерывном наблюдении
в белом шуме). Все приведенные результаты легко обобщаются на слу-
чай приема сигналов при наличии аддитивной произвольной гауссовой
помехи l(t) с функцией корреляции R(ti, tz) 
В этом случае при дискретных наблюдениях плотности вероятности
для выборок Хп в двухальтернативных ситуациях имеют вид
Л (Х„ Iа) = -^)n/21deti/2 R ехр { -4- lX« - F« (а)1Т R‘ * [X„-F„ (a)] } ,
P* (X„ | b)= {2;t)re/2deti/2R X
Xexp j -4 [Xs-Ts(b)]T4VW’ ,	(13.4.1)
I 2	J
где использованы обозначения § 13.2; R— корреляционная матрица
помехи; R-1 — обратная ей матрица.
Оценки максимального правдоподобия а* и Ь* векторов а и b на-
ходятся из уравнений
In Р. (Х„ | а) = О, k = l, 2. I,
(13.4.2)
4г1пЛ(Х„|Ь) = 0, / = 1. 2,..., т,
которые после подстановки (13.4.1) сводятся к следующим векторным
уравнениям:
VaXT„R- *F„ (а) = 72VaF„ (а)т R~ *F„ (а),
. (13.4.3)
V*X\R- (b) = ’/2v (b)T R -	(b).
Оптимальное правило распознавания сигналов заключается в срав-
нении с порогом логарифма отношения правдоподобия
1пЛ12 (Х„ I a*, b*) = */2 {[Х„ - F„ (а*)]т R- ‘ [Х„- F„ (а*)] -
- [Х„- V (b*)]TR-* [Х„-V (b*)]}.	(13.4.4)
340
При линейной зависимости сигналов от неизвестных параметров,
т. е. в случае
ft (а) =2 akf\k) = FT,a; фг (Ь) = 2 Ь,^1) = ^гЬ, (13.4.5)
*=1 /=1
уравнения (13.4.3) сводятся к следующим системам уравнений:
2 ^’(R-% xs=2 S =
i, s=l	v=I i, s=l
= S fe = l, 2,..., /,	(13.4.6)
V=1
n	m	n
2 <p/>(R-%xs=2	3
i, s=!	v=l I, 5=1
m
=^ьу.ч, /=1’2.........m'	<13A7)
V=1
где
u„=i	V„= 3	(R->)„ ФГ’ 	(13.4 8)
I, Seal	I, 5=1
Решения уравнений (13.4.6), (13.4.7) имеют вид
a* = U"’X; b* = V-*Y,	(13.4 9)
где
X= 2 F£(/?-’)1sxs; Y=2	(13 4.10)
I, 5»1	it S=1
Подставляя (13.4.5) и (13.4.9) в (13.4.4) и производя преобразова-
ния, аналогичные приведенным в § 13.2, получаем правило принятия
первой гипотезы
7г(Хти-’Х —YTV-’Y)C.	(13.4.11)
При соблюдении обратного неравенства принимается вторая гипо-
теза. Таким образом, алгоритм распознавания имеет ту же структуру,
что и при некоррелированном шуме, но векторы X и Y, а также матри-
цы U и V имеют более сложный вид. Отсюда легко усмотреть, что при
наличии коррелированных помех структура всех полученных выше
алгоритмов и вид формул, определяющих вероятности правильных ре-
шений Pi и Рг, остаются неизменными, но все фигурирующие в них
суммы вида
Z=1
заменяются на
3 /,((/?-*)<•	(13.4.12)
l. S-l
341
где fa и f2t — любые величины, входящие в формулы для алгоритмов и
для величин q^2, Ui,2, Vi>2, gi,2, Gi>2, a (7?-1)г5— элементы матрицы,
обратной корреляционной матрице помехи R.
При непрерывном наблюдении сигналов фигурировавшие в пре-
дыдущих формулах интегралы вида
т
6
заменяются на
т т
Qdt^,	(13.4.13>
6 о
где fi(t) и fz(i)—любые функции, входящие в соответствующие выра-
жения, a 0(/i, /2) —функция, определяемая уравнением
т
J 0 (?Р	—	(13.4.14)
о
в котором 7?(/i, t2) —корреляционная функция помехи.
Уравнение (13.4.14) во многих практически интересных случаях
решается приближенно [2]. В частности, для стационарной помехи со
временем корреляции Ткор<^.Т уравнение (13.4.14) легко решается пре-
образованием Фурье.
В остальном все приведенные выше результаты остаются неиз-
менными.
13.5. РАСПОЗНАВАНИЕ НОРМАЛЬНОФЛЮКТУИРУЮЩИХ СИГНАЛОВ,
ПРИНИМАЕМЫХ В ШУМАХ
Во многих случаях сигналы, связанные с распознаваемыми объек-
тами или ситуациями, являются случайными и распределены по нор-
мальному закону. При образовании случайных сигналов в результате
наложения большого числа статистически независимых возмущений
предположение об их нормальности всегда выполняется. Такие сигналы
назовем нормалънофлюктуирующими. К их рассмотрению, как известно
[2, 17], сводится решение многих статистических задач радиотехники
и, в частности, радиолокации.
Флюктуирующие сигналы принимаются в шумах. Распознавание
объектов, с ними связанных, сводится, таким образом, к различению
случайных сигналов на основе наблюдения их смесей с шумами.
Как и при приеме квазидетерминированных сигналов (§ 13.2), обыч-
но различаемые флюктуирующие сигналы статистически зависят от сово-
купностей дополнительных параметров, характеризующих «обстановку»
работы системы распознавания. Эти параметры могут, как правило, из-
меняться в широких пределах, а законы их распределения неизвестны.
Так, отраженные от объектов наблюдения радиолокационные сигналы
зависят от ракурса объекта, параметров его движения (например, от
параметров прецессии объектов, совершающих регулярную прецессию)
И т. д.
Сформулируем задачу двухальтернативного распознавания гауссо-
вых флюктуирующих сигналов, принимаемых в шумах, при наличии
342
статистической зависимости сигналов от дополнительных параметров
«обстановки».
Будем, как и ранее, предполагать, что наблюдается выборка Хп=
={Х], ..., Хг,} значений процесса x(t) на интервале (О, Т). Допустим,
что эта выборка относится к одному из двух гауссовых процессов, име-
ющих соответственно функции корреляции t2, а) и R2G1, h, b) и
математические ожидания mi(t, а) и m2(t, b), где a={ai, ..., а} и Ь=
={&i, .... bm}—-векторы параметров неизвестной обстановки.
Тогда условные плотности вероятности выборки Хп в двух распо-
знаваемых ситуациях запишутся как
Л (xn Iа) (2t)n/2det1/2 R, (а)
X ехр i-[X„—MJn(a)]TR"‘ (a) [X„-MJn (a)] J,
(13.5 1)
Р2(Х„I Ь)=----- .у 1..2------X
V 1 ’	(2п)п/2 det/?2 (Ь)
X ехр J [Х„ - Л12п (b)]T R-1 (Ь) [Х„ - М2П (Ь)]} ,
где Ri(a) и R2(b) —корреляционные матрицы двух распознаваемых сиг-
налов; Min(a)={mi(Zi, a), mx{t2, а), ..., m\(tn, a)}; M2n(b)={m2(^i,
b), ..., m2(tn, b)} — векторы математического ожидания.
Логарифм отношения правдоподобия при данных а и b имеет вид
1пЛ12(Х„|а, b) = 4-lng^)-
- 2- {[Х„ - М,„ (а)]т R”1 (а) [Х„ - М,„ (а)] -
-[X„-M2„(b)]TR7' (b)[X„-M2n(b)]}.	(13.5.2)
Оценки максимального правдоподобия векторов а и Ь, которые
нужно подставить в (13.5.2), находятся из решения систем уравнений
Э1П Р (X„laL=	...
«Ч
<?lnP*<Xn|b) = °> v=1- 2.... m
db4
(13.5 3)
ити
1
2
д
^7detR> <а)
det R, (а)
^^-{[X„-M„(a)rRr‘ (a)[X„-
п
— М1П(а)]}= — Ц-
r,	li
T ^Xr~ m'r [•** — "M (a)]	1 (a))*r +
r, k=l
343
п
+ X - т'к (а)] (a>)ftr==o
Г, 4=1
и соответственно
п
—г £ -^7^(Ь)(/?г’(Ь)).г-
г, £=л
п
—т*г(Ь^ Iх* ~~ т*к ~k~ <ь>)*г-+
г, Л=1
п
+ 1]	(Ь)1 (b))ftr = 0.	(13 5.4)
г, Аз=1
Уравнения (13.5.4) могут решаться конечными или рекуррентными
методами, изложенными в гл. 7.
Рассмотрим следующие, представляющие практический интерес, ча-
стные случаи.
13-5-1. Распознавание нормальнофлюктуирующих сигналов
с математическими ожиданиями, зависящими от неизвестной обстановки
В этом случае Ri и R2 не зависят от а и Ь. Уравнения правдоподо-
бия принимают вид
£ [х* - mlk (а)] (РГ1 )гк - 0,
г, 4=1
(13 5.5)
п
£ [xk - mik (b)] (РГ* = 0.
г, А*==1
Алгоритм распознавания сводится к тому, что принимается гипоте-
за о наличии сигнала с функцией корреляции R\(t}, t2), если удовлетво-
ряется неравенство
[Х„ - М„ (а*)]т Rf1 [Х„ - М1в (а*)] -
— (Х„—М1В(Ь*)Г РГ' [Х„- М2П(Ь*)] < С,	(13.5.6)
raeC = ~21nCIt + lng^.
При соблюдении обратного неравенства принимается гипотеза о на-
личии сигнала с функцией корреляции Rz(t\, 12).
Величина Ci2 при применении принципа оптимизации, изложенного
в § 6.5, находится по общей формуле
Zi __ ?21	i?22 Р2Д2 (Хп)
12	S12 — Su Р,а1 (Хп) ’
(13.5.7)
344
где
,v ,	, .хл (2л)1,2 .
ai (Х„) = », (а ) - —»
п 1' ' det1/2 D,
(13.5.8)
^(X„) = (e2(b*)d-gf^>
априорные распределения “Да) и “2(Ь) по-прежнему должны быть заме-
. Z	\ "1	/ т	\ “1
йены на! JJ Да* и I Д&/| , а Да* и Д6/ — диапазоны изменения
\*=i	/	\/=i	/
составляющих векторов а и Ь. Матрицы
дЧпР, (Х„|«*) г II dOnP2(X„|b*)l| ,14,Q.
1	|| dakdas I’ L'2 —1| db^b~k ||	О^.У)
в соответствии с (13.5.1) состоят из элементов
D.“=4- Дк !|Х"~ M'“ <а)1т Rr‘ Iх- -	=
[ д№,п(а*) |т г>1 Г д№1П(а*) ]
= |_ да,	]	' [ дак	J
- Г дгМ|П(а*) I т R 1	_
| da/zdas J 1 1 п m\ л»
(13.5.10)
м2„(ь)]ткг‘ [х„-м2„(ь)]}ь=ЬФ-
___[ dM2rt (b*) ]t p_i [ dM2n (b*) |
[ dbs	J K2 [ dbk	]
__Г d2M2n (b*) lTp—1 rv __ ДЯ (h'M
[ dbkdbs J K2_____________M2n(b )]•
При применении процедуры оптимизации § 6.2 коэффициенты а\~
=0.2= 1.
Таким образом, в общем случае пороги сравнения зависят от выбор-
ки Хп. В частных случаях эта зависимость может и отсутствовать. Так,
например,если
а) =2	m2(t, b) = ^b^4(t),	(13.5.11)
|1=1	v=l
произведя вычисления по формулам (13.5.10), получим
Dtks = KRf’h, D2ks = <pTs	k’	(13.5.12)
где —{/ki, • • •? /kn), —{ф/<ь • • •, ф/in}, з. —fk(ti'), cpki—cpk(^i). В резуль-
тате матрицы Di и D2, а следовательно, и порог сравнения С от X не
зависят.
Легко видеть, что рассматриваемый случай распознавания нормаль-
но флюктуирующих сигналов, у которых только математические ожида-
ния зависят от параметров «обстановки», является несущественным
обобщением задачи распознавания квазидетерминированных сигналов
при наличии коррелированных помех (§ 13.4). Он отличается лишь тем,
345
что в первой ситуации функция корреляции Ri, а во второй — R2. При
равенстве этих функций (Ri—R2=R) справедливы все результаты
§ 13 4.
13.5.2. Распознавание нормальнофлюктуирующих сигналов
с зависящими от параметров «обстановки» функциями корреляции
Предположим, что математические ожидания и m2(t) не за-
висят от векторов а и Ь, функции же корреляции Ri(ti, t2, а) и R2(ti,
t2, b) от них зависят.
В этом случае уравнения правдоподобия (13.5.4) принимают вид
'(a))rfe[(Xr—mir)(Xfe —m,fe) —й1ГЙ(а)]=0, y.= l, 2...................... I,
r, 4=1 И
(13 5.13)
n
r. 4=1
(R21 (Ь))гл[(Хг — m2r)(Xk — m2k) —	(b)] = 0, v=l, 2,. ., m.
Представляет большой интерес частный случай m\=m2=Q. К нему
относится распознавание образов на основании наблюдения высокоча-
стотных флюктуирующих радиосигналов.
Уравнения правдоподобия (13.5.13) при mi=m2=0 обращаются в
S l!7(Rr1(a))^[^X4-7?irft(a)]=0> н=1, 2,..., I,
rt k=\
(13 5.14)
S ^-(^Г1(Ь))г4[ХгХ4-/?2г4(Ь)]=0, v=1, 2..... т,
г, 4=1
а правило принятия решения о наличии сигнала с функцией корреляции
Ri(ti, tz, а) заключается в выполнении неравенства
2 xrxk [(Rf1 (a*))rft- (R-1 (Ь*)),41 < С,	(13 5 15)
г, 4=1
ИЛИ
Х^КГ'^-КГЧь^Х^С.	(13.5 15а)
Здесь
С = —21nC12-[-ln[detR2(b*)/detR1(a*)]	(13 5.16)
определяется формулами (13.5.7), (13.5.8), в которых матрицы Dj(/XO'
и })2(тХт) состоят из элементов
п
Hi4s = -|-	d^das (#1 1 (а *))'₽	“ RirP <а*)] “
r,z>=l
Г.
346
1
2
лг .	„ cPRr'fa*)
R,(a*)-
R2ks Q
__ s dRi 1 (a*) aRi (a*)
p das	oa-k ’
. * R?’ (b*) v c_	Rr1 (b*) „
n dbkdbs Sp	dh^ih. RiO’
.. W1 (b*)
_sp—_____
dbkObs
дЯг (b*)
dbk
(13.5.17)
Для получения правила распознавания непрерывно наблюдаемых
флюктуирующих сигналов следует в полученных выражениях перейти
к пределу при At—>0 и п—>оо (пД1=7’).
Алгоритм принятия решения о наличии сигнала с функцией корре-
ляции 7?] (/], t2, а) принимает при этом вид
J р('1)*(0[М1. h, a*)-02(fp t2, b*)]d#A<C,	(13.5.18)
о о
где ©,(#,, t2, а) и 02(/р t2, b) находятся из уравнений
t, a)0,(t t2, л)<И=Л^-^
О
JP,(^. t, Ь)02(Л t2, Ь)Л = 8(^-#2).	(13.5.19)
u
При выполнении противоположного неравенства принимается решение
о наличии сигнала с функцией корреляции Рг^ь t2, b). Оценки макси-
мального правдоподобия а* и <Ь* удовлетворяют уравнениям
j j Эе’ У' а) Iх х	a)] dt2dt2 = О, [X = 1, 2. I,
о и
(13.5.20)
?)	b)]dM/2 = 0, v=l, 2,..., т.
о о
13.5.3. Распознавание быстрофлюктуирующих радиолокационных
сигналов
В теории радиолокации [2] решается задача оптимального обнару-
жения и оценки параметров флюктуирующих сигналов, отраженных от
малоразмерных целей. При приеме таких сигналов в белом шуме со
спектральной плотностью No функции корреляции 't2, а) и R2(ti,
i2, b) могут быть записаны в виде
^>(^>. a)=PclRe«(/1 —	— т,) ?,(«, —12, а0)Х
Хехр^.-^+ВД/.-Ч).
Ч(^>. b)=PC2Re«(Z1 — t2)u(t2 — х2)р2(#, —12, b0)X
X exp [jX (^ - f,)] NJ (/, - Q.	(13.5.21)
347
Здесь РС1 и Рс2— средние мощности распознаваемых сигналов; Т] и т2—
задержки их модуляции; Ю1=(йо + ®Д1 и и2=к>о + (Од2— их несущие часто-
ты с учетом допплеровских сдвигов мя1 и ид2; u(t)—ua(t) exp[jif>(0]—
комплексный закон модуляции зондирующего сигнала; «а(0 —его
амплитудная модуляция; ф(^) —фазовая модуляция; —• — означает ком-
плексно-сопряженную величину; pi(ij—t2, а0) и р2(^—t2, b0)—нор-
мированные (р12(0) = 1) функции корреляции флюктуаций, зависящие
от параметров а0 и Ьо, которые могут быть неизвестны.
В состав неизвестных параметров «обстановки» могут входить РСь
xi, И], а0, No для первого сигнала и Рс2, т2, и2, bo, No для второго, либо
часть этих параметров.
Функции, обратные корреляционным, т. е. удовлетворяющие урав-
нениям (13.5.19), отыскиваются в рассматриваемом случае в виде [2]
= —	tt, а)Х
Хехр [/», (/, —	8 (t. — tt),
M,. tt, = —	—	— tt, b)X
Xexp [>t (tt -	(tt - t2),	(13.5.22)
2V 0
что с учетом нормировки
т
-^-j|«(0M=l	(13 5.23)
о
и в предположении о быстром изменении модулирующей функции u(t)
по сравнению с флюктуациями сигнала приводит к следующим уравне-
ниям для 'fl'i (ij, t2, а) и ^(б, t2, b):
т
Jp.tfi-t а)М> tv a)dt-\-
О
+ JVAK,, tv а) = -^-Р1(^-^ a0),
(13.5.24)
т
b.)M> b)dt+
0
tt, ь)=4^-рг(/,-л. ь0).
Предполагая интервалы корреляции флюктуаций сигналов малыми
по сравнению со временем наблюдения Т (быстрофлюктуирую-
щие сигналы), приближенно можно полагать пределы интегрирования
в (13.5.24) бесконечными и, отыскивая ^\,2(tx, t2) в виде '0i,2(^i—12),
воспользоваться преобразованием Фурье.
В результате (13.5.24) преобразуются в уравнения
4-Pc.S, (<в) S#i (ю) -J- Л^05а1 (•) = S, (*),
4" ЛА («>) \ (ш) + N^t («) = ^- S, (ш),	(13.5.25)
348
где
5,.lW=	,(«>)== j\t We'^dt. (13.5.26)
—00	—00
Из (13.5.25)
с	яЧ_ Рс,__________S, (<о, а,)________ 2	/г, (a,) 50, (<о, ае)
«' ’ '	№„ l + (Pc,/2^o)S>(<0, а0) Л'о 1 + Л, (а0) $01 (®, а0) ’
о /„	_//с2______$г (ю- Ь«)____________2 h2 (b0) S02 (<о, b0)	/13 5 97\
'	№. 1+(Рс!/2^)5г(», b.) — N. 1 + Л2 (b0) S02 (®, b„) ’
где

(13.5.28)
— отношения сигнал/шум для обоих сигналов;
00
—оо
(13.5.29)
— ширины спектров флюктуаций; *S0i,2(ш) =*Si,2 (ш)/*Si,2 (0)—нормиро-
ванные спектры флюктуаций.
Функции а) и ^(^ b) могут быть найдены с помощью обрат-
ного преобразования Фурье от (13.5.27), т. е.
1
Mt а) —
(а0) S,, (®, а,)
1 +	(a.) S01 (<о, а0)
е/ш/а®,
e'w/d®.
(13.5.30)

Г ^2 (Ьр) ^р2 (®, Ьр)
J 1+Л2(Ь,)5о2(«. Ьр)
—00
Для получения функциональной схемы устройства, реализующего
алгоритм распознавания сигналов (13.5.18), подставим в интеграл в ле-
вой части (13.5.18) выражения (13.5.22) и (13.5.30). В результате, вы-
числяя интеграл приближенно и применяя теорему Парсеваля, полу-
чаем
г г
J J X (/,) X (t3) [0, (#„ /2, а) - 02 (f„ t2, b)J dt.dt, =
О о
т т
= Re j* j [Уг (О ?2	»2 (<.. b) — yt (t,) у, (ts) (t„ t2, a)] dt.dtt =
6 0
00
1 С Г ^2 (bp) Spg (<0, b6)	I у / \|2
Tt/Vp J [ 1 + h2 (bo) S02 («, bp) l/2^l
—00
А'УЛл.Х 1Y-w |!]	<«ii -«• <13-5-31’
0
349
тде введены обозначения
У> (0 = х (i) и (I — т,) е/Ш1/, у, (t)	(0 и (t — т2) е,и,2‘ ;
ОО	ОО
Г. (ш) = J yt (t) е~/ш< dt, У2 (®) = j уг (0 е-/а‘ di,
—ОО	—ОО
(13.5 32)
а величины Qi(0 и <2г(0 представляют собой результаты прохождения
j/i (?) и г/г(О соответственно через фильтры, квадраты модулей частот-
ных характеристик которых определяются как
Рис. 13.10. Функциональная схема устрой-
ства, распознающего флюктуирующие сигна-
лы в шумах:
/ — генератор ua(t~-Ti) cos	T]); 2 — гене-
ратор ua(t—т2) cos ((W+t|>(/—т2); 3 — фазовращате-
ли (л/2); 4 — фильтры с частотной характеристи-
кой ffi(iti), а); 5 — фильтры с частотной характери-
стикой Я2(1(о, Ь); 6 — квадраторы; 7— интегратор;
8 — реле
дующих частных предположениях,
дни сигнала и допплеровский сдвиг
чины.
/ \ 2 _ (До) *^о1 ар)
”	1 ч- Л1 (а0)501 (<0, а0)
(13.5.33)
 \ I 2  ?г2 Фо) *^02 (СО, Ьо)_
'	1 +Л2 (Ь0) 502 (ш, Ьо)
Операция, определяемая вы-
ражением (13.5.31), реализуется
устройством с функциональной
схемой рис. 13.10, на которой
изображена также операция
сравнения полученной величины
с порогом.
Однако значения неизвест-
ных параметров блоков, выраба-
тывающих гетеродинные напря-
жения Ua(t—Ti,2)COs[ci)1,2^ + 4> (t—
—^1,2)], а также параметров
фильтров должны определяться
дополнительными устройствами,
осуществляющими оценку макси-
мального правдоподобия этих не-
известных параметров, т. е. ре-
шающими уравнения (13.5.20).
Запишем эти уравнения для
рассматриваемой задачи в сле-
Допустим, что задержка модуля-
его частоты, а также спектральная
плотность шума известны. Тогда ti=t2, ®i=®2, М)— заданные вели-
При этом y}(t)=y2(t)=y(t), схема рис. 13.10 упрощается за счет
выбрасывания одного гетеродина, двух смесителей и фазовращателя,
а подстановка (13.5.22) в (13.5.20) приводит к следующим уравнениям:
Re j Jr/ (tri (tt)	ao) dttdt, =
оо	и
=4^	ao)--,(<1^’ ao) Д/А +
_|_дг т ao). И=1 2,..., /,
350
dt^dt^ =
=-^“	b0)^^^-^A +
6 о
. ,. ~ ' d02 (0, b„)	,
+ ‘VJ— дьГ~ - • v==1> -•’ m-
(13.5.34)
Используя выражения (13.5.30) и совершая элементарные преоб-
разования, имеем следующие системы уравнений правдоподобия:
д
1	а)
(13.5.35)
д
fu;с=(..	*=t.....
где введены обозначения
GJ™. а)=-^-5,(ш, а0),
(7г(ш, b)=-^-S2(®, b,);
СО
F/a>=4rL Жг°'("-а)/[1+с'<“>’а)1}*,;
—00
00
(b)=4f. f{4-G,(<«, b)/[i +g2(<0, ьярш,
—00
(13 5.3G)
а векторы а и b могут включать в себя соответственно помимо а0 и Ьо
мощности сигналов Pci и РС2-
Схему приближенной реализации решения уравнений (13.5.35) мож-
но себе представить, заменив операции дифференцирования в (13.5.35)
на разности, в результате чего уравнения примут вид
351
где
„	( ДЬ, \	/ дь, \
1	(* ^2 (	Ь 4~ п у — G2 ( <e, b — л )
аг J	Д&, [1 -4- G2 (», Ь)]2	)У(ш)| d<0 =
—00
о
С / ДЬ \ 2
-J Qtl (t, b--^=Т,(Ь), v=l,..., m,
(13.5.37)
Aa,/2 :: {0.. О,	A^/2, 0.... 0}	Ш,
Ab/2 = {0,..., 0. Ab,/2, 0,.... 0}(mXD;
Qn(t, artAa^/2) и Q21 (t, b^Ab,/2)— результаты пропускания y(t) че»
рез фильтры, квадраты модулей частотных характеристик которых равны
Н а-.- —2 G. а±Да|Х/2)
Hllk ’	~ 2 ) — Д^П+СНш.а)]2 ’
(13.5.38)
Я81 ®, Ь±
ДЬ, X I2 G2 (“> Ь± ДЬ,/2)
~2~) j =Д&,[1 +G2(w, Ь)]2 ‘
Функциональная схема устройства, осуществляющего решение урав-
нений (13.5.37), приведена на рис. 13.11.
Двойными линиями на рисунке обозначены векторные связи и
устройства, их реализующие. Имеются в виду наборы устройств, обра-
зующих соответствующие компоненты векторов. Обозначения а х и
b введены для обратных связей по компонентам векторов а и b. С их
помощью все фильтры и генераторы функций (а) и Т, (Ь) настраи-
ваются на значения а* и Ь*, при которых выходные величины элемен-
тов, вычисляющих разности, равны нулю. Эти же значения параметров
обстановки используются для настройки фильтров схемы рис. 13.10, осу-
ществляющей проверку гипотез, так что сочетание этих двух схем пред-
ставляет собой адаптивную систему распознавания двух нормально-
флюктуирующих сигналов.
На выходах системы рис. 13.11, выполняющей операции (13.5.37),
изображены преобразователи, формирующие нужные величины пара-
метров а и Ь, которые могут иметь различный физический смысл, раз-
мерность и т. д.
В изображенной системе формируются текущие оценки максималь-
ного правдоподобия параметров а и b вместо оценок за заданный интер-
вал Т. Этот отход от оптимальности связан с обеспечением физической
реализуемости при работе в реальном времени. Подобно тому, как это
описывалось в п. 13.2.2, можно построить систему с записью и много-
кратным воспроизведением реализации %(/), которая точно реализует
оптимальный алгоритм распознавания.
В качестве примера рассмотрим распознавание сигналов заданных
мощностей Pci и РС2 (Pci^Pcz) с экспоненциальной функцией корреля-
352
Рис. 13.11. Функциональная схема устройства, формирующего оценки максимальною
правдоподобия а* и Ь*:
1—генератор	(t—t) cos	-|- ф (t—:)); 2 — фазовращатель (тс/2); 3—6 фильтры с указанными в скобках
/ Да 1	( Да \	( ДЬ\
частотными характеристиками; 3) Нп Ij«. а-|-—2—I ’	\}<Ot а ~2~) •	!/«>» Ь4—<Г ) ’
( ДЬ\
6) Нп 1/«. Ь---2~/’^ — квадраторы, 8— интеграторы; 9— генератор F (а), 10 —генератор ф (|j);
11 —преобразователи.
ции флюктуаций, но с неизвестным интервалом корреляции. В этом
случае
а) = ехр(—a\tl — Ц), рДг1,—Л2. 6) = ехр(—6|/, —Ц),
$,(«, а) = 5(ю, а)=»	S2(<o, &) = S(«>,	=	;
'	(13.5.39)
Gim, а)=Р',а-	?- , 02(ш, Ь)=-^~ .J - 2-.
Квадраты модулей частотных характеристик в каналах распознава-
ния согласно (13.5.33) определяются как
I Ht («о, а) =-^- в2(1 + Рс1/Дуо) + Ш« •
|И.С. 6)Г=^ w+7S7W+^ •	<13-5Л0)
23—899
353
а квадраты модулей частотных характеристик фильтров в каналах оцен-
ки параметров а и b в соответствии с (13.5.38) имеют вид
Фильтры с характеристиками, определяемыми выражениями
(13.5.40) и (13.5.42), легко реализовать, в результате чего может быть
построено устройство распознавания сигналов по схеме рис. 13.10 и
13.11. Величины F(a) и Чг(6), которые должны образоваться на выхо-
дах безынерционных нелинейных преобразователей, в соответствии
с (13.5.36) и (13.5.39) находятся как
F(a)
оо д
н.т
“п--- \ 7 ,	? СК» = —
2n 1 + Gj (со, а) 2
—00
~ 'Ki + рС1/л/ол ;
оо д
мт С дЬ Ь) м т
W 2л 1 + G2 (со, b)а 2
1_______
К1 + Fc2,wo6
(13 5 43)
13.6. РАСПОЗНАВАНИЕ ОБРАЗОВ ПРИ ПАРАМЕТРИЧЕСКОМ РАЗЛИЧИИ
РАСПРЕДЕЛЕНИИ ВЕРОЯТНОСТЕЙ СВЯЗАННЫХ С НИМИ СИГНАЛОВ
В предыдущих параграфах была рассмотрена задача распознавания
образов, т. е. классификации некоторых объектов наблюдения, ситуаций,
процессов и т. д., на основании наблюдения случайных физических сиг-
354
налов — носителей информации об этих «образах». При этом предпола-
галось, что законы распределения вероятностей для наблюдаемых сиг-
налов известны не полностью, а с точностью до совокупности дополни-
тельных параметров «обстановки» и различны в распознаваемых ситуа-
циях. Это различие и являлось принципиальной основой распознавания.
Однако практически часто встречается случай, в котором модели
сигналов, связанные с описанием соответствующей физики явлений,
одинаковы для различных распознаваемых ситуаций и отличаются в раз-
ных ситуациях лишь величинами некоторых параметров. Это приводит
к построению единого закона распределения для всех сигналов, завися-
щего помимо неизвестных параметров «обстановки» еще и от информа-
тивных параметров, величинами которых и могут различаться наблю-
даемые объекты, процессы и пр.
Априорные знания о различии законов распределения этих, вообще
юворя, случайных информативных параметров являются в данном слу-
чае единственной основой распознавания.
Так обстоит дело, например, при наблюдении световых или радио-
локационных сигналов, полученных от объектов, которые могут иметь
одинаковую (возможно, в статистическом смысле) форму, но различные
для распознаваемых классов законы распределения для характерных
размеров.
Так же обстоит дело при медицинской диагностике заболеваний,
если законы распределения наблюдаемых величин, таких, как темпера-
тура тела, вес больного, параметры, фиксируемые при анализе крови,
и т. д., зависят от некоторых состояний организма, а не непосредственно
от причин, их вызвавших. Законы же распределения упомянутых состоя-
ний организма могут различаться при разных болезнях.
Можно привести примеры подобных ситуаций, относящиеся и к дру-
гим областям. Нас, однако, интересуют в соответствии с общим харак-
тером этой книги не столько примеры, сколько общие закономерности
и алгоритмы. Получим оптим.альный алгоритм распознавания описанных
ситуаций, приведем пример его применения, для которого проанализи-
руем эффективность распознавания.
13.6.1. Алгоритм распознавания
Пусть наблюдается n-мерная выборка Xn={xi, ..., хп} значений
случайного процесса x(t), связанного с одной из т распознаваемых си-
туаций (объектов, процессов). Предположим, что на основании построе-
ния модели сигнала известна плотность вероятности этой выборки
_Р(Хп|е, а), вид которой не меняется в зависимости от того, какая из
интересующих нас ситуаций имеет место. Эта плотность вероятности за-
висит от совокупности неизвестных параметров a={ai, ..., an), характе-
ризующих условия, в которых происходят наблюдения, или иначе «об-
становку». К подобным параметрам, как и в изложенных выше задачах,
могут относиться интенсивность и корреляционные свойства шумов и
помех, на фоне которых принимаются полезные сигналы, случайные
параметры этих сигналов, не связанные с распознаваемой ситуацией,
случайные параметры распознаваемых объектов, законы распределения
которых одинаковы для всех видов объектов. Кроме того, плотность ве-
роятности выборки Хп зависит от совокупности информативных пара-
метров e={ei, ..., e/J также случайных, но статистически различных при
осуществлении разных ситуаций.
23*	355
Во многих практически интересных задачах область изменения па-
раметров в одинакова для всех распознаваемых ситуаций и часто при
введении вполне приемлемых идеализаций может считаться бесконеч-
ной. Однако в общем случае в разных ситуациях могут иметь место и
различные области изменения параметров е. Можно, в частности, пред-
ставить себе задачи, в которых единственные известные априорно раз-
личия между распознаваемыми ситуациями сводятся к различиям в ука-
занных областях.
Поэтому обозначим Е3— область изменения параметров е при реа-
лизации /-й ситуации (/=1, 2, ..., т), причем Е^£Ег, E,Et=£Q при zV=/,
хотя, как уже упоминалось в частных случаях, эти области могут и со-
впадать либо не пересекаться.
Будем считать, что заданы априорные плотности вероятности р'т(Е)
для параметров е в различных ситуациях1), причем р^(е)=^р\(е) при
i=£j. Очевидно, что f p't(e)de=l. Усредняя плотность вероятности
P(Xn|s, а) по априорному распределению р', (е), мы можем получить
плотность вероятности
р(. (Хя j «)= [ Р (Х„ I 8, а) р', (е) de	(13.6.1)
Е.
i
для выборки Хп в различных ситуациях (г=1, 2, ..., т), и задача рас-
познавания сведется к рассмотренной выше. В многоальтернативной
задаче это приводите соответствии с (11.2.7) к оптимальному правилу
выбора s-й ситуации, если соблюдается неравенство
tn	т
у, gisPidt (Хя) Р, (Х„ I а*,) < 2 g.iPOh (Хя) Р, (Х„ I а*,) при любых / s.
4 — 1	Z—1
(13.6.2)
Здесь, как обычно, gl}—коэффициенты потерь; рг — априорные вероят-
ности распознаваемых ситуаций; а*(— оценки максимального правдо-
подобия параметров обстановки в i-й ситуации, коэффициенты аг равны
единице при применении процедуры оптимизации, описанной в § 6.2, и
определяются формулой (11.2 5) при применении процедуры, изложен-
ной в § 6.5.
При двухальтернативном распознавании в соответствии с (13.1.1)
оптимальное правило выбора первой ситуации сводится к выполнению
неравенства
Р, (Х„|а*,) г
Л (X» | а%)
(13 6.3)
и, следовательно, если произведены вычисления плотностей вероятности
(13.6.1), никакой задачи, отличной от \же рассмотренных, не сущест-
вует.
Однако точные вычисления (13,6.1), особенно при большой размер-
ности параметров 8, как правило, произвести не удается. Имея в виду
это обстоятельство, а также желательность получения пусть не совсем
оптимального, но единого решения для широкого класса задач, приме-
В дальнейшем рассмотрим также случай неизвестных р'3 (е) при известных не-
пересекающихся областях Е,
356
ним приближенный метод, неоднократно излагавшийся в гл. 6, 7 для
вычисления (13.6.1) либо для вычисления плотности вероятности Р,(ХП),
определяемой как
Р/(Х„)= [ jP(X„|8, a)/2'z (8)<D(a)dad8 = J Р(Х„| у)//', (y)dy (13.6.4)
Ё.л	г£
и входящей в алгоритм распознавания при применении процедуры опти-
мизации, предложенной в § 6.5. Здесь y={s, a} — составной вектор-стол-
бец порядка (k + r, 1); Г{ —область изменения у, соответствующая об-
ласти Е{ для в; p"i(y)=p/(s)w(a)—априорная плотность вероятности
вектора у б.
Введя оценку по максимуму апостериорной вероятности у*г={е*{,
а*4 вектора у, определяемую из уравнения
р(Х„| y*z)/';(y*i)=maxP(X„| у)/?",- (у),	(13.6.5)
'	(У)
можно записать (13.6.4) в виде
PI(Xn)=P(Xn|v*1)p”,(y*,)J ?( (Y)dy,	(13.6.6)
Г.
I
где
<р, (у) =	•	(13.6.7)
Пусть точка у*,- находится внутри области Гг-, (а не на ее границе).
Это заведомо имеет место в том случае, когда точка максимального
правдоподобия у*, определяемая из уравнения
Р(Х„|у*) = тахР(Хл|у),	(13.6.8)
(У)
лежит внутри Гг-, в частности, это имеет место при бесконечных обла-
стях Гг. Если же у* находится вне области Г,, то точка у*,- также всегда
является внутренней, если только плотность вероятности р",(у) не име-
ет скачков (разрывов от нулевого значения до конечных) на границе
области Г$. Тогда в окрестности точки у*« функция <рг(у) может быть
представлена приближенно в виде
(у) % ехр [— 72 (у — у*,)тС/ (у — у*,)],	(13 6.9)
где Di — матрица (k+r, k + r), состоящая из элементов
£)<!*’)__ д2!п	(у)]
Приближение (13.6.9) основано на разложении Incpj(y) в ряд Тейлора
и пренебрежении членами ряда, содержащими компоненты разности
у—У*г в степенях выше второй. Это приближение тем точнее, чем боль-
ше величины (чем меньше апостериорные дисперсии параметров
Л.Д Количественно требование малости первого из отбрасываемых чле-
(13.6.10)
У=У*/
’> При задании р",(у) никакой априорной неопределенности, собственно говоря,
иет. Однако напомним, что о (а) может быть и не априорной плотностью вероятно-
сти, а весовой функцией и, кроме того, как неоднократно показывалось, точный вид
этой функции на получаемое приближенное решение не влияет и подразумевается
известным лишь в промежуточных выкладках.
357
нов разложения в ряд, который дает отличное от нуля значение при
интегрировании, может быть записано как
£)(р.> V, 3,8)	| ^(p.5)p(v3)j
V, 3- s
<1, (136.11)
где
£’(|х’,',?’5) = л-^Л-^-1п[Р(хй| y)p"<(y)1	*;	(13 6.12)
4z	1 v 1 r/'r/Jy=y*t’	v	'
| (txv) |[ = D1—матрица, обратная матрице вторых производных лога-
рифма апостериорной плотности вероятности, которая при выполнении
условия (13.6.11) близка к апостериорной корреляционной матрице.
При выполнении условия, заключающегося в том, что у*г— внут-
ренняя точка области Гг,
—4- (V — V* )ТГ>« (Y-vMpv-
Г 1	1	<АТГ)/2
ехр [ -4- (Y - YW (у - у*,) ] dy + ... =
(13.6.13)
где Г — бесконечная область значений параметров у; Г—Гг — дополне-
ние области Г, Приближение (13.6.13) тем точнее, чем дальше отстоит
точка у\ от границы области Г, (тем меньшую погрешность вносит за-
мена этой области бесконечной областью Г при интегрировании). Коли-
чественно последнее требование можно представить в виде1)
min 4-(у-у*)тС((у-у*)> 1.
(Y^r,)
(13.6.14)
Таким образом, введены требования, при выполнении которых про-
изведение Р(Хп|у)р"Ду), а следовательно, и апостериорная плотность
вероятности хорошо аппроксимируется гауссовой кривой в окрестности
точки у*г и получающийся пик своей основной частью сосредоточен
в области Гг.
Тогда
Л (Х„)^Р(Х„|у’'.)/;"((у*()-^5—,	(13.6.15)
и минимизация апостериорного риска приводит к следующему очевид-
ному правилу принятия решения в пользу s-й гипотезы (объекта, про-
цесса, образа с номером s). Это решение принимается, если
т	т
2 gtspPt (х„) < 2 (xj при любых i =£s-
i=l	г==1
(13 6.16)
В частном случае двухальтернативных задач (т—2) условие выбо-
ра решения с номером 1 согласно (13.6.16) сводится к соблюдению не-
’) Г. — граница области Г>
358
равенства
Р; (Хи)	gai £22 Рч  
(Хи)	g,2-g„ Ру —
(13.6.17)
и пи
Р (Хи | е*,, а*,) р' 1 (е*]) cofa*,)
Р(Х„[е*2> а*г)Хг(8*2)®(а*2)
с /detD, \ I/2
G1 (det D2 у
(13.6.18)
При соблюдении противоположного неравенства принимается решение 2.
Практически часто удобно применять условие (13.6.17) в виде
InP, (Х„)-1пР2(Х„)^1пС,^С0.
(13.6.19)
Обычно зависимость от Х„ выражения в правой части неравенства
(13 6.18) является значительно более слабой, чем зависимость от Хп ле-
вой части неравенства. Поэтому отношение детерминантов матриц Dj и
D2 отнесено к порогу. В некоторых случаях эти матрицы от Х„ не зави-
сят вообще.
Таким образом, в некоторых обычно удовлетворяющихся предполо-
жениях найдены близкие к оптимальным алгоритмы распознавания.
Можно, однако, ввести дальнейшие приближения. Допустим, что точка
максимального правдоподобия у*, удовлетворяющая условию (13.6.8),
относится ко всем областям Гг, что, например, имеет место в случае,
когда эти области бесконечны.
Найдем условие приближенного совпадения точек у* и у¥,. Для
этого запишем
о = v7 in [Р (Х„ | у) p"t (y)1v==v<i
= V7ln[P(Xn|v)/'I(Y)]v=v,-E'l(V*I-V*) + ...,	(13.6.20)
где vT—градиент по составляющим вектора у, а матрица Е'Д/гЦ-г,
k-\-r) имеет элементы
p'(u-v) __ d2ln[P(Xra|y)p", (у)] I	(13 6 21)
1	df df,	'	1	'
Y=V
Учитывая, что
VTInP(X„|y)|Y=v.=0,	(13.6.22)
условием малости Ау=у*г—у* является малость величины
1п//', (у*)--Ду.	(13.6.23)
Количественно условие малости определяется исходя из требования,
чтобы в точках у*, и у* значения функции P(Xn\y)p'\(v) совпадали
с высокой точностью, что выполняется, при соблюдении условия
[VTlnP", (у*)Ж [vTin//':(y*)]< I.
(13 6.24)
При выполнении этого условия и условия, согласно которому у* лежит
внутри Гг, величины Рг(Хп) находятся по формуле
/о_.\ (H+ryi'z
Pt (Х„)=Р(Х„| Y-) р". (у*) <g/2 р;
(13.6.25)
359
Если при этом
Г) _____ о1 1пР(Хя[ у)	_ дг 1пр", (у) I
aVuA» *	* ’
>“ V=Y	и Y~Y
I*. v-=l, 2,	(13.6.26)
т. е. соблюдаются условия гладкости функций р"г(у) в смысле малости
вторых производных, то D'i^D и интересующие нас функции Рг(Х„)
имеют вид
(•о-ч U4* )/2
P((X„)-P(X„|E*. а*)/,(8*)<»(а*-) (^,/2р = p’,^)q(Xn),	(13.6.27)
где множитель q(Xn) от номера i не зависит.
В обеих частях неравенства (13.6.16) этот множитель может быть
сокращен, в результате чего условие принятия s-и гипотезы примет вид
2 g‘sPiP'> (8')-^2 ёчР‘Р'Л^ при всех !^=s,	(13.6.28)
i=t	/=1
где 8:—оценки максимального правдоподобия информативных пара-
метров е, получаемые совместно с оценками максимального правдопо-
добия параметров обстановки а, в чем и проявляется адаптивность это-
го алгоритма.
В двухальтернативном случае (т=2) условие (13.6.28) приводит
к тому, что принимается первая гипотеза, если
Р'Л^/Р'Л^) С,.	(13.6.29)
Таким образом, в сформулированных выше условиях квазиопти-
мальный алгоритм распознавания двух ситуаций, отличающихся зако-
нами распределения некоторой совокупности параметров 8, сводится
к следующему: находится оценка максимального правдоподобия этих
параметров совместно с оценкой максимального правдоподобия неизве-
стной «обстановки», проверяется принадлежность полученной оценки
к областям Е[ и Ег, составляется отношение правдоподобия для двух
распознаваемых ситуаций, в котором роль случайных наблюдаемых дан-
ных играет оценка 8*(ХП). Это отношение сравнивается с обычным по-
рогом, который имеет место при проверке двухальтернативных гипотез
при полностью известной обстановке. Близость полученного алгоритма
к оптимальному, точно минимизирующему средний риск, сохраняется
при соблюдении полученных выше условий, в частности, только в слу-
чаях, когда е* достаточно далеко отстоит от границ областей Ег. Если
эта оценка находится вблизи указанных границ (в пределах ширины
основного пика функции правдоподобия), полученные алгоритмы пере-
стают быть оптимальными, а нахождение оптимальных алгоритмов тре-
бует точного решения задачи минимизации среднего риска, что может
быть сделано только в некоторых случаях.
Легко усмотреть, что полученное решение справедливо также при
применении адаптивного байесова подхода, изложенного в § 6.2.
В случае узкого по сравнению с размерами областей Гг основного
пика функции правдоподобия, попадания оценки 8* в часть областей Ег
и непопадания в другую их часть нетрудно видеть, что величины Р,(ХП)
для тех областей, которым 8* не принадлежит, с высокой вероятностью
360
весьма малы по сравнению с соответствующими величинами для обла-
стей, к которым принадлежит е:‘\
В этом случае можно предложить заменить оптимальный алгоритм
(13.6.16) алгоритмом (13.6.28), в котором часть величин р'Де*) равна
нулю. Это равносильно пренебрежению членами, содержащими малые
Л(Хп), и справедливо только при не слишком больших различиях весо-
вых коэффициентов g1}' и априорных вероятностей рг. При двухальтер-
нативном распознавании это означает замену алгоритма принятия пер-
вой гипотезы (13.6.18) на (13.6.29), т. е. принятие первой гипотезы, если
e'e£i, и второй, если е*е£2. Конечно, последний алгоритм близок
к оптимальному, только если Cj имеет порядок единицы.
В случае весьма малых и удаленных от точки ух областей
____ т \
V*G U Гг I , в которых можно пренебречь изменениями Р(Х„|у), вы-
i=l /
полняется приближенное равенство
Л(Х„)^ max Р(Хл|у).	(13.6.30)
(yer,)	v
При двухальтернативном распознавании это означает, что правило
принятия первой гипотезы принимает вид
max Р (Хп | у)
(уегр	с
max />(Хп|у)'" г
(У^Г2)
(13.6.31)
Этот алгоритм, отличающийся от оптимального алгоритма (13.6.18)
при известных априорных распределениях р"г(у), превращается в опти-
мальный, если вид р"г(у) неизвестен, а известны лишь области Гг. На-
ходя в этом случае максимннное решение при наименее предпочтитель-
ном распределении [36], мы приходим к алгоритму (13.6.31). Этот
алгоритм представляет несомненный интерес, так как случай известных
областей изменения параметров и неизвестных видов распределений ве-
роятностей для них соответствует многим практически важным задачам.
13.6.2.	Пример распознавания сигналов с различающимися законами
распределения амплитуд при их приеме в шумах
Допустим, что наблюдается сигнал
х (t) = е cos (t»£а) -|-5(^).	(13 6 32)
Здесь g(Z) — белый гауссов шум со спектральной плотностью No, слу-
чайная фаза а не несет информации о виде сигнала, случайная ампли-
туда е для двух распознаваемых видов сигналов описывается следую-
щими двумя плотностями вероятности:
i=l,2,	(13.6 33)
где амплитуда е изменяется в диапазоне 0^е<оо.
Таким образом, будем считать, что квадрат амплитуды описывается
у-распределением. Этим распределением с помощью выбора параметров
361
ti\, п2, Оь 02 можно обеспечить описание распределений вероятности,
различающихся как математическими ожиданиями и дисперсиями, так
и моментами старших порядков, расположением мод, медиан и т. д.
На основании наблюдения реализации x(t) необходимо распознать,
какой из двух видов сигналов имеет место в данном эксперименте. К по-
добной ситуации относится, например, распознавание объектов, отлича-
ющихся своими отражающими поверхностями, на основе наблюдения
отраженных от них радиолокационных сигналов. Если сигналы являют-
ся медленнофлюктуирующими, то за время наблюдения Т амплитуда и
фаза не меняются, но являются случайными величинами. При этом
случайная фаза не несет информации о виде объекта, а случайная
амплитуда связана с величиной отражающей поверхности, изменяющей-
ся при поворотах объекта и статистически различной для двух распо-
знаваемых классов объектов.
Применяя для распознавания сигналов указанного вида алгоритм
(13.6.19), подставляя в него выражения (13.6.27) и (13.6.33), получаем
следующее правило принятия первого решения (объект, характеризую-
щийся параметрами «ь од):
е*2	/1	1	\	₽*2
(^-/^In-------— с =
= Со + In	+ (/г, + 1) 1п< - («г + 1) 1п	(13.6.34)
При соблюдении обратного неравенства принимается второе реше-
ние (объект с параметрами «г. ог)-
Детальная структура правила распознавания зависит от знаков раз-
ностей («1—«г) и (1 /о21—1 /о2г) и может быть описана следующими не-
равенствами, определяющими условия на оценку е*, при выполнении
которых принимается первое решение:
1.	/г—п2>0, 4--------^->0, е*0 < е*< е*0 ;
2.	П, —/г2 Д, 4------J-<0, е.(2) < е*;
3.	п. — п.<0,	----i-5sO, S*<s'3);
1	8 о 1	2
4.	/г, —/гг<0,	----J_<o, e*<s<4) , е*>е<4).	(13.6.35)
В (13.6.35) пороговые значения амплитуд е{()2, i=l—4	определя-
ются решением трансцендентного уравнения
(Л,-»лп4-(ш-^4=с.
(13.6.36)
В случае неизвестных априорных вероятностей для распознаваемых
ситуаций порог С, а значит, и могут быть определены в соответствии
с критерием Неймана — Пирсона по фиксированной вероятности оши-
бочного решения при истинности одной из гипотез.
Оценка максимального правдоподобия амплитуды сигнала е*, кото-
рая находится совместно с оценкой максимального правдоподобия фазы
362
а*, определяется из соотношений
( т	1
Р [х (/) | s, a]=£exp J — ~ С рс (/) — е cos (со/a)]2 d/1 ; (13.6.37)
I 0 J	I
'О	'
т
dlnP[x(/) I В, Д] _ 1 Г — е cos (wt 4- a)] cos (со/ a) dt = 0;	(13.6.38)
Os	/V q J
о
г
.dln.?JX-WI Ел а1 = — J_ J [х(/)— е cos (wt -f- «)] е sin (со/a) d/=0. (13.6.39)
о
Предполагая, что время наблюдения Т содержит целое число пери-
одов сигнала 7’г=2л/со, и обозначая
т	т
Хс — -^- J х (/) cos <o/d/; Xg=-^~ ^x(Z) sin со/d/, (13.6.40)
о	О
из (13.6.38) и (13.6.39) получаем
s* = 2 УХгс + Х\; cos a* = ,
у 1	Ух\ + х\
sin a* =
(13.6.41)
Объединяя (13.6.35) и (13.6.41), получаем функциональную схему
оптимального распознавания сигналов рассмотренного вида (рис. 13.12).
Если имеет место, например, слу-
чай 1 («1—п2>0, 1/О21—1/О22>0),
то работа схемы заключается в ге-
теродинировании принятого сигнала
в двух квадратурных каналах, инте-
грировании выходных величин сме-
сителей за время наблюдения, воз-
Рис. 13.12. Функциональная схема
устройства распознавания сигналов
с различающимися законами распределе-
ния амплитуд при их приеме в шумах:
/ — гетеродин; 2— фазовращатель (л/2); 3 —
интеграторы; 4 — квадраторы; 5 — реле; 6 —
выходное решающее устройство.
ведении результатов интегрирования
в квадраты, последующем сложении
получившихся величин и в сравне-
нии полученной суммы с двумя по-
рогами. Можно считать, что на выхо-
дах пороговых устройств получают-
ся единицы (при превышении поро-
гов) или нули (в противном случае). Выходное решающее устройство
принимает первую гипотезу, если получены 1 и 0, и вторую гипотезу,
если получены 0,0 или 1,1.
13.6.3.	Вероятности распознавания
Вероятностные характеристики рассмотренной в п. 13.6.2 системы
распознавания могут быть сведены к вероятности правильного распо-
знавания первой ситуации Pi и вероятности правильного распознавания
второй ситуации Pz- Вероятности ошибок также определяются этими
двумя величинами.
При нахождении вероятностей Pi и Pz учтем, что величины Хс, Xs,
определяемые выражениями (13.6.40), при заданных е и а распределены
363
по нормальному закону, причем их математические ожидания
т
__ IP	е
Хс = I е cos (<о/ -]- a) cos mtdt = cos а,
1	I	~
о
(13.6.42)
т
Xs = -у- J s cos (mt -|- а) sin mtdt =-sin а,
о
дисперсии
т
J COS2 mtdt = ^- = а2,
о
(13.6.43)
____________ т
(Xs — Xs? = j sin2 mtdt =	= а2,
о
и взаимная корреляция (Хс—Хс) (Xs—Xs) =0.
Поэтому Хс и Xs — независимые нормальные величины, а величина
z=e*2/4a2==(X2c+X2s) /а2 имеет нецентральное %2-распределение с двумя
степенями свободы и параметром нецентральности (l/о2) [(е2/4) cos2a+
+ (е2/4) sin2a]=e2/4a2.
Усредняя это распределение по плотностям вероятности p'i(e) из
(13.6.33), получаем
ОО	П[
р,(г) = р [г |.)	(.) d. = j	*='+= (тТ^) 
1=1, 2,	(13.6.44)
где И2 Is) — плотность вероятности для z приданном е; Ci —биномиаль-
и1
ные коэффициенты;
?( = 0’г/4а2;	(13.6.45)
Хп(х)—плотность вероятности центрального %2-распределения с п сте-
пенями свободы.
Так как s* и z связаны взаимооднозначной зависимостью, неравен-
ства (13.6.34) и (13.6.35) можно переписать непосредственно в терминах
z и воспользоваться для нахождения вероятностей распознавания плот-
ностями вероятности из (13.6.44). При этом, например, для случая 1 из
(13.6.35), т. е. при соблюдении условий tii—п2>6, l/a2i—1/а2г>0, веро-
ятность правильного распознавания первой ситуации
2	П‘	/ (1) \ / (1) \“|
р» = J а wdz=с\ (1+?1)П, ^+2	(йЬ;/] 
гр	/=»
(13.6.46)
где Кп(х) — интегральная функция х2-распределения с п степенями сво-
боды.
364
Вероятность правильного распознавания второй ситуации
(13.6.47)
Аналогично вероятности Pi и Р% могут быть записаны и для осталь-
ных случаев (2, 3, 4 из (13.6.35)). Суммы в (13.6.46), (13.6.47) без тру-
да вычисляются с помощью таблиц %2-распределения [8] и допускают
простые асимптотические представления при малых вероятностях
ошибок.
Глава 14
ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ С ОЦЕНКОЙ
ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЙ
14.1.	ВВЕДЕНИЕ
В гл. 10—13 применялись методы, развитые главным образом
в гл. 6, к задачам, сводящимся либо к оценке некоторых информатив-
ных параметров (задачи измерения, фильтрации, прогнозирования
и др.), либо к проверке статистических гипотез (задачи обнаружения
объектов, распознавания образов). На практике встречаются, однако,
и более сложные задачи проверки некоторых гипотез совместно с оцен-
кой параметров, соответствующих этим гипотезам. Согласно классифи-
кации гл. 2 это случаи с дискретно-непрерывным множеством решений.
Приведем примеры подобных задач. При обнаружении объектов на
основании наблюдения связанных с ними световых сигналов или отра-
женных от них радиолокационных сигналов обычно интересным являет-
ся не только факт наличия объекта, но и его координаты, а также во
многих случаях другие параметры объекта. В случае обнаружения объ-
ектов, находящихся в пределах разрешающей способности средств на-
блюдения, возникает задача определения числа объектов и в зависимо-
сти от этого числа измерения различных параметров (например, коор-
динат всех обнаруженных объектов).
При распознавании образов, которое сводится, как мы видели,
к классификации некоторых ситуаций, часто возникает необходимость
измерения тех или иных параметров. Так, например, при медицинской
диагностике распознавание заболеваний приводит к необходимости опре-
деления ряда величин, в зависимости от которых находятся рациональ-
ные методы лечения, причем измерение этих величин, в свою очередь,
влияет на правильность диагноза.
В системах передачи информации применяют разные сигналы для
передачи различных видов сообщений, количественная же сторона этих
сообщений связана с параметрами сигналов, подлежащими измерению.
Сигналы принимаются в шумах или помехах, поэтому возникает задача
проверки гипотез о видах сигналов с оценкой их параметров.
365
Как и в других вышерассмотренных задачах, условия работы си-
стем, проверяющих гипотезы и оценивающих параметры распределений,
связанных с ними, могут быть известны не полностью, а априорная не-
определенность часто задается параметрически. Это по-прежнему свя-
зано с тем, что могут иметь место неизвестные неинформативные пара-
метры шумов, помех, сигналов и т. д., которые определяют «обстановку»
работы соответствующей системы.
Для синтеза оптимальных систем проверки гипотез совместно
с оценкой параметров в условиях параметрически заданной априорной
неопределенности применим в этой главе развитые выше методы.
14.2.	АДАПТИВНОЕ БАЙЕСОВО РЕШЕНИЕ
Общее решение задачи оптимальной проверки гипотез и оценки па-
раметров, им соответствующих, в условиях априорной неопределенности
сводится, как и в рассмотренных случаях, к минимизации оценки апо-
стериорного риска (§ 6.2) или усредненного апостериорного риска
(§ 6.5).
Задача при этом может быть поставлена следующим образом. До-
пустим, что имеется пг проверяемых гипотез и /, параметров Л,*!) ,... ,
Л;!) , которые нужно оценить при принятии i-й гипотезы (i = 1, 2,... ,т).
Проверка гипотез и оценка параметров осуществляется на основании
наблюдения выборки Хп = {х1,..., хп}, каждая k-я компонента которой
Ха, вообще говоря, вектор, связанный с k-м шагом наблюдений. В i-й
ситуации (при справедливости i-й гипотезы) плотность вероятности наблю-
даемого сигнала Х„ обозначим Л(ХП|Х<'), а<!>), где = {Л,*'1 ,... ,
Zj'1 }—вектор-столбец информативных параметров порядка а а(1>=
I
— {а*'1 ,..., Дг) } — вектор-столбец порядка (s,Xl) неизвестных парамет-
ров „обстановки", которая характерна для i-й ситуации.
Обозначим рг (i=l, 2, ..., т)—вероятности гипотез, дг (Х<?)) —
условные (при условии выполнения i-й гипотезы) априорные плотности
вероятности параметров Х<г>, a a>l(a<’)) —условные априорные плотности
вероятности параметров обстановки а<1), нужные только при применении
процедуры оптимизации, изложенной в § 6.5. В дальнейшем будет по-
казано, что при нахождении приближенных решений, как и в предыду-
щих главах, точный вид этих плотностей вероятности несуществен, если
выполняются некоторые условия, связанные с гладкостью соответствую-
щих функций.
Если в i-й ситуации принимается /-я гипотеза и при этом имеют ме-
сто параметры %<’), а делаются оценки то возникают потери, опре-
деляемые функцией потерь £,Д16), ^(з))-
Обозначая >- ={/, и и = {/, апостериорный риск (6.2.3) при
заданных параметрах а((> можно теперь представить в виде
(^w. k('))Px (Хя|№, о«))?((Ш)Л(>)
7?(ii, X„, a<‘)) = ^----------—------------------------ .	(14.2.1)
2 A f P,(Xn|Z(O, a«))
366
а усредненный апостериорный риск (6.5.3) в виде
7?(й, х„) =
У Pi ( ёц (M*)7</)) Pi (Хп j W, aW) qi( IW) (Oi (affl) AW dad)
= ^1—---------------------------------------------------.	(14.2.2)
У Pi Pi (Хп I kd), a«) 4i (W)	(ad)) dWdad)
i=l
Минимизация оценки апостериорного риска (14.2.1), получающейся
в результате замены параметров a(i> их оценкой максимального правдо-
подобия ар)*, сводится к следующему правилу принятия /г-й гипотезы и
оценок
2 A- J S.ik (№, £<*>) Pi (Хп |	a(0*) qt tfM) d-kd) =
»=1
= min у Pi\gu№, k(/))Pz (Хп| VO,	(14.2.3)
Минимизация же усредненного апостериорного риска (14.2.2) приводит
к правилу принятия fe-й гипотезы и оценок X(fe> вида
2 Pi ^gik (Х<0, Х<*>)Р,- (Х„| Х<0, a«’))z7z(X(i))iez(a(O)dX(0da(O =
= min У Pi f	2(/))Pz (Х„| Х(/), a<‘)) qt (X<‘))(oz (a(O) dMl)da(i),
(14.2.4)
где >.(j)— некоторые оценки параметров №>, а Хб)— оценки, приводящие
к минимизации соответствующего выражения.
Правила (14.2.3), (14.2.4) нельзя рассматривать как решение по-
ставленной задачи, ибо они включают в себя интегрирование по много-
мерным областям и не поддаются технически реализуемой трактовке.
Правило (14.2.4) можно было бы упростить, осуществляя приближенное
интегрирование по а<{). Однако благодаря наличию оцениваемых инфор-
мативных параметров соответствующие приближения удобнее сделать
при рассмотрении конкретных функций потерь.
14.3.	ПРОСТАЯ ФУНКЦИЯ ПОТЕРЬ
Предположим, что функция потерь имеет вид
£</)) = 1 —gz8Zz8(X<0 —	(14.3.1)
где — символ Кронекера, а б (у) —дельта-функция.
Эта функция потерь означает, что при неправильном принятии ги-
потезы потери равны единице независимо от величин оценок параметров;
при любой ошибке в оценке параметров потери также равны единице
даже при правильном принятии гипотезы.
367
Как и в предыдущих главах, применим процедуру минимизации
усредненного апостериорного риска (14.2.4) несмотря на то, что про-
цедура, приводящая к правилу (14.2.3), является более логичной в усло-
виях априорной неопределенности. Это связано с тем, что из решения,
соответствующего (14.2.4), автоматически получается решение, соответ-
ствующее (14.2.3), приравниванием единице некоторых коэффициентов.
Подстановка (14.3.1) в (14.2.4) приводит к следующему правилу
принятия fe-й гипотезы и оценок
Pkgkqk (1<*>) \Pk(Xn\№, а(А)) <04 (а(А)) da<*> =
— max Pigflj	(Xn| X(l>, a(Q)o>/(a<'))da6)	(14 3.2)
Учитывая трудности вычисления многократных интегралов
в (14.3.2), а также желательность получения приближенного решения,
в котором используются лишь грубые знания об априорном распределе-
нии параметров обстановки, мы поступим при вычислении этих интегра-
лов так же, как в предыдущих главах. Предполагая функции соДаМ)
гладкими в пределах основного пика функции правдоподобия и соот-
ветственно считая, что оценка максимального правдоподобия аР''*, удо-
влетворяющая условиям
gln^-(X„|Vn,	2,	(14.33)
находится внутри области изменения параметров при соблюдении
условий, введенных в § 13.6, представим эти интегралы в виде
j‘pj(Xn| «(/))«,, (a(i)) da(D Р, (X„|	a<D*) a, (X„),	(14.3.4)
где
(‘4 3.5>
D(/) = -
a
д2 In Pf (Xn 11(D, a(/))
daO)^aO)
P- >
, [Л, v— 1, 2,
Sj.

При этом правило (14.3.2) принимает вид
Pkgk^ (Х„) Pk (Хл | £<*>, «<*>*) qk (£<*>) =
= max p!g!aI (Xn) P, (XJ XU), aP)*)^ (!(/)).	(14.3.6)
(i.
Правило (14.3.6) реализуется достаточно просто.
Однако в многочисленных задачах, в которых априорные распреде-
ления для информативных параметров ?,(Х6)) обладают такими же
свойствами, что и априорные распределения для параметров обстанов-
ки (Oj(aW), а матрицы слабо зависят от ХМ, это правило еще упро-
щается. При соблюдении оговоренных условий нетрудно видеть, что
оценка Х</:) близка к оценке максимального правдоподобия X(A>, которая
368
находится совместно с оценкой максимального правдоподобия <№*, т. е.
из условия
Pk(X.n\№>*, «(*>*) = max	«<*>).	(14.3.7)
(XW, «(*>)
При этом правило (14.3.6) принимает следующий вид. Принимаются
k-я гипотеза и оценка информативных параметров удовлетворяю-
щая (14.3.7), если
Pkgkak (Хп) qk (Х<*)*) Pk (Хл 1!<*>*, а<*)*) =
=тахЛЯА(Х„)^(Х(л«)Р;(Х„|1(п*, «(/)*).	(14.3.8)
(/)
Таким образом, осуществляется принятие гипотезы по принципу
максимума взвешенного апостериорного распределения совместно с оцен-
кой максимального правдоподобия совокупности параметров
где — вектор-столбец порядка (4 + Sh X О-
Как и в предыдущих главах, априорные плотности qk (1(й>) и «о* (а'А>)
/ lk	\~’	/ sk	\~'
во многих случаях можно заменить на .ДДЛ.^1 I и I ДДа^ ] со-
\р.= 1	/	\v=l	J
ответственно, где ДЯ(А)— априорные интервалы изменения компонент век-
тора а Да^1—априорные интервалы изменения компонент вектора
а'Ч Для двухальтернативных задач алгоритм (14.3.8) сводится к сле-
дующему правилу принятия первой гипотезы и оценок Х<9*:
Рх (XnlM1)*, «О)*)
Р2 (Хп| >.<’)*, <х(2)*)
(14.3.9)
где
Г| ДЛ(’> П Да'
S2~5' ( det n'1’ \’/2 11 Н 11 ’
q  PiRi /2 тс) 2	' °еТ Ua 1	2=1
12 PxRi ’
(14.3 10)
det П(2) /	11	'2
“ у ПЧ2)ПЧ>
При выполнении противоположного неравенства принимаются вторая
гипотеза и оценки X'2)*.
Таким образом, проверка гипотез осуществляется с помощью срав-
нения с порогом отношения правдоподобия, в котором неизвестные па-
раметры заменены их оценками максимального правдоподобия, найден-
ными в предположении справедливости соответствующих гипотез. Эти
оценки для информативных параметров включаются в искомое решение.
Нетрудно видеть, что процедура оптимизации (14.2.3) приводит так-
же к (14.3.8), если положить аДХта) = 1 (/=1, 2, ..., т). В случае двух-
альтернативных задач это приводит к правилу (14.3.9), где
п Ч1’
----•	(14.3.11)
ПЧ2)
(1=1
24—899
369
Простая функция потерь не всегда применима, ибо любым ошиб-
кам измерения информативных параметров приписываются одинаковые
потери. Вместе с тем в большинстве случаев соблюдаются условия, при
которых малым ошибкам соответствуют меньшие потери, чем большим
ошибкам. Поэтому целесообразно рассмотреть иную функцию потерь.
14.4.	ФУНКЦИЯ ПОТЕРЬ, ПРОСТАЯ ПО ПРОВЕРЯЕМЫМ ГИПОТЕЗАМ
И КВАДРАТИЧНАЯ ПО ОШИБКАМ ОЦЕНОК
Указанным недостатком простой функции потерь не обладает функ-
ция потерь вида
£(/))=!—М/[1— с, (!(')_ 1(«))т(Х(О — io))],	(14 4.1)
где т — знак транспонирования. Она означает, что при любом непра-
вильном принятии гипотезы потери равны единице, т. е. эта функция
потерь является простой по проверяемым гипотезам. Однако при пра-
вильном принятии гипотезы потери содержат член, пропорциональный
сумме квадратов ошибок оценки всех информативных параметров.
При подстановке функции потерь (14.4.1) в условие принятия fe-й
гипотезы и опенок (14.2.4) последнее принимает вид
pkgk ( J Рк (Х„ |	«<*>) qk (l(ft>) соА («<*)) d^daW -
~ Pkg/Pk J J - W *>*>) P* (Xn |	a<*>) qk X
x wk (a(A)) dM^doW = max {р& j j Pj (X„ | !</), a(/)) \
a. ^(/)>
X <h (^(/)) «>/ (a(/)) dh^dah} — J J (!</) — 1</))t (!</) — !</)) X
XPj (X„| W, а(/))<7/ (!</))co; (a</))dX(/)da</)} .	(14.4.2)
Условие (14.4.2) можно представить в виде
_ " k
pkgkpk^> 1-‘ФГ(хл)
Г 1 • о
= max plSlPj (Хл 1 — c] o‘z) (X„)
(/. 16'))
где обозначено
Pj (Xn) = C f Pj (X„ | Uh, a(/)) qj (>,(/))coy (a</)) daS>
(14.4.2a)
(14.4.3)
°'/)2(x„)= j u;z)-	di(;\
(14.4.4)
хф
И
a P„ (2*Z)) — апостериорная одномерная плотность вероятности для i-й
*
компоненты вектора Х(/); 2*Z), 2<Z)— границы интервала изменения этой
компоненты. Этот вид условия приняты k-й гипотезы и оценки £<*) удо-
370
бен для трактовки смысла указанного условия, однако он не может быть
применен непосредственно из-за необходимости вычисления соответст-
вующих интегралов.
Интегралы, входящие в (14.4.2), вычислим приближенно. Для это-
го предположим, что удовлетворяются условия (6.5.7) для априорных
распределений <73(1О)), ®?(а(з)) и для функций правдоподобия P3(Xn|l(J),
а(’>) (/=1, 2, ..., tri), а также, что оценка максимального правдоподобия
е0)*={10)*, «О)*} принадлежит области Е}, определяемой областями из-
менения параметров 10) и аО), и находится достаточно далеко от ее гра-
ницы (см. § 13.6). В частности, это автоматически выполняется при без-
граничных областях Ег
Тогда усредненная плотность вероятности РДХП) (14.4.3), записы-
ваемая в виде
Р, (Х„) = [ Л (Х„ I 8<П) р'} (8b)) d^,	(14 4.5)
Е1
где
p'1(e,U)) — qJ (10)) «>Да(')),	(14.4 6)
в результате приближенного вычисления находится как
z,+s/
Л (Х„) Л (X„ I М')*, a»')*) q, (!<')*) Ю/ («(/)*) IgJL ,	(14.4.7)
где Eb) — квадратная матрица порядка	состоящая из
элементов
пО)______ 1п I «Ь))	И 4 4 8)
“	деО)де‘/)	‘	1	'
V еО’)=еО)*
Далее, для соблюдения условия (14.4.2) необходимо найти
min JJ(lb) —Го))т(1</) _ Г<П)Р/(Х„|1Ь)> а(/))^ (!(/)) ®ДаЬ)) dab) dlb).
fX(j))
Очевидно, что этот минимум имеет место при
f f 1(П Л (Х/г 11(/), а(7)) q, а. (аЬ>)
lb) = !</) =	'----------------------------------—
j j Pt (X„| lb), a(j)) 9; (10)) atj («(/)) daO)dlO)
f 10)P, (Xn 110)) o, (10’)) dl(/)
=	,	(14.4.9)
I P3 (Xn I 10)) q, (1 (/)) dlO)
где
Py(X„|lb’))=JP7(X„|lb), ab))«>7 (ab))dab). (14.4.10)
Таким образом, необходимые оценки информативных параметров
определяются условным математическим ожиданием (14.4.9), чего и сле-
довало ожидать, учитывая квадратичный вид функции потерь по этим
параметрам.
Как обычно, при симметричной относительно точки максимума 10)*
функции правдоподобия Р (Хп 110)) и гладкой в вышеуказанном смысле
24*	371
априорной плотности вероятности <73(X(j)) соблюдаются условия, при ко-
торых
£(/) « 1(0*.
(14.4.11)
В данном случае определяется из условия
P7(X„|^)*)=maxPz(Xn|XO)).
Вычисляя при соблюдении введенных выше условий (14.4.10), прибли-
женно имеем
sy/2
Л (Х„ 1К'>) Pj (х„ 11(0, „(/)-) в/ («(/)>) -gL-,	(14.4.12)
где D^o находится согласно (14.3.5).
Предполагая, как и выше, слабую зависимость D^’ от Хс/) и учиты-
вая описанные свойства <в3(а(0), приходим к выводу, что в интересую-
щем нас приближении оценки информативных параметров, при которых
имеет место минимизация среднего риска, находятся из условия
РА(Х„| К*)*, «(*)*)= max Pft(X„|X(ft), aW), (14.4.13)
(Х(*), a(«)
t. e. должны находиться совместные оценки максимального правдоподо-
бия информативных параметров и параметров обстановки.
Теперь входящие в (14.4.2) интегралы
Ji =	(К')—К'))т(К') -'м>>)Р1(Хп\МЧ, a(i))ql(KU))Wi(a(i))da(i)d'k(i)
(14.4.14)
после подстановки Кз)=К'* могут быть приближенно представлены
в виде
// == Р; (Х„ 1К')*, cd')*) qi (К')*) w/ («(/)*) J J (К'> — К'»*)* (К') — !</)*) X
X ехр -1_(е(/) —e(/)*)TD(/)(e(/)_e(/)*) da<hd№\ (14.4.15)
где все обозначения введены выше.
Представляя (14.4.15) в виде
4+sl	Ч
Ji = (2n) 2 der1/2D(/)z7/(K/)*)®/(aO)*)P/(X„|l(/>*,	(14.4.16)
где
Jf/ = (2it)	~ det~1/2D(6-’	— лу’Уехр [—g-(®a> _ Е(/)*)т х
X D(')(e(/) —8(5*)lda('W/),	(14.4.17)
372
в предположении, что область интегрирования может быть с малой по-
грешностью заменена на бесконечную, после обычных вычислений ин-
теграла (14.4.17) получим
4+sf
=	2 det,/2D<')Pz(X„|X<')*, а(/)*)/7/(Х(/)*)<в/(аб)*)8р(У(/,)“1.
(14.4.18)
В последнем выражении использовано представление матрицы D(J>
в виде
D<0 =
dV’ d£>
(14.4.19)
и введена матрица
V(/) = D?’ — D'z) (D(/))-’ D(/? .
А	Ла ' л '	a A
(14.4.20)
В результате при сформулированных выше условиях квазиоптималь-
ный алгоритм выбора /г-й гипотезы и оценки информативных парамет-
ров, ей соответствующих, определяется следующими выражениями:
Р*(Х„|Х(*)*, a<*)*)= max Р*’(Х„|Х(*>, в(‘>),
(XW, «<*))
lk+sk
2
pkgk(2n) 2 det~1/2D(4Pft(X„ | !<*)*,	—
4+s!
— c*Sp (¥<*))-"]= max/7^(2*) 2 der1/2D(')P/(X„| V')*, au’)*)X
Х?/(Л(/)>/ (a(/>*) [1 — C/Sp(V(/))"’].	(14.4.21)
Таким образом, в рассматриваемом приближении оптимальный
алгоритм сводится, как и при простой функции потерь, к максимизации
взвешенного апостериорного распределения для проверяемых гипотез
совместно с оценками максимального правдоподобия всех неизвестных
параметров, как информативных, так и характеризующих условия на-
блюдения. Однако веса у апостериорных вероятностей в данном алго-
ритме уже не те, что при простой функции потерь. Эти веса уменьша-
ются с ростом ошибок измерения информативных параметров. В резуль-
тате при больших ошибках может приниматься не та гипотеза, апосте-
риорная вероятность которой максимальна, а какая-то другая с меньшей
апостериорной вероятностью, но и с меньшими ошибками. Это видно
как из (14.4.21), так и из исходного условия (14.4.2а).
Обычно числа компонент оцениваемых векторов Ц и s, невелики и
нахождение входящих в (14.4.21) величин не представляет труда. В ин-
тересном частном случае наличия всего лишь одного информативного
параметра % и одного параметра обстановки а это вычисление приводит
к следующему:
Zz == 1, Sl= 1,
d2 In (Xn J A, a)
Г'» •    ---------:—:—
>	ах2
Х=Х*у
дг In Pj (Хп j X, а)
да2
(14.4.22)
373
D<n __ n(/) _ _ gglnPj (Xn/Л, a)
Ха аХ	d\da
x=x*y
a=(iff
/ = 1, 2, .. ,m.
Подставляя (14.4.22) в (14.4.21), имеем
pkgkPk (Xn | Гл, a*A) qk (Л%) Wk(a*t) [D«> D? - (D^T'i2 X
X _1	D^- (D<1> )2 ] T Р1ё1Р1 <X"1 l*h a*° X
X 4! (A*/)<0/ (a*/) [D[l}	- (№ f 1 ~ n(/)	’
(14.4.23)
где Kv} и a*3 — совместные оценки максимального правдоподобия ска-
лярных параметров % и а в J-й ситуации.
При проверке двухальтернативных гипотез из (14.4.21) вытекает
следующее правило принятия первой гипотезы и оценок X/1)*:
Л (Xn|X(’)*; аО*)
Р2(ХП|М2)*, а(2)*)
(14 4.24)
где
С	АА (2lt)
12	Pig, ' ’
П ДЧ2} П Да'2)
det-l/2D(2) [I — с2 Sp (У(г))~Ч
det~1/2D(’) [1 — С1 Sp (VO))-1]
(14.4 25)
Здесь опять априорные распределения при составлении порога замене-
ны на равномерные.
Как и при простой функции потерь, в двухальтернативном случае
проверка гипотез свелась к сравнению с порогом отношения правдопо-
добия, в котором неизвестные параметры заменены их оценками макси-
мального правдоподобия. Однако выражение для порога здесь уже
сложнее, чем при простой функции потерь. Этот порог зависит от оши-
бок измерения информативных параметров.
Оптимальное правило, соответствующее адаптивному байесову под-
ходу (§ 6.2), легко находится при рассмотренной функции потерь из
(14.2.3) и получается, если в выражениях (14.4.21), (14.4.23), (14.4.25)
произвести замену матриц DW и V0) на D^;) , положить D^=0 и s3=0,
со3(а<’)) = 1.
14.5.	НЕКОТОРЫЕ ОБОБЩЕНИЯ
Прежде всего сделаем следующее замечание. При применении
функций потерь, квадратичных по отношению к информативным пара-
метрам алгоритмы, минимизирующие средний риск, включают в се-
374
бя образование в качестве оценок условных математических ожиданий
параметров №).
Предполагая, что априорные распределения этих параметров под-
чиняются тем же условиям гладкости и ширины (по сравнению с апо-
стериорными распределениями), что и априорные распределения пара-
метров обстановки, мы заменили условные математические ожидания
на оценки максимальног.0 правдоподобия №>*. Из смысла параметров
обстановки в условиях, когда стоит говорить об адаптации, вытекает,
что в подавляющем большинстве случаев наложенные на распределения
<щ(а<’)) ограничения не существенны.
Однако сделать в общем виде такое же заключение о распределе-
ниях (?г(Х,(г)) нельзя. Здесь могут встретиться случаи, в которых пред-
положенные выше условия выполняются, но могут иметь место и про-
тивоположные случаи. В таких случаях для минимизации среднего рис-
ка должны применяться не оценки максимального правдоподобия, а со-
гласно (14.4.9) оценки
С МОР. (Хл I МО) q, (МО) dlW
= Агд-------------------->
I Р(Хп| МО) qi (МО) <ШО
которые в силу выполнения условий, накладываемых на функции
гщ (а<0), приближенно находятся как
Г МОР,- (Х„| МО, а(0*) 9г (МО) со, (а(0*)	d>-w
--, (14.5.1)
Pi (Х„) МО, а(0*) qi (MOj <о; («(О*) det ' d£'> dMO
а оценки aC)*(Mz>) находятся из условий
Pi (X„|	a(9*)=maxPz(X„|M9,	(14.5.2)
(а(0)
При замене <ог- (а(9) равномерным распределением и слабой зависи-
мости от М*> предыдущее выражение упрощается, принимая вид
С IWPi (Хл I МО, а(О») qi (МО) dW
.
Рг(Хл|М0, a(0*)9z (MO)dMO
Это же выражение следует применять при адаптивном байесовом под-
ходе (§ 6.2).
Системы, осуществляющие оценки (14.5.1) совместно с оценками
максимального правдоподобия а®*, могут быть и не сложнее систем,
строящих оценки М’>*. Однако аналитическое построение этих оценок
конечно сложнее, чем нахождение оценок е(О*={Х(9*, а<0*}.
Оценки (14.5.1) приводят к минимизации среднего риска не только
при квадратичных функциях потерь. Если функции потерь удовлетворя-
ют условиям симметрии
M/)) = glJ(Mi)-M9) = gi./(M/)-?l(i)),	(14.5.3)
что имеет место только в задачах, когда параметры М1') при всех г—1,
2, ..., т имеют равное число компонент и покомпонентно один и тот
375
же физический смысл, то оценки (14.5.1) минимизируют средний риск,
при-условии
Р, (Х„| %<*)) <7, (%<')) — Е(ХД> -£(')),	(14.5 4)
где F(I)==F(—1).
Строго говоря, это справедливо при бесконечных областях интегри-
рования, но практически при большой ширине (по всем компонентам)
априорного распределения <7,(X,(t)) по сравнению с функцией правдопо-
добия Рг(Хп|Х(’>) конечная область интегрирования может быть при-
ближенно заменена бесконечной.
Мы нашли квазиоптимальные правила проверки гипотез совместно
с оценкой соответствующих им параметров при наблюдении сигналов
в дискретные моменты времени. Если наблюдаемые величины x(t)
представляют собой функции непрерывного времени, то правила приня-
тия решений могут быть получены из алгоритмов, описанных в преды-
дущих параграфах при 4—4-1=А/—>-0 и п—>оо (n&t=T). В резуль-
тате во всех выражениях отношения правдоподобия должны быть за-
менены функционалами отношений правдоподобия и после этой замены
все полученные результаты остаются в силе.
14.6.	РЕКУРРЕНТНАЯ ПРОЦЕДУРА ПРОВЕРКИ ГИПОТЕЗ С ОЦЕНКОЙ
СООТВЕТСТВУЮЩИХ ИМ ИНФОРМАТИВНЫХ ПАРАМЕТРОВ
Адаптивная проверка статистических гипотез совместно с оценкой
соответствующих им информативных параметров может осуществлять-
ся не только при применении классической процедуры анализа, но и
при рекуррентной процедуре, описанной в гл. II. Напомним, что сущ-
ность этой процедуры заключается в принятии гипотез и соответствую-
щих оценок параметров (в данном случае и информативных параметров
и параметров обстановки) на каждом zz-м шаге наблюдения (п=1,
2, ...) с подтверждением принятых решений либо с их изменением на
последующих шагах наблюдений. На каждом шаге используются лишь
те данные наблюдения Хп, которые имеются в соответствующий момент
времени.
Если считать функцию потерь аддитивной и ввести в рассмотрение
потери gi3{n, №>, ХР)), связанные с принятием /-й гипотезы и оценок
информативных параметров на n-м шаге наблюдений, тохда как
в действительности имеет место г-я ситуация и информативные парамет-
ры АЯ, то на рассматриваемую задачу можно распространить все рас-
суждения § 11.4.
Для этого достаточно, как и в предыдущих параграфах, ввести со-
ставной вектор е(*) —«(')} и предположить, что априорное распре-
деление p't (е<‘>) и плотности вероятности для сигналов Х„, имеющихся
в наличии на каждом га-м шаге, Р”1(Х„|е^)*) подчиняются наложенным
выше ограничениям. Тогда, как нетрудно видеть, средний риск /? =
= 2^’ где — среднее значение потерь, связанных с га-м шагом
п
наблюдений, причем благодаря независимости последующих решений от
предыдущих min Я = 2 min^re- В результате задача минимизации среднего
п
376
риска вполне идентична таковой при классической процедуре анализа,
только полученное выше решение должно применяться к каждому шагу
наблюдений.
Для многоальтернативных задач и простой по проверяемым гипо-
тезам функции потерь оптимальное решение сводится при этом к состав-
лению на каждом шаге наблюдений отношений правдоподобия
A(,i)(XJ== ; ,	i, j = l, 2..tn (14.6.1)
J	п
и к сравнению их с порогами, вид которых меняется при применении
различных по оцениваемым параметрам Х.<1> функций потерь. Для неко-
торых функций потерь выражения для этих порогов были найдены
в предыдущих параграфах данной главы. Для двухальтернативных за-
дач оптимальное решение заключается в построении на каждом п-м
шаге отношения правдоподобия
p("> (Х„ | е'1»*)
Р^ (Хл | е<2>*1
Л'"’(Х„)
(14.6.2)
и к сравнению его с порогом при любой функции потерь. Входящие
в (14.6.1) и (14.6.2) оценки представляют собой совместные оценки
максимального правдоподобия информативных параметров и пара-
метров обстановки а<’>, полученные на n-м шаге наблюдений.
Как оценки в^*, так и отношения правдоподобия (Х„) могут,
разумеется, находиться как конечными, так и итеративными или рекур-
рентными методами. В последнем случае следует применять формулы,
совпадающие с формулами гл. 11.
Так, в соответствии с (11.4.12) для 8^’* справедливы рекуррентные
соотношения
8(‘)*= 8(,)*-j-(D<z))-,z('); D(,,=D(,) +K(Z),	(14.6.3)
п	П~\ I \ п ' п 1 П	П-1 । п	'	'
где — матрица порядка (/,	состоящая из элементов
£)(!> -=
d2lnP(">(X„ |e(Z>)
Г" *
(14.6.4)
е(‘)=е(б*
— матрица того же порядка, элементы которой определяются как
(/) = _ д2 1П^>(Хд|ХД-„ 8»))
"ц»	(5eO)ge(<)
(14.6.5)

z^1—вектор-столбец порядка (Л? —s^Xl), состоящий из элементов
w dlnJp<")(X„|X„„ 8(0)
де(')
(14 6.6)
Для логарифма отношения правдоподобия при больших
ветствии с (11.4.16) имеет место рекуррентное соотношение
1пА<;> (XJ^lnA'.;-1» (X^J + Z^’ (е?*)-/;"’ (<"*),
п в соот-
(14.6.7)
377
где
1\п\г^) = 1пр\п>(хп\Хп^, 8(I), i = l, 2,...,m.	(14.6.8)
Выражение (14.6.7) совместно с (14.6.3) дает рекуррентную процедуру
составления величин, сравниваемых с порогами для принятия гипотез
на каждом n-м шаге наблюдений, а оценки 7^’*, соответствующие
принимаемой /г-й гипотезе, входят в состав решения, формируемого на
n-м шаге.
Величины порогов, вообще говоря, меняются от шага к шагу как
благодаря возможной зависимости коэффициентов потерь от шага на-
блюдения п, так и в связи с зависимостью величин, входящих в выра-
жения для порогов, от оценок	Как уже упоминалось, конкретные
выражения для порогов получаются разными при различных функциях
потерь. Некоторые из них легко могут быть записаны, если воспользо-
ваться формулами для порогов при классической процедуре анализа,
полученными в предыдущих параграфах.
14.7.	РАСПОЗНАВАНИЕ СИГНАЛОВ, ПРИНИМАЕМЫХ В ШУМАХ,
С ОЦЕНКОЙ ИХ ЗАПАЗДЫВАНИЙ ПРИ НЕИЗВЕСТНЫХ АМПЛИТУДАХ СИГНАЛОВ
В качестве примера применения полученных результатов рассмот-
рим следующую задачу.
На заданном интервале (О, Т) наблюдается сигнал x(t), который
может иметь один из двух видов
л(/) = а(1)£<1) (t — Л<х)) -{-б (/),
.г(/) ---.:a(2).s(2) (t— 4(2))-Н(0-	(14.7.1)
где 40—белый шум спектральной плотности No-, s(*)(0 и s^(f) —
функции заданного вида; М1* и АЯ— неизвестные запаздывания этих
функций; а(1> и а<2>— неизвестные их амплитуды. Допустим, что тре-
буется принять решение о том, какой из двух сигналов имеет место и
при этом определить его запаздывание.
Функционал отношения праводоподобия для сигналов (14.7.1) име-
ет вид
A12^(04<*), Л(’), а(’), а(2)] = ехр j -	J[[%(/)-(t- Д1))]2-
< о
— [х (0 — a(2)s<2) (t — Z(2))]2] dt^ .	(14.7.2)
Будем полагать, что эффективная длительность сигналов s(o(0
много меньше времени наблюдения 7, так что величины
т	7
Ei =	—	Е', = j’ 4>'2 (t — 4») dt,	(14.7.?)
о	6
т
E”t= р(г)(/ —Z<6)s(z)" (t—ld^dt, 7 = 1,2,
6
от %<’> не зависят. Здесь $6)'(0 и s№\t) —соответственно первая и вто-
рая производные от
378
Совместные оценки максимального правдоподобия параметров лл'>
и а(’> удовлетворяют уравнениям
т
[х(0 — a<z>s<z) (t — Л<г>)] s^' (t-^)dt = O,	(14.7.4)
О
т
~ (* [х (0 — а<гМг) (t — Z<'))] s(') (t — Л<г>) dt = 0,
b
•откуда
T
j\(/)s(f)'(f —Z(‘>)ctf = O,	(14.7.5)
0
T
a(l)*=-l- p^)s(‘)(f_ lAl)*)dt.
о
Первое из выражений (14.7.5) справедливо в силу независимости Е,
от АЯ.
Алгоритм принятия первой гипотезы (о том, что имеет место сигнал
а(1>$(1)(£—%(!))) имеет вид
1пЛ18[х(0|Л<’>*, Ж’)*, а(’)* а(’)*]>1пС12.	(14.7.6)
Подставляя (14 7.2) и (14.7.5) в (14.7.6), имеем
(1W [(Л(Пх)» Et - (a(’)*)s EJ >In С12.	(14.7.7)
Не нарушая общности, можно выбрать нормировку функций
и 5<2)(£) так, чтобы соблюдалось условие Ei—Ez=T.
Тогда правило выбора первой гипотезы принимает вид
(a(‘)*)s — (а<2)*)5^ (2NJT) 1п С12 = С.	(14.7.8)
Если выполняется обратное неравенство, принимается вторая гипо-
теза. Одновременно с принятием гипотезы осуществляется в соответст-
вии с первым из уравнений (14.7.5) и оценка соответствующего запазды-
вания, в котором заложена необходимая информация.
Адаптивность полученного алгоритма проявляется в оценке пара-
метров обстановки (амплитуд сигналов а'1) и а(20- Явные выражения
для этих оценок входят в (14.7.8).
При работе в реальном времени оценки сЯ* не могут быть реали-
зованы в соответствии со второй формулой (14.7.5). В этом случае сле-
дует применять текущие оценки запаздываний	а оценки а<г>* по-
лучить в соответствии с выражениями
т
a(i)* = -L ^x(t)s(i) (t—^)dt.	(14.7.9)
О
379
Для определения величины порога в (14.7.8) произведем следую-
щие вычисления:
О
£)<‘> =2^=21;	(14 7.10)
а No Ne ’	v ’
D(t) = —
Т
j" х (0s>‘)' (t —	—
b
T
— 2а(‘)*у S<‘) (t— Z(‘)^)s(')' (t — ^*)dt =0
о
Последнее равенство имеет место в силу (14.7.5) и независимости
@т
Как неоднократно указывалось выше, при больших временах на-
блюдения Т матрицы DO) могут быть заменены информационными ма-
трицами Фишера А(’)=Л4 [DW]. Поэтому единственный случайный эле-
мент матрицы заменим величиной
А'д) = Л4[Д<д)]=уа(‘)*)Т',/2У0.	(14.7.11)
Предполагая для конкретности, что применяется функция потерь
(14.4.1) и, следовательно, порог С12 вычисляется по формуле (14.4 25),
при /i=/2=s1==S2=l имеем
r plglMW) (	\1/2 1 - С2 42) _
12	I л(2)£>(2) I 1— с,/.-}!1*
\ Л а I	*' л
/?2g2AA(1) Да!1)
p1g1AM2)Aa(2)
 а(')*у /£'А3/2 (а(2)Л)2£'2 N„ — С2
а(2)* J \E'J (а(1)*)2£,,1/Л0 — С, ’
(14 7.12)
Для нахождения функциональной схемы, реализующей полученное
решение, полезно заметить, что согласно (14 7.5) а<г>* — максимальное
значение амплитуды сигнала на выходе фильтра, согласованного
с s^(t) [Ю], %<г>* — положение этого максимума на оси времени. Если
обозначить йг(/)=5<1)(—t) импульсную реакцию согласованного фильтра
и считать, что $0)(—/)^0 при />0’), то алгоритм (14.7 8) можно пере-
писать в виде
- т	-12
шах [л(/)5(1)(/ — X)dt —шах
<>> Lo	J	<Х)
- X	2	Г X
= max f (Z — t)x (t) dt — max f
iX> Loj	J (X) Lo
- т	'•г
j X (t) S<') (/ — Z) dt -
.0
co, (14.7.13)
где С, = 2^0ПпС12.
Функциональная схема, реализующая алгоритм (14.7.13), представ-
лена на рис. 14.1.
') Это всегда можно предположить для небесконечного по длительности сигнала.
380
Принимаемый сигнал подается на фильтры, согласованные с сиг-
налами sW(t) и выходные величины фильтров квадратируются
и подаются на устройства, осуществляющие с помощью ультраузкого
стробирования дискретизацию по времени. Из сигналов, имеющих ме-
сто в дискретные моменты времени, осуществляется выбор наибольших
значений, фиксация величин и временных положений максимумов. По-
Рис. 14.1. Функциональная схема
устройства распознавания сигналов и
измерения их запаздываний:
/ — линейный фильтр с импульсной реак-
цией 2 — линейный фильтр с им-
пульсной реакцией	3 — квадраторы;
4 — устройства квантования по времени и
выбора максимума, 5—реле
лученные максимумы вычитаются и разность сравнивается с порогом,
который в соответствии с написанными выше формулами зависит от
al1)* и а®*.
14.8.	ОБНАРУЖЕНИЕ И ПЕЛЕНГАЦИЯ ИСТОЧНИКА ИЗЛУЧЕНИЯ
Рассмотрим следующую задачу, в которой возникает необходимость
одновременной проверки статистической гипотезы и оценки полезного
параметра. Пусть по результатам наблюдения на интервале (О, Т) двух
случайных сигналов Xi(t) и Xz(t) с антенной системы, имеющей два
независимых выхода, требуется установить, имеется ли источник излу-
чения в полосе частот А/ около частоты ш0 и в случае его наличия
определить направление на этот источник. Будем считать, что о виде
излучаемого источником сигнала ничего неизвестно, кроме исходного
предположения о том, что он представляет собой квазигармоническое
колебание со средней частотой со0 и полосой не шире АД Как всегда,
прием сигнала от источника излучения сопровождается шумами, кото-
рые будем считать статистически независимыми для двух выходов
антенной системы и имеющими одинаковую спектральную плотность No-
Тогда сигналы xt(^)(i=l, 2) можно представить в виде
xt (t) = Z, Re Gt (Z) E (t) exp [/<p (t) -f-	-f-S, (/),	(14 8.1)
где Xi={0, 1} — параметр, характеризующий отсутствие (ai=0) либо
наличие (Xi— 1) источника излучения; X — направление на него (для
простоты мы рассматриваем плоский случай, когда это направление
задается одним параметром); E(t) и <р(£) —амплитуда и фаза сигнала
от источника, которые являются произвольными неизвестными функция-
ми времени с шириной спектра не более АД ^(0—«белый» шум со
спектральной плотностью No; бг(Х)—комплексный коэффициент на-
правленности i-го выхода антенной системы, описывающий зависимость
амплитуды и фазы принимаемого на частоте со0 сигнала от направле-
ния X. Априорная неопределенность заключается в полном незнании
статистических свойств E(t) и <р(0-
Для ее исключения представим функционал отношения правдопо-
добия для реализаций сигналов Xi(t) и Xz(t) в виде
{т
дГ- J -^1 (0 Re G, U) Е (О ехр (?) -Д /'«>„/] dt +
О
381
J *2 (t) Re G2 (Z) E (t) exp [j> (f) Д- jwat] dt-±-( дее G, (Z) E (f) X
о	о
X exp [Jcp (0 + /ш„/]]2 dt — j {Re G2 (Z) E (t) exp [/cp (t) -ф-	d4=
= exp I Re J [x1(0G1(Z) + xJ0GJZ)]£(/)exp[rp(/) +
'	V=1	(V—1) M
+ jvot]dt — -2^/J] j [(ReG1(Z)B(/)exp[/?(Z) + >0/])2 +
v = l (v —1) M
+ (Re G2 (Z) E (I) exp [j? (t) Д- >«/])’] dt].	(14.8.2)
Выберем интервал Af порядка или меньше 1/Д/. Тогда в каждом из ин-
тегралов от (v—1)Д£ до vAZ с высокой степенью точности можно заме-
нить Е (t) и <р(£) на Ev = E(yhf) и <pv = <p(vA£) и вынести эти функции из-
под интеграла. Вводя также обозначения
чМ
= J х‘ ехР 040dt' i=1.2,	(14.8.3)
(v—1) м
и предполагая ®о^1, что является следствием квазимонохроматично-
сти излучаемого сигнала (2лА//сооС 1), можно представить (14.8.2)
в виде
Л12 [х, (0, хг (01Z] = ехр
п
Re Ef' [G, (Z) zlv -ф- G2 (Z) zj —
V=1
n
^L(|G1(z)r+[G2(z)r)y]EV
(14.8.4)
из которого следует, что совокупность комплексных величин zb (i = 1,
2; v—1, 2, . . ., га), получающихся в результате применения к наблю-
даемым сигналам Xi(t) линейного преобразования (14.8.3), является
достаточной статистикой для решения любых статистических задач
(проверки гипотез, оценки параметров, того и другого вместе) относи-
тельно сигналов Xi(t) как в байесовом случае, так и при наличии
априорной неопределенности, связанной с видом сигнала (при незнании
изменяющихся амплитуды E(t) и фазы <р(0)-
Действительная и мнимая части величины ziv могут быть сформиро-
ваньгкак взятые в момент времени tv = vM значения косинусной и си-
нусной составляющей выходного сигнала фильтра с полосой
^1/А?, пропорциональной Af, настроенного на частоту соо (или на лю-
бую другую частоту Ш13>2лЛ/: после гетеродинирования с частотой
(о2=соо±®1), при подаче на вход этого фильтра сигнала Xi(t) с i-ro
выхода антенной системы.
283
Используя обычное обозначение для совокупности неизвестных па-
раметров, описывающих априорную неопределенность
а = {Ег, ?>; Ег, <?г; Еп, ?„},	(14.8.5)
общее количество которых в данном случае равно 2п, выражение для
функции правдоподобия (14.8.4) и приведенные выше результаты,
определяющие структуру правила решения, получаем, что решение
о наличии источника излучения принимается при выполнении неравен-
ства
п
г = max Re V Ее ' ’ [G, (Z) Д- Ог (Z) г2„] —
(>. a)
У = 1
п I
--4^[|С.(а)|Жад|г]^\ >С,	(14.8 6)
где С —порог сравнения, а оценка интересующего нас параметра X,
определяющего направление на источник излучения, совпадает со зна-
чением X*, максимизирующим (14.8.6).
Поскольку оценки дополнительных параметров а не представляют
для нас интереса, удобно выполнить максимизацию в (14.8.6) последо-
вательно: сначала по {<pi, ..., tpn}, затем по {£|, ..., Еп} и, наконец,
по интересующему нас параметру X. Такой порядок дает возможность
найти максимум, не находя максимизирующие значения (оценки мак-
симального правдоподобия) по крайней мере части мешающих параме-
тров. Действительно, в силу равенства
max Re а е’* = | а |,	(14.8.7)
(?)
где а — любое комплексное число, независящее от <р, имеем
{п
Re У Е е1*'1 [G, (Л) г. G2 (Л) z2 ] —
V= 1
n "J	( n
-4^ [|G,(Z) |г+ ]<?г(Я)|г] VE\ Umax max	|G1Wzlv +
v °	ы J (X) (£.....En)
V==l	7=1
n 1
+ GJZ)z2J-^[|G1(Z)r+|GjZ)ny]£\ •	(148.8)
Выполняя далее достаточно простую максимизацию по £i, .. ., Еп, по-
лучаем
гг
2 | G, (X) zIv + G2 (X) z2v |2
_ No ,=i	_
I Ог (X) I 2 + I О2 (X) I 2	—
—	I °- W 12(?и + I G2 (Л) |2Q22 + 2Re G, (Л) G% (X)
'	~ (X)	JGi (A)| 2 + JG2 (?<)J2
где
Qlk = ^ zivz\,i, k = 1,2.	(14.8 10)
»=i
383
Рис 14 2. Функциональная схема
устройства обнаружения и пелен-
гации источника излучения:
1 — фильтры, настроенные на часто-
ту (Оо. с полосой А/ 2 — фазовые де-
текторы, 3 — фазовращатель (л/2), 4 —
квадратичные детекторы; 5 — интегра-
торы
Из последнего выражения следует, что
совокупность четырех величин Qu, Q22,
ReQ12, ImQi2, представляющих собой ре-
зультат преобразования входных сигна-
лов xi(t) и x2(t), образует достаточную
статистику, которая полностью опреде-
ляет оптимальное при полном незнании
статистических свойств £(/) и ср (/) пра-
вило принятия решения о наличии источ-
ника излучения и его угловом положении
X при произвольных коэффициентах на-
правленности Gt(X) и G2(K). Величины
Qu и Q22 представляют собой результат
накопления за интервал наблюдения
квадратов огибающих с выходов филь-
тров с полосой Д(ф^ДС, настроенных на
частоту соо, при воздействии на их
вход сигналов %i(Z) и x2(t) соответст-
венно, а величины Re Qi2 и Im Q12 образуются накоплением результатов
фазового детектирования выходных сигналов этих фильтров. Функцио-
нальная схема формирования величин Qu, Q22, Re Q12, Im Q12 показана
на рис. 14.2.
Если антенная система имеет только амплитудную направленность
(функции Gi(X), Gz(X)—действительные), то (14.8.9) не зависит от
величины Im Q12 и число необходимых преобразований входных сигна-
лов сокращается до трех: Qu, Q22, ReQia.
Заметим также, что в общем случае использования антенной си-
стемы с большим числом выходов, каждому из которых соответствует
комплексный коэффициент направленности Gf(X) (z=l, ..., т), имеет
место очевидное обобщецие (14.8.9)
Ре 2 Gt (X) G*k (X) Q(*
г=max	,	(14.8.11)
’ S1 Gi 12
f= 1
где Qik определяются в соответствии с (14.8.10) для i, k=l, 2, ..., т
и формируются с помощью схемы, аналогичной схеме рис. 14.2. Как и
в случае т—2, решение о наличии источника излучения принимается,
если величина z превышает заданный порог С, а оценка направления
на источник совпадает со значением X=V, максимизирующим (14.8.11).
Очевидно также, что входящий в (14.8.9), (14.8.11) коэффициент Мо/Д/
не влияет на положение максимума по X и поэтому может быть отнесен
к порогу сравнения.
Рассмотрим ряд конкретных примеров для т=2.
а.	Фазовый пеленгатор. В этом случае
G, (Z) = ехр (/|х sin Z),	G2 (1) = ехр(— jp. sin Z),	(14.8.12)
де!
!i = e>od/2c;	(14.8.13)
c — скорость света; d — расстояние между фазовыми центрами нена-
правленных приемных антенн, образующих фазовый пеленгатор. Под-
384
ставляя (14.8.12) в (14.8.9) и выполняя максимизацию по X, будем
иметь
Z* — a resin Г(— arctg	4"2^4 / 2рь
(14.8.14)
где k — целое число. Пеленг источника излучения определяется в об-
щем случае неоднозначно, что является спецификой чисто фазовых си-
стем пеленгации. Для исключения влияния неоднозначности необходи-
мо знать предварительно направление X с точностью порядка зт/ц=
=2с/соо</. Тогда значение k в (14.8.14) известно и оценка X* дает уточ-
ненное направление на источник в пределах интервала неоднозначности
я/[I.
Решеие о наличии источника излучения принимается при выполне-
нии неравенства
'	Q.H-Q^ + SIQ^C,	(14 8.15)
левая часть которого с точностью до множителя No/M равна z из
(14.8.9) для коэффициентов направленности СДХ) из (14.8.12),
а С — порог сравнения, который при отсутствии дополнитель-
ных сведений об априорной вероятности наличия источника излучения
может выбираться в соответствии с критерием Неймана — Пирсона по
заданной вероятности ложной тревоги.
б.	Амплитудный двухлучевой пеленгатор. Пусть антенная система
имеет только амплитудную направленность и формирует два приемных
луча с действительными коэффициентами направленности Gi(X) и
G2(X). Вводя обозначение
f(%)=G2(7b)/Gi(X),	(14.8.16)
приведем выражение (14.8.9) к виду
V„
z = -хт- max
О)
Q,, + 2/(A) Re Q12+fg(M Q22
1 + Г2 (A)
(14.8.17)
Максимизируя это выражение по X, получаем следующее выраже-
ние для оценки "к” направления на источник излучения:
_ .Г - Q22)2 + 4 (Re Q12)a- (Q„-Q22)
L	2Re Qi2
(14.8.18)
где — функция, обратная функции f(X), и правило принятия решения
о наличии источника излучения в виде неравенства
Q,, + 022 + V (Q11-Q22)2 + 4(ReQJ2 > С, (14 8.19)
где С — порог сравнения.
В обоих случаях правило принятия решения о наличии источника
излучения и оценка направления на него представляются с помощью
элементарных функциональных преобразований от совокупности вели-
чин Qu, Q22, ReQi2 и Im Q12, образующих достаточную статистику.
Структура этих преобразований зависит от вида функциональной зави-
симости коэффициентов направленности антенной системы от измеряе-
мого угла X, причем в важном частном случае наличия антенн, обла-
дающих только амплитудной направленностью, правило принятия ре-
шения о наличии источника излучения не зависит от конкретной формы
25—899	385
диаграмм направленности (коэффициентов Gi(X) и бг(Х)) парциаль-
ных каналов антенной системы, а вид оценки X* полностью определяет-
ся видом функции f(X) из (14.8.16). В частном случае простейшего
рамочного пеленгатора Gi(%)=cosX и G2(X)=sinX и
Z* = arctg
/(Qu - Q22)2 + 4 (Re Q12)2— (Q„- Q22)
2Re Q12
(14.8.20}
При гауссовых диаграммах направленности с одинаковой шириной
Д/.о.з по мощности и расстоянием между максимумами этих диаграмм
2ДХ, т. е. при
Q п \ — ехп Г_1 4 (^ —	1 q /, \ — е„0 Г_। 4 (Х+ ДХ)а 1
uiW— ехР	ДА20 5	’	— еАР	ДЛ% 5	’
*___, К (Qu — Q22)2+ 4 (ReQu)2 — (Q,, —Q22)	(14 8
'	5,6Д.\	2Re Q12	' v
Аналогично можно с помощью (14.8.9) или (14.8.11) до конца де-
тализировать правило решения о наличии источника и вид оценки /Л
и при других зависимостях коэффициентов направленности от X как при
т=2, так и в общем случае произвольного т.
Глава 15
АДАПТАЦИЯ МНОГОШАГОВЫХ ПРОЦЕССОВ ПРИНЯТИЯ РЕШЕНИЙ,
ОСНОВАННАЯ НА ЗНАНИИ ПОТЕРЬ НА ПРОШЛЫХ ШАГАХ
15.1.	ВВЕДЕНИЕ
Краткий обзор видов адаптации в живой природе и примеры адап-
тации в технике приводят к выводу о стохастическом характере адап-
тивных процессов. Кроме того, установлено, что адаптация, осущест-
вляемая с использованием статистики наблюдений и ситуаций, направ-
лена на получение оптимальных свойств.
Из этих обстоятельств следует адекватность для задач синтеза
оптимальных адаптивных систем и процессов теории статистических
решений А. Вальда. Применяя эту теорию в условиях неизвестной па-
раметрически заданной «обстановки» работы систем (протекания син-
тезируемых процессов), мы получили оптимальные алгоритмы их функ-
ционирования, включающие в себя оценку неизвестной обстановки и
перестройку систем при ее изменении. Соответствующие алгоритмы бы-
ли получены как при принятии решений в заданные моменты времени,
так и при их рекуррентном построении.
Рекуррентные алгоритмы принятия решений с оценкой неизвестной
обстановки в наибольшей мере соответствуют сущности адаптивных си-
стем, в особенности при изменяющихся условиях их работы. Однако
смысл оптимальности подобных алгоритмов может быть различным.
Существуют задачи, в которых синтезируемая система, функциони-
рующая в неизвестных или изменяющихся условиях, должна достиг-
нуть заданной цели за определенный интервал времени или в течение
386
определенного числа шагов наблюдения. В этих задачах наиболее ло-
гично задаться некоторой финальной функцией потерь (часто это быва-
ет сумма потерь, связанных со всеми шагами наблюдений) и миними-
зировать ее среднее значение выбором решений на каждом шаге. В ря-
де случаев, как мы видели, подобные алгоритмы удается получить, и
они являются адаптивными, так как совместно с принятием основных
решений оценивают неизвестную обстановку, чем улучшают процесс
принятия решений.
В других случаях, относящихся к этому же классу, не удается ре-
шить задачи минимизации среднего риска, связанного со всем заданным
интервалом наблюдения. Если при этом функция потерь аддитивна, то,
как это следует из предыдущих глав, может быть осуществлена ло-
кальная оптимальность минимизацией текущего среднего риска. Соот-
ветствующие алгоритмы, как правило, достаточно просты и хорошо реа-
лизуются в рекуррентном виде.
Однако существует и другой класс задач, в котором время наблю-
дения или число шагов принципиально не ограничено, так что нельзя
вычислить средний риск, связанный со всем процессом наблюдения.
Вместе с тем в таких задачах обычно нельзя сформулировать и конеч-
ную цель. Существуют лишь цели, имеющие место в каждый данный
момент времени (на каждом шаге наблюдений). Эти цели могут быть
постоянны или изменяться от шага к шагу. Как следствие, функция
потерь, соответствующая таким задачам, аддитивна, а минимизировать
следует ее среднее значение до рассматриваемого шага наблюдений
включительно. В результате те решения, которые были локально опти-
мальными в предыдущих задачах, становятся абсолютно оптимальными
в рассматриваемом классе. К этому классу относятся, в частности,
упомянутые в гл. 1 процессы адаптации в живой природе и многие
адаптивные системы в технике.
Существует, однако, важная особенность подобных процессов и
систем. При многошаговой их работе обычно на каждом шаге принима-
ются решения вместе с оценкой соответствующей обстановки, в связи
с этими решениями осуществляются те или иные действия, которые
приводят к определенным результатам. Другими словами, становятся
известными реализации потерь, связанных с прошлыми шагами наблю-
дений. Эшби [42] приводит много примеров подобных процессов, отно-
сящихся к адаптации живой природы. Ясно, что такие примеры не явля-
ются редкостью и для адаптивных технических систем.
Для синтеза оптимальных рекуррентных алгоритмов принятия ре-
шений, основанных на использовании не только наблюдаемых сигналов,
но и решений, принятых на прошлых шагах, а также потерь, к которым
привело принятие этих решений, можно применить развитые выше ме-
тоды (гл. 2, 6). При этом следует учесть, что в соответствии с п. 3.3.2
принятые на предыдущих шагах решения и соответствующие им потери
должны быть отнесены к результатам наблюдения.
В данной главе мы приведем постановку и решение задачи синтеза
оптимальных многошаговых процессов применительно ко второму из
упомянутых классов. Кроме того, обратимся и к первому классу, в ко-
тором число шагов зафиксировано, и найдем для него оптимальные
адаптивные алгоритмы в условиях достаточно полной априорной неоп-
ределенности, но известных потерь, связанных с принятием решений на
прошлых шагах.
5*	387
15.2.	МНОГОШАГОВЫЕ АДАПТИВНЫЕ ПРОЦЕССЫ, МИНИМИЗИРУЮЩИЕ
ТЕКУЩИЙ СРЕДНИЙ РИСК ПРИ ПАРАМЕТРИЧЕСКИ ЗАДАННОЙ АПРИОРНОЙ
НЕОПРЕДЕЛЕННОСТИ И ИЗВЕСТНЫХ ПОТЕРЯХ, СВЯЗАННЫХ С ПРЕДЫДУЩИМИ
ШАГАМИ
Допустим, что наблюдаются значения случайных величин xi, .. ,хп,
каждая из крторых хг представляет собой вектор, связанный с t-м ша-
гом наблюдений. Это совокупность физических величин, регистрируемых
на i-м шаге (не обязательно временном). В наблюдаемых величинах
закодирована информация о некоторых ситуациях Аа, , А.п, ., имею-
щих место на тех же шагах наблюдения Величины лг, вообще говоря,
тоже векторы, которые могут принимать значения из непрерывного либо
дискретного множества. Величины А.г могут и не изменяться от шага
к шагу, однако это частный случай. С точностью до некоторых допол-
нительных параметров обстановки ai, . , ап, (аг — векторы, ко-
торые могут быть как одинаковыми, так и различными) для каждого
п-го шага будем считать известной условную плотность вероятности
^п(^п|Ап, Ап), ГДе Хп={Х1, . . ., Хп}, Ап—{^*1, • ., Am}, Ап—{ctl, • . , Ctn}*
В принципе известны (для дальнейшего это не всегда обязательно)
априорные плотности вероятности р(Ап) и ®д(Ап), последняя из ко-
торых, вообще говоря, зависит от ситуаций Ап (разным ситуациям мо-
iyт соответствовать различные параметры обстановки) и задана только
для дальнейшего применения процедуры оптимизации § 6.5 Таким
образом, рассмотрим достаточно общий случаи взаимозависимых пара-
метров обстановки и ситуаций, в связи с которыми должны принимать-
ся решения, а также взаимозависимых ситуаций на разных шагах на-
блюдения.
На основании наблюдений на тех же шагах выносятся решения
Ui, ..., un, ... (щ — векторы). В процессе принятия этих решений на
лаждом i-м шаге возникают потери, задаваемые функцией потерь
рс (Щ, Аг)
Поставим задачу^ минимизации среднего значения потерь, связан-
ных с n-м шагом наблюдений, если фиксируются сигналы Хи—{xi, . .
. . ., хп} на всех шагах до п-го включительно, принятые на предыдущих
шагах решения Un-i={ui, . .., un-i} и имевшие место потери gft_i=
• • •, gn-i}- Из общих результатов гл 2 ясно, что оптимальная стра-
тегия, приводящая к минимизации среднего риска, будет нерапдомизи-
рованной и сведется к минимизации апостериорного риска Если при-
менить процедуру оптимизации, соответствующую принципу, изложенно-
му в § 6 5 то необходимо найти апостериорный риск
Rn(Xn’ g„-i)-= J М (А„) d/„	(15 2 1)
и минимизировать его выбором решения ии Здесь ра(Ап) — апостери-
орная плотность вероятности информативных параметров имеющих
место на п м шаге Она может быть представлена как
Ра (Ч) = J Ра (Л„, А„) dXn^d\n,	(15 2 2)
где (Лп, Ап) —совместная апостериорная плотность вероятности для
информативных параметров и параметров обстановки на всех п шагах
’> Правило, соответствующее процедуре оптимизации § 6 2 получится как и
в предыдущих г завах, приравниванием единице некоторых коэффициентов в потучен-
ном ниже правиле
388
наблюдения. Мы не отмечаем в (15.2.1) явной зависимости апостериор-
ного риска от фиксированных принятых решений Un-i в связи с тем,
что при применении нерандомизированных правил принятия решений
они являются однозначными функциями сигналов Хп_].
Далее, для апостериорной плотности вероятности ра(Ап, А„), оче-
видно, имеем
/?а(Лл, Ал) = /?а(Лл, АЛ]ХЛ, ё„_1) = ^(Ал)(»л(Ал)Р(Хл, g„_,|A„, A„) =
= kp(An)mx(An)Pn(Xn\An, A„) Sfe^-g^OV,, Ал_,)], (15.2.3)
где
k= /7(Ал)«>л(Ал)Р(Хл, g„_, |АЛ, A„) dA^Art]”1 ;	(15.2 4)
P(Xn, gn-i|An, An)—совместная условная плотность вероятности для
сигналов Хп и потерь gn-i, а также использовано то обстоятельство, что
потери gn-i однозначно определяются решениями Un-i и параметрами
А„-ь в связи с чем условная плотность вероятности для вектора потерь
gn-i находится как
P(gn_,\Xn,An, A„) = 8[g„_, -g^JU,.,, Ал_,)].	(15 2 5)
Здесь g„_](U„_„ A„_1) = {g,(u1, X,), .... g„_1(ii„_1, X„_,)}.
Подставляя (15.2.2), (15.2.3) в (15.2.1), имеем
Rn(Xn, G„_,) = £ J J £„(«„, MPn(xn|A„, Ал)«>л (A„) p (A„) 8 [g„_,—
— gn->(Ura-v A„.,)], dAndAn,	(15 2 6)
а оптимальное правило принятия решения на п-м шаге наблюдений
получается минимизацией (15.2.6) выбором и„.
Для того чтобы получить, как и в предыдущих главах, универсаль-
ное приближение к оптимальному правилу, не требующее детальных
знаний закона распределения для параметров обстановки А„, приме-
ним приближенное выражение
jP„(Xn|A„, Ал)(оа(Ал)//Ал-<= РЛ(Х„|АЛ, А*л)ал(Хл), (15.2.7)
где согласно (6.5.9)’)
=	(15.2.8)
I х — число компонент вектора Ал в ситуациях Ал, матрица состоит
из элементов
D, =------дг1пРп (Хл| Д„, А„)	,	/15 2 9)
•	3ap.3“v	АЛ=А*„
Яр ау — компоненты вектора Ал, а А*л — его оценка максимального прав-
доподобия, удовлетворяющая условию
Р„(ХЛ|АЛ, А*„)’=тахРл(Х„|А„, А„).	(152 10)
(А„)
’) Здесь и далее символы «д (Ал) и Яд (Хл) означают, что априорные плотности
вероятности <и и коэффициенты а вычисляются в некоторых заданных ситуациях Ап,
которые каждый раз оговариваются при написании соответствующих формул.
389
Для большинства видов функций потерь уравнения
g, = g, (и,, К), i — 1, 2.п — 1,	(152.11)
имеют конечное число корней. Поэтому при заданных рг и иг существу-
ет конечное дискретное множество соответствующих им значений Хг-
Иногда Хг однозначно определяются функциями
Х,= <р, (u,, gt), i= 1, 2, ..., п — 1,	(15.2.12)
и только лишь в редких случаях, в которых целой области значений Хг
соответствуют одни и те же потери, задание иг, приводит к непре-
рывным множествам Хг.
Ограничиваясь только такими функциями потерь, для которых си-
стема уравнений (15.2.12) имеет конечное число корней, обозначая
эти корни A^v) (v=l, 2, .. ., k) и подставляя (15.2.7) в (15.2.6), имеем
следующее условие для выбора оптимального решения:
k
J gn М 2 Рп (X„ I a;_\, Хл, А*„) аА (Х„) р (Х„ I	,) Р (Л^) <&„ =
Vi 1
k
= min Г gn(un, М2 PJXJA^, X„, A*n)aA(Xn)/2(MA<:>i)/2(A':)i)dZ„.
(Ura) J	v=j
(15 2 13)
Условие (15.2.13) упрощается при однозначной зависимости Хг—
=Фг(иъ gi), принимая вид
R(u„, XJP„(X„| л^,, М A*n)aA(Xn)/2(Z„|An,1)dZn =
k
= min Г gn (ii„, M V Pn (X„ I A'v) , X„, A*„) a. (X„) p (X„ | А(’> ) dX„,
i о n x пг nt	n x n । n — j ••	r \ n i fi j *' iil
(MJ	,=1
(15.2 It)
где An-i — конкретные ситуации, имевшие место на предыдущих шагах,
восстановленные по известным потерям gn-i-
При применении процедуры нахождения оптимальных решений, из-
ложенной в § 6.2, легко заметить, что правила (15.2.13), (15.2.14) оста-
ются в силе, если положить ад (X „) =1
Таким образом, задача минимизации текущего среднего риска при
заданных прошлых потерях свелась к стандартной форме, уже привыч-
ной читателю. Это особенно ясно видно в случае однозначного восста-
новления ситуаций An-i-
15.3. МНОГОШАГОВЫЙ ПРОЦЕСС ПРОВЕРКИ ГИПОТЕЗ
Рассмотрим случай дискретных распределений для ситуаций Xi, ...
..., Хп. ... и решений Ui, ..., un, ..., к которому сводится проверка все-
возможных гипотез: обнаружение сигналов, распознавание образов,
классификация объектов наблюдения и т. д. В этом случае наиболее
ясен смысл знания потерь на предыдущих шагах — при принятии гипо-
тез совершаются некоторые определенные необратимые действия, ре-
зультаты которых становятся известными
390
Величины Z, здесь представляют собой скаляры, принимающие ди-
скретные значения Zft (fe, —1,2, ..., tn), где m"t—число 'возможных ситуа-
ций. Принимаемые на i-м шаге решения обозначим и. (/,= 1, [2. .... т),
т. е. и, — тоже скаляр, принимающий ^дискретные значения. По оконча-
нии i-ro шага наблюдений становятся известными потери gi(u., Zfe).
С учетом дискретного характера распределений для Лп условие
(15.2.13) принимает вид
т	k
*„=1	.=1
т
А*л) «л Р < ) Р <А£ ) = min 2 К’ Ч X
'	1	1	k —1
КГГ~1
k
\п, ь\)а	)р(Д^ ), (15.3.1)
н — i ft	* *	ft	П — 1	п \
v=l
где JA^’’ —корни системы уравнений;
gt~ gt (ui, Zft), i= 1, 2, .... n— 1;	(15.3.2)
L
/>(Л['’1 )—'априорная совместная вероятность ситуаций , ...» Z^ ;
р (Ч I Мг„ ) ~ априорная условная вероятность ситуации Zft при задан-
ных z!v>,. ., z!v) .
*•	fen-i
При однозначной зависимости Zft = <pi (и,, gt) условие (15.3.1) упро-
щается, принимая вид
т	J-U
2	(U:>n ^kn ?п ' А*л ' ^kn	Р I Ч ? =
tl	fl	/*“!*	**	fl	«* — 1
— min 2 gn (Ujn' P'i I A*n > ^kn’	P (^kn I A*n_ )’
(/n) ^=i
(15.3.3)
где Afr — конкретные ситуации на предыдущих шагах, ставшие извест-
ил-!
ными по потерям gn_r
Соответствующие гипотезы принимаются совместно с оценками мак-
симального правдоподобия параметров обстановки Ап. Адаптивность
полеченных алгрритмов проверки гипотез связана не только с оценкой
параметров обстановки, но и с восстановлением (частичным или пол-
ным) ситуаций, имевших место на предыдущих шагах, по принятым
решениям и известным потерям.
391
Восстановление этих ситуаций привело к уточнению вероятностей
р(лА \Ak ) для ситуаций на n-м шаге наблюдений, а также плотностей
вероятности РЛ(ХЛ |	, Ахл) для наблюдаемых случайных величин. Это,
в свою очередь, позволяет найти оптимальное решение на n-м шаге,
обладающее лучшими свойствами, чем решение, которое было бы при-
нято без соответствующего уточнения указанных функций.
При проверке двухальтернативных гипотез (7П=2) применение пра-
вила (15.3.3) приводит к следующему условию: на тг-м шаге принима-
ется решение lit, если
р„. (Xnl A„„
~	о
А™*)
(15.3.4)
где
g^21)-gn22) Р(Л2|ЛП-,) аЛ2 (Хп)
g^-gV1’
(15.3.5)
в случае выполнения обратного неравенства принимается решение «2-
Здесь /?(^-1|Лл_1) и р(2г|Лл_1) — условные вероятности первой и вто-
рой ситуаций соответственно на n-м шаге наблюдений при условии, что
на предыдущих шагах были вполне определенные ситуации, описываемые
вектором Лл_,, каждая компонента которого-либо первая, либо]вторая
ситуация; g(l’> = gn(Uj, Лг) (i, j= 1, 2) — потери при принятии /-го реше-
ния в i-й ситуации; РЛ1(ХЛ|АЛ_,, А^‘) иРл2(Хл| Ап.г, А^2)*) — условные
плотности вероятности для совокупности наблюдений Хл, накопленных к
тг-му шагу, если на тг-м шаге имеет место первая и вторая ситуации
соответственно, при условиях, написанных правее вертикальной черты;
ад1 (Хл) и ад2 (Х„) — значения функции ад (Хв) в этих же двух ситуациях
на n-м шаге; A„)# и А^2)*— оценки вектора параметров обстановки в
в предположениях, что на n-м шаге имеют место первая и вторая^ситу-
ации соответственно.
Таким образом, оптимальный адаптивный алгоритм проверки двух-
альтернативных гипотез на каждом n-м шаге сводится к составлению
отношения правдоподобия, зависящего как от оценок параметров обста-
новки, так и от принятых на предыдущих шагах решений и связанных
с ними потерь, и к сравнению этого отношения с порогом, изменяющим-
ся от шага к шагу как в соответствии с априорными данными, так и на
основе наблюдения величин xi, ..хя и результатов работы системы
на предыдущих шагах.
15.4. МНОГОШАГОВОЕ РАСПОЗНАВАНИЕ ОБЪЕКТОВ, ХАРАКТЕРИСТИКИ
КОТОРЫХ ЗАВИСЯТ ОТ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ
Приведем простой пример применения полученных выше резуль-
татов, относящийся к задаче распознавания образов. Допустим, что
производится распознавание объектов, которые могут относиться
392
к одному из двух классов. Объекты предъявляются для опознавания по
очереди. Общее число предъявляемых объектов М. Известно, что среди
них имеется К объектов первого класса и М—К объектов второго клас-
са. Любой рассматриваемый объект равновероятно может относиться
к первому либо ко второму классу.
На каждом t-м шаге процесса распознавания наблюдается некоторая
векторная случайная величина хг (совокупность наблюдаемых параме-
тров, обязанных своим происхождением t-му объекту). Например, при
наблюдении объектов с помощью световых сигналов, от них получен-
ных, в состав х< могут входить измеренные значения координат объекта,
средней интенсивности светового сигнала, с ним связанного, протяжен-
ности объекта и т. д. Предположим, что величины хг могут быть пред-
ставлены в виде
Х( = Я, А (а,)	(1 — Яг) В (а2)	(1 5.4.1)
где
~___11, если объект относится к первому классу,
(О, если объект относится ко второму классу;
............1’г)}—вектор шумов, который будем считать гауссовым, об-
ладающим нулевым математическим ожиданием и корреляционной матри-
цей К^; а1 = {а1<1).. а*г,)} и а2 = {а*1).а(2г,)} — векторы неизвестных
параметров наблюдаемых сигналов; А=={А(1>....А**)},	В={В(1), ..., В(г>} —
векторы известных функций параметров а, и а2 соответственно.
Таким образом, считаем, что измеренное значение каждой из на-
блюдаемых величин, на основе которых производится распознавание,
состоит из истинного значения, зависящего от совокупности неизвестных
параметров и шумовой добавки, отражающей ошибки измерения. Бу-
дем считать |i и (iVj) статистически независимыми между собой,
т. е. шумовые добавки при наблюдениях различных объектов незави-
симы.
Если переобозначить Xi, ..., xn-i таким образом, чтобы xi, ..., хд
означали наблюдаемые величины в тех случаях, когда были установ-
лены при помощи анализа потерь ситуации Хг=1, a xL+i, ..., xn_i — на-
блюдаемые величины при 7.г-=0, то при введенных предположениях
А„)=П Q;i(X/l«i) П ^г(ХН«г)Ст.г(Хл|«.,г).	(15.4.2)
t=l
где Qi 1,2(Xi|ai,2)—плотности вероятности величин хг в соответствую-
щих ситуациях при заданных величинах параметров ai и аг-
Условие принятия первой гипотезы (15.3.4) принимает при этом вид
L	п~ 1
QniCXniaj') {J Q.i (Х/1«Г) П Qi^(xila2)
------------¥-----------(15.4.3)
Qn2 (Хп | «г") П Q”(xi1 “1") П ^гг (хг I «Г)
/=1	г=/ + 1
393
где
и, —и 1 (х,,	х^, х„), а2 а г(х^р .... хл_!),
аГ = а*1(х1’ • •' хг)> аГ = «*2(xl+i ’ •••> х„)
— оценки максимального правдоподобия, первые из которых получены
в предположении наличия на п-м шаге ситуации Лп=1, а вторые —
ситуации Ап—0. При больших п либо при высокой информативности
сигналов хг добавление к предыдущим наблюдениям хп мало изменяет
оценки параметров ai и аг. Кроме того, часто Qi i, 2 мало меняются даже
при значительных изменениях он, 2. Поэтому приближенно правило
(15.4 3) может быть заменено более простым правилом
(хп | af)
(хп | а2 )
(15.4 4)
где оценки а* и а’” находятся из уравнений правдоподобия,
сформулированных условиях, очевидно, принимают вид
которые в
(15 4.5)
V' (daj1' ’ ’ ’ J’ V2~|aap ’ • ”
— градиенты по составляющим векторов а\ и аг-
При наложенных выше условиях плотности вероятности 1,2(хг|01,2)
определяются как
Q,] (х‘1 И1) = (г^ае^ еХр [Хг — А tX1 — А
I «2)^(2n)z/2deti72^ ехр j- -±- [xt -B(a2)]TK-‘[x( -B(a2)]J
(15.4.6)
и алгоритм (15.4.4) сводится к тому, что объект относится к первому
классу, если
х^к-1 [А(«;')-в(«;")]-
-4-A4«;')K-,A(a;') 4-L-BT(a;")K-,B(a;'') >1пй„. (15.4.7)
Подставляя (15.4.6) в (15.4.5), имеем следующие уравнения для
*/ *//
и а2 :
2 (х, — А (а,)) -ф- (хл — А (а,)) К£ 1 V.A (а,) =- 0
2 (х,—В (а,))
ТК6-*угВ(аг) = 0
(15.4 8)
394
Векторные уравнения (15.4.8) выражают системы уравнений, по-
лучающиеся при вычислении производных по всем компонентам векто-
ров он и аг1}.
Для определения правой части неравенства (15.4.7), т. е. порога,
сравнение с которым величины в левой части дает основание для при-
нятия первой либо второй гипотезы, запишем прежде всего вероятности
/?(1|Лп-1) И р(0|Лп_1)=1—р(1 |Лп-1).
Легко видеть, что при наложенных условиях и определении Х, при
помощи (15.4.1)
л-1
п /] | д* \_ i=l . К L
так что'
р (° I An-J .=М_г (П - 1). _ ь	(15.4 9)
р(1|Лл-1)	*
Смысл (15.4.9) вполне ясен. Получившееся отношение вероятностей
определяется отношением числа оставшихся испытаний к оставшемуся
числу ситуаций первого рода. Когда это отношение равно единице, си-
туаций второго рода быть не может и р(0, |Лп-1)/р(1 |An-i)=0.
Находя ад1 (Х„) и пл2(Хп), входящие в (15.3.5), имеем
(Л “На)
Сл1 си=®1 («Г) (“D	’
мл’	(15.4.1С)
аЛ2(Х„)=»1 (а,")®г(«2')
где wi(ai) и сщ^ой) —априорные плотности вероятности для параметров
ai и аг, которые предполагаются статистически независимыми; Dt и
D2 — матрицы:
^1п(2(1(хг|а;') +
1==1
H-lnQn. (Х„| <)
О
О При написании уравнений (15.4.8) применены следующие понятия. Если имеет-
ся вектор-столбец с={сь ..., с?) и составной (блочный) вектор-столбец а={а(, ...
..., аш), где а,={а!Ь ..., ац} (/=1, 2, ..., т), то произведение ста определяется как
вектор-столбец ста—{стаь ..., стат). Градиент вектора А(а) (1X1), где вектор-столбец
а={а ., ат), определяется как составной вектор-столбец ((Z-m)Xl)
I д	д }
уА(а) = {уЛ,(а);... ; уЛ, (а)} = А (а);... , А (а) ]>.
395
о
>
п
л——- У In Q,JxJ а‘")
1=4-1
(13.4.12)
в которых у,, v=l, 2, ..., h; <р, ф=1, 2, ..., (г.
Так как полученное приближенное решение справедливо при «ши-
роких» априорных распределениях он (си) и <О2(«2), практически на всех
шагах, кроме, быть может, самых первых,
ДА2 (Xn)	/det D, \1'2
Дд|(Хл)	l^det D2 J
(15 4.13)
В большинстве задач рассматриваемого типа асимптотически с рос-
том числа уже прошедших наблюдений	(X,)—► 1.
В результате величина порога
ь __ g" [М (»— 1) _ 1 I	И5 4 14У
~ „(12)	(П)	K — L	’Ч'	(104.14)
on °n L	J
Этот же порог получается при применении процедуры оптимизации
§ 6.2.
Адаптивность полученного алгоритма распознавания проявляется,
во-первых, в зависимости функции наблюдаемых величин, сравнивае-
мой с порогом, от оценок параметров обстановки, полученных в резуль-
тате обработки всех данных, имеющихся к /г-му шагу наблюдений. Во-
вторых, эта адаптивность проявляется в зависимости порога от числа
ситуаций первого рода (а следовательно, и второго рода), уже проявив-
шихся на предыдущих шагах наблюдений и ставших известными по ве-
личинам потерь на этих шагах.
15.5. ОПТИМАЛЬНЫЕ МНОГОШАГОВЫЕ ПРОЦЕССЫ ПРОВЕРКИ ГИПОТЕЗ,
ОСНОВАННЫЕ НА ЗНАНИИ ПОТЕРЬ НА ПРЕДЫДУЩИХ ШАГАХ,
ПРИ ПОЛНОЙ АПРИОРНОЙ НЕОПРЕДЕЛЕННОСТИ
Вернемся еще раз к задаче, поставленной в этой главе. Нас инте-
ресует построение оптимальной рекуррентной процедуры (многошаго-
вого процесса) принятия решений, минимизирующей среднее значение
некоторой функции потерь, в предположении, что к каждому шагу это-
го процесса потери, имевшие место при принятии решений на предыду-
щих шагах, стали известными. Мы решили эту задачу для случаев, ког-
да нельзя задаться каким-то фиксированным числом шагов, по прохож-
дении которых весь процесс должен так или иначе закончиться, и,
считая, что нас интересует минимизация среднего значения потерь, свя-
занных с каждым данным шагом. Предполагалось, что существуют так-
же неизвестные на каждом шаге параметры обстановки (распределе-
ний вероятности для наблюдаемых величин).
396
Сейчас приведем решение несколько иной задачи. Она имеет смысл
в условиях, когда конечная цель, которая преследуется при построении
многошагового процесса, должна быть достигнута за фиксированное
число шагов N. Однако эта цель достигается принятием решений на
каждом шаге наблюдений, и по-прежнему потери, получившиеся на
прошлых шагах, известны. Вместе с тем практически часто вид законов
распределения, которые мы использовали в предыдущих параграфах и
главах, а также вид функции потерь бывает неизвестен.
Попытаемся найти структуру оптимального многошагового процес-
са принятия решений для такого случая полной априорной неопределен-
ности. Сделаем это в данной главе, так как при наличии этой неопре-
деленности знание потерь на предыдущих шагах является основой для
нахождения оптимальных решений. Будем решать задачу при дискрет-
ных распределениях для ситуаций, в связи с которыми принимаются
решения и для самих решений, т. е. для случая проверки статистиче-
ских гипотез.
Задача может быть сформулирована следующим образом. Для по-
следовательности шагов п=1, 2, .. ., N, на которых принимаются неко-
торые решения щ, ..., ujv, вообще говоря, на основе наблюдений yi, ...
.. ., уту (у< — вектор-столбец, связанный с i-м шагом процесса), на каж-
дом п-м шаге известны только все предыдущие решения щ, ..., un-i,
полученные при этом потери gi, ..., gn-i и наблюдаемые данные yi, . .
..., уп, которые, в частности, могут и отсутствовать. В последнем слу -
чае последующие решения, принимаются точько на основе анализа пре-
дыдущих решений и связанных с ними потерь.
Предположим некоторую однородность последовательности наблюдае-
мых величин в том смысле, что статистические свойства потерь при фик-
сированных значениях решений tiv и наблюдений y,(v=l, 2, ..., N) оста-
ются неизменными, и ограничимся для простоты случаем, когда прост-
ранство решений дискретно, т. е. ич — скаляр, который может принимать
одно из1 возможных фиксированных значений u = fl. (jv = 1, 2, ..., т). К
этому случаю сводятся, как это уже не раз обсуждалось выше, задачи
проверки статистических гипотез, например задачи обнаружения сигна-
лов, распознавания образов, классификации различных ситуаций.
Будем искать решение задачи минимизации суммы потерь за N
шагов. Заметим, что мы не предположили известными никакие распре-
деления вероятностей и даже вид функции потерь (кроме предположе-
ния о ее аддитивности), в том числе мы считаем неизвестной как за-
висимость потерь от действительных ситуаций X, в связи с которыми
принимаются решения, так и статистические свойства этих ситуаций и
саму их сущность. Поэтому мы ищем оптимальное решение в условиях
полной априорной неопределенности, его можно считать адаптивным
в связи с тем, что последующие решения формируются на основе не
только наблюдений, но и потерь, имевших место в прошлом.
Поскольку при принятии решения ип существенно используется
информация о предыдущих потерях git ..., gn-i, значения которых зави-
сят от принятых ранее решений Ui, ..., «я-1, мы имеем управляемый
предыдущими решениями процесс, для оптимизации которого, как это
следует из гл. 2, необходимо применить методы динамического програм-
мирования [3—5].
397
Основные рекуррентные соотношения для выбора оптимальных ре-
шений ип в соответствии с идеями теории динамического программи-
рования были получены в § 2.7 и имеют вид
XJ = /W{min7?„+1(U„+1,X„+1)]X„,U„};	(15.5 1)
fl„(U„_pXJ==minJ4{fl„+l(U„, Х„+1)|Х„, U„}	(15 5.2)
(«„)
при начальных условиях
(Цу. =^{g (IV Л„, ХЛ,) I Xv, U„},	(15.5.3)
ЯИЧу-р X„) = min/?W(U„, XJ.	(15.5.4)
(“лО
Для применения этих уравнений к рассматриваемой задаче следует
ввести вектор xv = {yv, представляющий собой совокупность вновь
полученных на v-м шаге данных, состоящую из значения потерь на пре-
дыдущем шаге и новых данных наблюдения yv. Обозначая ХЛ =
= {х„ .... Хд,}, Ад, — {К,,.... 2^}, 1)Л,= {й1, .... йд,}—векторы получаемых
данных, ситуаций, в связи с которыми принимаются решения, и реше-
ний соответственно и вводя функцию потерь g(Ujy, Aw, Xw) (нужную
только для проведения промежуточных рассуждений), отметим следую-
щее.
Незнание необходимых законов распределения вероятностей не по-
зволяет вычислить математическое ожидание в (15.5.1) или (15.5.2),
а также в начальных условиях (15.5.3), (15.5.4). Однако если выпол-
няется сделанное выше предположение об однородности последователь-
ности наблюдаемых данных и число шагов N достаточно велико, то ма-
тематическое ожидание можно заменить эмпирическим средним, кото-
рое сходится по вероятности к математическому ожиданию. В силу это-
го будем понимать в написанных выражениях под Л4{... | Xn, Un} опера-
цию эмпирического осреднения при фиксированных значениях Хп, Un-
Рассмотрим крайний случай, когда какие-либо данные наблюдения
Yw отсутствуют и все решения должны формироваться только на осно-
ве зафиксированных на предыдущих шагах потерь В данном случае
Xn=Gn_i и 7?w(Uw, Хдг) из (15.5.3) определяется как
Ш X„) = 7?W(U„, G„_t) - 3* gv 4-^ (A).	(15 5 5)
у -»1
где — номер решения, принятого на v-м шаге; т, (и) — эмпирическая
оценка математического ожидания потерь на n-м шаге в случае приня-
тия на этом шаге г-го решения, т е
п—1
^(«)=КЛ?Ь1)2^Аы = уИ^1“«==“- Ч,.,, О„_,}.	(15.5.6)
398
Здесь 8(/— символ Кронекера,
S., = ! 1 при i = i,
[ 0 при
Kt(n—1)—число раз, когда за п—1 предыдущих шагов было принято
i-е решение, т. е.
а557)
Поэтому
(15 5 8)
V«s=l
Оценка т,(п) математического ожидания потерь на n-м шаге зави-
сит от всех предыдущих решений и потерь и удовлетворяет следующему
рекуррентному соотношению для всех i=l, 2, ..., m:
т,(п) = т((п- 1)Ц-_[gn-, - т, (zt - 1)]	(15 5 9)
с некоторым начальным условием тг(О)=Гго.
Из (15.5.4) и (15.5.5) следует, что оптимальное решение на N-м ша-
ге выбирается равным тому для которого \n(N) минимальна. Пусть
этот минимум достигается при iN = j, тогда
If-i
S. + ^<N) =
v=l
N—2	g
= J] t.+ ', I" - 0+?»-. +	(W - 1)1. (15 з IQ
»=1
где первые два слагаемых не зависят от uN-t и gN-i. Поэтому входящее
в правую часть (15.5.2) выражение для n=N— 1 имеет вид
М {Rn (Un_v Xn) I (X„_,, U„_,} = £ g, + Ъ (N - 1) + M {g„_, +
V==l
e ,	N-2
+ kT(S)	~zi(N— 1)] I G^, U„_2} = £ g, + (^ - 1) +
’	(15 5 11)
где t i(N — 1) — эмпирическая оценка математического ожидания по-
терь на (N—1)-м шаге, определяемая выражениями (15.5.6), (15.5.9),
при условии выбора на этом шаге решения с номером ijv—i Второе сла-
гаемое в выражении математического ожидания, входящего в (15.5.11),
обращается в нуль, поскольку при	величина SiW 1=0, а при
математическое ожидание Al{gw-i}=T3 (N—1).
399
Так как в (15.5.11) от решения и^_х зависит только последнее сла-
гаемое т ] (N — 1), то оптимальное решение uN_x, определяемое соглас-
но (15.5.2), выбирается равным тому йг^ для которого^ величина
n!v f (N — 1) минимальна. Продолжая эту процедуру в соответствии с
(15 5.2) для n=N—с2, N—3, ....получаем следующее правило выбора оп-
тимального решения на любом п-м шаге: оптимальное решение ип = и>п
выбирается из условия
л-1
г (п, = тшг (n)=min	(V п-1,2,...,	(15 5 12)
причем сами величины (п) определяются при помощи рекуррентных
соотношений (15.5.9).
Если на каком-то шаге величины Тг(«) одинаковы для нескольких
значений I, то может быть выбрано любое из этих значений, причем
для улучшения состоятельности эмпирических оценок целесообразно
выбрадь то из них, которое меньшее число раз встречалось в прошлом.
Начальные условия в (15.5.9) определяются имеющимися априор-
ными представлениями о возможных потерях, соответствующих различ-
ным решениям. Если эти представления отсутствуют, то целесообразно
выбирать Тго—0 (t=l, 2, ..., т), что заставляет в процессе работы алго-
ритма (15.5.12) перебрать все возможные решения и гарантирует от
пропуска лучшего из них.
Таким образом, мы рассмотрели случай полной априорной неопре-
деленности и отсутствия каких бы то ни было наблюдений (за исклю-
чением фиксации потерь на предыдущих шагах). Оказалось, что именно
в этом случае уравнения динамического программирования максималь-
но упростились и приняли вид, вполне пригодный для получения прак-
тических результатов.
Рассмотрим теперь случай весьма большого числа шагов N и нали-
чия наблюдаемых на каждом v-м шаге величин t/v, которые могут прини-
мать лишь дискретные значения у=у( (tv= 1, 2.....г). Это случай кван-
тованных наблюдений. Например при квантовании на два уровня можно
считать, что г = 2, ух — 0, у. =1.
Нетрудно видеть, что при больших п можно повторить все преды-
дущие рассуждения, имевшие место при отсутствии наблюдаемых ве-
личин yv, если ввести эмпирическую оценку математического ожидания
потерь на п-м шаге в случае принятия па этом шаге i-ro решения и на-
блюдения величины й, , т. е.
1п 1
Л-1
(«) = Л (yin<	о5-5-13)
м=1
где
1 при ,
(15.514)
(О при у^у;,
400
Ki(n—1) —число раз, когда за (n—1) предыдущих шагов было приня-
то i-e решение и при этом наблюдался сигнал у •
(15-5л5)
V=al
Оценка тг(п) математического ожидания потерь на n-м шаге для всех
i=l, 2, ..., пг удовлетворяет рекуррентному соотношению
5 (У; , Уп-i)
=	— 1)4-----5i(«—1)] (I-5 5-16)
Если воспользоваться этими оценками, подставляя их в (15.5.3),
(15.5.4) и т. д., то получим правило выбора оптимального решения на
любом n-м шаге в виде, абсолютно аналогичном (15.5.12), т. е. на п-м
шаге выбирается ип=й j , если соблюдается условие
п—1
т. (rt)=mini:. (n) = min р—rr-Vs'S- -Ъ(у,у.), (15.5.
V=1
где Ki(n—1) определяется в соответствии с (15.5.15).
Глава 16
УПРАВЛЯЕМЫЕ МНОГОШАГОВЫЕ ПРОЦЕССЫ ПРИНЯТИЯ РЕШЕНИЙ
С АДАПТАЦИЕЙ
16.1.	ВВОДНЫЕ ЗАМЕЧАНИЯ
В гл. 2 была рассмотрена задача оптимизации многошагового
управляемого процесса принятия решений, в котором принимаемое на
n-м шаге решение и„ влияет на последующий процесс получения теку-
щей информации (данных наблюдения) и значения параметров Xn+i,
Хп+2, • • •, определяющих последствия от принятия решений на следую-
щих шагах. Общее решение этой задачи в байесовом случае задается
системой рекуррентных сотношений для апостериорных рисков, в кото-
рой последовательно чередуются операции минимизации и усреднения
по всем данным, не полученным к моменту принятия очередного ре-
шения.
Изложенный в § 2.7 математический аппарат в сочетании с разви-
ваемыми в настоящей книге методами преодоления априорной неопре-
деленности обладает весьма большой универсальностью и дает воз-
можность решить задачи оптимизации для многих достаточно широких
по своей постановке классов систем и процессов. Приведем некоторые
примеры этих классов.
а.	Управление объектом. Общая схема системы управления показа-
на на рис. 16.1. Она содержит объект управления, текущее состояние
которого зависит от последовательности предыдущих состояний An-i
26—899	401
и управляющих воздействий Un-i, датчики информации, с помощью ко-
торых на каждом n-м шаге получается совокупность некоторых данных
наблюдения хп, статистически связанных с состояниями объекта управ-
ления Лп, и устройство формирования управляющих воздействий Сп=
={ui, ..un}. Решение заключается в выборе последовательности
управляющих воздействий и„ с целью обеспечения минимума матема-
тического ожидания некоторой функции потерь, зависящей от этой по-
следовательности и последовательности состояний объекта управления
Кп, и реализуется устройством формирования управляющих воздейст-
вий с помощью данных наблюдения Xn={xf, . . х,} Связь текущего
Рис. 16.2. Стр\ктуриая
схема системы управле-
ния процессом наблюде-
ния:
1 — источники получения
данных наблюдения; 2 —
устройство формирования
основного решения. 3 —
устройство формирования
управляющих воздействий
Рис. 16.1. Структурная
схема системы управле-
ния объектом:
/— объект управления; За-
датчики информации об
объекте управления; 3 —
устройство формирования
управляющих воздействий.
состояния объекта управления с предыдущими состояниями An-i—
={Xi, ..Xn-i} и управляющими воздействиями Un_i—{ui, ..., Un-i}
в общем случае статистическая, в частном случае детерминированного
объекта управления состояние связано с Ли_1 и Un_t простой функ-
циональной зависимостью.
Априорная неопределенность для этого класса задач возникает по
двум причинам: из-за неполного знания структуры и характеристик
объекта управления и из-за неполного описания статистической зависи-
мости данных наблюдения хп от состояний объекта управления Лп-
Первая из них приводит к незнанию априорных распределений вероят-
ности для состояний объекта pn(kn|An-i, Un-i), а вторая — функций
правдоподобия pn(xn|Xn_i, Лп) (последние для данного класса систем
не зависят от Un_i).
б.	Управление процессом наблюдения при принятии решений. Об-
ширный класс задач соответствует информационным системам, назначе-
ние которых состоит в принятии на основе некоторой совокупности дан-
ных наблюдения х решения типа оценки некоторой совокупности пара-
метров, проверки гипотез и т. п. При этом имеется в виду, что наблю-
даемые данные х получаются при ЛГ-шаговом процессе наблюдения, т. е.
x=XN—{xi, ..xn} (А может быть, в частности, и бесконечным) и мы
можем управлять источниками получения этих данных, формируя соот-
ветствующие управляющие воздействия. Управление выражается в под-
ключении новых источников данных наблюдения, смене режимов рабо-
ты этих источников, выборе продолжительности или периодичности на-
блюдения и т. д. Общая схема управления процессом наблюдения
показана на рис. 16.2. Полная совокупность принимаемых решений
включает в себя основное решение и решения по выбору управляющих
воздействий, причем последние могут зависеть от данных наблюдения
402
как непосредственно, так и через основные решения (если эти основные
решения также принимаются по шагам). Соответствующая связь пока-
зана на рис. 16.2 пунктиром.
Априорная неопределенность для этого класса задач связана с не-
знанием функций правдоподобия pn(Xn|Xn_i, An Un-i), описывающих
статистическое поведение источника получения данных наблюдения, и
с незнанием априорных распределений вероятности pn(tai|An-i) (кото-
рые для данного класса систем не зависят от Un-i)-
в.	Управление объектом и источниками получения информации о его
состояниях. Объединением двух рассмотренных случаев получается бо-
лее общий класс управляемых многошаговых процессов, соответствую-
щий системам, в которых мы имеем возможность управлять состояния-
ми некоторого объекта и датчиками информации об этих состояниях.
Общая схема такой системы получается из схемы рис. 16.1, если зам-
кнуть обратную связь с устройства формирования управляющих воздей-
ствий на датчики информации, а ее статистическое описание соответст-
вует общему случаю § 2.7. Именно такая схема наиболее адекватна
практическим потребностям и соответствует широчайшему спектру за-
дач— от задачи управления движением космического аппарата и сред-
ствами наблюдения за его движением до задачи управления произ-
водством (предприятия, отрасли и т. д.) и средствами получения инфор-
мации о ходе производственного процесса.
Оптимизация управляемого многошагового процесса принятия ре-
шения представляет собой, пожалуй, наиболее трудную задачу теории
статистических решений даже в чисто байесовом варианте. Эта труд-
ность обусловлена тем, что в общем случае описанная в § 2.7 процеду-
ра не разбивается на совокупность задач по независимому выбору ре-
шений на отдельных шагах. Требуется решать всю задачу целиком, на-
чиная с конца, и выбрать сначала tiy, полагая, что u,y_i, иу_г, ...
заданы, затем uy_i, полагая, что заданы uy_2, uy_3, ..., и т. д. При
этом выбор любого решения un должен производиться с учетом послед-
ствий, которые связаны с этим решением не только непосредственно,
но и тех, которые проявятся в будущем из-за влияния un на последую-
щий процесс наблюдения и изменения параметров Хп+ь Хп+2, ..опре-
деляющих будущие потери. Только при определенных условиях, кото-
рые связаны либо с фактическим отсутствием влияния выбираемого на
/z-м шаге решения un на будущие потери, либо со специальным выбо-
ром критерия качества, при котором это влияние игнорируется (напри-
мер, при использовании принципа локальной оптимальности), много-
шаговый процесс принятия решений разбивается на независимую со-
вокупность задач оптимального выбора решений на отдельных шагах.
Примеры подобных задач мы рассматривали в предыдущих главах.
Несмотря на отмеченные трудности, в настоящее время известно
достаточно много результатов в области оптимизации управляемых
многошаговых процессов принятия решения. Большинство из них от-
носится, правда, к случаю, когда процесс изменения параметров Хп,
определяющих последствия от принятия решений, детерминирован,
а наблюдаемыми данными являются непосредственно значения этих па-
раметров, однако имеется также решение значительного количества и
невырожденных статистических задач. Важные результаты и практиче-
ски интересные примеры содержатся в работах Веллмана, Фельдбаума,
Стратоновича, Ширяева, Хазен и др. [3, 5, 30, 37, 38, 41]. Полученные
при этом конкретные правила решений (алгоритмы обработки инфор-
2«*	403
мации и управления), как и в других случаях, являются основой для
соответствующих адаптивных правил решения в условиях априорной
неопределенности.
В случае параметрической априорной неопределенности, в соответ-
ствии с общими положениями гл. 6, адаптивное байесово правило реше-
ния для многошаговой задачи получается заменой неизвестных значе-
ний параметров, входящих в обычное байесово правило решения, их
оценками. При этом, разумеется, эти оценки должны быть согласованы
со структурой многошагового процесса принятия решений в том смысле,
что они должны производиться только с использованием тех данных
наблюдения, которые имеются к очередному шагу. Рассмотрим, что ме-
няется в основных рекуррентных соотношениях § 2.7 при наличии апри-
орной неопределенности и как следует дополнить эти соотношения, что-
бы получить процедуру построения необходимых оценок неизвестных
параметров.
Пусть введенные в § 2.7 для описания многошагового процесса
условные плотности вероятности значений х„ и зависят от совокуп-
ности неизвестных параметров аир соответственно, так что
^„(х„|Л„, X„_,, U„_1) = p„(x„]A„, X„_„ U„_„ а) (16.1.1)
^(^|A„.1,Un.1) = jP„(ln|A„_1, IV,, Р).	(16.1.2)
Тогда на основании общих принципов адаптивного байесова под-
хода, изложенных в гл. 6, будем иметь вместо рекуррентных соотноше-
ний § 2.7 следующую систему рекуррентных соотношений для апосте-
риорных рисков, из которой определяется последовательность опти-
мальных решений ui.....иЛг для многошаговой процедуры:
(Цу* XN) — J g (Uw, Ад,, XN> p (Ад, | X„, Пд,_1, у*Л) dA.N,
tf„(U„, X„)= f min/?„+1(U„+1,Xn+])pn+1(xn+1|X„, U„, Y*Jdx„+1. (16L3)
•- (Un+l)
или
(4v-p Xjv) = min Rn (Uv, Хд,) =
(uw)
— min [ £(IV Aw, XN)p(A.N\XN, Vn_v	(16 1.4)
(“w) J
^„.„XJ^min J7?„+1(U„, X„+1)pn+i (x„+l | X„, U„, Y*Jdxrt+/
(Un)
где Y={a, p)—полная совокупность неизвестных параметров, а у*п —
их оценка максимального правдоподобия на п-м шаге, которая опреде-
ляется из уравнения
p(xnlun-i. V%) = maxP(X„|U„_,, у) = шах ГТрДх JXv_p U y);
(V)	(V) ,
(16 1.5)
Л(х,1Х,-Р Ч-р Y) =
404
J П Л	I Л” Х»-1 ’ Uv-1’ а) Л	I Av-1’ Uv-I> ₽) rfA«
=-^-----------------------------------------------.. (16.1.6)
j П л(х*1 л'’х»-»’ u’-i’а) 1 А’-1» u’-i> ₽> dAn~i
V
В регулярном случае оценка максимального правдоподобия у" „ может
быть найдена с помощью общих рекуррентных соотношений гл. 7 (вы-
ражения (7.5.24), (7.5.27), (7.5.30), (7.5.31) с точностью до замены
0 на у), в которых
/„ = /„(v) = ln/7„(x„|X„_1, UB.„Y),	(16.1.7)
и в отличие от неуправляемых процессов зависит также от последова-
тельности решений IJ„_i={ui, ..., un_i}, принятых на предыдущих ша-
гах. Формальная же структура алгоритмов формирования оценок не-
известных параметров у—{а, 0} остается неизменной, точно так же, как
и формальная структура основных рекуррентных соотношений для апо-
стериорных рисков, определяющих правило выбора оптимальных ре-
шений.
16.2.	ДВУХЭТАПНАЯ ПРОЦЕДУРА ОБНАРУЖЕНИЯ
Рассмотрим некоторые примеры оптимизации многошаговых управ-
ляемых процессов принятия решения с адаптацией. В качестве первого
решим задачу оптимизации двухэтапной процедуры обнаружения, кото-
рая довольно широко распространена в радиолокации и других прак-
тических приложениях. Эта процедура включает в себя управление
процессом наблюдения и используется для проверки двухальтернатив-
ной гипотезы, когда параметр X принимает два значения — единица
(в радиолокации это соответствует наличию цели) и нуль (отсутствие
цели). Окончательное решение принимается за два шага. На первом
шаге наблюдается совокупность данных xt (в радиолокации отрезок
реализации принимаемого сигнала, соответствующий определенной
мощности, длительности и виду модуляции зондирующего сигнала) и
принимается одно из трех возможных решений:
—	значение параметра Х=1 (цель есть) —«1=1;
—	значение параметра 7=0 (цели нет) —	0;
— продолжить наблюдение, так чтобы получить на втором шаге
совокупность данных х2 (в радиолокации этому решению может соот-
ветствовать выбор таких параметров зондирующего сигнала на втором
шаге, как длительность, мощность, вид модуляции и т. п., совокупность
которых мы обозначим через е) —«1=«(е).
Параметры в так или иначе характеризуют качество совокупности
данных Ха, получаемых в процессе наблюдения на втором шаге, и явля-
ются объектом выбора по результатам наблюдения на первом шаге.
На втором шаге, который реализуется, если принимается решение
щ—и(е), наблюдается совокупность данных х2 и принимается одно из
двух возможных окончательных решений:
—	значение параметра Z=1—«2=1;
—	значение параметра 7=0—«2=0.
405
Как видно из описания задачи, множество решений U в ней в об-
щем случае имеет довольно сложную дискретно-непрерывную струк-
туру, разную на разных шагах и содержащую среди возможных на пер-
вом шаге сложное решение U!=u(e), соответствующее, во-первых, при-
нятию решения о продолжении наблюдения и, во-вторых, выбору тех
или иных значений параметров е из, вообще говоря, непрерывной обла-
сти значений, определяющих качество получаемой на следующем шаге
информации и риск окончательного решения. Таким образом, несмотря
на то, что фактическое число шагов в данной многошаговой задаче рав-
но всего двум, она содержит все особенности и трудности, характерные
для многошаговых управляемых процессов принятия решения и явля-
ется достаточно поучительной с точки зрения методологии решения
подобных задач. Кроме того, она имеет п немалое самостоятельное зна-
чение для практических применений.
Введем следующую функцию потерь
	~ 0	2-=	1,м1=1; 2- 0, я, —0,	
		1 =	1, U; =0,	
	ёР	2 =	0, w, — 1,	
£•(«,. иг 2) =	ё&)	2 =	1, а, = и (в), иг — 1; 2 — 0,	(16 2 1
я, = и (в), иг — О,
Я(е)-гЯ? l=l,u,=u(e), u2 — О,
+	2 = 0, u, = и (в), u2 = 1,
где g3— потери от пропуска цели; gF —потери от ложного обнаружения
(ложной тревоги), g(s) —затраты на продолжение наблюдения на вто-
ром шаге с выбором данного значения совокупности параметров в,
а правильные решения на первом шаге имеют нулевые потери.
Рассмотрим сначала неадаптивный вариант задачи, предпотагая,
что распределения вероятности для данных наблюдения Xi и х2
А (х1|Я = 1) = А (х,| 1). A (xt | 2 — 0) = Р1 (х, 10),
А(Х,|хр в, 2 = 1)=А(хг|х,. е, 1),
А(х2|х,, в, 2 — 0) =р2(х21 х,, в, 0)	(16 2 2)
и априорные вероятности
р(2=1)=Р1; р(2=0) = Л = 1-Р1	(16.2.3)
полностью известны. Распределения вероятности для данных наблюде-
ния х2, получаемых на втором шаге, естественно, зависят от выбора
значения в, принятого на первом шаге
Конечный апостериорный риск R2(ui, и2, х,, х2) (в данном случае
Лг=2) определяется следующими выражениями
/?2 (и, = и (в), иг =- 1, Х„ Х2) -= g (в) — gF -- ^Д-jdbA ...	.
Р\Р Vaj, а2 । t, ) -j-	(х, x21 е, uj
D	„	.. О X v 'i - л __ л I°1P U1’ Х2 I 6, 1)
? Pip (X,, х, 1 е, 1) -+- РвР Х2 / 8, 0;
(16 2.4)
406
где .
Р(хР х2|е, l) = p2(x2|x]t s, l)A(xJ 1);
Р(х„ х2|е, 0) = а(х2|х], е, O)a(xJO)
(16.2.5)
— совместные плотности вероятности Xi и Хг, при Х=1 и 7=0 (нали-
чии и отсутствии цели) соответственно и при заданном значении е.
Апостериорный риск при Wi=l и «1=0 не существует, так как при
этом отсутствуют наблюдения х2. Поэтому выбор решения и2 произво-
дится сравнением двух выражений в (16.2.4), в результате чего прави-
ло принятия решения и2 имеет вид: при любых xi, х2 и в принимается
решение и2=1, если
^A^(Xp х2|е, l)>gpp,p{x.1, xJe, 0),	(16.2.6)
и решение и2=0 при выполнении противоположного неравенства. Это
правило решения можно записать в обычной форме неравенства для
отношения правдоподобия
а=л(«„	пв.2.7>
а именно:
1 при
(16.2 8)
0 при Л <
g?P>
Для дальнейшего	удобно представить отношение правдоподобия Л
(16.2.7) в виде	Л = Л2ЛР	(16.2.9)
где	Л, = Л,(Х,)=^<’Д>	(16.2.10)
— отношение правдоподобия для данных наблюдения на первом ша-
ге, а
л2=л2(х2, х„	<1б-2-н)
Н2 \*2 |*1> и)
— отношение условных плотностей вероятности данных наблюдения на
втором шаге. Соответственно правило принятия решения и2 на втором
шаге можно записать в виде
при
при
1 2
. ёгРо
Л2<------Г-
ggPiA,
(16.2.12)
что соответствует сравнению условного отношения правдоподобия 1\г.
порогом, зависящим от Xj (обратно пропорциональным отношению
правдоподобия Ai для первого шага).
407
После подстановки оптимального решения «2 (16.2.8) в апостериор-
ный риск/?2(щ, «2, Хь х2) получаем выражение для минимизированного
апостериорного риска	хь х2):
х2) = £•(£) +
minfgpPi/’U,, х2(е, 1),^р0/>(х,, х2|в, 0)}
* РлР(х,, х2| г, 1) + р„р(х„ х2/в, 0)	(
Для получения апостериорного риска i/?1(uI, Х]), определяющего опти-
мальный выбор решения щ, согласно общим рекуррентным соотношени-
ям § 2.7, следует вычислить условное математическое ожидание Д2(щ,
Xi, х2) при фиксированном значении Xi, т. е. усреднить (16.2.13) по
х2 при заданном значении Хь Соответствующая условная плотность ве-
роятности p2(x2|xi, в) определяется очевидным соотношением
А(х2|х„ е) =
__ р,р(х,. Х2|е, 1) + ,рор(х,, х2|е, 0)	<g %
APi(Xi I 1) + AAlxJO)	'	7
и зависит от решения щ только посредством в.
Выполняя усреднение /?2(uI—и (в), хь х2) по распределению вероят-
ности с плотностью (16.2.14) и записывая апостериорный риск при
«1=1 и «1=0, получаем следующие выражения для апостериорного
риска («j, Xj) :
п Л. ____ 1 v \ _ _. ____АР1(Х1 I 0)____.
’	1	ЩД1(х,| O + A/MxjO) ’
о /,, _ л v \	„ Р1А(х, I 1)
1	’	1 PxP^i I 1) + AAlXj |0) ’
z?1(u1=u(e), xj=
] minfggPjXx,, х2|8, 1), gFpop(x,, х2|е, 0)}в'х2
=	+	/ Т,\ Г----7—йй--------------•	(16.2.15)
1	PiPA*, 11) + pop,(xt I 0)	'
Решение ut выбирается в зивисимости от того, какая из величин Rt(u,=
= 1 xj, Rt(u.,—0, X,) или min/?, («, = u(e), xt) оказывается наименьшей,
(₽)
причем когда последняя из них минимальна и принимается решение
продолжить наблюдение, в качестве в выбирается то значение, для ко-
торого достигается минимум ₽i («!=«(е), Xj).
Детализируем это правило решения. Для этого нужно более под-
робно рассмотреть последнее из выражений (16.2.15), в частности, вхо-
дящий в него интеграл, который может быть записан в виде
Jmin^?/?ljp(x1, х2|е, 1),	хДе, 0)} dx2 =
= J х2|в, l)dx2-f-
gpPo
Д<-----------
+ gFP„ { Р(Хр х2|£> °)dx2,
gpPo
Д> ----------
(16.2.16)
где области интегрирования
Л<
gfPo
или Л >•
gFPo
соответствуют тому, какое из выражений в фигурных скобках мини-
мально. Используя отношение правдоподобия Л (16.2.9) и вводя для
краткости обозначение
х = х(х.) = —— Л. (х.),
v 17 gFP, 1 17
(16 2.17)
приведем выражение (16.2.16) к следующему виду:
[min {^.^(х,, х21 в, 1), gFp„p(*i> х2|е, 0)J dx2 —
-=^i j /’(х,, х2|е, l)dx2 + gF/?e j /?(х1( х,|е, 0)dx2 =
Да<1/х	Д2>1/х
= g?PiPA^1\i) J ^(xjx,, 8, l)dx2 +
Д2<1/х
+ gFP*pi (х, 10) J A(x2|x„ 8, 0)dx2 =
A,>l/x
= grf/7.P1(x1|0)[x f /7s(x2|x„ 8, l)dx2 +
Да<1/х
+ ( p2(x2|x„ e, 0)dx2l = ёрР„РА*1 |0)G(x, e, х,).
(16 2.18)
Если интересоваться случаем независимых наблюдений х1 и хг, то
G(x, 8, xi)=G(x, е) и с учетом этого представления, а также обозна-
чения (16.2.17) апостериорный риск R\(U\, хр) можно записать в виде
x,) = X(«„x) = ij7^T1X
( 1 при ut = 1,
J x при «, = 0,
!	g(e) + G(x, е) при U1 = u(e)
(16 2.19)
откуда следует, что правило принятия решения ui зависит только от
достаточной статистики x=x(xi), которая с точностью до множителя
^Pi/g'ppo совпадает с отношением правдоподобия Ai(X]) для совокуп-
ности данных наблюдения Xi.
Структура правила решения зависит от наличия и положения точек
пересечения кривой
G2 (х) = min
Xs)
(^ + ^W) + G(*. *)
(16 2 2С)
с прямыми Gi(x) = l и Go (%)=%, которыми определяются относительные
значения апостериорных рисков для различных решений. Поскольку
функция G(z, е) из (16.2.18) при любом 8 изменяется от нуля до едини-
цы, когда х меняется от нуля до бесконечности, и является монотонно
не убывающей функцией %, то функция Gz(x) из (16.2.20) также явля-
409
ется монотонно не убывающей и уравнение G2(x)=l либо вообще не
имеет корней либо имеет единственный корень %". Если при всех х
функция бг(х)>1 или х"<1, то решение о продолжении наблюденйя
никогда не принимается и двухэтапная процедура вырождается в одно-
этапную. Правило принятия решения щ в этом случае имеет вид
1 при А,
SpPo
g?pl
О при А]<
gfPo
g-iPt
(16.2.21)
и соответствует высокой стоимости продолжения наблюдения.
Если уравнение G2(z) = l имеет корень х">1, то можно принять
любое из трех решений в соответствии с правилом:
м> = И(8О)
1
gpP<>
gpPo	gFP«
при -----х' <Г Д. <------х",
1 Й? Pi 1 ggPi ’
gpPi ,,
при A,>—
(16 2 22)
где //(-/.'< I) —корень уравнения G2(z) — х
Таким образом, в целом правило принятия решений и,, и2 при двух
этапной процедуре определяется двумя порогами С ~(gFpJg9p^' и
С” — {gFp„!g^p^-л” для отношения правдоподобия A,(xt) на первом ша-
ге, величиной е„, обеспечивающей минимум в (16.2 20) и зависящей от
А,(х,), и одним порогом C — gppJg3p^ для отношения правдоподобия
А(х,, х2) = А1(х])А2(х2, х,, е0) полной совокупности данных наблюде-
ния {х,, х2}.
Пусть теперь все или часть из распределений вероятности данных
наблюдения (16.2.2) зависят от некоторых неизвестных параметров а,
характеризующих априорную неопределенность задачи. Поэтому отно-
шения правдоподобия Ai(xi)— Ai(xi, a), Aa(xi, х2, e)=A2(xi, х2, в, а),
А(Х], х2, е)=А(хь х2, в, а)=А1А2 и функция G(x, e)=G(x, в, а)
(16.2.18) (посредством x=x(xi, а) и непосредственно благодаря зави-
симости р2(х2|х1, е, 1) и р2(х2|хь в, 0) от а) также зависят от пара-
метров а. Формируя оценки максимального правдоподобия для этих
параметров a*i—a*i(xi) по совокупности данных наблюдения xi, полу-
ченных на первом шаге, и а*2=а*г(Х1, х2) по совокупности данных Xi
и х2 на обоих шагах, получаем на основании общих результатов § 16.1
следующее адаптивное байесово правило принятия решений:
„	... PfP*
о при A,(x,, a ,)<-^-к',
и1=’и(е,) прп^у-*'<Ai(x,, a*,)<^^-z”,	(16.2 23)
ёрРч
1 при АДХ], a*)) >	,
410
(
1°
1
при Л(х,, х2, а*г)
SpPo
g$Pi
gpPe
при Л(х,, x2, «*2)>— ,
ё$р 1
(16.2.24)
где пороговые значения у/ и к" и оптимальное значение управляемого
параметра ео определяются при подстановке в функцию G(y, е, а) зна-
чения a=a*i и также, вообще говоря, зависят от оценки <x*i. В (16.2.23)
предполагается, что х'<4, х">1. Если это не так,, что правило приня-
тия решения Ui соответственно видоизменяется и переходит в (16.2.21)
с заменой всюду неизвестного значения а на оценку максимального
правдоподобия a*i.
16.3.	АДАПТИВНАЯ ЗАДАЧА ОБСЛУЖИВАНИЯ
В качестве еще одного примера управляемого многошагового про-
цесса принятия решений рассмотрим следующую задачу обслуживания,
которая может иметь различные практические приложения. Пусть име-
ется т объектов, каждый из которых может находиться в одном из
двух состояний.
Будем характеризовать эти состояния признаками нуль и единица.
Тогда на любом v-м шаге состояние i-ro объекта будем обозначать
Я(о, (i=l, .... т), где Я(0 = 1 или Я(уг) = 0. Состояние Я(О = 0 будем
считать желательным, а состояние Я^’ = 1 — нежелательным; кроме того,
будем предполагать, что первоначально (при v = 0) все объекты нахо-
дятся в нежелательном состоянии, т. е. Я0’ — 1 (i=l, . , т).
На каждом шаге для каждого г-го объекта выделяется некоторое
количество средств обслуживания и^\ Если i-й объект на v-м шаге на-
ходился в желательном состоянии (ЯО)='О), то независимо от выделен-
ных для него средств он и останется в этом состоянии. Если же
Я(о=1 (т. е. объект был в нежелательном состоянии), то в результате
использования средств обслуживания он может перейти в желатель-
ное состояние Я(^= 0. Этот переход’осуществляется с некоторой веро-
ятностью 1—Е(и<0), зависящей от количества выделенных средств!?0.
Таким образом, условные вероятности состояний объекта Я*0 на
(v-j~ 1)-м шаге могут быть записаны в следующей форме:
(16.3.1)
411
Выбор значений (i— 1, .... т\ v —0, 1, . .,, N) для N-шагово-
го процесса обслуживания и представляет собой задачу статистическо-
го решения. Будем считать, что целью процесса обслуживания является
минимизация количества объектов, оставшихся в нежелательном со-
стоянии после N шагов, и что потери также зависят от суммарного
расхода средств обслуживания. Этим предположениям соответствует
следующая функция потерь:
т Г	;V '
2=2
L »=о
(16.3.2)
Будем считать также, что состояния объектов наблюдаются без оши-
бок, т. е. имеется совокупность данных наблюдения
х = {х,......Хд,};	xs = {х'п.....х™},	(16.3.3)
где для любых v и i
х'г’ = Я^.	(16.3.4)
Тогда совокупность данных наблюдения {х^} описывается теми же рас-
пределениями вероятности (16.3.1), что и величины Я(м1), а необходимые
для использования рекуррентных соотношений (16.1 3) распределения ве-
роятности 11 (xv [ 11X,., U,) получаются из f!6.3.1) простой заменой Я^° на
x(vJ) и фактически зависят только от xv и uv.
Конечный апостериорный риск	Xv) для функции ^потерь
(16.3.2)	равен
т ~	N ‘
№.. хя)=з р («>"’+s
(16.3.5)
и зависит фактически только от результатов последнего наолюдения —
совокупности величин xv={x(^..х^’},	характеризующих состояния
объектов на /V-м шаге.
Для дальнейшей кочкрегизации задачи нужно определить зависимость
вероятности Р(ч^) от и^, пэичем мд будем считать, что из-за имеющей-
ся априорной неопределенности эта зазисчмэсгь известна не точно, а ’лишь па-
раметрически, что и вынуждает использовать адаптивный байесов подход.
Предположим, что зависимость вероятности Р( (,)) от и[1) может быть
аппроксимирована экспоненциальной функцией вида
Р^^ехр^уц'0)	1(16.3.6)
с некоторым неизвестным коэффициентом у в показателе экспоненты,
и рассмотрим сначала неадаптивный вариант задачи, предполагая, что
(у имеет заданное значение.
Подставляя (16.3.6) в (16.3.5) и производя минимизацию по и„ —
=	.....получаем оптимальные значения u(v():
О при х^’ = 0,
1п у/у при х^’= 1,
(16.3.7)
412
что можно записать в виде единого выражения
4)==(1пт/т)4’-
(16.3.8)
При этом мы предполагаем, что/у>1. В противном случае оптимальное
правило решения заключается в выборе всех значений нулевыми,
т. е. в отказе от обслуживания из-за высокой относительной стоимости
обслуживания.
С учетом (16.3.8) минимальный апостериорный риск 5n(Un-i, ХЛ.)
получается равным
4 (4v—1 ’ 4) —
т г-	Л’—1
i=l L	,=0
(16.3.9)
Усредняя его по 4 при фиксированных значениях Хд^ и 4_,, получа-
ем апостериорный риск на (АГ—1)-м шаге
т г
*«_,)=
Я L
Повторяя процедуру минимизации по uyv_1={u^2_i • • •  > иТ-\}'
оптимальные значения и^,:
(16.3.10)
получаем
(16.3.11)
«л'11=Iln(i+1п т)/т! 42,
и минимальное значение апостериорного риска
4—1 (4—2’
1 + In (1 + In у) (»)
т
(16.3.12)
N-2
1=0
Продолжая эту последовательность усреднений и минимизаций, получа-
ем для любого n=N, N—1, ..., 1, 0 следующие оптимальные значения:
<°=(Л,(т)/т)4'. "=.........к-
4‘'=f.(x)lx	<1в.з.1з>
и минимальное значение риска
____	K. = ^(1 + My))/Y’	(16.3.14)
где величины /и(у) определяются рекуррентным соотношением
fn(l)= Ь(1 + fn+1 (y))J	(16.3.15)
/л'(т)=1пУ‘	(16.3.16)
413
При небольших значениях N величины fn(y) легко рассчитываются по
рекуррентному соотношению (16.3.15) непосредственно. В частности,
fЛГ-i (?) = In (1 + InY), fN_2 (Y) = In [1 + In (1 + In Y)],
U3(Y) = In{brIn[14-ln(4-lnY)]}, ....	(16.3.17)
а при больших значениях N имеет место достаточно точное приближен-
ное выражение
+	(16.3.18)
что дает возможность определить все решения и1‘} с помощью (16.3.13)
и (16.3.18).
Соответствующее адаптивное правило решения при неизвестном
значении у определяется следующим образом:
‘=1......
(1о 3 19)
и0)==/О (Yo)/Yo ^«0-
где у*п — оценка максимального правдоподобия параметра у на п-м
шаге, а уо — начальное приближение для значения этого параметра, вы-
бираемое исходя из имеющихся ограниченных априорных сведениях
о возможной области его значений.
Рекуррентные соотношения для оценок максимального правдоподо-
бия параметра у принимают в данном случае следующую форму:
Y*n =	+	Т*1=(1/«о)1п(тЮ;	(16.3.20)
=	(16.3.21)
где
K-,-^(l + MyV,))];	(16-3.22)
«п=	+	(16.3.23)
I i »* — 11 ri\ I •* — If I
a mn—	x1'?, n= 1, .... N,	(16.3.24)
;=i
— число объектов, находящихся на n-м шаге в состоянии с признаком
единица.
Совместно с этими рекуррентными соотношениями правило (16.3.19)
полностью определяет адаптивный байесов алгоритм обслуживания
с целевым назначением, соответствующим функции потерь (16.3.2).
16.4.	ДОПОЛНИТЕЛЬНЫЕ ЗАМЕЧАНИЯ ОБ ОПТИМИЗАЦИИ
МНОГОШАГОВОГО ПРОЦЕССА ПРИНЯТИЯ РЕШЕНИИ
Рассмотрим еще раз сущность основных рекуррентных соотношений
(2.7.20), (2.7.21), определяющих правило оптимизации многошагового
процесса принятия решения. Мы уже отмечали, что входящий в эти
414
соотношения апостериорный риск 7?n(Un, Хп), представляет собой вели-
чину ожидаемых потерь, при следующих условиях:
— к n-му шагу приняты решения щ, ..un;
— получена совокупность данных наблюдения Xn={xi, ..хп};
— в дальнейшем на (п+1)-м, (п+2)-м и последующих шагах
вплоть до конечного шага решения un+i, un+2, ... после получения дан-
ных наблюдения xn+i, х„+г, ... будут приниматься оптимально, так что-
бы в среднем потери оказались минимальны.
Таким образом, риск	Хп), с одной стороны, зависит от
прошлых решений (щ, и2, ..un-i) и настоящего (un), которые предпо-
лагаются фиксированными и подлежат выбору, а с другой стороны, учи-
тывает будущее поведение, относительно которого предполагается, что
на каждом следующем шаге мы будем выбирать наилучшее решение
с точки зрения минимума потерь. Выбор же оптимального решения на
любом шаге минимизацией апостериорного риска -Rn(Un, Х„) гаранти-
рует, что будущее поведение действительно оптимально.
Ясное понимание сущности апостериорного риска 7?n(IJ„, Хп) при-
водит к заметному упрощению решения задачи в тех случаях, когда
удается рассчитать заранее величину этого риска для любого значе-
ния п, не прибегая к формализму основных рекуррентных соотношений,
требующих выполнения довольно сложной последовательности миними-
заций и усреднений. Подобная возможность часто возникает в задачах,
когда потери обусловлены только конечным решением Uiv, а само это
решение имеет качественно иное содержание по сравнению с решениями
Ui, и2, ..., идг.4 на всех предыдущих шагах, которые, в свою очередь,
влияют на потери лишь косвенно, через процесс получения данных на-
блюдения или процесс изменения параметров X, определяющих потери.
Характерными в этом смысле являются многие задачи измерения
(опенки тех или иных параметров) с управлением процессом получения
данных наблюдения. В этих задачах может иметь место даже дополни-
тельное упрощение, связанное с тем, что при n=N-—1, ДГ—2, ... апосте-
риорный риск 7?п(Пп, Хп) оказывается не зависящим от наблюдаемых
данных Хп.
Рассмотрим для пояснения самый элементарный пример задачи
оценки с управлением процессом наблюдения. Пусть имеется Л^-шаго-
вый процесс, в конце которого мы должны принять решение uN, пред-
ставляющее собой оценку некоторого параметра X, так чтобы средний
квадрат отклонения uN от X был минимален. На каждом предыдущем
шаге (n=0, 1, ..., N—1) мы можем принять одно из двух решений ип'-
un—i — начать со следующего шага процесс наблюдения и продол-
жать его до N-vo шага;
«п—0 — не начинать наблюдения и подождать до принятия решения
Ur-ч на следующем шаге.
Пусть потери, связанные с этими решениями, характеризуются не-
которой функцией go (ио, ui, ..., «я-<), которую без ограничения общно-
сти можно считать равной нулю, если все ип (n=0, 1, ..., N—1) равны
пулю, и невозрастающей функцией номера шага п, на котором принято
решение ип—1. Например, если стоимость наблюдения на любом шаге
одинакова, то
go(ua, Ut, ..., ii4-t)=c(N—k),	(16.4.1)
где с — стоимость одного наблюдения, a k — номер шага, на котором
принято решение «л=1 о начале наблюдения с (Л+1)-го шага. Тогда
415
полная функция потерь g(Uiv, X) может быть записана в виде
g<UN>	— Я)г + ^(«о> «х> •••.««_!) =
= (uN — ty*-\-с (N — k),	(16.4.2)
где k зависит от последовательности решений «о, «ь ..., uN-i (чтобы
подчеркнуть явную зависимость функции (16.4.1) от ио, «1, ..., uN-i, ее
можно записать, например, в виде
go(и,, и., ...hv_j) = с(N — k) =
однако серьезный необходимости в этом нет), а стоимость одного на-
блюдения с предлагается выраженной в единицах среднего квадрата
ошибки оценивания параметров X.
В соответствии с видом функции потерь (16.4.2) оптимальное пра-
вило принятия конечного решения uN при фиксированной последова-
тельности предыдущих решений Uo=0, Ui=0, ..., uA_i=0, нь=1 заклю-
чается в выборе в качестве uN оптимальной в смысле минимума сред-
него квадрата отклонения оценки %=%(Xfe+i, хь+ъ, .... xN), построенной
по совокупности данных наблюдения xft+J, Xk+2,  . , xN, полученных
после k-vo шага, а риск	Xn)=Rn(uo, ..., ип, Хп) для n=0, 1, ...,
..., N—1 фактически зависит только от номера шага k, на котором при-
нято решение «ft=l, и равен
fln(U„, X„) = ^=0\(fe) + c(^-rv),	(16.4.3)
где а\(6)— минимальный средний квадрат ошибки измерения параметра
X по совокупности наблюдений хк+ъ х^, ..., xN, начиная с (6+1)-го и
кончая N-м шагом. Риск Rk (16.4.3) не зависит от данных наблюдения
(поскольку до (6 + 1)-го шага они просто отсутствуют), а оптимальная
последовательность решений — фактически номер шага k, после которо-
го начинается наблюдение, выбирается минимизацией (16.4.3). Пусть,
например,

(16.4.4),
что соответствует случаю xv = 2-|-5v, где {5J — последовательность не-
зависимых нормально распределенных величин с М = а20. При этом
оптимальное значение k выбирается из условия
(N — k)(N — 6+ l)X/c>(7V — k)(N — k- 1)	(16 4.5)
или приближенно
k^N — V^Jc.	(16.4.6)
Этот пример является простейшей иллюстрацией возможности на-
хождения апостериорного риска на основе знания только структуры
оптимального правила принятия конечного решения и риска, соответст-
вующего этому конечному решению. В следующем параграфе рассмо-
трим более сложную задачу подобного рода, а пока отметим, что совер-
шенно аналогичные результаты получаются, если несколько изменить
задачу и управлять не началом, а концом наблюдения. При этом имеет-
416
ся в виду многошаговый процесс, в котором конечной целью по-прежне-
му является получение оценки параметра с минимальным средним квад-
ратом отклонения от истинного значения, а управление процессом на-
блюдения заключается в том, что мы начинаем его на первом шаге и
продолжаем до некоторого £-го шага включительно. В этом случае на
любом n-м шаге (n=0, 1, ...) мы можем принять одно из двух ре-
шений:
ы„=1— продолжить наблюдение еще на один шаг до принятия ре-
шения ип+1 на следующем шаге;
un={0, Хп} — закончить наблюдение и сформировать оценку Хп=
^=Xn(xi, ..х„) параметра X.
При постоянной стоимости наблюдений этому многошаговому про-
цессу соответствует функция потерь
g(ut, иг,	Я) = (Я*--Я)г + ^,	(16.4.7)
где k — номер шага, на котором принято решение о прекращении на-
блюдения. Оптимальное конечное решение заключается в формировании
оценки Ха=Х/<(Х1, ..хй) по совокупности наблюдаемых значений Xj, ...
..., Xh, обеспечивающей минимальный средний квадрат отклонения от
истинного значения параметра X. Апостериорный риск при условии пре-
кращения наблюдения на (£+1)-м шаге, т. е. для последовательности
решений «о=1, «1=1, ..., ик-i=l, иь={0, Хь}, равен
7?а = 7?а(«0..u a; х„ .... Xk) = a\k(xlt .... Xk) + ck> (16.4.8)
где oau(x]; .... Xk) — минимальный средний квадрат отклонения оценки
1к(ху, ..., Xk) от истинного значения параметра Я, вычисленный по апо-
стериорному распределению вероятности Я. Если = Я и — нор-
мально распределенные величины, апостериорная дисперсия a\k(xlt . . .
.... Xk) совпадает со своим математическим ожиданием:
о2)А(х„ .. ., х*) = ог./й	(16.4.9)-
и с точностью до замены N—k на k мы имеем ту же задачу, что и рас-
смотренная выше.
Фактическое различие между ними заключается только в том, что
в первом случае мы решаем, когда начать наблюдение, а во втором —
когда закончить. В обоих случаях риск зависит только от продолжи-
тельности наблюдения, что естественно и приводит к одинаковой опти-
мальной продолжительности наблюдения. Нужно заметить, что такая
эквивалентность задач существует только при отсутствии априорной не-
определенности. При неполном априорном знании это уже не так, и
рассматриваемый пример является весьма характерной иллюстрацией
того, что две близкие по постановке задачи статистического решения,
приводящие к одинаковым правилам принятия решения при полном
априорном знании, могут оказаться совершенно разными и по сути и по
виду правила принятия решения в условиях априорной неопределен-
ности.
Пусть, например, имеет место простейший случай, когда х =Я-}-
+ где — независимые нормально распределенные величины с неиз-
27—899	417
вестной дисперсией о2о- Тогда для обеих задач апостериорный риск
имеет неопределенное значение, правило принятия решения о начале
или прекращении наблюдения, требующее знания величины о2с, также
не определено и нужно использовать тот или иной из рассмотренных
методов синтеза в условиях априорной неопределенности. В первой за-
даче до принятия на каком-либо n-м шаге решения ип=1 о начале на-
блюдения мы вообще не имеем никаких данных, которые позволили бы
нам вынести суждение о неизвестном значении о2». Поэтому единствен-
ным доступным методом является прямой минимаксный подход, кото-
рый в данном случае соответствует выбору оптимального номера
шага /г, определяющего начало наблюдения, из условия минимума вели-
чины
max/?A = max I	— /г)] = !±Н^ j^c(N — k),	(16.4.10)
где слотах — максимально возможное априори значение дисперсии сг20,
которое может быть, в частности, и неограниченно большим. Далее,
оптимальное значение k выбирается по (16.4.5) с заменой о20 на
слотах- Априорная неопределенность приводит к необходимости увеличе-
ния продолжительности наблюдения, а при больших значениях слотах
заставляет начинать наблюдение без промедления с первого шага.
По-иному обстоит дело во второй задаче. В Этом случае для приня-
тия решения о прекращении наблюдения мы имеем возможность вос-
пользоваться полученными данными для оценки неизвестного значения
сЛ и использовать адаптивный байесов подход. В результате мы будем
иметь оценку апостериорного риска
Rk=o2oklk + ck,	(16.4.11)
где G2№—G2ok(xi, Хк)—оценка неизвестной дисперсии о2о, построен-
ная по совокупности данных наблюдения ..., xft, и выберем опти-
мальное значение k так же, как при отсутствии априорной неопреде-
ленности с заменой о2о на оценку o2w,. Последняя определяется по про-
стой рекуррентной формуле
=	(16.4.12)
и. если только оптимальное (при отсутствии априорной неопределенно-
сти) значение k не очень мало, будет близка к истинному значению <у20.
В результате этого и оптимальная продолжительность наблюдения,
а следовательно, и результирующие потери будут близки к тем, которые
получаются при полном априорном знании.
16.5.	УПРАВЛЕНИЕ ПРОЦЕССОМ ИЗМЕРЕНИЯ В ЗАДАЧЕ ОПРЕДЕЛЕНИЯ
ПАРАМЕТРОВ ДВИЖЕНИЯ
П\сть имеется задача статистического решения, состоящая в опре-
делении по совокупности данных наблюдения — единичных измерений,
сопровождающихся случайными ошибками — параметров движения не-
которого объекта. Будем считать движение этого объекта линейным, так
что его текущее положение r(t) есть
r(t)=r0 + Vt,	(16.5.1)
где го — положение объекта в начальный момент времени й=0. Конеч-
418
ной целью является определение параметров движения объекта: началь-
ного положения г0 и скорости V — и вычисление по их значениям поло-
жения объекта
/3=r0+W3,	(16.5.2)
экстраполированного на некоторый момент времени /э, исходя из требо-
вания минимума квадрата отклонения оценки экстраполированного по-
ложения от истинного значения этого положения.
В силу линейности (16.5.2) относительно г» и V оптимальная оценка
экстраполированного положения гэ, при квадратичной функции потерь,
имеет вид
G = r.+W3>	(16.53)
где и Р — оптимальные оценки (условные математические ожидания
при фиксированной совокупности данных наблюдения, т. е. апостериор-
ные средние) параметров движения го и V. Поэтому конечное требова-
ние минимума среднего квадрата отклонения оценки экстраполирован-
ного положения от истинного значения сводится к нахождению опти-
мальных оценок параметров движения га и V и формированию оценки
?э в соответствии с элементарным правилом (16.5.3).
Минимальный апостериорный риск конечного решения — выбора
в качестве оценки экстраполированного положения величины га из
(16.5.3) —определяется очевидным соотношением
=	+	+	(16.5Л)
где Srr, 2rv, Sw — соответствующие элементы апостериорной корреля-
ционной матрицы параметров г0 и V.
Будем считать, что для получения оценок параметров г0 и V мы
располагаем возможностью произвести N единичных измерений xv (v=
— 1, ..., N) в моменты времени ti—0,	..., tN=(N—1)А/, причем
на данном v-м шаге может быть произведено либо единичное измерение
текущего значения координаты объекта, т. е.
•4 = r(/v)+^ = ''o + vZ, + V /V = (v—!)ДЛ (16.5.5)
где —случайная нормально распределенная величина с нулевым мате-
матическим ожиданием и дисперсией с~г, либо единичное измерение ско-
рости объекта, т е.
х< = V -L т]у,	(16.5.6)
где t]v — случайная нормально распределенная величина с нулевым мате-
матическим ожиданием и дисперсией а2у. Процесс получения данных наб-
людения— единичных измерений — допускает управление следую-
щего вида: на каждом v-м шаге мы можем принять одно из двух ре-
шений:
и„=1—перейти со следующего шага к получению единичных заме-
ров скорости и продолжать эти измерения до конца;
= 0 — продолжить на следующем шаге получение единичных заме-
ров текущего значения координат и подождать до принятия решения
uv+1 на следующем шаге.
97*	419
Целесообразность такого управления возникает, когда точность
оценки скорости по прямым ее замерам оказывается выше, чем точность
оценки, полученная в результате использования единичных замеров ко-
ординаты.
Таким образом, мы имеем многошаговый управляемый процесс из-
мерения, в котором конечный средний и минимальный по конечному ре-
шению апостериорный риск (16.5.4) зависят от последовательности ре-
шений ui, U2, ..., ww-i, определяющих порядок получения данных наблю-
дения. Фактически эти риски зависят только от номера шага п, на
котором принято решение пп=1 — перейти в дальнейшем к получению
единичных измерений скорости. При этом
Ят.п = tfmin («) = («) +	(«) +	(«)•	<16- 5.7)
где Srr(n), Sr(Z(n), ^vv(n)— элементы апостериорной корреляционной мат-
рицы параметров г0 и V при условии, что сначала произведено п заме-
ров текущего значения координаты, а затем N—п единичных замеров
скорости. Оптимальная последовательность решений «1, иг, ..., wjy-i,
обеспечивающая минимум потерь (среднего квадрата отклонения оцен-
ки экстраполированного положения от истинного значения), имеет сле-
дующий вид:
и. —О, и, —0, ..., и. .=0, ц = 1,	(16.5.8)
где По — то значение п, которое обращает в минимум величину (16.5.7),
т. е. состоит в постоянном решении производить единичные замеры ко-
ординат вплоть до no-го шага включительно, а затем от (по+1)-го шага
производить единичные замеры скорости. Для нахождения оптимально-
го правила решения в целом достаточно найти минимум (16.5.7) по п и
значение п—по, при котором достигается этот минимум.
Будем считать, что априорный разброс значений г0 и V велик по
сравнению с апостериорным при любом выборе значения п. Тогда апо-
стериорная корреляционная матрица параметров г0 и V совпадает с ма-
трицей, обратной взятой с противоположным знаком матрице вторых
производных по этим параметрам от логарифма функции правдопо-
добия:
{п
V—1
s (,6М)
которая зависит от последовательности решений Ui, 11%, ... через номер
шага п, на котором принято решение ип=1. Последняя совпадает
в данном случае, благодаря нормальному распределению ошибок еди-
ничных измерений и i)v, которые считаются независимыми для
различных шагов, с информационной матрицей Фишера и равна
S. * = А.,(п) =
(п)	1
п	п(п—\)
02Г	2в2г
п(п — 1) д(д — 1)(2д —1) N —п
2агг М	6о2г	1 + а2и
(16.5.10)
420
откуда после обращения и подстановки в (16.5.7) получим следующее
выражение для риска:
---------('• - та “У	==
Л’— п+ 12<;2— п(п2 — 1)
="4+------------та-------------л=‘-2.............<16-511>
П,	О 1/^^
N — n + ~12sV	—
Последнее приближенное равенство имеет место при любых п, если, как
это обычно бывает в практических задачах, время экстраполяции суще-
ственно больше длительности интервала (N—l)At
Из выражения (16.5.11) следует, что переход к единичным измере-
ниям скорости, вообще, может быть целесообразен только при

(16.5.12)
т. е. при достаточно высокой точности единичных замеров скорости, так
как в противном случае минимум риска по п при любых значениях ta
достигается при n=N и соответствует правилу решения, согласно кото-
рому в течение всего интервала наблюдения нужно производить замеры
только текущих значений координаты. Чтобы задача не стала тривиаль-
ной, будем считать условие (16.5.12) выполненным. Тогда оптимальное
значение п—по определяется из условия минимума (16.5.11) и сущест-
венно зависит не только от отношения o2vA^2/o2r, но от времени экстра-
поляции t3. При достаточно больших временах экстраполяции, когда
. .	/(V-l)(V-2)-(a’vW/2a>r)
э> 77 V -----------------------------	(16.Р.и)
оптимальное значение По=1, т. е. оптимальное правило решения заклю-
чается в том, чтобы произвести один единичный замер координаты и
после этого перейти к получению единичных замеров скорости.
Конечное решение — оптимальные оценки г0 и К параметров г0 и V
(и оценка гэ экстраполированного значения координаты с помощью
(16.5.3)) определяются как оценки максимального правдоподобия,
обращающие в максимум функцию правдоподобия (16.5.9) при под-
становке в нее п—по. Эти оценки могут быть найдены рекуррентно или
с помощью простых конечных формул при произвольном и, которое за-
тем следует заменить на п—п0.
Таким образом, окончательно правило решения, минимизирующее
средний квадрат отклонения оценки экстраполированного значения г3
от истинного значения, имеет вид
мп=1,	(16.5.14)
если выполняются неравенства
а’г ,
п— 1~Г У—n+l + (05vA/2/12S2r)(n— 1)п(п— 2) 7х
°2г I
п ‘ У — п + (а2уД/2/12а2г)п(п2 — 1) <-
< У — л — 1 + (а27Д^/ 12а’г)(п + 1)п(п + 2) + «+7 5	(16.5.15)
421
«n—О, если хотя бы одно из неравенств (16.5.15) не выпотняется и
'* —r «о	2 X
у_____-_12^гг__________(V*	_p )•	(16 5 16)
A 12GV —n0)o% + «„(«% — l)a2jZA/2'-	.V-n„ nJ'	1	/
V^=V* -I_______126V—__________,у„	_y* .	(16 5 17)
«0; 12(JV — n„)<X + n0(n% — 1)®V/2 1 V~'!°	,г°7	'
^=^ + ^/3 +
l_____12(7V п0)агг_____ /у*	_у* \ \/
f" 12(V' - n„)a‘r + n0(n\ - l)a2vA^ V	"J Zx
Х^э-^^Д^.	(16.5.18)
где no — значение п, при котором принимается решение «к==1;
Г-,_,.= Хя S *.	<16-519>
— оценка максимального правдоподобия скорости V, построенная по
совокупности N—п единичных замеров скорости;
'•.= ^Ё(4-;ттХ	<16-5-20>
V = I
Г^-J—Г(-6-|-12^к	(16.5.21)
п ф+1)	1/ '
М = 1
— оценки максимального правдоподобия параметров г0 и V, построен-
ные по совокупности п единичных замеров текущего значения коорди-
наты (для п=1 оценка V*T1=0).
Рассмотренная задача может сопровождаться различными видами
априорной неопределенности. Частично мы ее уже учли, когда предпо-
ложили, что априорный разброс параметров г0 и V велик по сравнению
с апостериорным, что эквивалентно полному отсутствию априорных све-
дений о возможных значениях параметров г0 и V. Если же такие
априорные сведения имеются, например известны априорные дисперсии
этих параметров сг2го и o2vo, то мы будем иметь чисто байесову задачу,
которая с точки зрения выбора оптимального значения п=п0 отличает-
ся от рассмотренной ранее тем, что при вычислении матрицы S к матри-
це AN(n) из (16.5.10) следует добавить диагональную матрицу
1/а*Л>	0
0 1/®гуо
(16.5.22)
Априорная неопределенность относительно статистических свойств пара-
метров Го и V не является существенной с точки зрения как величины
конечного риска и вида оценок этих параметров,так и выбора оптималь-
ного значения п, если априорные дисперсии велики по сравнению с дис-
персиями ошибок единичных измерений, так что
422
—11 дг2 4- .N.~ п«- > _1_ ,	(16.5 23)
° г ® M	оо’г	1 O2V	®2у0	'
где — оптимальное значение п, обращающее в минимум (16.5.11).
Наряду с априорной неопределенностью относительно г0 и V может
иметь место априорная неопределенность по отношению к статистиче-
ским свойствам данных наблюдения — единичных замеров координаты
пли скорости или того и другого.
Пусть, например, аналогично § 16.4 неизвестна дисперсия единич-
ною замера координаты о2,. Эта априорная неопределенность устраня-
ется применением адаптивного байесова подхода. Соответствующее
адаптивное правило решения отличается от обычного байесова заменой
в неравенствах (16.5.15) и выражениях для оценок параметров
(16.5.16) — (16.5.18) неизвестной величины ст2г на ее оценку <у2гп, которая
образуется по обычному правилу:
п
?r',=^S(A%_r*n~vv’)2’	<1б-5-24>
 Д', г' , ,1 Р*,, определяются в соответствии с (16.5.20) и (16.5.21). Все
остальное остается без изменения, за исключением того, что значение по,
разхмеется, уже определяется величиной ст2гп. Заметим, что поскольку
для и=1 п п=2 оценка (16.5.24) обращается в нуль, то решение о пере-
ходе к получению единичных замеров скорости не может быть принято
раньше третьего шага.
Если неизвестна дисперсия единичного замера скорости tj2v, то ана-
логично тома, как это было в задаче § 16.4, связанной с принятием
решения о начале наблюдения, из-за отсутствия до момента принятия ре-
шения о переходе к единичным замерам скорости в наблюдаемых дан-
ных информации о возможном значении дисперсии o2v, правило приня-
тия решения ип=1 или пп=0 может быть образовано только с исполь-
зованием прямого минимаксного подхода. Поскольку риск (16.5.11) при
любом значении п является монотонно возрастающей (при n=N моно-
тонно не убывающей) функцией a2v, минимаксное правило принятия
решения заключается в выборе того значения п, которое минимизирует
риск (16.5.11) при o'2v-=T2vm;ix, где о2ттат — априори задаваемое макси-
мальное значение дисперсии единичного замера скорости.
Если при замене ст2у на сА-тах неравенство (16.5.12) не выполняет-
ся, то оптимальное правило решения заключается в том, чтобы ограни-
читься получением только единичных замеров координаты. Если же
(16.5.12) выполняется даже при ст2т—<т2ттах, то правило принятия ре-
шения по-прежнему определяется в соответствии с неравенствами
(16 5.15), в которых следует заменить о2у на сАтпах, а оценки параме-
тров го, V и г, в соответствии с принципами адаптивного байесова под-
хода определяются выражениями (16.5.16) — (16.5.18), в которых неиз-
вестное значение ст2г заменяется на оценку
Лг
I	(16-5.25)
формируемую после принятия решения на no-м шаге о переходе к полу-
чению единичных замеров скорости по этим единичным замерам.
423
16.5.1. Влияние неоднозначности замеров скорости
Пожалуй, наиболее важным с практической точки зрения видом
возможной априорной неопределенности в рассматриваемой задаче
является наличие неоднозначности единичных замеров скорости, из-за
которой вместо (16.5.6) единичный замер скорости х,. имеет вид

(16.5.26)
где Д„— случайная величина, принимающая одно из возможных значений
Д(*>, среди которых есть и нулевое значение. При этом минимальное по
модулю ненулевое значение Д<*) существенно больше величины средне-
квадратичного значения cv, так что если Ду принимает любое значение
Д<*>, кроме нулевого, то фактически данный единичный замер произво-
дится с очень большой ошибкой и при неизвестном значении Д, приносит
больше вреда, чем пользы, с точки зрения влияния на результирующую
точность измерения.
Вероятности различных значений A<ft) и тем более необходимые для
байесова решения задачи вероятности различных реализаций последо-
вательности значений Д„ для некоторой совокупности индексов v(v=
=п + 1, п+2, ..., Л1) обычно неизвестны. Это приводит к необходимости
специальных мер по устранению неоднозначности, без применения кото-
рых оценка V*^n (16.5.19), оптимальная при Д>=0, может очень
сильно отличаться от истинного значения.
Ограничимся случаем, когда в течение всего интервала измерения
ошибка единичного замера, обусловленная неоднозначностью, сохраняет
постоянную величину, т. е. Д^ = Д, где Д может принимать какое-либо
из значений А<4 Кроме того, предположим для простоты окончатель-
ных результатов, что значения ДМ равноотстоящие, т. е. A(ft>=£A0, где
До — интервал неоднозначности, a k изменяется в некоторых пределах.
Предположим сначала, что решение о переходе к получению еди-
ничных замеров скорости принято на некотором n-м шаге, т. е. ип—1.
Тогда оценки г0 и К определяются по (16.5.16) — (16.5.18) с заменой п0
на п и V*N-n на V.v-ri—Л*, где оценка максимального правдоподобия А*
с учетом ограничения множества возможных значений А дискретными
точками A=A(fe> согласно результатам п. 7.4.1 определяется следующим
образом:
Д*=Д<Ч	(16.5.27)
если при всех i=£k
I - У*п - Д(Л) I < 1	- П - А"’) |	(16.5.28)
Выражение для риска 7?min(«) можно записать в следующем виде:
Хо’,^э —	(16 5.29)
где а21—12а2г/п(п2—l)&t2, a22=o2v/ (N—п),
424
f (a) = J (kay [Ф а^Ф j ,
Jt
(16.5.30)
Ф(х) —интеграл вероятности.
График этой функции построен на рис. 16.3.
Оптимальное значение п=по номера шага, после которого осущест-
вляется переход от получения единичных замеров дальности к единич-
ным замерам скорости выбирается из условия минимума величины
Rmm(n) из (16.5.29). Помимо ошибок единичных замеров <yzr, o2v это
Рис. 16 3. График функции F(a).
Рис. 16 4. Зависимость оптимального
значения п0 от ji и 6
оптимальное значение зависит от величин отношения среднеквадратич-
ной ошибки определения скорости по N единичным замерам координа-
ты к величине интервала До
8 = 12/jV (or/b'NM)
(16 5.31)
и отношения среднеквадратичных ошибок определения скорости по N
единичным замерам скорости и дальности соответственно

N
12 ‘
 ®2(Ф
(16.5.32)
При ц>1 в соответствии с (16.5.12) оптимальное значение tio=N, т. е.
решение о переходе к единичным замерам скорости не принимается.
Аналогичным образом при 655=0,25 и любых значениях ц также n&=N.
При уменьшении отношения 6 и изменения значений ц в некотором диа-
пазоне из интервала 0<ц<1 становится целесообразным перейти к по-
лучению единичных замеров скорости. Ширина указанного диапазона
и доля времени, отводимого на единичные замеры скорости, тем боль-
ше, чем меньше значение 6. Эти утверждения иллюстрируются рис. 16.4,
на котором построена зависимость оптимального значения п=по, отне-
сенного к полному числу замеров N, от ц и 6 для случая, когда время
экстраполяции велико и ошибка оценивания параметра гэ в основном
определяется ошибкой оценки скорости.
Рассмотренные здесь примеры являются иллюстрацией применения
развитых для условий априорной неопределенности методов синтеза
к задачам оптимизации многошаговых управляемых процессов, которые
соответствуют различным классам задач, кратко описанным в § 16.1.
Другие конкретные примеры, относящиеся к этим классам задач, могут
быть рассмотрены аналогично с использованием общей методологии
нахождения оптимальных для условий априорной неопределенности пра-
вил принятия решений.
СПИСОК ЛИТЕРАТУРЫ
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
Айзерман М. А., Браверман Э. И., Розо-
ноэр Л. И. Метод потенциальных функ-
ций в задачах обучения машин М,
«Натка», 1970
Вопросы статистической теории радио
локации Под ред Г П Тартаковского
Т I, 1963, т II 1964 М, «Сов ра
дио» Авт П А. Бакут, И А. Больша
ков, Б М Герасимов, А А Курикша,
В Г Репин, Г П Тартаковский, В В
Широков
Беллман Р. Динамическое программиро
вание Пер с англ М, ИЛ, 1960.
Беллман Р. Процессы регулирования
с адаптацией Пер с англ М, «Наука»,
1964
Беллман Р., Калаба Р. Динамическое
программирование и современная теория
управления Пер с англ М., «Наука»
1969.
Блекузл Д., Гиршик М. Теория игр и
статистических решений Пер. с англ М
ИЛ, 1958
Большаков И. А., Левин Б. Р., Репин
В. Г., Тартаковский Г. П. Некоторые во-
просы статистического синтеза информа-
ционных систем — «Изв. АН СССР Тех-
ническая кибернетика», 1970, № 2
Большее Л. Н., Смирнов Н. В Таблицы
математической статистики М, «Нау
ка», 1965
Вальд А. Статистические решающие
функции. — В кн Позиционные игры.
Пер. с англ, VI, «Наука», 1967
Вудворд Ф. М. Теория вероятностей и
теория информации с применением в ра-
диолокации Пер с англ, М, «Сов ра-
дио», 1955
Гаитмахер Ф Р. Теория матриц М,
«Наука», 1967
Голдман С. Теория информации Пер
с англ М, ИЛ, 1957
Градштейи И. С., Рыжик И. М. Табли-
цы интегралов, сумм, рядов и произве-
дений М, Физматгпз, 1962
Гришаиин Б. А, Мамаев Д. Д. Об од
ном теоретико информационном методе
построения адаптивных алгоритмов ре-
шения игровых задач —«Изв АН СССР
Техническая кибернетика», 1970, № 6.
Kiefer Е., Wolowitz J. Stochastic esti-
matm of the maximum of a regression
function —«Annals Mathematical Statis-
tics», 1952, x 23, X» 3
16	Крамер Г Vlarev" meixie ме< 1 la-
тистики Пер с ап л M, ИЛ 19-s
17	Левин Б. P. Теоретические основы с ати
стической радиотех 'ики Кч I, ’966,
кн 11,11968 М, <Сов радио»
18	Левин Б. Р., Кушнир А. Ф. Асимптоти-
чески оптимальные алгоритмы б ару-
жения и различения сигналов фоне
помех — «Радиотехника и электроника»,
1969, № 2
19	Леман Э. Проверка статистически ги-
потез М, «Наука > 1964
20	Линник Ю В. Статистические задачи
с мешающими параметрами М «Нау-
ка», 1966
21	Мамаев д. д. Об управлении стохасти-
ческими системами — «Изв АН СССР
Техническая кибернетика» 1973,	8
22	Миддлтон Д. Введение в статистическую
теорию связи Т I, 1961, т II, 1962, Пер
с аигл М, «Сов радио»
23	Невельсон М. Б., Хасьминский Р. 3. Сто-
хастическая аппроксимация и рекуррент-
ное оценивание М, «Наука», 1972
24	Репин В. Г. Об одном алгоритме распо
знавания в условиях априорней ieonpe-
деленности,— «Изв АН СССР Техниче-
ская кибернетика ’970, X» 6
25	Репин В. Г., Тартаковский Г П. Адапта-
ция систем приема и обработки инфор-
мации и теория статистических реше-
ний — «Автоматика и телемеха ика»,
1968, № 3
26	Репин В. Г., Тартаковский Г. П. Эффек
тивиость алгоритма различения сигналов
с неизвестными параметрами —«Проб-
лемы передачи информации», 19711 X» 2
27	Sakrison D. Т. Efficient recursive esti
matin, application to estimating the pa-
rameters of covariance functions — «In-
ternal J Engine!'mg Sc > 1965 ’ 3,
№ 4
28	Сосулин Ю. Г. Фильтрация и об.,. руже-
пие марковских сигналов при неполной
априорной информации —«Рад техни-
ка и электроника», 4969, К° 12
29	Сосулин Ю. Г. Оценочно корэе чцион-
ный принцип приема сигналов i фоне
помех и априорная информация —< Ра-
диотехника и электроника», 1971 А» 3
30	Стратонович Р. Л. Условные процессы
Маркова и дингччичсслое прогр >ммиро-
вание МГУ, I960
31	Стратонович Р Л Принципы ад штив-
ного приема М, -Сев радио W3
426
32	. Стратонович Р. Л. Существует ли теория
синтеза оптимальных адаптивных, само-
обучлощихся и самонастраивающихся
систем? — «Автоматика и телемеханика»,
1968, № 1.
33	. Стратонович Р. Л. Оптимальные алго-
ритмы распознавания. — «Автоматика и
телемеханика», '1968, № 2.
34	. Стратонович Р. Л, Каноническая систе-
ма рекуррентных уравнений для опти-
мальных алгоритмов адаптации. — «Ав-
тома-ика и телемеханика», 1970, № 5.
35	. Тартаковский Г. П., Репин В. Г. Адапта-
ция многошаговых процессов принятия
решений, основанная на знании потерь
на прошлых шагах. — «Радиотехника и
электроника», '1972, № 111.
36	Уилкс С Математическая статистика.
Пер с •’нгл М, «Наука», 1967.
37	Фельдбаум А. А. Основы теории опти-
мальных автоматических систем. М.,
«Наука», 1966.
38	. Хазен Э. М. Методы оптимальных ста-
тистических решений и задачи опти-
мального управления. М., «Сов. радио»,
1968.
39	. Цыпкин Я. 3. Адаптация и обучение
в автоматических системах. М., «Наука»,
1968.
40	Цыпкин Я. 3. Основы теории обучаю-
щихся систем. М., «Наука», 1970.
41	. Ширяев А. Н. Статистический последо-
вательный анализ М., «Наука», 1969.
42	. Эшби У. Р. Конструкция мозга. Пер.
с англ М, ИЛ, 1962.
43	. Гихман И. И., Скороход А. В. Введе-
ние в теорию случайных процессов. М.,
«Наука», 11965.
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Адаптация 13—<15, 97, 386
Аппроксимация правил решения 158, 164,
169, 479, 1191
— стохастическая 149, 159, 164, 1711, 173,
177
Выборки обучающие 11
Данные эмпирические 46, 200, 398
Дискриминатор временной (или дальности)
208
Инвариантность 53
Интеграл Ито 321
Критерий качества сгатис1ический 9
— согласия 154, 1156
-----непараметрическии 154, 456
Метод максимального правдоподобия 117,
1167
Методы рекуррентные 170
Неопределенность априорная 11, 12, 37, 38
40 -42, 46
-----непараметрическая 142, 162
— — несущественная 54
•----параметрическая 12, 41, 98, 115, 212,
258
-----существенная 54
Обнаружение 267, 38)1, 405
— адаптивное 299
- алгоритм 273, 276—279, 284, 286
-----оптимальный 281, 288, 291, 294
•----рекуррентный адаптивный 272, 277,
287, 293, 298
— высокочастотного сигнала 288
— сигналов в шумах 267
---------- адаптивное 268
— флюктуирующего сигнала 294
— характеристики 275, 276, 279, 281, 286,
287
Обнаружитеть оптимальный 268, 269, 271,
27,3, 284, 285
----адаптивный 275
----функциональная	схема 269, 277, 279,
291, 297
-----функция 270
Обслуживание, адаптивная задача 411, 412
Обучение простое 48—50
— «рабочеподобпое» 50—52
Ожидание условное математическое 375
Описание неполное статистическое 37
Отношение правдоподобия 25, 180, 256, 259,
264
Оценка
достаточная 119
428
максимального правдоподобия 104, 117,
118, 141, 153
-----метод 223
----- нерегулярная 140
-----несостоятельность 120, 121
-----рекуррентный метод 134, 139
— — состоятельность '120, 121
несмещенная 11'19
оптимальная байесова 221—223
параметров 25, 26, 230, 235, 365, 376
постоянных параметров 203
регулярная 1119
смещения 1'19
состоятельная 120
суперэффективная 124, 127
управления 8
эмпирическая 177, 182
эффективная 122
— дисперсия 1131
Параметры информативные 25
—	обстановки 12
Пеленгатор амплитудный двухлучевой
385—386
—	фазовый 384, 385
Подход адаптивный байесов 89, 97, ilUO,
115, 142, 143
— байесов 96, 97
Последовательность обучающая 47
Потери 119
Проверка гипотез 252, 257, 262, 365, 370,
396
----двухальтернативных 7, 90, 180
— — многоальтернативных 7, 24, 93
Пространство наблюдений 20
— решений 17
Процедура анализа ктассическая 253
---- последовательная 257
----рекуррентная 170, 174, 177, 179, 262
Процесс информационный 5
— оптимальный многошаговый 396, 397
----— оптимизация 405
— управляемый многошаговый 32, 386,
388, 390, 401, 403
Распознавание 306, 308, 342, 354, 378
— алгоритм 344, 359—301
— вероятность 363—365
— образов 306, 307, 354, 355
— объектов 392, 393
----многошаговое 392, 393
— оптимальная система 307
— оптимальное правило 340
---- функциональная схема 363
— оптимальный атгоритм 311, 316, 333,
336, 3611
— работа системы 318
— сигналов быстрофлюктуирующих 347
— — нормальнофлюктуирующих 344—346
— — с неизвестными амплитудами 333,
336
— —------запаздываниями 337
-----флюктуирующих 342
— функциональная схема устройства 3)13,
319, 300, 3811
— эффективность 320, 329
Распределение
апостериорное 26, 66
априорное 112, 38
(наименее предпочти1ельное 81
Решение'
адаптивное байесово 411, 72, 113, 1116,
177, 366
адаптивный байесов подход 89, 98, 142,
250, 253
байесово 72
— оптимальное 60
минимаксный подход 7'1, 72, 76, 77, 84
оптимальное 258, 264, 390, 392, 399, 400
правило 6, 96, 1169
— адаптивное байесово 97, 99, 101, |1‘05—
107, 144
— аппроксимирующее 158—460, 164, 169,
479, 11911
— байесово 111, 23, 28, 72
— минимаксимипное 105, 106
— минимаксное 88, 89, 106
— нерандомизированное 455, 186, 187
— оптимальное 47, 29, 34, 89, 91, 94
— — байесово 56, 168, 1184, 185
— принятия 116—19, 27, 28, 409, 410
— рандомизированное 168, 186, 488
принцип минимума усредненного риска
107
процесс принятия многошаговый 32, 33
равномерно наилучшее 58, 60
ст атистическое 40, 118, 27, 224
— теория 10
Решения многоальтернативные 24, 25
— принцип минимаксиминный 60, 61
-----минимаксный 63, 64
-----минимума усредненного риска 61, 62
— пространство 17, 18
— соотношения между правилами 64, 65
Риск
априорный 22
апостериорный 22, 37, 55, 89, 90, 169
— минимизация 358, 366, 367
—	оценка 145
—	усредненный 367
байесов 23, 24
минимаксный 80, 85, 86, 88, 107
средний НО, 21, '108, 162—164, 200
—	максимальный 107
— минимизация 79, 183, 250—252, 388
условный 23, 79, 91
Сигнал нормальнофлюктуирующий 342
Синтез информационных систем 13
— статистический динамических систем 9
Система-
динамическая 9
информационная 5
оценки 6
проверки гипотез 7
— — с оценкой параметров 7, 8
распознавания образов 7
сложная 8
управления 8
— адаптивная 240, 2'44, 249
Соотношения рекуррентные 137—140, 145,
1147—149, 1Э1
Статистики достаточные 28—30, 53, 65, 69,
71, 87, 119, 384
-----инвариантные 66
----- использование 65
-----минимальные 30, 299, 302
-----нахождение 66
-----определение
Теория статистических решений 10, 48
Управление объектом 401, 402
-----схема системы 401
— процессом 402
----- измерения 418—420
— — наблюдения 415
-----схема системы 402
Уравнение правдоподобия 118
Функционал отношения правдоподобия 269
Функция потерь 119—121, 61, 1144, 243
•----аддитивная 263
— правдоподобия 20, 24, 41, 98, 147—1119
-----логарифм 206, 207, 209, 213, 222, 231
-----максимум 240
— разделяющая 480
— регрессии 150, 152
— решающая 21
ОГЛАВЛЕНИЕ
Предисловие.......................................................... .....	3
ЧАСТЬ I
ОБЩИЕ ПОЛОЖЕНИЯ
Глава 1. Информационные системы, их синтез и адаптация...................... 5
1.1.	Информационные системы.............................................  5
1.2.	Статистический синтез............................................... 9
1.3.	Априорная неопределенность	и	адаптация..............................И
Глава 2. Основные понятия теории статистических решений.....................16
2.1.	Решения.............................................................16
2.2.	Потери..............................................................19
2.3.	Риск................................................................20
2.4.	Байесовы решающие правила.........................................  23
2.5.	Полные классы решающих правил.......................................27
2.6.	Достаточные статистики..............................................28
2.7.	Управляемые многошаговые процессы принятия решения..................32
Глава 3. Априорная неопределенность и возможные способы неполного стати-
стического описания.................................................. 36
3.1.	Отсутствие или ограниченные сведения об априорном распределении
параметров X ........................................................38
3.2.	Неполное статистическое описание данных наблюдения. Параметрическое
описание априорной неопределенности ................................ 41
3.3.	Эмпирический подход в задачах с априорной неопределенностью. Обу-
чение ...............................................................47
ЧАСТЬ II
МЕТОДЫ СИНТЕЗА ИНФОРМАЦИОННЫХ СИСТЕМ В УСЛОВИЯХ
АПРИОРНОЙ НЕОПРЕДЕЛЕННОСТИ
Глава 4. Понятие оптимальности. Достаточные статистики. Инвариантность 53
4.1.	Предварительные замечания ....	........................ 53
4.2.	Существенная и несущественная априорная неопределенность ...	54
4.3.	Понятие оптимальности в условиях априорной неопределенности .	.	57
4.4.	Соотношения между правилами решения, полученными на основе раз-
личных принципов предпочтения ....................................... 64
4.5.	Использование достаточных статистик................................65
Глава 5 Минимаксный подход ....	 71
5	1. Минимаксное правило решения при наличии априорной неопределенно-
сти относительно параметров 1	 71
5.2	Полное незнание априорного распределения К...........................72
5.3	. Ограниченные сведения о множестве допустимых значений ...	74
5.4	. Ограниченные сведения о статистических характеристиках .	.	.	76
5.5	. Замечания о характере наименее предпочтительного распределения .	.	81
5	6 Минимаксное правило решения при наличии априорной неопределенно-
сти относительно данных наблюдения х. Неоднозначность ....	84
Глава 6. Адаптивный байесов подход ....	.................... 89
6.1. Общие положения....................................... .	.	89
6.2. Адаптивный байесов подход при параметрической априорной неопреде-
ленности ...	........................................98
б.З. Случай, когда множества решений и и параметров к непрерывны .	102
430
6 4 Соответствие адаптивного байесова правила решения принципам опти-
мальности в условиях априорной неопределенности	105
6 5	Принцип	минимума	усредненного	риска	107
6 6	Выводы	115
Г дав а 7 Оценки максимального правдоподобия	117
7 1	Вводные	замечания	117
7 2	Состоятельность оценок	максима	шного	правдоподобия	120
7 3 Неравенство Крамера — Рао ддя регулярных оценок Эффективные
оценки Асимптотическая эффективность оценок максим >л кого ппавдо
подобия	122
7 4 Нерегулярный случай	Суперэффективные	оценки	124
7 5 Методы нахождения	оценок	максимального	правдоподобия	131
Глава 8 Адаптивный байесов подход при непараметрической априорном не-
определенности	142
8 1 Вводные замечания	142
8 2 Адативнос байесово правило решения при извес1нои ф\пкции noiepb 144
8 3 Определение постоянных параметров по выоорке из независимых значе
ний Процедура Робинса — Монро	149
8 4 Непараметрические критериг согласия	154
Глава 9 Аппроксимация правил решения	158
9 1 Вводные замечания	158
9 2 Задача нахождения наилучшего правила решения заданюи структуры 159
9 3 Случаи, когда при выбранной аппроксимации правила решения шриор
ных данных достаточно для вычисления среднего риска	161
9 4 Случай когда при выбранной аппроксимации правила решения априор
ых данных достаточно ддя вычисления апостериорного риска	1 9
9 5 Пример задачи оценки параметра К по данным наблюдения х при изве
стной корреляции между х и X	171
9 6	Случай помехи с известными корреляционными свойствами	176
9 7	Случай когда имеются эмпирические даииые о х и X	179
9 8	Рандомизированное правило для дискретного множества решений	186
9 9	Сдучай когда имеются эмпирические данные охи значениях потерь	191
9 10	Асимптотическое поиедение решений рекуррентных соотношений	1)4
9 11 Влияние конечного объема совокупности эмпирических данных на риск
принятия решения в рабочей ситуации .	.	.	- 0
ЧАСТЬ Ш
ПРИМЕНЕНИЯ АДАПТИВНОГО БАЙЕСОВА ПОДХОДА
Глава 10 Применение адаптивного байесова подхода к задачам с непрерыв-
ным множеством решений	202
10 1 Вводные замечания	202
10 2 Оценка постоянных параметров	203
10 3 Влияние возможности уточнения ю данным наблюдения априорного рас
пределения вероятности параметров X на точность их оценки	220
10 4 Оценка переменных параметров	223
10 5 Примеры адаптивных алгоритмов оценки переменных параметров	230
10 6 Адаптивные системы управления	240
10 7 Адаптивная задача выделения ресурсов	249
Глава 11 Адаптивная проверка гипотез	252
11 1 Введение	252
112 Классическая процедура ai	ализа	253
11 3 Последовательная процедура анализа	257
11 4 Рекуррентные адаптивные алгоритмы проверки гипотез	262
Глава 12 Обнаружение сигналов	в шумах	26"
12 1 Введение	267
12 2 Обнаружение сигнала с неизвестной амплитудой а некоррелированном
шуме	268
12 3 Обнаружение детерминированного сигнала в шуме неизвесжой интен-
сивности	273
431
12.4.	Обнаружение детерминированного сигнала в шуме неизвестной интен-
сивности (алгоритм с обучением) ........................................278
12.5.	Обнаружение сигнала с неизвестной амплитудой в шуме неизвестной
интенсивности.	................................................. 281
12.6.	Обнаружение сигнала с неизвестными амплитудой и фазой в некоррели-
рованном шуме...........................................................288
12.7.	Обнаружение в шумах флюктуирующего сигнала с неизвестной стати-
стикой флюктуаций.......................................................294
12.8.	Обнаружение случайного сигнала на фоне коррелированной помехи при
неизвестных функциях корреляции сигнала и помехи........................299
Глава 13. Распознавание образов............................................306
13.1.	Введение .........................................................306
13.2.	Распознавание квазидетерминированных сигналов, принимаемых в шумах 308
13.3.	Эффективность распознавания квазидетерминированных сигналов .	.	320
13.4.	Обобщение на случай коррелированных помех.........................340
13.5.	Распознавание нормально флюктуирующих сигналов, принимаемых
в шумах.................................................................342
13.6.	Распознавание образов при параметрическом различии распределений
вероятностей связанных с ними сигналов..................................354
Глава 14. Проверка статистических гипотез с оценкой параметров распреде-
лений .................................................................... 365
14.1.	Введение .	 365
14.2.	Адаптивное байесово решение...................................... 366
14.3.	Простая функция потерь............................................367
14.4.	Функция потерь, простая по проверяемым гипотезам и квадратичная
по ошибкам оценок.................................................. 370
14.5.	Некоторые обобщения.................... ........................374
14.6.	Рекуррентная процедура проверки гипотез с оценкой соответствующих
им информативных параметров............................................ 376
14.7.	Распознавание сигналов, принимаемых в шумах, с оценкой их запазды-
ваний при неизвестных амплитудах	сигналов..........................  378
14.8.	Обнаружение и пеленгация источника	излучения......................381
Глава 15. Адаптация многошаговых процессов принятия решений, основанная
на знании потерь на прошлых шагах..........................................386
15.1.	Введение .........................................................386
15.2.	Многошаговые адаптивные процессы, минимизирующие текущий средний
риск при параметрически заданной априорной неопределенности и изве-
стных потерях, связанных с предыдущими шагами...........................388
15.3.	Многошаговый процесс проверки гипотез.............................390
15.4.	Многошаговое распознавание объектов, характеристики которых зави-
сят от неизвестных параметров...........................................392
15.5.	Оптимальные многошаговые процессы проверки гипотез, основанные на
знании потерь на предыдущих шагах, при полной априорной неопре-
деленности .............................................................396
Глава 16. Управляемые многошаговые процессы принятия решений с адап-
тацией ........................................................... :	:	401
16.1.	Вводные замечания..............................................   401
16.2.	Двухэтапная процедура обнаружения...............................  405
16.3.	Адаптивная задача обслуживания....................................411
16.4.	Дополнительные замечания об оптимизации многошагового процесса
принятия решения.....................................................,	414
16.5.	Управление процессом измерения в задаче определения параметров
движения :...........................................................:	418
Список литературы........................................................  426
Предметный указатель.......................................................428