/
Текст
Б. Р. ЛЕВИН
ТЕОРЕТИЧЕСКИЕ ОСНОВЫ
СТАТИСТИЧЕСКОЙ
РАДИОТЕХНИКИ
КНИГА ВТОРАЯ
ИЗДАТЕЛЬСТВО «СОВЕТСКОЕ РАДИО»
Москва — 1968
УДК 621.39.1 :519.27
Б. Р. ЛЕВИН
Теоретические основы статистической радиотехники.
М. Изд-во «Советское радио», 1968,стр. 504,т. 35000экз.;
ц. 1 р. 96 к.
Вторая книга двухтомной монографии по тео¬
ретическим основам статистической радиотехники
посвящена вопросам оптимального статистическо¬
го синтеза. Она содержит минимально необходи¬
мые сведения из теории решений и теории оценок
параметров распределений случайных величин.
Подробно освещаются основные положения стати¬
стики случайных процессов (ортогональные раз¬
ложения, функционалы правдоподобия, провер¬
ка гипотез, оценки параметров, корреляционных
функций и энергетических спектров). Рассматри¬
ваются вопросы линейной и нелинейной фильтра¬
ции. Излагается теория оптимального синтеза
устройств обнаружения и различения сигналов
на фоне шума, а также устройств, предназначен¬
ных для получения оценок параметров сигналов.
Учитывается специфика радиосигналов как узко¬
полосных процессов. Даны элементы теории клас¬
сификации с обучением. Включены новые резуль¬
таты, полученные в последние годы.
Книга может служить учебным пособием при
изучении статистической радиотехники и дис¬
циплин, примыкающих к ней. Как и первая книга,
она рассчитана на научных работников, инжене¬
ров, преподавателей, аспирантов и студентов стар¬
ших курсов радиотехнических вузов.
Табл. 5, рис. 32, библ. назв. 160.
3-4-1
2-68
ПРЕДИСЛОВИЕ
Методы статистической радиотехники, используемые
для анализа и синтеза устройств и систем различного на¬
значения, продолжают широким фронтом охватывать обла¬
сти радиотехнических приложений. Однако бурное раз¬
витие новых методов и подходов, столь характерное в наше
время для многих научных дисциплин, приводит к тому,
что зачастую большая часть потока информации перехле¬
стывает плотину человеческих возможностей и безвозврат¬
но утекает. Оказалось, например, что минимально необхо¬
димый интервал времени для написания и издания книги,
в котором могут быть обобщены и систематизированы
результаты, относящиеся к теоретическим основам стати¬
стической радиотехники, соизмерим с периодом, за кото¬
рый абсолютное количество публикуемых работ по этой
тематике удваивается.
План задуманной около пяти лет тому назад двухтом¬
ной монографии по теоретическим основам статистической
радиотехники, реализация которого завершается выходом
этой второй книги, не подвергался существенной коррек¬
тировке. Поэтому многие интересные выводы, полученные
математиками и радистами в самые последние годы,
не нашли должного отражения как в первой книге*), посвя¬
щенной методам анализа, так и в представляемой, в кото¬
рой излагаются методы, характерные для решения задач
синтеза. Ограничения, связанные с объемом этой книги
и сроком ее издания, явились одной из причин того, что
такие актуальные (хотя и не завершенные) разделы, как
непараметрические методы, адаптивные системы и стоха¬
стические дифференциальные уравнения, либо очень сжато
освещены в ней, либо вовсе опущены. Не рассматриваются
также современные методы отыскания экстремумов функ¬
*) Б. Р. Левин. Теоретические основы статистической радио¬
техники. Книга первая.* Изд-во «Советское радио», 1966.
3
ционалов, составляющих предмет математического про¬
граммирования. Основное внимание уделено параметриче¬
ской теории синтеза с полной априорной информацией.
Эта часть теории статистического синтеза отличается наи¬
большей завершенностью и становится уже в известной
мере классической.
Книга соответствует второй части аспирантского курса,
который читался автором в течение ряда лет. Хотя основ¬
ными потребителями будут, как и первой книги, аспиранты,
научные работники, инженеры-разработчики высокой ква¬
лификации и математики, работающие в промышленности,
возможно, она найдет место в ряду средств привлечения
«неофитов» в лоно статистической радиотехники.
Обе наши книги, объединенные одним и тем же назва¬
нием, представляют единое целое. Однако те, кто знаком
с вероятностными методами анализа, могут пользоваться
этой книгой независимо от первой, преодолевая некоторые
неудобства, связанные с ссылками на первую книгу, а так¬
же с символикой, которая, к сожалению, еще не унифи¬
цирована.
Каждый, кому приходилось выпускать в свет печатное
слово, знает насколько бывают важны предварительные
обсуждения с рецензентами или с коллегами, любезно
согласившимися затратить часть своего времени (кото¬
рого, увы, всегда нехватает) на ознакомление с руко¬
писью. Постоянными помощниками на всех этапах подго¬
товки к изданию этой книги были аспиранты, прослушав¬
шие курс моих лекций. Приношу искреннюю благодарность
всем, кому я обязан за внимание к моей работе, в особен¬
ности доктору технических наук И. А. Большакову, док¬
тору физико-математических наук Б. С. Флейшману, кан¬
дидатам технических наук В. И. Асатуряну, Я. А. Фомину,
Ю. Б. Черняку, аспирантам Л. С. Розову и Ю. С. Шина-
кову. В той или иной степени каждый из них способствовал
улучшению изложения, но за оставшиеся незамеченными
недостатки повинен исключительно автор этой книги.
Пользуюсь случаем выразить признательность авторам
рецензий на мою первую книгу, появившихся в некоторых
советских и зарубежных журналах, а также всем, кто
прислал мне полезные замечания и пожелания.
Наконец (но не в меньшей степени), я благодарен кол¬
лективу сотрудников издательства «Советское радио», кото¬
рый не только помогал мне, но и активно стимулировал
работу вот уже на протяжении полутора десятка лет.
Москва, июнь 1967 г,
ВВЕДЕНИЕ
Анализ и синтез. При разработке систем передачи
информации (связи, радиолокации, управления и др.)
и отдельных элементов этих систем постоянно возникают
задачи, которые могут быть классифицированы как задачи
двух основных видов: анализа и синтеза. В наиболее общем
виде указанные задачи могут быть сформулированы сле¬
дующим образом. Задача анализа (прямая): заданы харак¬
теристики системы (элемента) и процесса, действующего
на входе; необходимо найти характеристики процесса
на выходе системы (элемента). Задача синтеза (обратная):
заданы характеристика процесса на входе и желаемая
характеристика процесса на выходе; необходимо найти такую
систему, которая преобразовывала бы процесс с заданной
характеристикой в процесс с желаемой характеристикой.
В статистической радиотехнике объектом исследований
являются различные сигналы и помехи, представляющие
реализации случайных процессов (и лишь в частных слу¬
чаях — детерминированных). Задачи анализа при этом
состоят в определении необходимых вероятностных харак¬
теристик процессов на выходе линейных и нелинейных
систем при условии, что построение и характеристики
систем заданы и дано вероятностное описание процессов
на входе (с той или иной подробностью, необходимой для
решения конкретной задачи). Примером анализа является
вычисление отношения мощности сигнала к мощности
шума на выходе системы, иногда используемое в качестве
показателя помехозащищенности. Для решения задач ана¬
лиза используются математические методы теории вероят¬
ностей и теории случайных процессов. Этим методам в их
приложении к задачам вероятностного анализа была посвя¬
щена наша первая книга [3].
Статистическая формулировка задачи оптимального син¬
теза состоит в определении наилучшего (в некотором смысле)
образа дейстзий, поззоляющего по наблюдаемой реализа¬
5
ции входного воздействия принять решение о представ¬
ляющих интерес характеристиках входного воздействия,
как случайного процесса (совокупности реализаций). Иначе
говоря, необходимо отыскать оптимальную систему (алго¬
ритм обработки наблюдаемого входного воздействия), вы¬
ход которой представлял бы решение или число, харак¬
теризующее неизвестные свойства наблюдаемого явления.
Выход системы, представлен ли он в форме решения или
в числовой форме, является функционалом от наблюдаемой
реализации. Для определения вероятностных характери¬
стик этого функционала привлекаются методы, исполь¬
зуемые для решения задач анализа.
Следует особенно подчеркнуть, что статистический син¬
тез как построение оптимальной системы или алгоритма
обработки связан прежде всего с определением понятия
оптимизации. Это понятие включает как критерий каче¬
ства наших действий, так и выдвигаемые нами дополни¬
тельные условия, ограничивающие класс допустимых си¬
стем. Более или менее общий характер оптимизации
зависит от вида и числа ограничений, налагаемых на допу¬
стимый класс систем. Обоснование выбора критерия каче¬
ства и ограничений на систему выходит за рамки излагае¬
мой ниже теории синтеза и базируется на человеческом
опыте, здравом смысле и интуиции — арсенале средств,
принимаемых на вооружение эвристикой.
Для решения задач синтеза используются методы мате¬
матической статистики и теории решений, идейные основы
которых были заложены трудами А. Вальда, А. Н. Кол¬
могорова, Дж. Неймана, Н. В. Смирнова, Р. Фишера.
Одной из самых первых работ по статистическому синтезу
применительно к системам передачи информации была
защищавшаяся в 1947 г. докторская диссертация В. А. Ко¬
тельникова [2], предвосхитившая многие другие (в част¬
ности широко известные в настоящее время работы
Ф. М. Вудворда [1] и Д. Миддлтона [4]).
Излагаемые в книге методы оптимального статистиче¬
ского синтеза дают в руки разработчиков систем более
универсальный инструмент, чем тот, которым они распо¬
лагали в прежние времена, когда изучение процессов
основывалось на более грубых энергетических характери¬
стиках (например, на вездесущем отношении сигнал/шум),
которые не отражали особенностей, связанных с выра¬
боткой и принятием решений,
б
Не следует, однако, забывать, что методы статистиче¬
ского синтеза представляют лишь следующую ступень
познания, на которой, конечно, не удается полностью
освободиться от приближенного рассмотрения объективно
существующих явлений и уйти от неизбежных компромис¬
сов, продиктованных выбором критериев качества и необ¬
ходимостью каким-то образом преодолеть трудности, свя¬
занные с отсутствием достаточных априорных данных,
с «математическими тупиками», а также со сложностью
реализации оптимальных алгоритмов.
Различные критерии, приспособленные к располагаемым
априорным данным, приводят, вообще говоря, и к раз¬
личающимся оптимальным алгоритмам обработки резуль¬
татов наблюдения, хотя некоторые алгоритмы оказываются
иногда оптимальными для ряда критериев. Таковы, напри¬
мер, линейные алгоритмы (согласованные фильтры), опти¬
мальные для обнаружения и различения детерминирован¬
ных сигналов в аддитивных случайных помехах, имеющих
нормальные законы распределения вероятностей.
Обзор содержания. Эта наша вторая книга по теорети¬
ческим основам статистической радиотехники, посвященная
вопросам статистического синтеза, по своей структуре
аналогична первой книге [3].
Первые две главы (первое звено) содержат минимально
необходимые сведения из ставших уже классическими
теории решений (статистики случайных событий) и теории
оценок параметров распределений случайных величин
(статистики случайных величин). Изложение этих сведений
строго подчинено последующему рассмотрению приклад¬
ных вопросов.
Две другие главы (второе звено) представляют матема¬
тическую основу для решения очень многих задач стати¬
стического синтеза, основанного не только на дискретных
выборках, но и на непрерывных реализациях случайного
процесса. Подробно освещаются фундаментальные поло¬
жения статистики случайных процессов, связанные с орто¬
гональными разложениями случайных процессов, функцио¬
налами отношения правдоподобия, проверкой гипотез
о случайном процессе, оценками параметров распределения
случайного процесса, оценками корреляционных функций
и энергетических спектров. Рассматриваются вопросы
линейной и нелинейной фильтрации случайных процес¬
сов.
7
Остальная часть книги (третье звено) иллюстрирует
специальные приложения теории статистического синтеза
для оптимального построения устройств обнаружения
и выделения сигналов на фоне шума. Здесь учитывается спе¬
цифика радиосигналов как узкополосных процессов. В седь¬
мую главу включены некоторые из основных положений
современной теории классификации сигналов при неполных
априорных данных (распознавания образов).
Небольшое число задач дополняет каждую главу неко¬
торыми представляющими интерес результатами. Само¬
стоятельное решение задач, возможно, укрепит в читателе
уверенность в том, что ему под силу статистическое
исследование в избранной им области прикладных наук.
Библиография. Как и в первой книге (по указанным там
мотивам), мы ограничились в конце каждой главы ссылками
в основном на монографическую литературу и на некоторые
публикации последних лет, имеющие непосредственное
отношение к изложению. Исключение составляет седьмая
глава, в которой освещаются вопросы, обсуждавшиеся
до сих пор главным образом на страницах периодических
изданий. Поэтому список литературы к этой главе более
обширный, чем к остальным.
Наконец, следует обратить внимание на вышедшие уже
после нашей книги [3] монографии С. М. Рытова [6]
и В. И. Тихонова [7]. Все три книги близки по названиям
и по целям, однако в отборе материала и в выборе дорог,
по которым каждый из трех авторов отправился для дости¬
жения этих целей, несомненно, отразилась специфика их
научных интересов, методологии и вкусов. Сжатые «Очерки
теории связи» Д. Миддлтона [5], крупного американского
специалиста в области статистической радиотехники, могут
быть хорошим дополнением по вопросам синтеза к книгам
упомянутых советских ученых. Последнее замечание в рав¬
ной мере относится и к предлагаемой книге.
Наша аудитория. Обе книги рассчитаны, прежде всего,
на работающих в радиотехнической промышленности ин-
женеров-исследователей и математиков-прикладников. Воп¬
росы синтеза, как и вопросы анализа, являются неотъемле¬
мой частью аспирантского курса статистической радиотех¬
ники. Настоящая книга, возникшая вместе с'курсом лекций
в Московском электротехническом институте связи, может
служить пособием для аспирантов, для которых статисти¬
ческая радиотехника — профилирующий предмет. Ею могут
частично воспользоваться и студенты при изучении курса
радиотехнических цепей и сигналов и спецкурсов теории
радиосистем.
Опыт работы в промышленности и высшей школе сви¬
детельствует о том, что из года в год неуклонно повышается
математический уровень подготовки как молодых инжене¬
ров, так и специалистов, уже работающих в научно-иссле-
довательских организациях. Поэтому, хотя мы и не при-,
влекаем дополнительных разделов современной математики
(таких, как интеграл Лебега, теория меры и др.) и рассчи¬
тываем на читателя, знакомого только с вузовскими курса¬
ми математического анализа и основ радиотехники, в неко¬
торых доказательствах и выводах опущены промежуточные
выкладки, а ряд утверждений не разъясняется достаточно
подробно.
При желании читатель сможет воспроизвести эти под¬
робности самостоятельно, хотя они и не всегда необходимы
для понимания существа излагаемой теории. Другое дело —
практическое использование теоретических результатов
в конкретной практической задаче, когда конечной целью
исследователя может быть определение блок-схемы устрой¬
ства с характеристиками в окончательной числовой (или
графической) форме. Здесь часто придется углубляться
в математические дебри, в которых, однако, следует искать
плоды от деревьев иных пород: не теории вероятностей
и статистики, а главным образом линейных интегральных
уравнений и линейной алгебры. Мы не злоупотребляли ма¬
тричной формой записи при использовании многомерных
распределений, которая всегда экономит бумагу, но не
всегда — мозги.
Во всех случаях нам пришлось жертвовать математиче¬
ской строгостью, когда для ее соблюдения пришлось бы
расширить математическую базу или уклониться от основ¬
ной линии изложения. На первый план поставлена при¬
кладная грань математики, представляющей, по меткому
выражению А. Н. Колмогорова на Международном конгрес¬
се математиков в Москве, один из механизмов, при помощи
которого человек управляет природой и самим собой.
ЛИТЕРАТУРА
1. Вудворд Ф. М. Теория вероятностей и теория информации
с применением в радиолокации. Пер. с англ., под ред. Г. С. Го¬
релика. Изд-во «Советское радио», 1955.
2. Котельников В. А. Теория потенциальной помехо¬
устойчивости. Госэнергоиздат, 1956.
3. Левин Б. Р. Теоретические основы статистической радио¬
техники. Книга первая. Изд-во «Советское радио», 1966.
4. Миддлтон Д. Введение в статистическую теорию связи.
Пер. с англ., под ред. Б. Р. Левина, т. II, ч. IV. Изд-во «Совет¬
ское радио», 1962.
5. Миддлтон Д. Очерки теории связи. Пер. с англ., под
ред. Б. Р. Левина. Изд-во «Советское радио», 1966.
6. Р ы т о в С. М. Введение в статистическую радиофизику.
Изд-во «Наука», 1966.
7. Т и х о н о в В. И. Статистическая радиотехника. Изд-во
«Советское радио», 1966.
ГЛАВА
ПЕРВАЯ
1.1. ПРОБЛЕМА ВЫБОРА РЕШЕНИЯ
1.1.1. Исходные данные и формулировка проблемы.
Рассмотрим совокупность возможных состояний s0, . . sm
(явлений природы, причин появления событий и т. п.),
которые представляют полную группу случайных событий,
771
и пусть ро, . . рт (2 Ра =1) — априорное распределение
к— О
вероятностей этих состояний. Рассмотрим далее совокуп¬
ность результатов наблюдений xit . . ., хп (выборочных зна¬
чений), зависящих от того, какое из упомянутых состояний
в действительности имеет место, и пусть Wn (х1у . . ., xn|Sfc) —
условное распределение выборочных значений, соот¬
ветствующее состоянию Sky k = 0,1, . . т.
Имеются: набор решений у0, . . ут относительно
истинности состояний, правила 6 (у*]*!, . . ., хп) выбора
решения, приписывающие каждому возможному результату
наблюдений хи . . ., хп одно из решений yit i = 0,1, ...
. . ., m, а также функция потерь П (sjt у*), учиты¬
вающая последствия выбора решения, и критерий качества
f {П} выбора решения, связанный с функцией потерь.
Проблема, которая будет подробно рассмотрена ниже
и которая лежит в основе многих задач техники и естест¬
вознания, может быть в общем виде сформулирована
следующим образом: при заданных распределениях
Pk, Wn (xi9 . . ., хп\Sk), наборе решений yt, функции
потерь П и критерии качества / требуется определить
наилучшее в смысле принятого критерия правило б исполь¬
зования результатов наблюдений xit . . ., хп для выбора
решения. Это правило является разновидностью стати¬
стического вывода, получаемого по результатам наблюде¬
ний, о неизвестных сторонах изучаемого явления, точнее
говоря, о принятой математической модели в условиях
11
ПРОВЕРКА СТАТИСТИЧЕСКИХ
ГИПОТЕЗ
неполной информации относительно характеристик этой
модели.
Прежде чем детализировать введенные понятия и поста¬
новку проблемы выбора решения, проиллюстрируем их
на очень простом примере.
1.1.2. Пример: передача сообщений при наличии помех.
Система связи состоит из источника, производящего два
сообщения: «да» и «нет», которые преобразуются соответст¬
венно в сигналы «1» и «О», канала с помехами, которые могут
преобразовывать сигнал «1» в сигнал «О» или «О» в «1»,
и приемного устройства, воспроизводящего сигналы в не¬
искаженном или искаженном виде. Оператор, наблюдающий
сигнал на выходе приемного устройства, должен расшифро¬
вать передачу, т. е. определить по принятому сигналу пере¬
данное сообщение.
Если бы сигналы всегда передавались без искажений,
то можно было бы по принятому сигналу дать безошибочный
ответ на вопрос, какое сообщение было послано. Например,
по сигналу «1» всегда узнавалось бы сообщение «да». Иначе
говоря, апостериорная вероятность сообщения «да» при
условии, что принят сигнал «1», равнялась бы единице.
Вследствие искажений помехами принятый сигнал не всегда
будет достоверно указывать на то, какое сообщение было
передано, т. е. будут случаи, когда принимается сигнал «1»
при передаче сообщения «нет», а сигнал «О» — при передаче
сообщения «да». Возникает необходимость дать оператору
заранее правило поведения в указанной неопределенной
ситуации, не полагаясь на его интуицию и субъективные
суждения.
Рассмотренный простейший пример содержит все эле¬
менты приведенной выше постановки проблемы. Сообще¬
ния «нет» и «да» представляют два взаимонесовместимых
состояния передатчика So и s4. Априорные вероятности этих
состояний ро = Р {«нет»}, Pi = Р {«да»} = 1 — р0 опреде¬
ляют статистическую структуру источника сообщений,
т. е. указывают, какой процент в длинной последовательно¬
сти сообщений составляют сообщения «нет» и какой про¬
цент — сообщения «да». Возможными результатами наблю¬
дений являются сигналы «1» и «О». Условные вероятности
этих сигналов Р {0 | s0} = 1 — Р {1 | s0}, Р {1 I Si} =
= 1 — Р {0 | Si} определяются вероятностными свойствами
помех в канале. Величины Р {0 | s0}, Р {1 I Si} представ¬
ляют вероятности того, что сигналы «О» и «1» не искажаются
12
помехами, а Р {1 | so}, Р {0 | s4} — вероятнос1и искажений
двух видов: перехода «О» в «1» и «1» в «О». Набор решений
в этом случае состоит из уо (передано сообщение «нет»)
и Yi (передано сообщение «да»), а правило решения пред¬
писывает оператору, какое из этих двух решений он должен
выбирать, когда наблюдает сигнал «1» или сигнал «О».
Функция потерь в рассматриваемом примере должна учиты¬
вать последствия ошибочных решений оператора и назна¬
чать «плату» По1 > 0 за ошибку первого рода (принятие
решения, что было передано сообщение «да», когда в дейст¬
вительности передавалось «нет») и «плату» П10 > 0 за ошиб¬
ку второго рода (принятие решения, что было передано
сообщение «нет», когда в действительности передавалось
«да»). Можно было бы наряду с потерями П0ь П10 ввести
величины выигрышей П0о, Пи (отрицательных потерь),
приобретаемых от правильных решений или расходов
на принятие правильных решений (при условии, что П0о <
< По! и Пи < П10). Однако иногда ограничиваются введе¬
нием только потерь из-за ошибочных решений, полагая,
что правильным решениям соответствуют нулевые потери.
Критерием качества выбора решения может служить
среднее значение потерь из-за ошибочных решений, взве¬
шенное с вероятностями их появления. Таким образом,
согласно этому критерию выбирается из двух возможных
правил выбора решения то, для которого величина сред¬
него значения потерь меньше. Подсчитаем величины сред¬
них потерь для двух правил выбора каждого из возможных
решений.
Одно правило б0 может быть сформулировано так:
наблюдаешь сигнал «О»— принимай решение у0 (и, следова¬
тельно, когда наблюдаешь сигнал «1»— принимай реше¬
ние Yi)* В этом случае вероятности ошибочных решений
равны
Р {ошибка 1-го рода} = Р {711 s0} = р0Р {11 s0},
Р{ошибка 2-го рода} = Р {у0\ s4} = /?4Р{01 sj
и среднее значение R0 потерь
Ro = H^oiPqP {11 s0} + HioPiP {01 si} (1.1)
Другое правило б4 формулируется так: наблюдаешь
сигнал «О»— принимай решение Yi (и, следовательно, когда
наблюдаешь сигнал «1»— принимай решение y0)* В этом
13
Случае Вероятности ошибочных решений равны
Р {ошибка 1-го рода} = Р {у01 s0} = РоР {01 s0},
Р {ошибка 2-го рода} = Р {yj | sj = ptP {1 | st}
и среднее значение Rt потерь
Принятый критерий качества отдает предпочтение пра¬
вилу б0, если R0<Ru т. е. когда
Так как R0 + Ri = По1Ро + П10р,, то из (1.1) и (1.3) при¬
ходим к следующему условию, при выполнении которого
принимается правило б0:
HoiA)^ {11 So} + П10Р1Р {01 Sj} < (П01Р0 + П10Р1). (1-4)
Формула (1.4) помимо условных вероятностей ошибок,
определяемых вероятностными характеристиками помех
в канале, содержит априорные вероятности сообщений
и величины потерь. Определение или назначение величин р0,
П01, П10 в конкретных ситуациях может представлять
значительные трудности. Это обстоятельство является сла¬
бым местом и в общей постановке проблемы, указанной
в § 1.1.1. Когда нет никаких оснований для того, чтобы
ошибку первого рода считать более или менее существенной,
чем ошибку второго рода, то полагают потери П01 и П10
одинаковыми, и тогда величины средних потерь просто
пропорциональны вероятности ошибки любого рода. Кри¬
терий наименьших средних потерь в этом случае переходит
в критерий наименьшей частоты ошибок. Когда ничего
«неизвестно» о статистической структуре источника сооб¬
щений, то остается предположить, что сообщения «да»
и «нет» передаются с равными вероятностями, т. е. р0 =
1
= Р» = У
Если По1 = П10, Po = Pi = -j, то условие (1.4) стано¬
вится особенно простым:
Ri — R01P0P {О I So} + HloPlP {11 Sj}. (1-2)
(1.3)
или
P{\\S0}<P{l\Sl}.
(1.5)
14
Условие (1.5) означает, что вероятность искажения сигна¬
ла «О» меньше вероятности правильного воспроизведения
сигнала «1» (иначе, вероятность появления ложного сигна¬
ла «1» меньше вероятности неподавления истинного сигна¬
ла «1»). Средние потери в этом случае R0 < 0,5, в то время
как для правила б4 при условии (1.5) средние потери
> 0,5 *).
1.1.3. Простые и сложные гипотезы. Теперь рассмотрим
несколько подробнее основные понятия, введенные в § 1.1.1
в связи с общей постановкой проблемы выбора решения.
Иногда эта проблема формулируется в терминах теории
проверка статистических гипотез. Выбор решения тогда
состоит в принятии или отклонении гипотезы относительно
возможных состояний изучаемого явления по результатам
наблюдений. Так, например, при обнаружении сигнала
на фоне шума результат наблюдений выходного эффекта
приемного устройства может относиться только к шуму
(состояние s0) или к смеси сигнала и шума (состояние Si).
Выбор решения состоит в принятии или отклонении гипоте¬
зы Н0 о том, что наблюдавшийся эффект относится только
к шуму. Противоположная гипотеза Я4 о том, что наблю¬
давшийся эффект относится к смеси сигнала и шума, являет¬
ся альтернативой.
Класс гипотез называется простым, если он содержит
одну-единственную гипотезу, и сложным, если число гипо¬
тез не меньше двух. В указанном выше примере проверяемая
гипотеза и альтернатива являются простыми. В задаче
обнаружения одного из совокупности сигналов на фоне
шума (состояния s4, . . ., sm) класс альтернатив является
сложным. Сложной гипотезе может соответствовать не толь¬
ко конечное число состояний, но и бесконечное: счетное
(дискретное) множество или континуум состояний. Воз¬
можные состояния принято представлять точками много¬
мерного пространства состояний. Если множество воз¬
можных состояний образует континуум, то априорное рас¬
пределение вероятностей состояний характеризуется плот¬
*) Заметим, что возможными правилами решения в рассматри¬
ваемом примере могли бы быть также: 63— всегда принимай реше¬
ние 7о» или 64 — всегда принимай решение yi. Величины средних
потерь для этих решений равны соответственно R3 = pill10,
R4 = р0П01. Если П10 = П10 = 1 и ро = pi = х/2, то любое из этих
правил хуже, чем 60, так как при этом R3 = Rk = 1/2, но лучше,
чем 6j, так как Rt > 0,5.
15
ностью вероятности wy (s), определенной на этом мно¬
жестве.
1.1.4. Выборка. Как отмечалось в первой книге, с каж¬
дым случайным экспериментом может быть связана некото¬
рая случайная величина |, возможные значения которой
представляют результаты наблюдений, фиксируемые после
проведения случайного эксперимента. Таким образом,
результат последовательности п случайных экспериментов
представляется п возможными значениями хи . . ., хп
случайной величины £. Каждое из этих значений называет¬
ся выборочным, а их совокупность — выборкой *). Число п
выборочных значений, или число элементов выборки, при¬
нято называть размером (или объемом) выборки. Пусть рас¬
пределение вероятностей случайной величины \ характери¬
зуется интегральной функцией Ft (*) или плотностью wt (х).
Тогда говорят, что выборка xlt . . ., хп получена из рас¬
пределения Fi (х) или соответственно из Wi (лг). Закон рас¬
пределения может зависеть от состояния s* изучаемого
явления. Для того чтобы подчеркнуть зависимость выбор¬
ки от указанного состояния Sh, будем обозначать функ¬
цию распределения, из которого она получена, симво¬
лом Fx {х | Sh) или wi (х | Sh).
Каждая выборка, т. е. совокупность л чисел, представля¬
ет точку в n-мерном пространстве, или n-мерный вектор X =
= (*i, . . ., хп). Если рассматривать (хотя бы мысленно)
все возможные последовательности экспериментов, то сово¬
купность всевозможных выборок заполняет некоторую
область указанного л-мерного пространства. Эта область
называется пространством выборок. Плотность вероятности
выборки из распределения wi (х | s) с независимыми эле¬
ментами xit . . ., х„ равна
W„(xt, ..., jc„|s)= П ®i(*fc|s), (1.6)
k=i
так как в этом случае совместная плотность вероятности
выборочных значений равна произведению плотностей
вероятностей элементов выборки.
*) Во многих руководствах по математической статистике сово¬
купность возможных значений случайной величины £ принято
называть генеральной совокупностью. Каждый случайный экспе¬
римент представляет выбор некоторого значения из генеральной
совокупности.
16
Для выборки из дискретного распределения Рц,=
= Р {х = Xj | s}, / = 11 2, • • • f л,
П
/>{jc = jc1, x = a:„|s>= II /?*(*. (1.6')
k=l
Совместное распределение выборочных значений назы¬
вается функцией правдоподобия выборки. Функция правдо¬
подобия, заданная в пространстве выборок, указывает,
как часто появляются точки из некоторой области простран¬
ства выборок, и определяет плотность вероятности того,
что появляется какая-то точка пространства выборок.
Итак, принимается точка зрения на выборку как на
совокупность случайных величин или как на многомерную
случайную величину (случайный вектор), характеризую¬
щуюся некоторым распределением вероятностей — функ¬
цией правдоподобия *).
Обобщая понятие выборки, можно предположить, что
результатами наблюдений являются значения не одной
случайной величины, а совокупности зависимых случайных
величин, связанных я-мерной функцией распределения
Wn (*i, . . ., хп | s), вид которой определяется состояни¬
ем s изучаемого явления.
До сих пор предполагалось, что в процессе извлечения
выборочных значений хи . . ., хп состояние Sk изучаемого
явления не изменялось. В примере с обнаружением это
означало, что наблюдаемый эффект связан либо только
с шумом, либо со смесью сигнала и шума. Однако могут
быть и такие ситуации, когда состояние изучаемого явления
изменяется один или несколько раз в процессе извлечения
выборочных значений. Например, сигнал в шумах появ¬
ляется в пределах заданного интервала наблюдения. Тогда
выборка оказывается разнородной, отдельные ее части
принадлежат разным распределениям wt (х | s*), (х | sj)
и т. д.
Наконец, обратим внимание на то, что в рассмотренной
выше постановке «сырьем» для статистических выводов
*) Заметим, что в отличие от первой книги, где случайные
величины и аргументы соответствующих им функций распреде¬
ления обозначались разными символами (греческими и латински¬
ми), здесь элементы выборки и аргументы соответствующей функ¬
ции правдоподобий обозначаются одинаковыми символами, что,
однако, не должно служить поводом для отождествления этих
величин.
2-197
17
служит выборка заданного размера п. Иногда оказывается
целесообразнее не планировать заранее объем экспери¬
ментов, а определять его в процессе наблюдений, принимая
решение о прекращении или продолжении наблюдений
последовательно после каждого эксперимента, подвергая
статистическому анализу накопленные к данному моменту
выборочные значения.
1.1.5. Набор решений и правило выбора решения.
Набор решений у0, yiy . . ., ут представляет собой ряд
логических утверждений о том, какая из гипотез относитель¬
но состояний s0, Si, . . ., sm изучаемого явления истинна.
Правило выбора решения б устанавливает соответствие
между набором решений и возможными результатами наблю¬
дений, т. е. пространством выборок*). Это означает, что
пространство выборок G должно быть разделено на т + 1
непересекающихся областей G0, Glf . . ., Gm, и тогда пра¬
вило выбора решения устанавливает соответствие между
решениями ук и областями Gj (xit . . ., *п). Важно подчерк¬
нуть, что правило выбора решения устанавливается до
проведения наблюдения.
Правило решения может быть детерминированным
(или нерандомизированным). При этом данной области
Gk (*ь • • м хп) всегда приписывается определенное реше¬
ние уну иначе говоря, если наблюдаемая выборка попадает
в область Gk, то принимается решение уку т. е. утверждается
истинность гипотезы о том, что изучаемое явление находит¬
ся в состоянии Sh- Правило решения может быть рандоми¬
зированным. При этом для заданных выборочных значе¬
ний xif . . ., хп допускается выбор одного из нескольких
решений в соответствии с некоторым распределением вероят¬
ностей. Это распределение Р {у* | (*ь . . ., xn)£Gj) пред¬
ставляет условные вероятности решений при фиксирован-
т
ной выборке (2 р {yk I (*i Xn)£Gj}=l, / =
ft=0
= 0,1, . . ., т). Для детерминированного правила реше¬
ния Р {уи I (xi *n)6G7} = 1 лишь для одного зна¬
чения k = /, и указанная вероятность равна нулю для
всех других значений !гф j. В дальнейшем в этой книге
будут рассматриваться только детерминированные правила
*) В математической литературе само правило выбора решения
часто называют критерием. Мы используем термин «критерий»
только в смысле критерия качества правила выбора решения.
18
Ёыбора решений. Этим ограничением, однако, не игнориру¬
ется роль рандомизированных правил, которые имеют
самостоятельное значение и дают иногда возможность
упростить математический анализ (см., например, [7]).
1.1.6. Функция потерь и критерий качества выбора
решения. Использование любого заранее установленного
правила выбора решения в силу случайной природы объек¬
та наблюдения неминуемо связано с возможностью оши¬
бочных решений. Наблюдаемая выборка хи • • •, хп может
оказаться в области G&, и будет принято решение уд, что
изучаемое явление находится в состоянии sA, хотя в дейст¬
вительности указанная выборка связана с другим состоя¬
нием sj, j Ф k. Наличие в последовательности решений
не только правильных, но и ошибочных является неизбеж¬
ной платой за попытку получить решение в условиях непол¬
ной информации.
Последствия ошибочных решений могут быть различны.
Аналитически это обстоятельство учитывается путем вве¬
дения неотрицательной функции потерь, которая предпи¬
сывает каждому ошибочному решению, т. е. каждой комби¬
нации sj и ук, кФ]9 плату = П (sj9 yk) > 0. Наряду
с этим могут быть введены также величины выигрышей
(отрицательных потерь), приобретаемых при правильных
решениях, или расходы, связанные с вынесением правильных
решений П^- = П (sj, yj) < П/А, k ф /. Для заданного
состояния sj средняя величина потерь при использовании
определенного правила б выбора решения (т. е. способа
разбиения пространства выборок на области G& и установ¬
ления их соответствия набору решений yk) в достаточно
длинной последовательности экспериментов (результаты
которых фиксируются выборками размера п) приближенно
равна среднему в пространстве выборок значению (мате¬
матическому ожиданию) функции потерь
гл. т
Г] = 2 (Yft I Sj} = 2 ПдР {(*!, *n)6Gfe|s/}, (1.7)
k=0 k=0
где P {(*i, . . ., xn) £Gh | s/} — условная вероятность по¬
падания выборки (xit . . ., хп) в область Gk, если в дейст¬
вительности имеет место состояние sj. Условное среднее г/
для данного состояния sj называется условной функцией
риска.
Можно было принять условную функцию риска за кри¬
терий качества правила выбора решения и считать наилуч¬
2* 19
шим правилом to, которое минимизирует по всем возмож¬
ным б величину rj. Однако оптимальное свойство правила
решения зависело бы при этом от заданного состояния sj~
Для другого состояния Shf кФ /, правило, минимизирую¬
щее Г/, возможно, уже не будет реализовывать наименьшее
значение г&.
Усредняя условную функцию риска по всем возможным
состояниям sj, получим
гл. т т
R ~ 2 Pirj ~ И И Pj^-jkP {(*ь • • •» хп) 6 Од j Sj}, (1.8)
;=0 j= 0 k=0
где — априорная вероятность состояния Sj.
Определенное согласно (1.8) среднее значение функции
потерь, которое зависит и от правила выбора решения,
и от распределения вероятностей состояний, называется
средней функцией риска. Эта функция может быть принята
за критерий качества правила выбора решения. Тогда опти¬
мальным (наилучшим в смысле принятого критерия) прави¬
лом выбора решения будет такое, для которого при задан¬
ных функции потерь, распределении вероятностей состоя¬
ний и условных распределениях вероятностей выборок при
фиксированных состояниях величина средней функции
риска будет наименьшей среди значений этой функции,
относящихся к любым иным правилам выбора решения.
Оптимальным правилом выбора решения задается один
(из многообразия возможных) способ разбиения простран¬
ства выборок на непересекающиеся области G&, k =
= 0, 1, . . ., m, который обеспечивает при длительном его
использовании минимальные средние (по возможным состоя¬
ниям изучаемого явления) потери.
Оптимальное правило выбора решения, минимизирую¬
щее среднюю функцию риска, называется байесовским реше¬
нием, а соответствующее ему минимальное значение сред¬
ней функции риска — байесовским риском.
Излагаемая теория обладает существенным недостатком.
Прежде чем воспользоваться ее результатами, необходимо
запастись достаточно обширной априорной информацией
не только об условных функциях распределения выборочных
значений Wn (xiy . . ., хп | sf), которые во многих случаях
можно обоснованно задать, но и о функции потерь П (sj, ук)
и об априорном распределении состояний.
Если априорное распределение состояний неизвестно,
то для установления критерия качества выбора решения
20
имеется возможность использовать лишь условную функ¬
цию риска гj, которая представляет функцию целочисленно¬
го аргумента /, указывающего состояние sj. Пусть г*% —
максимальное значение этой функции для правила выбора
решения б4 и г*2 — ее максимальное значение для правила
выбора решения б2. Можно считать более благоприятным
то из этих двух правил, для которого максимальное значе¬
ние условной функции риска меньше. Например, если г*2 <
< г*19 то правило б2 лучше правила б4. Оптимальным прави¬
лом будет такое, которому соответствует минимум среди
максимальных значений условных функций риска, опре¬
деленных при любых других правилах. Это правило назы¬
вают минимаксным правилом выбора решения.
Минимаксное правило выбора решения дает уверен¬
ность в том, что потери (в среднем) не будут больше некото¬
рой величины г*. Хотя во многих случаях использование
этого правила разумно, могут быть ситуации, в которых
оно будет слишком осторожным, и предпочтительным ока¬
жется иное правило решения, для которого максимальное
значение условного риска будет больше, чем г*. Так, напри¬
мер, если в одном из состояний правило выбора решения 6
приводит к условному риску, несколько большему, чем г*,
а в остальных состояниях — намного меньшему, чем те,
которые соответствуют минимаксному правилу б*, то целе¬
сообразно отдать предпочтение правилу б. Указанное обстоя¬
тельство иллюстрируется на рис. 1, на котором изображе¬
ны типичные случаи, когда использование минимаксного
правила обоснованно (рис. 1, а) и когда минимаксное прави¬
ло является чересчур осторожным (рис. 1,6).
Можно показать (см., например, [14, стр. 91]), что
любое минимаксное правило выбора решения является
специальным случаем байесовского решения для наименее
благоприятного априорного распределения вероятностей
(Pj)мм состояний Sj9 / = О, . . ., т, для которого мини¬
мальный (байесовский) средний риск имеет наибольшую
величину по сравнению с величинами среднего риска, вы¬
численными для байесовского решения при любом другом
распределении *). К сожалению, не существует общего
метода, при помощи которого можно было бы находить
наименее благоприятное априорное распределение (pj)мм.
*) Условия существования такого наименее благоприятного
распределения сформулированы в работе [14, § 3.1, теорема 3.14].
21
Однако доказано (см. [14, § 3.51), что байесовское правило
выбора решения, которому соответствуют одинаковые для
всех состояний условные риски г7- = г, / = О, 1, . . ., /п,
является минимаксным. Это обстоятельство может быть
использовано для определения наименее благоприятного
Рис. 1. Использование минимаксного правила:
а — приемлемо; б — неприемлемо (правило 6i лучше, чем б*).
распределения и, следовательно, минимаксного правила.
Но следует иметь в виду, что равенство условных рисков
при небайесовских решениях не приводит к минимаксному
правилу. С другой стороны, если равенство условных рисков
неосуществимо, то это еще не значит, что минимаксного
правила не существует. Для его определения в этом случае
нужно искать другие методы.
В условиях, когда известно априорное распределение
состояний Sj, но нет каких-либо обоснованных соображений
22
относительно величин потерь Ujkf может быть использован
несколько иной подход к выработке правил выбора решений.
Найдем, используя формулу Байеса (см. (1.19) в первой кни¬
ге), апостериорную вероятность состояния sj, когда наблю¬
дается выборка (хи . . ., хп):
(,.9)
2 PhWn{xi, . .., Xn\sk)
h= 0
Указанные апостериорные вероятности представляют наи¬
более полную характеристику состояния Sj изучаемого
явления, какую можно получить, располагая только выбо¬
рочными значениями случайной величины, связанной с наб¬
людениями. Поэтому естественно принять следующий кри¬
терий: утверждается истинной та из гипотез относительно
состояний sj, j = 0,1, . . ., m, для которой апостериорная
вероятность (1.9) максимальна. Таким образом, критерием
качества рассматриваемого правила выбора решения явля¬
ется максимум апостериорной вероятности.
Из этого критерия следует правило разбиения простран¬
ства выборок. К области Gk относят те выборки (хи . . ., хп),
для которых при всех / Ф k.
Р J Xi, . . ., Хп\ ^ Р {Sj | Xfj . . . , Xjг}. (1.9 )
Если нет никаких априорных сведений и о распределе¬
нии вероятностей состояний, и о потерях, то можно вос¬
пользоваться критерием максимального правдоподобия, сог-
гласно которому при наблюдении выборки (xi9 . . хп)
принимается та из гипотез относительно состояний Sj,
для которой функция правдоподобия Wn (xit . . ., хп | sj)
больше других функций правдоподобия Wn (хи . . ., хп | sft),
ft = 0,1, ...,/— 1, / + 1, • • •» т• Эт°т критерий является
частным случаем критерия максимальной апостериорной
вероятности при условии, что все состояния равновероятны,
т. е. Р> = ^.
Еще один критерий качества правила выбора решения
связан со средним количеством информации, содержащимся
в используемом правиле б относительно исследуемого явле¬
ния s (характеризуемого т + 1 состояниями s0> . • sm
и их априорными распределениями р0, . . • » Рт)- По опреде¬
23
лению среднего количества информации 113]
т т
/<в, .>=22? <*,»«> ,п^^=
j—0 k=0
т
= Я(5)-Я(5|6) = Я(5)-2 P{Vk}H(s|y0. (1-Ю)
k=0
где
m
//(s)== — 2 ^ln^>0
i=0
— энтропия, характеризующая априорную неопределен¬
ность состояний исследуемого явления, и
т
н (s I Ук) = — 2 ^ {«71 Yft) In Р {s7-1 yh} > 0
i=o
— условная энтропия явления s после того, как принято
решение ук, причем
р{«Н?ь} = Р^ § • • • § Wn(xu .хп | sj) d,X\.. .dxn,
Gk
m
= 2 Pi § • • • § wn(xu • •xn\Sj)dx1...dxn,
;=0 Gk
m
H(s|6)= 2 P{yk}H(s\yk), 0<H(s\6)<H(s).
fe=0
В качестве наилучшего правила б может быть принято
такое, которое доставляет максимум информации / (б, s),
т. е. минимизирует среднее значение Н (s|6) условной энтро¬
пии (или, как принято говорить в теории информации,
ненадежности). Иначе говоря, правило выбора решения,
удовлетворяющее условию шах/(б, s), гарантирует наи-
б
меньшие в среднем потери информации, связанные с про¬
цессом принятия решения на основе выборочных зна¬
чений *).
*) Более полный информационный критерий качества связан
с максимизацией ценности информации при условии, что коли¬
чество полученной информации не превосходит заданной вели¬
чины [2].
24
1.2. ПРОВЕРКА ПРОСТОЙ ГИПОТЕЗЫ
ПРОТИВ ПРОСТОЙ АЛЬТЕРНАТИВЫ
1.2.1. Вероятности правильных и ошибочных решений.
Переходим к простейшей задаче излагаемой в этой главе
теории — проверке простых гипотез. Ситуация в этом слу¬
чае такова. Имеется некоторое число наблюденных зна¬
чений хи . . ., хп (выборка размера п) и известно, что эти
значения принадлежат одному из двух распределений:
Wn (xlt . . ., хп | s0) или Wn (Xi хп | Sj), связанных
с взаимоисключающими состояниями s0 и Si изучаемого
явления. Задача состоит в том, чтобы указать наилучший
(в каком-нибудь смысле) алгоритм обработки наблюдаемых
данных с целью решить, какому из указанных распределе¬
ний принадлежит полученная выборка.
Обозначим через Н0 и Ht — гипотезы о том, что
выборочные значения принадлежат распределениям
Wn (*1( . . ., Хп | s0) и Wn (Xi хп | Sj) соответственно,
а через Yo и Yi — решения, состоящие в принятии или
отклонении гипотезы Н0. Гипотеза является простой
альтернативой Н0, и поэтому может рассматриваться только
одна гипотеза Н0. Ясно, что отклонение гипотезы Н0 означа¬
ет принятие гипотезы Нх. Для рассматриваемых здесь
нерандомизированных процедур проверки гипотезы
(см. § 1.1.5) задача состоит в установлении до наблюдений
правила, согласно которому каждой выборке хи . . ., хп
приписывалось бы одно из решений Yo или Yi> иначе говоря,
в установлении правила, по которому можно было бы при¬
нять или отвергнуть гипотезу Я0 на основании данных,
накопленных в процессе наблюдения изучаемого явления.
Установление указанного правила эквивалентно разделению
n-мерного пространства выборок (xit . . ., хп) на две непе-
ресекающиеся области G0 и Gt. Если данная конкретная
выборка попадает в область G0, то гипотеза Н0 принимается,
а если она попадает в область Gu то она отвергается (т. е.
принимается гипотеза Нх). Таким образом,
(*!, ..., хп) в G0 -> ye,
(*ь ..., хп) 6 Gi -* Yi>
где символ включения 6 означает принадлежность точки
данной области пространства.
Область Gо принятия гипотезы называют допустимой,
а область Gt отклонения гипотезы — критической. Уравне¬
25
ние поверхности D (xlt ...,**) = const в n-мерном про¬
странстве, разделяющей указанные области, является ана¬
литическим выражением правила выбора решений.
При использовании любого заранее установленного
правила выбора решений наряду с правильными решениями
неизбежны (в силу случайной природы выборки) и ошибоч¬
ные. Возможны ошибки двух родов. Ошибка первого рода
возникает, когда выборка попадаете критическую область Glt
когда изучаемое явление находится в состоянии So• Тем са¬
мым будет отвергнута гипотеза Н0, хотя в действительности
она верна. Ошибка второго рода возникает, когда выборка
попадает в допустимую область G0, хотя изучаемое явление
находится в состоянии st. В результате будет принята лож¬
ная гипотеза. Аналогично могут рассматриваться и два вида
правильных решений; принятие верной гипотезы (выборка
попадает в область G0, когда имеет место состояние s0)
и отклонение ложной гипотезы (выборка попадает в об¬
ласть Gt, когда имеет место состояние st).
Нетрудно написать выражения для условных вероятно¬
стей ошибок для заданного состояния изучаемого явления.
Условная вероятность а ошибки первого рода равна
а = Р{у1\Н0} = Р{(хи хп)£|s0} =
= ^ ^ Wn (хх хп | s0) dxi...dxn.
Gi
Условная вероятность правильного решения, состоящего
в принятии верной гипотезы Н0. дополняет указанную
вероятность до единицы, т. е.
Условная вероятность [} ошибки второго рода равна
Р{Vo\Ho}=P{(Xi, •••> хп)6G01s0} =
1 • • ^ • • •, Хп | So) dx\ • • • dxn, —
Go
26
= xn\si)dxi.. .dxn. (1.12)
Go
Условная вероятность правильного решения, состоящего
в отклонении ложной гипотезы, дополняет р до единицы,
так как
Р{71|Я,} = Р{(х1) ЛГЛ) 6 G, I s4} =
= ^ ^ Wn (*!, ..., хп\ sJdXi -. .dxn=~-
Gi
=: 1 § ‘ ‘ ‘ § xn\si)dXi.. .dxn= 1 — p. (1.12')
G0
Вероятность а ошибки первого рода (т. е. вероятность
отвергнуть правильную гипотезу Н0) называют иногда
уровнем значимости, а вероятность 1 — р отвергнуть лож¬
ную гипотезу — мощностью правила выбора решений *)
Если известно, что априорные вероятности состояний s0
и равны q и р = 1 — q соответственно, то, используя
формулы (1.11) — (1.12'), можно найти априорные вероят¬
ности принятия решений у0 и
P{yo} = qP{Vo\Ho} + pP{yo\Hl} = q{\ — а) + />р, (1.13)
P{Vi}=pP{yi\Hi} + qP{\i\Ho} = P(l —$) + qa, (1.14)
которые определяют частоты появления отдельных решений
в длинной последовательности принятия решений. В фор¬
мулах (1.13) и (1.14) первые слагаемые равны априорным
вероятностям правильных решений, а вторые — априорным
вероятностям ошибок.
Для заданного размера выборки невозможно одновремен¬
но сделать сколь угодно малыми вероятности ошибок и пер¬
вого, и второго рода. Например, чтобы уменьшить уровень
значимости, нужно уменьшить критическую область G4.
*) Иногда в пространстве выборок вводят решающую функ¬
цию Ф (Л'), которая для нерандомизированного правила выбора
решения равна
Ф (X) — 11 ’ Х ^
Ф{Х)-\09 X£G0,
т. е. является своеобразным счетчиком попадания выборки
Х=(хи .хп) в критическую область. Формулы (1.11) и (1.12')
могут быть при помощи решающей функции Ф (Л') записаны в виде
условных средних
а = т1{Фт|Я0}, 1-$ = т1{Ф (Х)\Н±}.
Для рандомизированного правила Ф (X) представляет некоторую
интегральную функцию распределения.
27
При этом, конечно, увеличится допустимая область и пони¬
зится чувствительность правила решения в отношении оши¬
бок второго рода. Поэтому для того, чтобы сформулировать
то или иное правило выбора решений, необходимо выра¬
ботать какие-то разумные подходы. Путь к таким подходам
указывают критерии качества, некоторые из них были
представлены в общем виде в § 1.1.6. Рассмотрим теперь
эти критерии применительно к задаче проверки простых
гипотез.
1.2.2. Байесовское решение. Введем, прежде всего, функ¬
цию потерь, которая предписывает каждой из четырех
комбинаций Yo и Н0, Yo и Hit Yi и Я0, Yi и Нх соответствую¬
щую плату Пд, / = 0,1, k = 0,1. Последние величины
удобно представить в виде платежной матрицы
П = (п“ Пи) • П«‘>П»°’ П‘°>П»’ •15)
в которой строки соответствуют гипотезам Я0 и Яь а столб¬
цы — решениям у0 и yt. По главной диагонали расположены
платы за правильные решения *), а по побочной — платы
(потери) за ошибочные решения. Среднее значение потерь,
взвешенное с вероятностями их появления, или средний
риск) равно
R = qr0 + pru (1.16)
где
г0 = ПооР {Yo | ^о} + П01Р {yi I Hq} — Поо (1 — а) + П^а,
(1.17)
г\ ^ П10Р {yo | Н^ + ПцР {yi \Hi} — П10р + П„ (1 — р)
(1.17')
— условные риски, соответствующие состояниям s0 и st.
Подставляя (1.17) и (1.17') в (1.16), после простых
преобразований получим
R = ?Поо + рПю + Я (П01 — Поо)а — Р (Пю — Пи) (1 — Р).
(1.18)
Примем в качестве критерия для определения правила
выбора решений достижение минимальной величины сред¬
него риска R. В рассматриваемом случае средний риск R
*) Если П0о < 0, Пц < 0, то эти величины можно трактовать
как выигрыши при принятии правильных решений.
28
зависит от критической области Gt через величины а и 1 — р.
Подставляя выражения этих величин из (1.11) и (1.12')
в (1.18), находим
R = <7П0о + рП10— ^ ^ [/>(Пю — Пи) (*1, • • •> Хп|Si) —
Gi
*— с] (П01 Поо) (^1» • • •» %п | So)] dxi... dxn, (1.19)
Так как qU00 + рП10 — постоянная величина, то мини¬
мальное значение среднего риска R будет получено в том
случае, когда подынтегральная функция в (1.19) будет
неотрицательной *), т. е. когда в критическую область Gt
пространства выборок (где отвергается гипотеза Н0) вклю¬
чаются только те точки, для которых
Р (Пю — Пц) Wn (л:*, ..., | sx) >
^ Q (П01 Поо) Wn (дс*, ..., хп | So)
(1.20)
или
pWп (Хц . . ., Хп I Sj) По! — Про
qWn(xlt ..., Хц | s0) П10 —Пи *
Таким образом, оптимальное правило, основанное на кри¬
терии минимального среднего риска, или байесовское реше¬
ние, может быть сформулировано следующим образом:
принимается решение yt (отвергается гипотеза Н0), если
для наблюдаемой выборки выполняется неравенство (1.20),
и принимается решение у0 (утверждается справедливость
гипотезы Н0), если выполняется неравенство, противополож¬
ное (1.20).
Уравнение поверхности, разделяющей в этом случае
критическую и допустимую области пространства выборок,
имеет вид
п/чг «г \ pWnix\i •••» хп | 5j) П01 Поо / \ oi\
икхи • •.. хп)-qWn{хи ...э Хп!,о)-п10-пи •
*) Заметим, что так как для любого подмножества G[ множества
Gf (G[ С Gj) справедливо неравенство
^ * * * ^ ^ хп) dxx.. .dxji ^ ^ j (A'j* ...t Хц) dx^.. .dxn
G[ Gi
при / (xt, ..., xn) > 0, то интеграл в (1.19) достигает максимума
тогда и только тогда, когда в область интегрирования G\ включаются
все точки пространства выборок, для которые подынтегральная
функция неотрицательна. ‘
29
- pWn (xit ..., xn sH
Левую часть этого уравнения ш -={ называют
QWп • • •» Хп\ Sq)
обобщенным отношением правдоподобия*). Процедура
проверки простой гипотезы Н0 сводится к вычислению
обобщенного отношения правдоподобия и сравнению его
с постоянным порогом с*, который для байесовского пра¬
вила равен**)
с, = П01-П00 (1 22)
п10— 11ц
Если обозначить через GJ критическую область, опреде¬
ляемую неравенством (1.20), а через а* и 1 — р* — уровень
значимости и мощность, соответствующие G*, то минималь¬
ная величина среднего риска /?*, или байесовский риск,
может быть представлена согласно (1.18) в следующем виде:
R* = ^П00 + рП10 + Я (П-01 — П0о)а* — Р (Пю — Пи) (1 — p*J.
(1.23)
При определении условных вероятностей ошибок а*
и р* можно обойти трудности, связанные с вычислением
кратных интегралов (1.11) и (1.12), и свести вычисления
к однократному интегрированию. Функция
'<*■ ^ = <'.24)
т. е. отношение правдоподобия, представляет неотрицатель¬
ную случайную величину, получающуюся функциональ¬
ным преобразованием***) пслучайных величин хп.
Обозначим через Wi0 (у) функцию распределения отноше¬
ния правдоподобия при условии, что выборка принадлежит
распределению Wn (xt хп | s0)> и через Wn (у) —
*) В отличие от величины I (х„ хп) — ^ '■ — ’ х-п j ,
™ п \х1у • • • > %п I So)
которую называют просто отношением правдоподобия. (Некоторые
авторы предпочитают термин «коэффициент правдоподобия».)
**) Хотя при выводе указанного оптимального правила предпола¬
галось заранее, что рассматриваются только детерминированные
правила, полученный результат остается справедливым и в том
случае, когда минимизируется средний риск в более широком
классе, включающем и рандомизированные правила (см., напри¬
мер, [9, § 19.1.2] или [10, § 2.3]).
***) функциональное преобразование г = I (хit . . хп) ото¬
бражает точки /г-мерного пространства выборок на действительную
ось (одномерную область),
30
функцию распределения отношения правдоподобия при
условии, что выборка принадлежит распределению
Wn (*!, . . хп \ s^. Тогда из (1.11) и (1.12) и определения
критической области G* [см. (1.20) и (1.22)] следует:
a* = P{(xit ..., x„)eGJ|s0} =
= P{/(x1, ..., Arn)>nc*|s0}= J W10(y)dy=l—Fl0(iic*),
JHC*
(1.25)
P* = P{(x1( ..., xn)6G;Hi} =
= P {I (xu ..., xn) < цс* | Si} = Fn (цс*), (1.26)
где Fl0, Fи — интегральные функции распределения отно¬
шения правдоподобия при гипотезах Я0 и Я4 соответственно
q
И V =
1.2.3. Максимум апостериорной вероятности и макси¬
мальное правдоподобие. Определим апостериорные вероят¬
ности того, что изучаемое явление находится в состоянии s0
или в состоянии Si, когда наблюдается выборка xit . . ., хп.
Из (1.9) в рассматриваемом случае находим
р /о I у у \ (*lt * • ч хп 1 So)
г ts0 | Хь . . . , Хп) qWn (Xii Хп\ s0) + pWn (хх хп I Si) ’
(1.27)
р I у у 1 pwn (*!» * • »» 1 $l)
tSi| ь •••’ + ..., xn\Sl) *
(1.28)
Установим следующее правило выбора решения: после
того как получена выборка хх, . . ., хп, принимается гипо¬
теза Я0, если Р {s0 \хи • . •, хп) > Р {st | хи . . ., хп)
(решение Yo)> и отвергается эта гипотеза, если
Р {s0 \хи . . ., хп}<Р {st | хи . • хп} (решение Yi). Ис¬
пользуя (1.27) и (1.28), можно это правило представить
в виде: принимается решение Yi (отвергается гипотеза Я0),
если для наблюдаемой выборки выполняется неравенство
pWn (*it »*. < хп | Sj) « , t qq\
qWn(xi, ^|so)>A’
и принимается решение Yo (справедлива гипотеза Я0),
если выполняется неравенство, противоположное (1.29).
31
Таким образом, максимуму апостериорной вероятности
соответствует такая критическая область пространства
выборок, точки которой удовлетворяют неравенству (1.29).
Процедура проверки простой гипотезы Н0 сводится в этом
случае к вычислению обобщенного отношения правдопо¬
добия и сравнению его с единицей. Нетрудно заметить,
сравнивая (1.29) с (1.20), что рассматриваемое правило
выбора решения является просто частным случаем байе¬
совского решения, когда порог с* = 1 [см. (1.22)]. Это соот¬
ветствует равенству плат за решения у0 и либо равенству
плат за ошибки П10 = П01 = П, если принимается, что
П00 = Пи = 0. В последнем случае средний риск оказы¬
вается равным [см. (1.18)1
R = (qa + p№, (1-30)
%
т. е. отличается только константой П от априорной вероят¬
ности ошибок любого рода. Следовательно, правило выбора
решения по критерию максимальной апостериорной вероят¬
ности минимизирует априорную вероятность ошибок. Ина¬
че говоря, это правило на протяжении длинной* последова¬
тельности принятия решений обеспечивает максимальную
частоту правильных решений.
Если при выработке правила выбора решений нет ника¬
ких данных относительно априорных вероятностей состоя¬
ний s0 и siy то вместо рассмотренного критерия можно
применить критерий максимума правдоподобия, согласно
которому при наблюдении выборки хи . . ., хп принимает¬
ся та из гипотез, которой соответствует большее значение
функции правдоподобия выборки. Таким образом, прини¬
мается гипотеза Н0, если
Wп (*^1» • • •» Хп | ^о) Wn (Xi, . . ., Хп | Si)
(решение у0)> и отвергается эта гипотеза, если
Wn (-^1» • • •» Хп j So) Wn (*^1» • • • i Хп | Sj)
(решение у4). Иначе говоря, принимается решение yi4 если
для наблюдаемой выборки
'<* (,-3,)
и принимается решение 70, если выполняется неравенство,
противоположное (1.31). Процедура проверки простой гипо¬
тезы по критерию максимального правдоподобия сводится
32
к вычислению отношения правдоподобия и сравнению его
с единицей. Отличие от правила, соответствующего макси¬
муму апостериорной вероятности, состоит лишь в замене
обобщенного отношения правдоподобия
pWg (*lt . . . , Хп | Sj)
qWn (xly ..., I s0)
отношением правдоподобия
Wn (хи ..хп 1
Wn(x 1, хп\ So)'
Следовательно, правило выбора решения по критерию
максимального правдоподобия является частным случаем
правила по критерию максимума апостериорной вероятно¬
сти, когда два возможных состояния изучаемого явления s0
1
и Si равновероятны, т. е. когда р = q = .
1.2.4. Критерий Неймана—Пирсона. Другой подход
к выработке правила выбора решений при отсутствии
априорной информации о потерях и вероятностях состояний
указывает критерий Неймана — Пирсона. Согласно этому
критерию выбирается такое правило, которое обеспечивает
минимально возможную величину р вероятности ошибок
второго рода при условии, что вероятность ошибки перво¬
го рода не больше заданной величины а. Иначе говоря,
правило выбора решения по критерию Неймана — Пирсона
имеет наибольшую мощность среди всех других правил,
для которых уровень значимости не превосходит а.
Покажем, что указанному правилу соответствует кри¬
тическая область Gi пространства выборок, включающая
только те точки, для которых
с-зг»
причем порог с выбирается из условия
оо
Р{1(хи ..., хп) > с I s0} = ^ 1^10 (у) dy = а. (1.33)
С
Пусть Т — произвольная область пространства выборок,
удовлетворяющая единственному условию
Р{(х 1, xn)eT\so}«x. (1.34)
Обозначим через U пересечение областей Gx и Т, через А —
ту часть области Gь которая не пересекается с Т, и че-
3—197 33
рез В — ту часть области Т, которая не пересекается
с Gi (рис. 2) *). Так как точки области А удовлетворяют
неравенству (1.32), то
§ • • • § Wn(xu XnlsJdXi.. .dxn>
А
> с ^ ^ wn (хи .хп | s0) dxi... dxn.
Рис. 2. Области пространства выборок.
Поэтому
^ ^ Wn (Xi, Хп I Sj) dxi.. .dxn =
Gi
= ^ ^ Wn (Xi, ..., xn I Si) dxi... dx„ +
A
+ §•••§ Wn{Xi, ..XnlsJdXi.. .dxn>
и
> с ^ ^ Wn (xi, xn\s0)dxi... dxn +
A
+ ^ ... § Wn(xu ..., Xn\Si)dXi.. .dxn =
и
= c ^ ^ Wn(Xi, ..xn\s0)dxi.. .dxn —
Gi
с ^ ^ n {_xi, • • • t Xn | ^o) dxi. ■. dxn -I—
и
+ ^ ^ Wn (xu ..., xn I Si) dxt.. .dxn.
(1.35)
*) He исключаются случаи, когда A = Gif В s T, U = 0.
34
(1.36)
3* 35
И так как в силу (1.33) и (1.34)
то из (1.35) следует:
Область В не содержит точек области Gi4 и поэтому
в соответствии с (1.32) в этой области
Следовательно,
т. е. мощность правила по критерию Неймана — Пирсона
[см. (1.26)], равная
'Wn (*^1» • • • * хп j Sj) dxi... dxn == 1 Р — 1 Fи (с)»
Gi
(1.37)
больше мощности любого другого правила, удовлетворя¬
ющего условию (1.34).
Из сравнения (1.32) с (1.20) можно заключить, что прави¬
ло выбора решений, базирующееся на критерии Нейма¬
на — Пирсона, является частным случаем байесовского
решения, в котором величина [хс* заменяется на с, опреде¬
ляемую согласно (1.33).
Итак, все рассмотренные выше критерии качества при¬
водят к единообразной процедуре принятия решения:
по наблюденной выборке хи . . ., хп вычисляется отноше¬
ние правдоподобия I (xif . . ., хп) и принимается или отвер¬
гается гипотеза Н0 в зависимости от того, находится ли эта
величина ниже или выше некоторого фиксированного поро¬
га, устанавливаемого заранее в соответствии с принятым
критерием.
1.2.5. Способ вычисления условных вероятностей ошибок.
Если Ф (у) — монотонная функция, то сравнение
I (хи • • •, хп) с порогом с эквивалентно сравнению
Ф [/ (хи • • •, хп) \ с порогом Ф (с). Оптимальность процеду¬
ры проверки гипотезы не нарушается. Условные вероят¬
ности ошибок вычисляются по формулам вида (1.25), (1.26),
в которых распределения отношений правдоподобия заме¬
няются распределениями Ф (/), а в пределы интегриро¬
вания вместо порога с подставляется величина Ф (с).
Когда выборка состоит из независимых элементов, функ¬
ция правдоподобия выборки представляется произведением
их одномерных функций распределения [см. (1.6)1. Такой
вид функции правдоподобия подсказывает выбор функ¬
ции Ф в виде логарифма отношения правдоподобия. При
этом оказывается возможным представить логарифм мно¬
гомерного отношения правдоподобия в виде суммы лога¬
рифмов одномерных отношений правдоподобия:
п п
m/(*, *n)=2 in/(*»)=2 о-38)
i=l <==1 1
-
36
rfсвести определение функции распределения In / (хи .. ., хп)
к определению функции распределения суммы независимых
одинаково распределенных случайных * величин In / (**).
Обозначим через 0i (v | s0), 0i (v | Si) — условные характе¬
ристические функции случайной величины In / (х) при
гипотезах Н0 и Нх соответственно. Тогда в соответствии
с известным в теории вероятностей соотношением [см. (3.115)
в первой книге]
оо
©i(y']so)= J щ {X1 So) exp [io In;;| ] dx, (1.39)
— oo
oo
0i {v I Si) = J ay1(x|s1)exp[iuln^l||-]dx, (1.40)
— oo
а плотности вероятностей случайной величины
In I (хi, ..., xn) равны
oo
Wi (z | s0) = 2^- I [Qtivlsjre-todv, (1.41)
— oo
oo
w1(z|s1) = -gr I [6,(0 1 Sl)]nte-^dv. (1.42)
— oo
Теперь, используя (1.25) и (1.2&), можно определить услов¬
ные вероятности ошибочных решений по формулам
оо
а= $ Wi(z|s0)dz= 1— Л (Inc | s0), (1-43)
In С
In с
J W1(z|s1)<fe = F1(lnc|s1)- (1-44)
— оо
Здесь Fi (г | So) и (z \ Si) — условные интегральные
функции распределения In I (лг1; . . ., хп).
Если п велико и условные дисперсии Мг (In I (х) | s4}
ограничены, то распределение In I (хи . . ., л:„) как суммы
большого числа одинаково распределенных независимых
случайных величин [см. (1.38)] согласно теореме Ляпунова
(см. § 3.4 в первой щшге) приближается к нормальному.
37
В этом случае
* W|(г 15д)~ уШШехр {~ (* }' ('-45)
где
mi0 = m1i{\nl(x)\s0}, М2о = М2 (In I (х) | s0}, (1.47)
tnii = ml{\nl(x)\sl}, M2i = M2{\nl(x)\Si}. (1.48)
Тогда имеют место следующие асимптотические соотно¬
шения [см. (1.43) и (1.44)]:
(интеграл Лапласа, см. § 2.2.2 в первой книге).
Можно показать (см. задачу 1.10), что т10 < 0 и тп > 0.
Отсюда следует, что при п -> оо одновременно а 0 и р
0 (для критерия Неймана — Пирсона при заданном а
стремится к нулю р).
Правило решения, для которого вероятность ошибки
асимптотически (при п-^ оо) стремится к нулю, называет¬
ся состоятельным.
1.2.6. Минимаксное правило. Исследуем также мини¬
максное правило выбора решения, воспользовавшись тем
обстоятельством, что это правило представляет специальный
случай байесовского решения для наименее благоприятного
априорного распределения состояний изучаемого явления
(см. § 1.1.6). Так как в рассматриваемом случае проверки
простых гипотез имеется лишь два возможных состояния s0
и sb то указанное распределение определяется лишь одной
вероятностью q (или р = 1 — q). Поэтому для того, чтобы
найти то значение q, с которым связано наибольшее значе¬
ние байесовского риска, необходимо определить максимум
величины R* как функции q, используя (1.23) и имея
в виду, что эта переменная входит в правую часть (1.23)
как непосредственно, так и через а* и р* [см. (1.25) и (1.26)1,
(1.49)
(1.50)
— оо
Дифференцируя правую часть (1.23) по q, приравнивая
результат дифференцирования нулю и учитывая, что точки
поверхности, разделяющей критическую и допустимую
области пространства выборок, удовлетворяют условию
(1.21), приходим к трансцендентному уравнению относи¬
тельно искомого наименее благоприятного значения веро¬
ятности q
Поо [ 1 ~ a* (q)} + П01а* (q) = П10р* (q) + Пи [ 1 -13* (<?)]. (1.51)
Уравнение (1.51) непосредственно следует из (1.17) и (1.17'),
так как оно просто выражает равенство условных рисков
г0 = гА для байесовского решения. Это равенство, как ука¬
зывалось в § 1.1.6, и характеризует минимаксное правило
выбора решения. Подставляя (1.25) и (1.26) в (1.51), можно
указанное трансцендентное уравнение относительно q
(или привести к виду
400Znil + с* [ 1 - (ИС*)] = Fli 0*0• (1 • 5Г)
10 А111
Решая уравнение (1.51') и выделяя тот корень уравнения
М-мм (и, следовательно, qM м), которому соответствует
абсолютный максимум байесовского риска, приходим к сле¬
дующему минимаксному правилу выбора решения: прини¬
мается решение Yi (отвергается гипотеза Я0), если для
наблюдаемой выборки х1у . . ., хп выполняется неравенство
I (хи ...,хп)> с*, (1.52)
9мм
и решение Yo (утверждается справедливость гипотезы Я0),
если выполняется неравенство, противоположное (1.52).
Величина минимаксного риска в соответствии с (1.23),
(1.25) и (1.26) может быть вычислена по формуле
Rmm — ^ммПоо + РммПю “Ь *7мм (П01 Поо) &мм
— Рмм (Пю Пи) (1 Рмм)? (1.53)
где
аММ — 1 Ло (Имм^*) 1 Рмм ~ ^11 (М-мм^*) * ( 1 • 54)
Разность RMM — R* > 0 между минимаксным (при
неизвестном q) и байесовским риском (при известном q)
является платой за отсутствие априорной информации
о состояниях изучаемого явления.
39
Резюмируя сказанное в § 1.2.2—1.2.5, можно отметить,
что для всех рассмотренных критериев процедура про¬
верки простой гипотезы сводится к сравнению отношения
правдоподобия с порогом *) с. Выражения, определяющие
этот порог для различных критериев, сведены в табл. 1.
Таблица 1
Критерий
Порог с
Байесовский
q П01 — П00
р П10 — Пн
Максимум апостериорной вероятности
Р
Максимум правдоподобия
1
Неймана —Пирсона
Из уравнения F10 (с) = 1 — а
Минимаксный
п01—П00
ГММ гт тт
А1ю —1111
Нмм из (1 *51)
. 1.2.7. Последовательный анализ. Отличительной осо¬
бенностью всех рассмотренных процедур выбора решения
при проверке простой гипотезы была неизменность заранее
заданного размера выборки п. Существует другой подход
к установлению правила выбора решения, при котором
отказываются от постоянного размера выборки, а ограничи¬
вают эту величину в процессе эксперимента в зависимости
от результатов уже выполненных наблюдений. Вначале
наблюдают одно-единственное значение хх (извлекают выбор¬
ку размера п = 1) и на основании этого значения по заранее
установленному правилу выбирают одно из трех решений:
1) принять гипотезу Н0 (решение y0), 2) отвергнуть
гипотезу #о, т- е* принять гипотезу Нх (решение 3) про¬
*) Заметим, что критическая область, для которой I (х. . .
• • • , хп) ^ су не обязательно односвязная (см. задачу 1.5).
40
должить наблюдения, т. е. отказаться на данном этапе
от принятия одного из решений, у0 или Yi-
Если принимается решение у0 или Yi> то на этом экспе¬
римент заканчивается. В противном случае извлекают
следующую выборку, и описанная процедура повторяется:
на основании выборки (хи х2) размера п = 2 либо прини¬
мается гипотеза Я0, либо она отвергается, либо считается,
что э?а выборка недостаточна, чтобы принять окончатель¬
ное решение у0 или Yi- Если принята или отвергнута гипо¬
теза #о, то на этом наблюдения оканчиваются, а если окон¬
чательное решение не принято, то наблюдают следующее
значение х3, и указанная процедура повторяется относи¬
тельно выборки (хь х2, х3).
Испытание заканчивается на той выборке, на основании
которой удается принять одно из двух решений, у0 или Yi-
При последовательном анализе размер выборки п заранее
неизвестен и является случайной величиной. Теперь на каж¬
дом этапе пространство выборок соответствующего числа
измерений должно делиться не на две, а на три области:
критическую Git допустимую G0 и промежуточную Gnp.
Разделение пространства выборок на три области и содержит
указание на то, должно ли быть принято одно из решений,
Yo или yi, или эксперимент должен быть продолжен. Если
выборочное значение попадает в критическую область Gb
то гипотеза Н0 отвергается; если — в допустимую область G0,
то она принимается, и если выборочное значение попало
в промежуточную область Gnp, то это служит указанием
на необходимость продолжить наблюдения.
Как и в случае непоследовательного анализа, число спо¬
собов разбиения пространства выборок не ограничено.
Следовательно, возможны самые разнообразные правила
выбора решения, и, очевидно, опять необходимы какие-то
критерии качества, при помощи которых можно было бы
сравнивать различные процедуры последовательного ана¬
лиза и выбирать наилучшую. В качестве такого критерия,
вполне разумного и естественного, часто выбирают мини¬
мальную среднюю стоимость эксперимента. Если считать,
что стоимость эксперимента пропорциональна размеру
выборки п, то критерием качества последовательного прави¬
ла выбора решения служит минимум среднего значения
размера выборки, необходимой для принятия решения Yo
или Yi (т- е- Для завершения последовательного анализа)
при условии, что уровень значимости не превышает а,
41
а мощность не меньше 1 —. р. Заметим при этом, что средние
значения размера выборки тх {п | Н0} и тх{п | #i} при
справедливости гипотез Н0 и Нх соответственно, вообще
говоря, не равны и требуется минимизация обеих ве¬
личин.
Как показал А. Вальд [3], среди всех правил выбора
решений (последовательных и непоследовательных), для
которых условные вероятности ошибок не превосходят
величин аир, последовательное правило выбора решения,
состоящее в сравнении отношения правдоподобия I (хи . . .
. . ., хп) с двумя порогами *) с0 и си приводит к наимень¬
шим значениям т4 {п | Н0} и т4 {п | ЯА}.
Оптимальное разбиение пространства выборок опреде¬
ляется следующими неравенствами:
для допустимой области (G0)
c0<l(xu ...,xh)<cu k= 1, .. .,/г— 1, (1.55)
I (х{, ...,хп)< с0;
для критической области (GA)
с0<1(хи .. .,хк)<си k= 1, . . . ,n — 1, (1.55')
1(хи . ..,xn)>ct;
для промежуточной области (Gnp)
с0 < I • ..,хк)<си k = 1, ..., п. (1.55")
Точное определение порогов с0 и с{ сопряжено со зна¬
чительными математическими трудностями. Однако было
доказано [3], что
-L=!L), (1.56)
Co>min(_i_,±=i). (1.56.)
В практически интересных случаях, когда условные
вероятности ошибок не превышают значения 0,5, имеем
j D Q
—» и эти неравенства могут быть переписаны
в виде
(|-57)
*) Величины с0 и с\ зависят, вообще говоря, от п.
42
Следующий шаг состоит в замене неравенств (1.57) равен¬
ствами, что не очень сильно увеличивает погрешность
(подробнее см, [7, стр. 142—143]).
Таким образом, с некоторым приближением оптимальное
последовательное правило выбора решения может быть
сформулировано следующим образом: при п-и наблюдении
принимается решение у0, если *)
*0<1=±, k= 1, n— 1 (1.58)
И
l(xu 1; (1.58')
принимается решение уц если выполняются неравенства
(1.58) и
1(хи ...,дСв)>±=±>1. (1.58")
Заметим, что при указанных выше допущениях, в отли¬
чие от байесовского, последовательное правило предписы¬
вает сравнение отношения правдоподобия с порогами,
не зависящими от априорных вероятностей состояний и от
величин потерь. Эти пороги определяются заданными веро¬
ятностями ошибок первого и второго рода.
Если вместо отношения правдоподобия вычислять его
логарифм, то указанное выше правило можно переписать
в виде: при п-м наблюдении принимается решение у0, если
ln-j-^-< ln/(xlt . . ., Xk) < In , k= 1, .. .,n— 1
(1.59)
и
\nl(xu ... .XnXln-y^cO; (1.59')
принимается решение yu если наряду с (1.59)
In I (*!, ..., xn) > In >0. (1.59")
Определим теперь величины средних значений размера
выборки mi {п | Н0} и rtii {п } Н^, соответствующих после-
*) Вероятность того, что число этапов п в последовательной
процедуре проверки гипотезы не ограничено, равна нулю (см. [7,
стр. 166]).
43
довательному правилу выбора решения. В рассматриваемом
случае логарифм отношения правдоподобия представляет
сумму случайного числа случайных величин [см. (1.38)]:
п
In I (хи ..., хп) = 2 In / (Xi).
i=l
Поэтому [см. (3.140) в первой книге]
nti (In / (хи ...,хп)\ #0; о = tnt {п I Я0; i} /и, {In I (х) I #0; l},
откуда
т in I И \ mi ^ ‘ * Хп^ ^ (1
тх{п\И0)— mi{\ni(x)\H0} ’
Предположим, что при принятии решения (у0 или уА)
на п-м шаге величина отношения правдоподобия точно
совпадает с одним из порогов, с0 или сх (т. е. будем пренебре¬
гать пересечением порога на заключительном этапе проверки
гипотезы). Тогда In I (хи . . хп) представляет дискретную
случайную величину, принимающую два значения In с0
и In Ci с вероятностями 1 — а и а, если верна гипотеза Я0,
и с вероятностями р и 1 — р , если верна гипотеза Я4. Отсю¬
да следует:
тА{In/(*!, ...,хп)\Н0} =
= (!—«) lnT=^ + alni^-> (1-61>
m1{ln/(x1 ^)|я1} = Р1п-г^г + (1-Р) 1п-Ц^-.
(1.61')
Подставляя (1.61) в (1.60) и (1.6Г) в (1.60'), получим
О—«) 1п 1 ^ „ +«1п 1 ^
mi{n\H0} = , (1.62)
Pln-y^—4 (1 —Р) 1п-Цг-
mi{n\H1} = !-а — — , (1.62')
44
где [см. (1.47) и (1.48)]
оо
Що = 1Щ{\п1{х)\Но}^ J W.Hso) In ^ [* | ^ dx; (1.63)
— оо
оо
mll = ml{\nl(x)\Hi}= J Wt(x|st) (1.63')
— 00
причем m10< 0, Шц> 0, что непосредственно следует
из формулы (23) задачи 1.10.
Средние значения объема выборки, определяемые по
формулам (1.62) и (1.62'), являются минимально возможными,
Рис. 3. Функция распределения раз¬
мера выборки при последовательном
анализе.
если рассматривать любые другие правила выбора решений
(в том числе и непоследовательные), гарантирующие ог¬
раничение вероятностей ошибок заданными величинами.
В этом и состоит основное достоинство последовательного
анализа, так как его использование позволяет в среднем
сэкономить на продолжительности и стоимости экспери¬
мента. Однако оговорка, что эта экономия достигается
в среднем, имеет весьма существенное значение. Так как
в последовательном анализе размер выборки п — величина
случайная и ее возможные значения могут быть значительно
больше среднего значения, то в данном конкретном экспери¬
менте может оказаться, что оптимальная последователь¬
ная процедура приведет к чрезмерно большому размеру
выборки.
Это обстоятельство иллюстрирует рис. 3. Заштрихован¬
ная часть соответствует размерам выборок, большим неко¬
45
торой допустимой величины птах. Хотя в 80% случаев
будет иметь место выигрыш в длительности процедуры
проверки гипотезы по сравнению с непоследовательным
анализом с заданным размером п = птах, все-таки будут
такие «несчастливые» случаи, когда процедура последова¬
тельного анализа окажется более длительной, чем непосле¬
довательного. Естественно, приходит мысль о способе устра¬
нения этого недостатка, который заключается в том, что
заранее устанавливается максимальное значение объема
выборки птах, при достижении которого процедура после¬
довательного анализа заканчивается и обязательно при¬
нимается одно из решений, у0 или yt (если, конечно, они
не были приняты раньше). Таким образом, можно обезопа¬
сить себя от случаев, когда п >> птах.
Указанная процедура проверки гипотез называется
усеченным последовательным анализом. При усеченном
последовательном анализе до птах устанавливается два
порога, с которыми сравнивается отношение правдоподобия,
а если размер выборки достигает величины птах, то соот¬
ветствующее отношение правдоподобия сравнивается не
с двумя порогами, а только с одним, как при непоследова¬
тельном анализе. Чем меньше птах, т. е. чем сильнее усе¬
чение, тем меньшим будет выигрыш в среднем времени,
получаемом от последовательного анализа.
Правило выбора решения при усеченном последователь¬
ном анализе формулируется следующим образом: если при
размерах выборки п<птах правило (1.59) не приводит
к выбору одного из решений (у0 или Yi), то гипотеза Н0
отклоняется (принимается решение Yi), если
ln-y-L- <1пс<1п/(дс1, •••.*птвя)<1п-Ц^-, (1.64)
и принимается гипотеза Я0 (решение y0)i если
ln-j-2—< 1п/(х1( ..., х« )< 1пс< 1п — . (1.64')
1 — a v max' a v 7
При использовании правила (1.64) вероятности оши¬
бок аус, р ус первого и второго рода могут оказаться боль¬
шими, чем заданные ayc>a, Рус>Р, так как принимае¬
мые при этом ошибочные решения, возможно, не появились
бы при продолжении испытаний (п > птах). Верхние гра¬
ницы условных вероятностей ошибок при усеченной после¬
довательной процедуре принятия решения определяются
46
неравенствами
аус<а + Р |ln-^^->ln/(jc1, ...,Хптах)> 1пс| Я0| ,
(1.65)
Рус<Р + Я |lnc> 1п/(дг„ •••.•Чпаж)>1пту •
(1.65')
При птах > 1, как показано в [3], эти неравенства запи¬
сываются в виде
Г 1. 1“Р
In — птахт10
аус<а + F
L V птахМ20
Г In С —^maxm10 “I
L V птахМ 20 J
InС Л-тах^И
тахМ 21
Pyc<p + frJnc-^m1L-|
L клтал:^21 J
1 Р
In -у;— Ятох/Ян
V птахМ 21
где т10, ти, Л12о> M2i определяются согласно (1.47)
и (1.48) и F (х) — интеграл Лапласа.
О j о
Заметим, что так как ln-r-^—<0 и In ->0,
1 —а а
то величина порога с = 1 при усеченной последовательной
процедуре всегда приемлема [см. (1.64), (1.64')]. Соображе¬
ний относительно оптимального выбора порога с пока
не существует.
1.3. ПРОВЕРКА ПРОСТОЙ ГИПОТЕЗЫ
О ПАРАМЕТРЕ РАСПРЕДЕЛЕНИЯ
1.3.1. Среднее значение нормальной случайной величины.
Проиллюстрируем теперь изложенные в этом разделе общие
методы на нескольких примерах. Начнем с простейшего
примера проверки гипотезы Н0 о том, что среднее значение
нормальной случайной величины равно а0) при простой
альтернативе Ни что среднее равно а{. Предположим, что
дисперсия а2 нормальной случайной величины известна
точно и что выборка, на основании которой проверяется
гипотеза, состоит из независимых элементов . . ., хп.
47
Так как любая из рассмотренных оптимальных процедур
проверки гипотезы состоит в сравнении отношения правдо¬
подобия / (Xi, . . хп) или его логарифма с некоторым
порогом (или с двумя порогами при последовательном ана¬
лизе), то выпишем сначала выражение для In I (хи . . ., хп)
в случае нормального распределения при независимых
элементах выборки:
п
In / (Xj, . . . t Хп) == In / (л^) —
i— 1
, Tyls ехр L 2^-J ,*
~ 2j m 1 г (дг; — a0)2 1 ~ 2a2 ZJ Ил«
i=1 7WeXPL
- a0)2 - (x, - nJ%al) ■ (1-66)
i=l
Теперь нетрудно сформулировать правило выбора реше¬
ния (при непоследовательном анализе, т. е. фиксированном
заранее размере п выборки). Принимается решение yi
(среднее равно аА), если для наблюдаемой выборки . . .
• • • > хп
_L3„>a+2L + _2i(,.67)
i=i
и принимается решение у0 (среднее равно а0), если выпол¬
няется неравенство, противоположное (1.67). Величина по¬
рога в зависимости от выбранного критерия определяется
согласно табл. 1 на стр. 40.
Если а4 < а0, то знак неравенства (1.67) изменяется
на противоположный и правило выбора решения yt запи¬
сывается в виде
п
1 Vi . апЛ-а* a2 In с _
— >j Xi < -Чу— г, аА <а0. (1.67 )
п ^ 1 2 п(а0 — аi) ’ 1 и v 7
i= 1
Таким образом, процедура проверки гипотезы о среднем
значении нормальной случайной величины сводится к срав¬
нению среднего арифметического выборочных значений
с порогом:
K = ~a°tai4—V 1п — г, • (1.68)
2 ^ n\(ai — ao)I v '
48
Поверхность, разделяющая допустимую и критическую
области пространства выборок, представляет в этом случае
гиперплоскость, перпендикулярную единичному вектору
и расположенную от начала координат на расстоянии, рав¬
ном пК-
Нетрудно в рассматриваемом случае найти выражения
условных вероятностей ошибок. Так как сумма нормальных
случайных величин имеет нормальное распределение и так
как
п ] п
^'{"ТгЗ *;1яо} Щ Xi\H^ =а„ (1.69)
! I i=-l i=l
а при независимых элементах выборки
п п
м2 {±%Х1\Но} = М2 {±2 *№}=-£. 0 -70)
г=1 г=1
то, используя (1.67) [см. также (1.43) и (1.44)], находим
(при ах>а0)
п(у-а0)2
V п
а = -3^=Де 202 dy--
о \/2л j
к
* = J е~~ dt=l—F V~n ) , (1.71)
1/2'
К-ао у-
т /“ ? n(?y-ai)2
р = \ e-^-dy.
v а Л/2л i
— оо
12
-=W S* e" *dt = F{^Vn) , (1.72)
— oo
где F (x) — интеграл Лапласа [см. (1.49) и (1.50)].
На рис. 4 иллюстрируется рассматриваемое правило
выбора решения. Пунктирные кривые изображают исход¬
ные функции распределения, соответствующие гипотезам Н0
и Сплошными линиями показаны функции распределе¬
ния среднего арифметического выборочных значений для
тех же гипотез. Порог установлен по критерию максималь¬
ного правдоподобия (с = 1). Площади заштрихованных
4-197 49
участков равны вероятностям ошибок первого и второго
тт Ял +
рода, которые при К = 2 совпадают.
Величина К в (1.71) и (1.72) для первых трех критериев,
указанных в табл. 1 (на стр. 40), определяется непосредст-
Рис. 4. Правило выбора решения для проверки гипотезы
о среднем нормальной случайной величины.
венно по формуле (1.68), так что эти формулы могут быть
переписаны в виде
Из приведенных формул видно, что условные вероятно¬
сти ошибок при заданном с определяются еще только
одной величиной dn = ai~ao у п. Нетрудно проверить,
что среднее и дисперсия логарифма отношения правдоподо¬
бия связаны с этой величиной простыми соотношениями:
тх {In / (хи ...,хп)\Н1} =
dn
= — mi{\nl(xu .. .,*л)|#о}=-^-,
Заметим, что из (1.49) и (1.50) следует, что при п -> оо веро¬
ятности ошибок стремятся к нулю в соответствии с указан¬
w,(x)
(1.73')
(1.73)
М2 {In I (хи ...,**)!#,} = М2 {In I (хи ...,Хп)\Н0} = dl.
50
ным выше (§ 1.2.5) результатом. В этом случае распреде¬
ление среднего арифметического выборочных значений
приближается к дельта-функциям в точках у = а0, у = аи
а порог К a°~^ai .
Для критерия максимального правдоподобия (рис. 4)
a = p=l-F(?!^P|Ш). (1.74)
При заданном а = р из (1.74) находим необходимый размер
выборки:
"“4(s=5;)V“' <‘-74'>
где
xa = arg F (х).
В математической статистике величину ха называют
обычно процентным отклонением случайной величины *),
т. е. такую абсциссу кривой распределения, которая харак¬
теризуется тем, что часть площади под этой кривой, нахо¬
дящаяся правее точки ха, равна а. Иначе говоря,
Р {6 >*«} = «. (1.75)
В формуле (1.74') величина ха представляет, таким обра¬
зом, процентное отклонение нормальной случайной величи¬
ны. *В приложении 1 дана таблица процентных точек нор¬
мального распределения.
Для критерия Неймана — Пирсона при заданном уров¬
не значимости а величина К определяется по формуле (а{ >
> а0)
К = а0 + -^=ха. (1.76)
у п
*) Очевидно, что процентное отклонение случайной величины
I совпадает с (1 —а)-квантилью ее функции распределения
Fi (х), так как согласно (1.75) ха является корнем уравнения
Ft (х) = 1 —а (см. первую книгу, стр. 48). Особые случаи могут
возникать, когда F (*) разрывна или когда имеются интервалы
на действительной оси, для которых интегральная функция распре¬
деления сохраняет постоянное значение. Во избежание недоразуме¬
ний следует иметь в виду,%что иногда (см., например [5]) отклонение
определяется иначе: в (1*75) вместо £ подставляют ее абсолютное
значение Р {| £ |>>^а}==а- В этой книге везде используется
определение (1.75). Для случайной величины с симметричной отно¬
сительно начала координат функцией распределения ха = Я2а.
4* 51
Вероятность ошибки второго рода в рассматриваемом
случае определяется подстановкой (1.76) в (1.72):
или
Соотношение (1.77') устанавливает связь между заданным
размером выборки п, условной вероятностью ошибки пер¬
вого рода а и минимально возможной вероятностью ошибки
второго рода р. При п-+ оо из (1.77) следует, что р ->0
в соответствии с общим результатом, указанным в § 1.2.5.
Заметим, что порог К, устанавливаемый по критерию
Неймана — Пирсона в соответствии с (1.76), не зависит
от величины ах.
Следует подчеркнуть, что вероятности ошибок аир
в байесовском решении и вероятность ошибки второго рода
(при заданном а) для критерия Неймана —Пирсона зависят
не от каждой из величин гг, а0, ах и о в отдельности,
а лишь от их единственной комбинации dn = ai~a° l/* п.
о
Отсюда следует, что при уменьшении (в К раз) величины
а° (различение близких гипотез) для сохранения вели¬
чин вероятности ошибок потребуется увеличение (в К2 раз)
размера выборки п. Состоятельность правила решения будет
в этом случае лишь тогда, когда а*~а° убывает медлен¬
нее, чем при п—+ оо.
~\/п
Если ai<iaQ, то решение yt по критерию Неймана —
Пирсона принимается при условии [ср. (1.67')]
п
1 . О
— 2j Xi<a0 — -у=ха.
1=1 V
Вероятность ошибки второго рода тогда равна
.И=яух+Ха ].
p=f[
Рассмотрим теперь минимаксное правило решения, пола¬
гая П00 = ГГц = О, П01 = Ш10. Тогда с* = Х, с = = ^
52
и уравнение, определяющее наименее благоприятную вели¬
чину априорной вероятности qMM = 1 — рмм, может быть
в соответствии с (1.51) и (1.73) и (1.73') представлено
в виде
,-f[^v^+_7_i_lnit]=
I*,]. (,.78,
При X = 1 из (1-78) следует, что quu = у. Как и следовало
ожидать, при одинаковых потерях из-за ошибок первого
Рис. 5. Средний риск.
и второго рода наименее благоприятным с точки зрения
байесовского риска является равновероятное появление
состояний s0 и
На рис. 5 показана зависимость байесовского риска R*
от величины q при <"i^-QVn = 1- Для этого случая, как
это следует из (1.23), (1.73) и (1.73'), выражение для
имеет вид
«• = П„ {>.,[,-F (,nit + l)]+pF (in
53
При заданном К наименее благоприятная величина qMM
соответствует максимальному значению RMM = R* (<7мм)-
Как видно из рис. 5, при К = 1 потери уменьшаются не очень
значительно при q Ф qMMt однако при Я = 10 минимаксное
правило может показаться чересчур осторожным. Такая
осторожность, однако, является гарантией того, что потери
никогда не превысят величины RMM. Действительно, если
при X = 10 немного отойти от наименее благоприятной
величины qMM = 0,3 и принять байесовское решение
при qx = 0,2, то средние потери будут уменьшены всего
на 20%. Если же в действительности q Ф qu а применяется
байесовское решение для q = qu то средний риск будет
изменяться в зависимости от q по линейному закону R (q) =
= Яго (Qi) + (! — ?) ri (?i) (касательная в точке q = qx
к кривой R* (q) при X = 10 на рис. 5) и при некоторых зна¬
чениях q может значительно превысить величину RMм,
соответствующую минимаксному правилу (см. заштрихо¬
ванную часть рис. 5).
В заключение этого примера рассмотрим последователь¬
ное правило выбора решения. В этом случае для заданных
вероятностей ошибок аир логарифм отношения правдопо¬
добия (1.66) должен сравниваться с двумя порогами In
J Q
и In —- (при a < 0,5, p < 0,5). Подробнее говоря, при
at > а0 на п-м этапе принимается гипотеза, что среднее
нормальной случайной величины равно а0, если
принимается гипотеза, что среднее равно аи если
и продолжаются наблюдения, если не выполняется ни одно
из неравенств (1.79) и (1.79').
Для того чтобы определить средние значения размеров
выборки до принятия окончательного решения (минимально
возможные), необходимо в соответствии с (1.62) и (1.62')
определить средние логарифма одномерного отношения
правдоподобия для двух случаев: 1) когда параметр рас-
54
п
(1.79)
п(а1 — а0) '
П
a
(1.79')
n(ai — a0) '
пределения равен а0, 2) когда этот параметр равен at.
Так как согласно (1.66)
1 nl{x)=^x_ al-al
О 2
2а2 ’
где л: — нормальная случайная величина с известной диспер¬
сией а2 и средним а0 (или a4), то в рассматриваемом примере
(ai-ap)2
_ _ai — a0„ af —aS
т10 — —q2 “o -
2a2
2o2
rtli
ai — ao„ a\ — al (ax — a0)2
- —
11 a2 2 a2 ~ 2o2
Подставляя (1.80) и (1.81) в (1.62) и (1.62'), получим
(1.80)
(1.81)
т1 {п | а0} = 2о2 •
(1 —a) In * na -fain а
Р
1-р
mi № | ai} = 2а2
(at —а0)2
Pln-j-^ b(l-P) In-^
r 1—a v a
(1.82)
(1.83)
(ai—a0)2
Из этих формул видно, что средний размер выборок
до принятия окончательного решения (у0 или у() обратно
пропорционален квадрату величины ——^.
При а = р = 8<0,5
mi{n\a0} = mi{n\ai} = 2 (1-2е) ln-^ . (1.84)
В табл. 2 приведены (при = lj значения средне¬
го объема выборки, подсчитанного согласно (1.84), и объема
Таблица 2
е
0,001
0,01
0,05
0,1
0,2
Щ{п}
13,7
9,0
5,3
3,5
1,67
п
»
38,2
21,6
10,6
6,5
2,8
п/тх { п }
2,78
2,41
2,00
1,85
1,68
(еус )тах
0,0023
0,0197
0,096
0,185
0,355
55
выборки, необходимого для достижения заданных условных
вероятностей а = р = е при использовании непоследова¬
тельного правила по критерию максимального правдопо¬
добия [см. (1.74')]. Предпоследняя строка этой таблицы
указывает на величину выигрыша при использовании после¬
довательного правила *)
причем это отношение не зависит от величины .
r ai — а0
Заметим, что для этого случая при усечении последова¬
тельного анализа п*Сптах и с = 1 из (1.65) и (1.65')
следует, что верхние границы вероятностей ошибок одина¬
ковы и равны
(e,c)ma* = e + /7(4 + -jln^)-F(4) , (1.84")
где
* = пта*
-) ■
В последней строке табл. 2 приведены величины (еУс)тах
при °1~1о= 1 и timax, совпадающем с размером п выборки
для непоследовательного правила (третья строка таблицы).
1.3.2. Дисперсия нормальной случайной величины. Пред¬
положим теперь, что среднее значение нормальной случай¬
ной величины равно нулю, а относительно ее дисперсии
выдвигается гипотеза Я0, что она равна aj, против простой
альтернативы Ни что дисперсия равна а*. Сохраним пред¬
положение о независимости элементов выборки, на основа¬
нии которой должно быть принято решение о принятии или
отклонении гипотезы, и запишем выражение логарифма
отношения правдоподобия:
ы(*„ ...,*„) = 2 1пйехр{~х(^-^)}] =
k=i
А С-85)
Л=1
*) Здесь х8— процентное отклонение нормальной случайной
величины. Заметим также, что рассмотренный для примера случай
a = Р не соответствует наибольшей эффективности последователь¬
ного анализа. Величины выигрыша получаются большими при a « Р
или Р «а (см. [1, стр. 57]).
56
Тогда правило выбора решения (при непоследовательном
анализе) можно записать следующим образом: принимается
решение (дисперсия равна о\)у если при ох > а0
k=i
и принимается решение у0 (дисперсия равна aj|), если выпол¬
няется неравенство, противоположное (1.86).
Таким образом, процедура проверки гипотезы о диспер¬
сии нормальной случайной величины сводится к сравнению
суммы квадратов выборочных значений с порогом
(1.86-)
Поверхность, разделяющая допустимую и критическую
области пространства выборок, представляет в этом случае
гиперсферу с центром в начале координат и радиусом,
равным УК.
Используя (1.25) и (1.26), можно найти выражения
4 п
условных вероятностей ошибок. Так как сумма 2 (^)
k=i
квадратов нормированных нормальных случайных величин
имеет %2-распределения с п степенями свободы (см. первую
книгу, стр. 164), то плотности вероятности суммы квадратов
в левой части (1.86) равны
-_1 У_
■»,оМ= Д (I)2 У> 0, (1-87)
если верна гипотеза Я0, и
*i.<!f) =—Д (I)2 ' «~w‘‘. У >0, (1.87')
2Г (?) «Г
если верна гипотеза #4. Тогда
П оо
a = Р { 2 xk>K\ Н0] = § Wio (у) dy =
А=1
(1.88)
57
p = p{2 xl<K\Hi}= I Wn(y)dy =
k=i o
где Г (и, v) — неполная гамма-функция.
Рис. 6 иллюстрирует правило выбора решения (1.86).
Пунктирные кривые изображают исходные функции рас-
Рис. 6. Правило выбора решения для проверки
гипотезы о дисперсии нормальной случайной
величины.
пределения, соответствующие гипотезам Н0 и Ht. Сплош¬
ными линиями показаны распределения суммы квадратов
выборочных значений для тех же гипотез. Площади заштри¬
хованных участков равны вероятностям ошибок первого
и второго рода.
Величина К в (1.88) и (1.88') для первых трех критериев,
указанных в табл. 1 (на стр. 40), определяется непосред¬
ственно из (1.86'). Для критерия Неймана — Пирсона
при заданном а из (1.88) следует:
К = оУа, (1.89)
где — процентное отклонение случайной величины,
распределенной по закону %2 с п степенями свободы *).
Заметим, что порог /С, устанавливаемый согласно (1.89),
не зависит от величины а4.
*) Таблица процентных точек х2*Распределения приведена
в приложении II.
58
Подставляя (1.89) в (1.88'), получим соотношение
Ха
а!
зс!_р~ о| ’
(1.89')
связывающее заданную вероятность ошибки первого рода а,
минимально возможную вероятность ошибки второго рода
Р и размер выборки п, который неявно входит в (1.89')
через и Xi—р- Отсюда следует, что необходимый размер
выборки для достижения величины Р (при заданном а)
зависит от отношения дисперсий сг®/ст*.
Если п > 1, можно использовать асимптотическую нор¬
мальность случайной величины, имеющей х2_распределение
[(см. первую книгу, формула (1.43)], и выразить вели¬
чины аир через интеграл Лапласа [см. также (1.49)
и (1.50)]:
а~ 1-F (3^—/2л) , (1.90)
P~F Q^-V2n) • (1-90')
ч
При п -> оо в соответствии с общим результатом, ука¬
занным в § 1.2.5, вероятности ошибок стремятся к нулю,
так как при > а0 имеем
¥H — V2n~V2n
<*0
i/in®*
gp у a 0
У/С
-У2п~ /2п
/(tr-
oo ,
— oo.
Заметим, что при различении
* l) размер выборки растет
близких гипотез
пропорционально
ol—al
Для минимаксного правила решения при П00 = Пи =
= 0, П01 = Ш10 уравнение, определяющее наименее бла¬
гоприятную величину априорной вероятности qMM, может
быть в соответствии с (1.51), (1.86'), (1.$$) и (1.88') представ-
59
лено в виде (а4 > а0)
г(1)-г{т’A'"[(t)”f]} =
=-тг{т-о-9')
а при л > 1 (выражая неполную гамма-функцию через
интеграл Лапласа) — в виде
l-F(ClV2»)=X) (19Г)
1 —F (с2 "|/2/г)
где
с, = 1 1 Г., - | ■ ■- Ilf-.
* * pJ
£l
^ = , g° rin-gL + lln-^T/2-1. (1.91")
/(f)2-L - ■ pJ
Из (1.9Г) следует, что (в отличие от минимаксного
правила при проверке гипотезы о среднем) при X = 1
наименее благоприятная величина дМм¥= 1/2. Эта величина
находится (при X = 1) из равенства ct = с2, которое с учетом
(1.9 Г) приводится к виду
Переходим к последовательному правилу выбора реше¬
ний. Для заданных вероятностей ошибок аир оно в соот¬
ветствии с (1.59) формулируется следующим образом:
при > его принимается гипотеза, что дисперсия нормаль¬
ной случайной величины равна crj, если для наблюдаемой
выборки
• с-92»
h=i
принимается гипотеза, что дисперсия равна а*, если
k=i
60
и продолжаются наблюдения, если не выполняется ни одно
из неравенств (1.92) и (1.92').
Определим среднее значение размера выборки, необ¬
ходимого для принятия окончательного решения, используя
Из (1.94) и (1.94') видно, что средний размер выборки,
необходимый для принятия окончательного решения,
увеличивается по мере приближения отношения ^ к единице.
1.3.3. Параме1гр экспоненциального распределения. Пусть
Xi хп представляют независимые выборочные значе¬
ния, принадлежащие экспоненциальному распределению
(см. первую книгу, стр. 106)
Проверяется простая гипотеза Я0 о том, что Х = Х0,
против простой альтернативы Ht, что параметр распреде¬
ления Я, = > Я0. Логарифм отношения правдоподобия
в этом случае равен
(1.62) и (1.62'). Из (1.85) имеем
ты = mi {1п/(*)К> =
fln-^, (1.93)
Шц = mt (In I (х) | а\} =
fln-^1, (1.93')
и, следовательно,
(1—a) In-—-f-ot In
а
(1.94)
1-р
а
(1.94')
Wi (х) = Яе-Язс, х>0, Я,>0. (1.95)
П
Правило выбора решения (для фиксированного заранее
размера выборки п) формулируется следующим образом:
принимается решение ух (параметр распределения равен
Х{), если
и принимается решение у0 (параметр равен А,0), если выпол¬
няется неравенство, противоположное (1.97).
Таким образом, процедура проверки гипотезы о пара¬
метре экспоненциального распределения вероятностей сво¬
дится к сравнению среднего арифметического выборочных
значений с порогом
где с определяется в зависимости от выбранного критерия
качества правила решения.
Так же как и при проверке гипотезы о среднем нормаль¬
ной случайной величины, поверхность, разделяющая допу¬
стимую и критическую области, представляет гиперпло¬
скость, перпендикулярную единичному вектору и распо¬
ложенную от начала координат на расстоянии пК, опре¬
деляемом по формуле (1.97'). В отличие от (1.67), кри¬
тическая область (1.97) расположена под гиперпло¬
скостью.
Найдем условные вероятности ошибок первого и второго
рода. Известно, что сумма п независимых экспоненциально
распределенных случайных величин имеет /^распределение
с 2п степенями свободы (см. первую книгу, задача 3.16,
а также предыдущий параграф). Учитывая необходимую
нормировку, находим, что в рассматриваемом примере
случайная величина 2>^хн распределена по закону %2 с 2п
k=i
степенями свободы. Поэтому
п
п
п
а = Р |2Х0 ^ <2пЯо/( | #о|
Й=1
П
п
Р*Я{2^2 xk>2nklK\Hi} = 1
62
Величина К в (1.98) и (1.98') для первых трех критериев,
указанных в табл. 1 (см. стр. 40), определяется непосред¬
ственно из (1.97'). Для критерия Неймана — Пирсона при
заданном а из (1.98) следует [ср. с (1.89)]:
Здесь %i— а — процентная точка х2_Р определения с 2п
степенями свободы. Порог, определяемый согласно (1.99),
не зависит от величины Л,4.
Если п > 1, то можно, использовав асимптотическую
нормальность %2-распределения, переписать (1.98) и (1.98')
в виде [см. также (1.49) и (1.50)]
При п оо в соответствии с общим результатом, приве¬
денным в § 1.2.5, вероятности ошибок стремятся к нулю, так
как при Xj > Я0
Для минимаксного правила решения при П00 = П11 = 0,
П10 = vll01 уравнение, определяющее наименее благопри¬
ятную величину априорной вероятности qMM, может быть
в соответствии с (1.51), (1.98) и (1.98') представлено в виде
Переходим к последовательному правилу выбора реше¬
ний. В рассматриваемом примере промежуточная область
Gnp определяется при заданных а ир согласно (1.59) и (1.96)
следующими неравенствами:
(1.99)
a~F(2V2nk0K-2Vn), (1.100)
1-^(2 V2nklK-2Vn). (1.100')
П
(1.102)
63
В том случае, когда нарушается левое неравенство, т. е.
is • <ы02'>
Л=1
принимается решение vt: параметр распределения равен
[ср. с (1.97)], а если нарушается правое неравенство, т. е.
<1.102-)
k~ i
то принимается решение у0'- параметр распределения
равен А.0.
Определим среднее значение размера выборки, необ¬
ходимого для принятия окончательного решения. Из (1.63),
(1.63'), учитывая, что среднее значение случайной вели¬
чины, распределенной по экспоненциальному закону (1.95),
равно -i- (см. стр. 97 в первой книге), имеем
mi0 = пц {In I (х) | Я0} =
= ln|l-(X,-l0)i_l-|l- + lnA, (1.103)
/Пц = mi (In I (x) | Xj} =
= l„{L_(X,_^=^_l + ln^. (1.103)
Следовательно, при Xi>'ko
/t x , 1 — a . t a
(1 —a) In—q f-оь In
mi{n\%0} = —2 r-LJ, (1-104)
Aq Aq
p In 1—^ h(I —P) tr>^
mi {n | %i} = L“ 5Г-5- . (1.104')
~— 1 + In
Ao
1.4. СЛОЖНЫЕ ГИПОТЕЗЫ
1.4.1. Классификация задач двоичного выбора. В преды¬
дущем разделе было подробно рассмотрено решение задачи
проверки простой гипотезы против простой альтернати¬
вы. Оказалось, что для всех принятых в начале главы
(см. § 1.1.6) критериев качества (байесовского, минимакс-
64
ного, Неймана — Пирсона, последовательного) решение
может быть доведено до замкнитых формул или очень
простых асимптотических соотношений (справедливых при
большом размере выборки). Однако указанная задача
не всегда отражает действительное положение вещей. Часто
и проверяемая гипотеза, и альтернатива, каждая порознь
или обе вместе, могут быть сложными. Тогда возникает
проблема выбора одного из двух решений, ун или ук,
относительно истинности гипотезы Н или ее альтернати¬
вы К в условиях, когда Н и К представляют, вообще говоря,
множества гипотез (дискретные или континуальные).
Ограничимся в этом разделе изложением параметриче¬
ской теории, в которой рассматриваются процедуры провер¬
ки гипотез о принадлежности выборки к распределению
данного класса, определяемого одним или несколькими
параметрами. Точные значения этих параметров (или неко¬
торых из них) неизвестны. Априорная информация о любом
параметре s содержит лишь указание на то, что он принад¬
лежит совокупности возможных значений интервала пара¬
метров (или пространства параметров, если речь идет
о нескольких параметрах s, и, v, ...). Таким образом,
пространство возможных состояний трактуется в рассмат¬
риваемом случае как пространство параметров заданного
класса распределений вероятностей.
Далее будут рассмотрены задачи двух видов: 1) проверка
простой гипотезы s = s0 против сложной альтернативы
s£SK, 2) проверка сложной гипотезы s £ SH против слож¬
ной альтернативы s£SK.
Относительно множеств SH и SK возможных значений
параметра s могут вводиться различные предположения.
Например, сложная гипотеза может быть односторонней
вида s > s0. Множества (интервалы) SH и SK могут не пере¬
секаться, а могут иметь и общие элементы. Ж
1.4.2. Байесовское решение. Рассмотрим байесовское
решение для общего случая проверки сложной гипотезы
против сложной альтернативы. Пусть q и р = 1 — q —
априорные вероятности того, что неизвестный параметр s
принадлежит непересекающимся множествам SH и SK
соответственно, и пусть wiH (s) и wiK (s) — плотности
вероятности этого параметра на указанных множествах.
Тогда априорное распределение параметра s можно пред¬
ставить в виде
r1(s)^-<7ay1H(s) + pay1K(s). (1.105)
5—197 65
Так как множества SH и SK могут быть дискретными, непре¬
рывными или смешанными, то соответственно wiH (s)
и Wi к (s) будут представляться суммами дельта-функций,
непрерывными функциями или плотностями смешанного
типа (см. первую книгу стр. 49). Например, если прове¬
ряется простая гипотеза, что s = s0, против сложной альтер¬
нативы, то в (1.105) в первом слагаемом wlH (s) = б (s —
— s0). (Заметим, что точка s = s0 может в этом случае при¬
надлежать множеству Ку если только плотность вероят¬
ности wiK (s) в этой точке непрерывная.)
Так же как и в § 1.1.2, два возможных решения у о и ух
связаны с принятием или отклонением гипотезы Я, и поэто¬
му сохраняется платежная матрица (1.15). Однако в отли¬
чие от § 1.2.2 условные риски [см. (1.17) и (1.17')] ста¬
новятся функциями неизвестного параметра s:
r0 (s) = П00 [ 1 — «(s)] + П01<х (s), (1.106)
ri(s) = n10P(s) + n11[l-P(s)l, (1.106')
где
a(s)= ^ ^ Wn(xu ..., xn\s)dxt ... dxn, s£SH, (1.107)
Gi
P(s) = § • • • § wn(xi. • •xn\s)dxt ... dxn, s£SK. (1.107')
Go
Средняя функция риска записывается теперь в виде
[см. (1.16)]
R = q § r0(s)wlH(s)ds + p § r1(s)wiK{s)ds =
sh 8к
= Я |n00[l — § Щн (s)а (s) ^s] + П01 ^ ®ih (s) a (s) ds j +
SH SH
+ p |n10 § ny1K(s)p(s) ds + n„ [l — ^ oy1K(s)p(s)ds]} =
SK SK
= 9П00 P^iо Я (П01 Поо) ^ wih (s)а (s) ds —
SH
— P (Пю — n„) [ 1 — § wiK (s) P (s) ds] .
66
Подставляя вместо а и (5 их выражения из (1.107)
и (1.107'), получим
R — <7^00 + рП10 — ^ ^ [р (П10 — Пи) X
Gi
X § wiK (s) Wn(xt, ..xn\s)ds — q(П01 — П00)x
SK
^ ^ih (s) Wn X (xu ..., xn | s) ds] dxi ... dxn■ (1.108)
X
SH
Из (1.108) те же соображения, которые были указаны
в § 1.2.3, приводят к следующему оптимальному правилу,
основанному на минимизации среднего риска: принимается
решение (отвергается гипотеза Я), если для наблюдаемой
выборки
Р $ K'lK (s) Wn (*1, | s)rfs
> n‘-Iir=c*- (L109)
<? I ЩН (s) Wn (*i> ...,xn\s)ds n10-nlt
SH
и принимается решение Vo (утверждается истинность гипо¬
тезы Н), если выполняется неравенство, противоположное
(1.109).
Правило (1.20) является частным случаем (1.109) при
т н (s) = б (s — So), WiK (s) = 6 (s — Si).
При проверке простой гипотезы против сложной альтерна¬
тивы следует пользоваться частным случаем (1.109) при
WiH (s) = б (s — So), т. е. в знаменателе вместо интеграла
следует подставить функцию правдоподобия Wn (xlt ...
. . ., хп | s0). Условные вероятности a (s) и (5 (s) ошибок
первого и второго рода для байесовского правила (1.109)
определяются по формулам (1.25) и (1.26), в которых теперь
F10 и Fа — интегральные функции распределения отноше¬
ния усредненных функций правдоподобия
I wiK(s) Wn (xlt xn\s) ds
A(Xi, ...,xn) = Sf —— — , (1.110)
] Щн(з) wn (xit ..., xn\s)ds
SH
вычисленные в предположении, что параметр s распреде¬
ления выборки (xi, . . ., х„) принадлежит множеству SH
и S к соответственно".
5* 67
Если гипотеза Н — простая, то
Щ н (s) = 8(s — s0)
и
А(хи ..хп)= § wiK{s)l(Xt, хп\ s) ds, (1.110')
%
т. е. равна усредненному отношению правдоподобия по слу¬
чайному параметру.
Полные условные вероятности ошибок первого и второго
рода (взвешенные с плотностью вероятности появления
отдельного значения параметра s) равны
а= ^ wiH(s)a(s)ds, (ЫН)
8н
Р = § Щк (s) Р (s) ds. (1-11Г)
SK
Если области SH и перекрываются, то уже невозмож¬
но достоверно установить, относится ли данное значение
параметра к области проверяемой гипотезы или к области
альтернативы. В связи с этим понятие платы за правильное
или ложнее решение теряет смысл, так как решение может
быть и правильным, и ложным, если s принадлежит пере¬
сечению областей SH и SK. Функция потерь, сопоставляю¬
щая каждой комбинации s 6 SH, s £ S к и решений у0, Yi
плату Ujki теперь зависит от апостериорных вероятностей
того, что s £ SH или s£Sk> если значение параметра
равно s (при непересекающихся областях эти вероятности
равны единице и нулю). Одним из возможных подходов
при этом будет следующий. Пусть П0о = Пи = 0 и пред¬
положим, что плата за ошибочное решение пропорциональна
апостериорной вероятности того, что данное s принадлежит
истинной области, т. е.
Пю (s) = П10Р {s 6 SK | s} = П (SK, Yo)» (1*112)
П01 (s) = П01Р {s 6 SHIs} — П (SH, (1.112')
где
DfqC С I c\ _ P \s€ P fo I s 6 Sid
= м 1K (s) M , (1.113)
owiK(s)-tqwiH(s) 4
68
pi-г о |<а_ • Р {s£Sh\P {s\ s£SH}
1 Н| 7 P{stSK\P{s\s<:SK\ + P{sZSH}P{s\sZSH\
= q,w'f{s) ... (1.113)
P“>Ul(.s) + qwiH(s) v
Если области SH и SK не перекрываются, то
Р {s 6 $к I s} = 1, P {s^, SH | s} = 1 и Пю (s) = Пю, Пщ (s) =
= По1, т. е. приходим к предыдущему случаю.
Выражение для условных рисков теперь преобразуют¬
ся к виду
г0 (s) = n01(s)a(s),
rt (s) = П10 (s)P(s),
а средний риск находится по формуле
R =■ Я § П01 (s) a (s) wiH (s) ds + p ^ П10 (s) P (s) wiK (s) ds.
SH SJC
1.4.3. Максимум апостериорной вероятности и макси¬
мальное правдоподобие. Апостериорные вероятности того,
что неизвестный параметр s принадлежит SH или SK,
когда наблюдается выборка (лгь . . хп)9 могут быть
записаны в виде
P{s6SH|^i, •.., Хп) =
q \ wlH(s)Wn(xi, ..., хп\ s)ds
q j wiU (s) Wn (xv ..., xn | s) ds f p J wlK (s) Wn (xlf ..., xn \ s) ds '
(1.114)
SK
P{s£SK \xu ..., x„} =
P J ЩК (s) Wn (*i, ..., xn\s) ds
Я S ЩЯ (s) Wn (*,, ..., xn I s) ds + p J w1K (s) Wn(xit ..., xn\s) ds
SH SK
(1.114')
Из того условия, что для отклонения гипотезы Я первая
из приведенных вероятностей должна быть не больше вто¬
рой, находим правило выбора решения
Р $ W1IC (s) Wn (хи ..., хп I s) ds
>1, (1.115)
q J wiH(s)Wn(xi, ..., AC„|s)ds
S„
69
которое является частным случаем байесовского правила
(1.109), когда П01 — П00 = П10 — Пи.
Критерий максимального правдоподобия не основывает¬
ся в рассматриваемом случае на строгих соображениях опти¬
мальности. Одно из возможных правил, соответствующих
интуитивному представлению о максимальном правдоподо¬
бии, может быть представлено в виде: принимается решение
Yi (отвергается Я), если для наблюдаемой выборки выпол¬
няется неравенство
max Wn (*!, ..., хп | s)
max Wn(xly *Л|5) (1.116)
s£SH
и принимается решение Yo, если выполняется неравенство,
противоположное (1.116). Заметим, что теперь уже правило
максимального правдоподобия не является частным случаем
байесовского, как это было при проверке простой гипотезы
против простой альтернативы.
1.4.4. Критерий Неймана — Пирсона. Переходим теперь
к критерию Неймана — Пирсона. Как было установлено
в § 1.2.4, при проверке простой гипотезы против простой
альтернативы всегда существует правило разбиения про¬
странства выборок на критическую и допустимую области,
которое минимизирует вероятность ошибки второго рода
(имеет максимальную мощность) среди всех других правил,
для которых вероятность ошибки первого рода (уровень
значимости) не превосходит заданной величины а. Когда
гипотеза Я простая, а альтернатива К сложная, то (5 = (5 (s)
и можно попытаться найти такое правило выбора решения
(т. е. разбиение пространства выборок на две области
Go и Gi), которое для заданной вероятности а ошибок пер¬
вого рода минимизирует вероятность ошибки второго рода
(5 (s) [или максимизирует мощность 1 — р (s) ] для всех
простых альтернатив, содержащихся в сложной альтерна¬
тиве /С. Такое правило называют равномерно наиболее мощ¬
ным. Если существует равномерно наиболее мощное пра¬
вило выбора решения при проверке простой гипотезы про¬
тив сложной альтернативы, то оно по существу не отличает¬
ся от такого же правила, соответствующего простой аль¬
тернативе, так как при этом неоднозначность, возникающая
из-за того, что §к представляет множество значений пара¬
метра s, не имеет значения (так как критическая область
не зависит от $££#).
79
Существование равномерно наиболее мощного правила
выбора решения является скорее исключением, нежели
правилом. Если такое правило при решении конкретной
задачи отсутствует, то можно попытаться сузить класс
правил и искать в этом меньшем классе правил равномерно
наиболее мощное. К одному из таких суженных классов
принадлежат так называемые несмещенные правила. Эти
правила должны удовлетворять следующему условию:
вероятность отвергнуть ложную гипотезу не меньше вероят¬
ности отвергнуть правильную *). Иначе говоря, вероятность
а ошибки первого рода является нижней границей значений
функции мощности 1 —p(s) для всех значений s, т. е.
l_p(s)>ct. (1.117)
Если р (s) — непрерывная функция, то минимальное
значение 1 — р (s) достигается при s = s0 и в точности
равно а, так как
l-$(s0) = P{(xi,...,Xn)eGi\s0} = a. (1.118)
Равномерно наиболее мощное правило, если оно суще¬
ствует, всегда является несмещенным. Если же такого пра¬
вила не существует, то все же может быть найдено несмещен¬
ное равномерно наиболее мощное правило.
На рис. 7 показаны кривые мощностей, иллюстрирующие
понятие равномерно наиболее мощного правила, несмещен¬
ного равномерно наиболее мощного правила и смещенного
правила выбора решения при проверке простой гипотезы
против сложной альтернативы.
Заметим, что оптимальное по критерию Неймана —
Пирсона правило выбора решения при проверке простой
гипотезы против сложной альтернативы не является, вооб¬
ще говоря, частным случаем байесовского правила, как это
имело место при простой альтернативе (см. стр. 36).
Приведенные выше понятия обобщаются и тогда, когда
проверяемая гипотеза Н сложная. В этом случае вероятность
ошибки первого рода (уровень значимости) также зависит
от параметра s, принадлежащего некоторому множеству SH-
Однако иногда можно указать совокупность правил выбора
решения (совокупность критических областей), которой
соответствует постоянный для всех s £ SH уровень значи¬
*) Заметим, что в примере, рассмотренном в § 1.1.2, условие
(1.5) — простейшее условие несмещенности.
71
мости а. Теперь задача состоит в том, чтобы из этой сово¬
купности правил отыскать такое, которое является равно¬
мерно наиболее мощным для всех значений s £ SK- Конечно,
как и в рассматриваемой выше более простой ситуации,
решение указанной задачи может и не существовать. Тогда
следует попытаться найти его в более узком классе правил,
Рис. 7. Функции мощности:
равномерно наиболее мощное правило, — — — несме¬
щенное равномерно наиболее мощное правило, смещен¬
ное правило.
вводя дополнительные предположения. Одним из таких
предположений является несмещенность, т. е. условие, что
Р {(*1, . . ., хп) £ G\ | s £ SH} ■< Р {(*i, . .., хп) £ Gi | s £ SK}.
(1.119)
1.4.5. Минимаксное правило. Если плотности wiH(s)
и Wiк (s) известны, а априорные вероятности q и р = 1 — q
неизвестны, то можно усреднить условные функции риска
Го= § r0(s)w1H(s)ds, (1.120)
%
ГI = § Г! (s) w1K (s) ds (1.120')
%
и находить минимаксное правило, приравнивая величины
усредненных средних рисков, аналогично тому, как это
делалось в § 1.2.6 для нахождения минимаксного правила
72
при проверке простой гипотезы против простой альтерна¬
тивы.
В том случае, когда известно q, но неизвестны wiH (s)
и Wi к (s), решение задачи об определении минимаксного
правила может и не быть однозначным, а если и априорная
вероятность q неизвестна, необходимо выдвижение допол¬
нительных критериев качества.
1.4.6. Последовательный анализ. К сожалению, для
последовательного анализа нет ситуации, аналогичной той,
Рис. 8. Функция мощности.
которая имела место при использовании критерия Нейма¬
на — Пирсона, когда одно и то же правило могло быть
наилучшим для любого значения параметра s, принадлежа¬
щего области альтернативы. Последовательное правило,
минимизирующее средние размеры выборки для одного зна¬
чения s, не является оптимальным в этом смысле при другом
значении параметра.
Одна из возможных постановок задач в этом случае
заключается в следующем. Проверяется односторонняя
сложная гипотеза Я о том, что s<s0, против сложной аль¬
тернативы s > s0. Выдвигается требование к качеству пра¬
вила выбора решения, состоящее в том, чтобы
1 — |3(s)<a, s<s0, (1.121)
1— P(S)>1 — s>si9 si>s0. (1.12 Г)
Условия (Д.121), (1.12Г) выполняются, если
1 — P(s0) = cx, P(s4) = P (1.122)
и вероятность р (s) ошибки второго рода — невозрастаю¬
щая функция параметра s (рис. 8). Из оптимального свой¬
73
ства последовательного анализа очевидно, что среди всех
правил, удовлетворяющих условиям (1.121) и (1.121'),
последовательное правило выбора решения, состоящее
в сравнении отношения правдоподобия с порогами
Р 1-Р
с0 = -г-^— , ct = - ,
и 1—а ’ 1 а
минимизирует средние размеры выборки при s = s0 и s = si.
Обычно функция trii {п | s} имеет максимум между s0 и Si
и убывает, когда s удаляется от точки максимума в любом
направлении. Может оказаться, что этот максимум меньше
наименьшего фиксированного размера выборки, при кото¬
ром существует (непоследовательное) правило, удовлетво¬
ряющее условиям (1.121) и (1.12Г). Однако это бывает не
всегда, как указывает пример, приведенный в [71.
Точное определение функции мощности 1 — |3 (s) и сред¬
него размера выборки тх {п | s} для последовательного
анализа представляет трудную задачу. Если трансцендент¬
ное уравнение
tTL\
{КШЛ*}-1 <1123>
имеет решение h = h(s), то с некоторым приближением
■-РМ» 0-124)
С1 со
в предположении, что знаменатель в (1.125) отличен от нуля
Если последнее условие не выполняется, то вместо (1.125)
следует использовать другое соотношение, указанное
в [2, стр. 223], в котором вместо среднего в знаменателе
появляется дисперсия логарифма одномерного отношения
правдоподобия:
mt{n|s}« -In со Inci ^ (1 126)
1 тЛш^£14 U
I Щ (х I s0) I J
1.4.7. Проверка сложных гипотез о среднем нормальной
случайной величины. Проиллюстрируем изложенные в этом
разделе подходы на примерах проверки гипотез о параметрах
74
нормального распределения. Начнем с проверки простой
гипотезы Н о том, что среднее значение нормальной слу¬
чайной величины равно а0, против сложной альтернативы К,
состоящей в том, что среднее — любое действительное
число, не равное а0. Предполагается, что дисперсия а2 нор¬
мальной случайной величины известна точно и что выборка,
на основании которой проверяется гипотеза, состоит из
независимых элементов.
Для получения байесовского правила решения необхо¬
димо задать величины с*, |\ = qlp, а также априорное
распределение среднего, когда справедлива альтернатива К-
Пусть это распределение также нормальное с параметрами
(aif о\). Тогда из (1.110) при wiH (s) = б (s — aQ) получаем
следующее выражение функции Л (хи . . ., хп):
II
А(хи = ехр 2 (**“а«)2]
k=i
X
X
■I
s-arf -
е
2о\
2kS(^_s)2 ,
h= l ds = (l
not V
a2 J
X
Xexp l-s-
2 (gi—a0)
a2 2 Xi'
i=i
a2
'+■(*)*
ft=i
откуда следует байесовское правило выбора решения:
отвергается простая гипотеза Н о том, что среднее значение
равно а0, если при ах > а0
п
1 V V. I V q / (1 У IhzZfL'i2 >
п по\\ a,—ao\n2j a J
i=l
0+3)
fli — До
a2
ft=i
>^-+мг7Ь5|п[с(1+^)]-к- <ы27)
где с = fie*. При с = |л получаем правило выбора решения,
соответствующее максимуму апостериорной вероятности.
75
Рассмотрим теперь критерий Неймана — Пирсона. Как
было показано в § 1.3.1, оптимальное по этому критерию
правило выбора решения при проверке простой гипотезы
о величине среднего против простой альтернативы, опре¬
деляемое порогом (1.76), не зависит от альтернативы
(при условии s > а0 или s < а0). Поэтому правило, согласно
которому отвергается гипотеза Я, если
п
^-2 Хк>а0 + -^=-ха, (1.128)
п у п
k=1
является равномерно наиболее мощным относительно слож¬
ной альтернативы, для которой s > а0. Если s < а0, рав¬
номерно наиболее мощное правило при сложной альтер¬
нативе определяет критическую область в виде нера¬
венства
п
х*<Оо-фха. (1.129)
" tZi Уп
Однако если в качестве сложной альтернативы рассматри¬
вать все действительные значения, то равномерно наиболее
мощного правила не существует. Функция мощности для
правила (1.128) согласно (1.77) имеет вид*)
1 — р(s) = 1 — F (*в_±=^у^) . (1.130)
При s > а0, 1 — Р (s) > а, функция мощности монотонно
возрастает при увеличении s и 1 — р (а0) = а. Но если
s < а0, то 1 — р (s) < а, причем функция мощности убы¬
вает при уменьшении s. Таким образом, правило (1.128)
смещенное.
Можно показать [6], что несмещенное равномерно
наиболее мощное правило определяется в этом случае
критической областью
*а_<*
12 (1.131)
*) Заметим, что при s = формула (1.130) не отличается
от (1.77).
76
Функция мощности, соответствующая правилу (1.131),
показана на рис. 9 (пунктирная линия) и имеет вид
1-P(s)-
(1.132)
Функция (1.132) достигает минимума при s=^a0 и
1 — р(а0)^2 — 2F(Xa) = cc.
2
Рис. 9. Функции мощности при проверке гипотезы
о среднем:
смещенное правило, несмещенное равномерно
наиболее мощное правило.
При всех s>a0 функция (1.130) превышает (1.132), так
как для произвольного с>0
F (*а —c) — F(Xa — c)'>F(—Xa_ — c).
2 2
При s — а0 обе функции совпадают, но при s < а0 мощность
правила (1.128) меньше мощности правила (1.131).
Рассмотрим, наконец, последовательное правило про¬
верки односторонней гипотезы о том, что среднее значение
нормальной случайной величины s<a0, против сложной
альтернативы s > а0. В соответствии с § 1.4.6 выдвигаем
дополнительное условие [см. (1.121) и (1.121')]: при задан¬
ных аир
1—P(s)<a, s<s0,
1 — Р (s) >> 1 — р, S> S!>S0.
77
Для определения функции мощности 1 — р (s) необходимо
решить трансцендентное уравнение (1.123). Левая часть
этого уравнения для рассматриваемого примера равна
щ {exp [aJrK* — So)2 — (* — st)2]]|s} =
Sехр ft)х
— оо
X exp | — -^2- [(л- — s)2 + 2 (s0 — Sj) hx]} dx -
= exP { 2a2 1 ^ — 2a2 Ha* ts —(so~ si) ^]2} •
Теперь в соответствии с (1.123) необходимо это выраже¬
ние приравнять единице, что равносильно приравниванию
нулю показателя экспоненты, т. е.
(sj — s\) h — s2 + [s — (s0 — sO h]2 - 0,
откуда находим
A( si±£o-2s=1_2js-£o)_i
' ' Si —So «1 — So ' '
Теперь по формуле (1.124) находим
J С ®1“80
(1-134)
r ®1 ®0 r„ ®1 ®0
C1 c0
p 1—p
где c0 = ~: — ; Ci = —.
u 1—a’ 1 a
Из (1.133) и (1.134) следует, что
h (s0) = 1, 1 — P (s0) = = a» (1-135)
4 c0
l—-
h (s4) = — 1, l-p(s1)^-r-c» ■= 1 — fi. (1.135')
C1 c0
Кроме того, функция 1 — p (s) — монотонно возрастающая
(рис. 10) от нуля (при s —> — оо) до единицы (при s—> оо).
При s = ii±^
Для определения зависимости от величины s среднего
размера выборки, необходимого для принятия решения,
найдем в соответствии с (1.125)
т Л -m f s\j-s? Sp-Sj 1 Л _
m‘ I »l(*|s0) I J " 1 I 202 a2 X\S\ -
_ Sj — s0 ( n Si -|-s0 ^
“ a2 V 2 J
и, следовательно,
Рис. 10. Последовательное правило при проверке гипо¬
тезы о среднем:
функция мощности; средний объем выборки, не¬
обходимый для принятия решения.
Из (1.137) видно, что при s-*- ± оо величина m4 {п | s} ->■
—>0, а в заданных точках s = s0h s = Si [см. (1.135), (1.135')]
2a2
mi {n | Sl>(1-p;;;_^lnco. (ызэ)
2a2
Эти формулы по существу не отличаются от (1.82) и (1.83).
При s = Sl^5°. знаменатель (1.137) обращается в нуль,
и в этой точке для расчета т{ | п | —| необходимо
79
предварительно вычислить второй момент логарифма отно¬
шения правдоподобия:
m2{\nl(x)\s}^m1{^-^(x-sf\s}={-^^. (1.140)
Пунктирная кривая на рис. 10 иллюстрирует характер
зависимости среднего размера выборки от s (она построена
для а = р 0,1; см. также табл. 2 на стр. 55). Как видно
из этого рисунка, функция тх {п | s} имеет максимум
значение минимального среднего размера выборки, необ¬
ходимого для принятия решения согласно оптимальному
последовательному правилу при проверке простой гипотезы
s = s0 против простой альтернативы s = s4. Однако этот
максимум все же меньше размера выборок при использова¬
нии непоследовательного правила с теми же значенияим
условных вероятностей ошибок (этот размер выборки
отмечен крестиком на рис. 10).
1.4.8. Замечание относительно многоальтернативных
задач выбора решения. Ограничимся только байесовским
критерием качества *). Как указывалось в § 1.1, в том слу¬
чае, когда выдвигается т + 1 простых гипотез Hj (/ =
= 0, 1, . . ., m), то для выбора решения относительно
того, которая из них истинная, можно использовать крите¬
рий минимума среднего риска [см. (1.8)]. Правило выбора
решения состоит в указании способа разбиения простран¬
ства выборок на т + 1 непересекающихся областей и при¬
писывания (для нерандомизированного правила) каждой
из областей Gk одного из решений ук (верна гипоте¬
за Hh) о том, что имеет место состояние Sh исследуемого
явления).
Вероятность того, что по наблюдаемой выборке xlf . . .
. . . , хп будет принято решение yk, когда в действитель-
*) Исследование многоальтернативных задач начато в послед¬
ние годы. Некоторые важные примеры многоальтернативных про¬
цедур по критерию Неймана — Пирсона содержатся в [7]. О по¬
следовательном анализе в многоальтернативных задачах см. [11].
Подставляя (1.140) в (1.126), получаем
о
, который приблизительно на 40% превышает
80
ности верна гипотеза Hjy будет равна
Р {Yft I Hi) = р {(*i> • • • - Хп) € Gk Isj) =
= ^ ... ^ Wn (хь ..., Хп I Sj) dXl... dxn■ (1 • 142)
Подставляя (1.142) в (1.8), получим выражение для сред¬
него риска
которое зависит от способа разбиения пространства выборок
на области Gu, k = 0, 1, . . т.
Рассуждая аналогично, как и при выводе неравенства
(1.20), можно доказать, что минимальное значение среднего
риска R реализует разбиение пространства выборок G,
при котором область Gk (k = 1, . . . , т) определяется
системой т неравенств:
/ = 0, ... , т; ]фк
Область G0 при этом определяется из очевидного условия
При т = 1 система (1.144) содержит одно неравенство,
совпадающее с (1.20).
Вводя новые переменные
т. е. отображая точки пространства выборок на т-мерную
область отношений правдоподобия, можно систему нера¬
венств записать в виде
т т
R — Pj^jk ^ * * ^ Wп (*^i> • • • ? *^711 s^) dxi ... dxn,
(1.143)
m
G0 = G— 2 Gk-
(1.144')
771
2 (J^ij П^) уi Под Пол
i=l
/ = 0, ..., m; j Ф k.
(1.146)
81
*4 97
Область, задаваемая системой неравенств (1.146), определя¬
ется пересечением гиперплоскостей в m-мерном простран¬
стве.
Проиллюстрируем сказанное выше на простейшем приме¬
ре многоальтернативной задачи, когда априори известно,
Рис. 11. Области принятия решения.
что возможны три состояния: s0, sb s2. В соответствии
с (1.146) при т = 2 байесовское правило решения форму¬
лируется так:
1) принимается решение о том, что имеет место состоя¬
ние St, если
(Пю — Пи) У\ + (П2о — n2i) у2 > П01 — П0о» (1 • 147)
(П12 — Пи) У\ + (П22 — n2i) Уг > n0i — П02; (1.147')
2) принимается решение у2 о том, что имеет место состоя¬
ние s2, если
(Пю — П12) yt -f- (Il2o — П22) у2 > П02 — П00, (1*148)
(Пи — П12) yt -f- (П21 — П22) у2 > П02 — П01; (1.148')
3) принимается решение у0 о том, что имеет место
состояние s0, если
(Пю — П1А) ух + (П20 — П21) у2 < Н01 — П0о, (1*149)
(Пю — П12) ух -f- (П20 — П22) у2 < П02 — Поо). (1.149'^
82
Здесь два отношения правдоподобия
_ Pi ИМ*,, xn\s{)
У{ Ро Wn(x 1, ...,xn\s0) ’
__ Р2 -.-i *п|$2)
Уг Ро Wn(xi%...fxn\so) ’
Ро = 1— Pi —Рг>
представляют функциональное преобразование п-мерного
случайного вектора с компонентами (лгь . . xn) в плоский
случайный вектор с неотрицательными компонентами
(Уи У г)- В зависимости от того, в какую из трех непересе-
кающихся областей первой четверти плоскости, определяе¬
мых приведенными системами двух неравенств, попадает
указанный вектор, принимается одно из трех возможных
решений.
На рис. 11 показаны области принятия трех решений
для частного случая, когда платы за правильные решения
равны нулю, а платы за ошибочные решения равны между
собой.
1.5. БОЛЕЕ ОБЩИЕ СЛУЧАИ ВЫБОРА
ОДНОГО ИЗ ДВУХ РЕШЕНИЙ
1.5.1. Случай нескольких неизвестных параметров. До сих
пор рассматривались правила, связанные с проверкой слож¬
ной гипотезы о параметре распределения против сложной
альтернативы относительно этого параметра. Результаты
могут быть обобщены на случай, когда распределение
зависит от многих параметров.
Пусть распределение случайной величины зависит от М
параметров siy . . Sm. Проверяется сложная гипотеза
Н о том, что указанная совокупность параметров принад¬
лежит области SH М-мерного пространства, против сложной
альтернативы К, что эта совокупность принадлежит
области SK.
Если известны априорные вероятности q и р = 1 — q
принадлежности совокупности sb . . sM непересекаю-
щимся областям SH к SK, а также совместные функции
распределения wMH (sb . . ., sM) и wMK (si, . . sM) этой
совокупности на множествах SH и SK соответственно и если
задана функция потерь, то байесовским правилом, обоб¬
щающим (1.109), является в этом случае следующее: при¬
6* 83
нимается решение yi (отвергается гипотеза Я), если для
наблюдаемой выборки
Л (хи ..., хп) =
I ... J оумк (si» • • • 1 5лг) (*!» • • •» xn\su ..., sM) ds{ ... dsM
°к
I * * * 1 WMH • • •» SЛ1) (^1> * • •» I ^1 ’ • • •» • • • dsM
>
^±c*^c. (1.150)
Полные условные вероятности ошибок первого и вто¬
рого рода равны
а ~ ^ ^ ^мн (Sl’ • * * ’ SjVf)а (si* • * • ’ Sm) dsi • • • dsM,
SH
(1.151)
P = ^ ^ Wmh (si, • • •» Sm) P(sif . .., Sm) dsx . .. dsM,
SK
(1.152)
где
a (Si, ..., sM) = P {A > с J (sl5 .. ., sM) 6 SH}i (1.153)
P (Si, . . ., SM) = P {Л <C с | (Si, . . ., sM) 6 $k)- (1*154)
Если априорная вероятность p неизвестна, то наименее
благоприятная величина этой вероятности рмм находится
из равенства усредненных по областям SH и Sx условных
функций риска [см. § 1.4.5, также (1.106) и (1.106')]. Под¬
ставляя рмм и qMM = 1 — рмм в правую часть неравенства
(1.150), приходим к минимаксному правилу выбора решения
для случая нескольких неизвестных параметров.
Нахождение оптимального правила по критерию Ней¬
мана — Пирсона в случае нескольких неизвестных пара¬
метров представляет в общем сложную математическую
задачу. В конце § 1.4.4 указывалось лишь на возможность
обобщения основных понятий (современное состояние этого
вопроса изложено в [7]). Как в случае проверки простой
гипотезы против простой альтернативы, так и в случае про¬
верки простой гипотезы против сложной альтернативы опти¬
мизация по критерию Неймана — Пирсона проводилась
в классе правил, для которых вероятность ошибки первого
84
рода (уровень значимости) не превосходила заданной вели¬
чины а. В некоторых случаях проверки сложной гипотезы
против сложной альтернативы можно выделить класс пра¬
вил (т. е. указать критические области G{)t для которых
Р {(*!, .. , хп) £ | (si, ..., Sm) £ SH} = а. (1.155)
Если в классе этих правил можно найти такое, которое
минимизирует вероятность ошибки второго рода или имеет
максимальную мощность
1 — р = Р {(л*1, .. ., хп) £ G* | (si, .. ., Sm) £ (1 • 155')
то это правило называют равномерно наиболее мощным.
Можно сузить класс оптимальных правил, вводя условие
несмещенности (1.119).
Ограничимся здесь лишь одним примером,* когда по кри¬
терию Неймана — Пирсона необходимо проверить сложную
гипотезу о том, что выборка xlf . . ., хп принадлежит нор¬
мальному распределению со средним а0 и неизвестной
дисперсией а2, против сложной альтернативы, что эта выбор¬
ка принадлежит нормальному распределению со средним
а Ф а0 и неизвестной дисперсией. Рассмотрим случайную
величину [см. (2.153)]
п
t ^ (*^i> **ч хлу iz) (%i ^
Уп £
* bnh-i (мм»
ft=l г=1
подчиняющуюся при независимых нормальных xt с пара¬
метрами (а, а2) закону распределения Стьюдента Sn-i (t)
с п — 1 степенями свободы [см. (2.154)], который не зави¬
сит от а и а2. Таким образом, критические области Gi п-мер-
ного пространства выборок, к которым отнесены выборки
(*!, . . ., хп)у удовлетворяющие при а = а0 условию
*2
JSn_i(0A = а, (1.156')
h
соответствуют указанным выше правилам с постоянным
уровнем значимости. Можно показать, что при а> а0 среди
всех этих правил равномерно наиболее мощным является
такое, при котором критической области соответствуют
85
значения случайной величины превосходящие порог
ta (т. е. в (1.156') t2 = 00, ti = ta).
Иначе говоря, отвергается гипотеза Н о том, что сред¬
нее равно а0 при неизвестной дисперсии, если
±2(*-а.» {^S [Л-±£
г— 1 k—i г=1
(1.157)
где ta — процентная точка распределения Стьюдента. Это
правило выбора решения — равномерно наиболее мощное
относительно сложной альтернативы а > а0.
Сравнивая правило (1.157) с аналогичным правилом
(1.128) для проверки простой гипотезы о среднем против
сложной альтернативы, когда дисперсия нормального рас¬
пределения известна, замечаем, что в (1.157) неизвестная
дисперсия представлена выражением в фигурных скобках,
а процентная точка ха нормального распределения заменена
процентной точкой распределения Стьюдента (для задан¬
ного а).
Прежде чем вычислять вероятность ошибки второго
рода (или мощность 1 — р) при использовании правила
(1.157), следует иметь в виду, что случайная величина
t (хи . . . ., хп; а0), если хи i = 1» • • •> п, нормальны
с параметром а Ф а0, имеет нецентральное распределение
Стьюдента
щ (/; Л) = -^ l- X
2 2 г (~т~) Vn(«-i)
00 п
X J {/T~iex р | -у[у+ (* У T^ZTj—б)2]} йУ' (1*158)
О
где б —параметр нецентральности, равный
б==о-ао^- (1.158')
Используя (1.158), можно записать выражение функции
мощности правила (1.157) в виде
оо
1_р б)= J 6)dt, (1.159)
86
где ta — процентная точка нецентрального распределения
Стьюдента.
Если а <С а0, то равномерно наиболее мощное правило
проверки сложной гипотезы о том, что среднее равно а0
при неизвестной дисперсии, определяет критическую область
неравенством [см. (1.129')]
п
(Xi~ao) <
i=l
<-{^2Ь-т2<*-*>]’Р#- c-'W)
fe=i i= 1 v
В том случае, когда альтернатива содержит все действи¬
тельные значения а, равномерно наиболее мощного правила
не существует. Но аналогично (1.131) правило, согласно
которому гипотеза Н отвергается, если
п
(Xi-a0)| >
i=l
>'br^2b42(*-«>]T'w <м6|>
k=i i=l V
является наиболее мощным несмещенным правилом с задан¬
ной вероятностью а ошибки первого рода.
Вероятность ошибки второго рода при этом равна
*а/2
Р(6)= j Wi{t\ 8)dt. (1.162)
“*а/2
Наконец, в заключение отметим, что обобщение после¬
довательного анализа на случай многих параметров бази¬
руется на соображениях, аналогичных тем, которые изло¬
жены в § 1.4.6 с усложнениями, связанными с переходом
от одномерного к многомерному пространству параметров.
1.5.2. Выборка из многомерного распределения. До сих
пор рассматривались задачи проверки гипотез об одном
параметре или совокупности параметров одномерной функ¬
ции распределения случайной величины £ по выборке, эле¬
менты которой извлечены из множества возможных значе¬
87
ний этой случайной величины. Более общей является
задача проверки гипотез о параметрах многомерного рас¬
пределения совокупности случайных величин . . ., 1М.
Соответственно элементами многомерной выборки размером п
являются группы из N чисел х^, x2k, • • *, Xxk, k = 1, ...
. . ., п, которые можно рассматривать как компоненты
вектора xfe. Тогда выборка является прямоугольной мат¬
рицей X размером N X п:
X = ||Xik ||, i= 1 iV; Л= 1 л. (1.163)
Проиллюстрируем обобщение теории проверки гипотез
о параметрах многомерного распределения на примере
iV-мерного нормального распределения. Используя вектор¬
ную форму записи [см. (2.57) в первой книге], представим
многомерную плотность вероятности N зависимых нормаль¬
ных случайных величин в виде
u>n (х) = ^ ехр [ - у (х — а)' М’1 (х - а)] ,
(2л) 2 ~\/ det М
(1.164)
где а — вектор-столбец средних значений; М — корреля¬
ционная матрица, штрих указывает на операцию транспо¬
нирования.
Простейшая задача проверки гипотез в этом случае
формулируется следующим образом. Имеется одно выбороч¬
ное значение х (векторное) из распределения (1.164).
Выдвигается простая гипотеза Н0у что это значение принад¬
лежит нормальному распределению с вектором средних
а0 и корреляционной матрицей М, против простой альтер¬
нативы #ь что это значение принадлежит нормальному
распределению с вектором средних аА и той же самой корре¬
ляционной матрицей М.
Логарифм отношения правдоподобия в этом случае имеет
следующий вид:
= - у 1(х — а1)' M_1 (х — ai) — (х — ао)' М-1 (х — а0)] =
= х'М-1 (аг- а,,) —j (ai + а0)' JVT1 (ai - а„). (1.165)
Структура этого выражения аналогична структуре
(1.66). Обе указанные формулы совпадают при N = п = 1,
$8
Правило выбора решения формулируется теперь так:
принимается решение (среднее равно aj), если для наблю¬
даемого вектора х
х'М-1 (а! — а0) > у (а4 + а0)' М-1 (ai — а0) + In с, (1.166)
и принимается решение у0 (среднее равно а0), если выпол¬
няется неравенство, противоположное (1.166). Как и раньше,
величина с определяется в зависимости от выбранного
критерия (по располагаемым априорным данным о принад¬
лежности к одному из двух распределений и о функции
потерь).
Из (1.166) видно, что процедура проверки гипотезы
о среднем значении многомерного нормального распреде¬
ления сводится к вычислению линейной функции компонент
вектора результатов наблюдений и сравнению ее с порогом
K = y(ai + a0),M-1(a1-a0)+ Inc. (1.167)
Для вычисления условных вероятностей ошибок первого
и второго рода можно воспользоваться формулами (1.25)
и (1.26), т. е. отображением jV-мерного пространства векто¬
ра х на одномерную область отношения правдоподобия.
Из (1.165) следует, что In / (х) представляет нормальную
случайную величину. Поэтому достаточно определить ее
среднее и дисперсию при двух гипотезах и Н0. Имеем
mi {In / (х) | tfj =
- mA {х'} М1 (а4 — а0) — у (а! + а0)' М1 (а4 — а0) =
= аг М х(аА — а0) — у (ai + а0)' Мг1 (а4 — ао) ==:
= у(а1-а0)'М-1(а1-а0)
и, обозначая
d2 — (aj — а0)' М 1 (а! — а0),
получим
7П1{1П/(Х)|Я1}=-^-.
Аналогичным образом находим
т1{1п/(х))Я0} = — -у-,
(1.168)
(1.169)
(1.170)
М2 {In / (х) | Н0) = М2 {In I (х) | Hj) = d2. (1.171)
89
Тогда ВеОбятНости ошибок первого и Второго рода равны
[см. (1.73) и (1.73')]
а = Р{1п/(х)>1пс|Я0}=1 —^(4 + -^) , (Ы72)
$ = P{\nl(x)<lnc\Hl} = F(-± + ^) • (1Л72')
Если результаты наблюдений представлены не одним
вектором х, ап векторами х*, k = 1, . . ., п, т. е. матрицей
X размером ./V X п [см. (1.163)], то задача проверки гипотез
о среднем значении многомерного нормального распреде¬
ления сводится к рассмотренной выше, если х заменить
1 ”
на среднее арифметическое — 2хй, а матрицу М — на М/л.
nh=l
Величина d в (1.172) и (1.172') при этом должна быть заме¬
нена на dn = dYп.
1.5.3. Непараметрические методы проверки гипотез о сим¬
метрии распределения. В непараметрических случаях, когда
неизвестен даже вид распределения, которому принадлежит
выборка, правило выбора решения может иногда базиро¬
ваться на использовании упорядоченности выборочных зна¬
чений. Пусть, например, проверяется гипотеза Н о сим¬
метрии относительно нуля (четности) функции распреде¬
ления Wi (*), которому принадлежит выборка Xt хп.
Введем счетчик знаков:
«(*)=( *’ ЛГ>.0, (1.173)
w I 0, *<0. v ’
Одним из возможных правил выбора решений является
следующее: отвергается гипотеза Н, т. е. принимается
решение (Vi), что
хю1(х)фии1{—х) (Ы74)
или
(1-174')
если для выборки хи ..., хп заданного размера п
|]в(*,)>с, (1.175)
*=i
и принимается решение (7о), что распределение w 1 (х)
симметрично относительно нуля, если выполняется нера¬
венство, обратное (1.175).
90
Так как элементы выборки xt независимы и распределены
71
одинаково, то сумма 2 “(*;) подчиняется биномиальному
г=1
закону распределения (см. § 1.2 в первой книге) с пара¬
метрами п и p = P{xi>0}= 1— Л{0). Гипотеза Я сим¬
метрии (лг) относительно нуля равносильна утверждению
(Я)Л(0)=4, (1.176)
а альтернатива К состоит тогда в том, что
(K)Ft(0)^±. (1.176')
Таким образом, сумма в левой части неравенства (1.175)
подчиняется биномиальному закону с параметрами
(я, yj , если справедлива гипотеза Я, и этому же закону
с параметрами (п, рф^ , если справедлива альтерна¬
тива К. Нетрудно записать выражения условных вероят¬
ностей ошибок при использовании правила (1.175).
Условная вероятность ошибки первого рода равна
[см. (1.22) в первой книге]
71
а = Р{Ъ\Н} = Р {2 и(*;)>с|я} =
г—1
тг
= S (I) (т)Я = 1-Мя-М. М + 1), (1-177)
/1=[с]+1 2
где Iq(n — m, т + 1) — отношение неполной бета-функции
к полной бета-функции и [с] —целая часть числа с.
Условная вероятность ошибки второго рода равна
п
Р = РЫК} = р{У1 u(Xi)<c\K} =
i=l
[с]
= 2 (")р1(1-Р)п_, = Л-р(я-[с], [с] + 1). (1.178)
1=0
Из (1.177) и (1.178) следует, что при р — 1 — Fi(Q) > 0,5
правило (1.165) несмещенное. Действительно, при q =
91
= 1—/7<у из неравенства (см. (1.22) в первой книге)
1/2
Bii2(n — m, m+ 1) = ^ гп",п"1(1— z)m dz>
о
я
>^гп“т“1(1 —z)mdz = Bq(n — m, т+1)
о
следует неравенство
/1/2(л —[с]), [с] + 1) > /^ (лг— [с], [с]+1),
и, следовательно,
1 —р>а.
При большом п биномиальное распределение аппрок¬
симируется нормальным (см. § 1.2.2 в первой книге) и фор¬
мулы (1.177) и (1.178) могут быть переписаны в виде
<М80>
где F (*) — интеграл Лапласа.
При заданном уровне значимости а (вероятности ошибки
первого рода) порог с в правиле (1.175) определяется из со¬
отношения
[c]=J*^+«_ 1, (1.181)
у п 2
где ха — процентная точка биномиального (или асимпто¬
тически нормального при п > 1) распределения. Подстав¬
ляя (1.181) в (1.180), получаем
»~f[ ии.-р) ' <1182)
Из (1.182) видно, что для несмещенного правила (р > у)
при п оо вероятность ошибки второго рода р 0.
Если р = 1 — Fi (0) < y , то несмещенным будет пра¬
вило, согласно которому гипотеза Н отвергается при выпол¬
нении неравенства, обратного (1.175).
92
Тогда
а = р{ 2«(xO<c|tf}=Mrt-[c], [с] + 1), (1.183)
р = р{Зи(Х|)>с|я} = 1-Л_р(л-[с], [с] 4-1) (1-183')
и при р<| из (1.183) и (1.183') следует 1—р>а.
Для заданного а порог с определяется из равенства
[с] = 2л^ + _л__ь (1Л84)
Может быть сформулировано также двухстороннее пра¬
вило выбора решения, согласно которому гипотеза Н о сим¬
метрии распределения отвергается, если и общее число
положительных элементов выборки, и общее число отрица¬
тельных элементов превосходит некоторый порог с, т. е.
п п
’2lu(xi)>c, п— ^iu(xi)>c
i=i i=i
ИЛИ
n
с< 23 u(xt) <п — с. (1.185)
Тогда вероятности ошибок равны
П
а = Р' |с < 2j ы(х;)<п-с|я| =
г—1
п-[с]-1
- s ой)*-
= I±([C] + 1, п-[с])-1±(п-[с], [с] + 1), (1.186)
2 2
п
P=l—f|c<2 «(*;) <« — c\k] = I —
г— 1
п-[с]-1
- 2 (“)р‘(‘-*>-' =
г=[с]+1
= 1-Л-р(М + 1, n-[c]) + U_v(n-lc], [с] + 1). (1.187)
93
При п > 1 правые части этих формул переходят в интег¬
ралы Лапласа
сс~ 1-2 F
[с] + 1~пр
М + 1-У
Уп/2
[с] + 1-я(1_р)
(1.188)
+F I . (1.189)
vVnp (i—p) / v Vnp(i— p) )
Фиксируя*) уровень значимости а, находим из (1.188)
величину порога с в (1.175):
с= 2 *1+«+" 1, (1.190)
Уп — 1
где ATj+a — процентная точка нормального распределения.
—2~
Подставляя (1.190) в (1.189), получаем
+ F
Уп А1±2 ' 2
У 2
+ 9-(1-2 Р)
Упр (1— р)
2 п
2
1/лр(1— р)
+
(1.191)
Вероятности ошибок могут быть уменьшены, если вместо
(1.175) использовать более мощное правило: отвергается
гипотеза о симметрии распределения, если для выборки
xt хп заданного размера п
(1.192)
где и(х) — функция, определенная согласно (1.173)
(см. [7, § 6.9]).
Задачи
1.1. Пусть Н0 — простая гипотеза, состоящая в том, что выборка
jq, ...,хп получена из экспоненциального распределения
(х) = e~xi * > 0»
(о
*) Так как п » 1, то [с] « с, и не имеет существенного зна¬
чения, что правая часть (1.190) не при любом а будет целым числом.
94
a #i — простая альтернатива, состоящая в том, что эта выборка
получена из одностороннего нормального распределения
зс2
~2~
X >0.
(2)
Доказать следующее оптимальное правило выбора решения:
отвергается гипотеза Я0, если
г»
1 Vi 2
-jr2
2 In с
(3)
г=1
где с —константа, характеризующая выбранный критерий качества.
Показать, что при п ->■ оо имеют место следующие асимптотические
формулы для условных вероятностей ошибок первого и второго рода:
а — 1
/1пС+Л_1п-£-\
Л лЩ )
In с-
У2п
1--1)
/(т--Г-/?)» -
(4)
(4')
1.2. Рассматриваются последовательности N независимых испы¬
таний (см. § 1.2 в первой книге). Пусть х* — число появления собы¬
тий в i-й последовательности (/= 1, ..., п). Выдвигается простая
гипотеза Н0 о том, что априорная вероятность появления события
в каждом испытании равна р0> против простой альтернативы Hlt
что эта вероятность равна рх (рх > р0). Доказать следующее опти¬
мальное правило выбора решения: отвергается гипотеза Я0, если
г=1
In
Pi (1— Ро)
Ро 0 —Pi)
= К,
(5)
где с—константа, характеризующая выбранный критерий. Показать,
что вероятности ошибок первого и второго рода для правила (5)
равны соответственно
В^ро(Мп~[пКЬ 1пК] + 1)
а = 1
р=
B(Nn-[nK], [n/C] +1)
Bi-Vl{Nn-{nK), [п/С] + 1)
B(Nn-[nK], NC] + 1)
(6)
(6')
где Bq(x, у) и В(х, у)— неполная и полная бета-функции.
95
1.3. Пусть #о — простая гипотеза, состоящая в том, что выборка
ага, ..., хп получена из релеевского распределения
«М*) = -£-е 202 (7)
с параметром а = ао, а Нх — простая альтернатива, состоящая в том,
что эта выборка получена из того же распределения с параметром
a = Oi >а0. Доказать следующее оптимальное правило выбора реше¬
ния: отвергается гипотеза Я0, если
i= 1
где с — константа, характеризующая выбранный критерий качества.
Показать, что вероятности ошибок первого и второго рода для
правила (8) равны соответственно
Г
Г(„) • (9>
ПК
( nK \
Г’ ~о\)
p=1--rw ' (9'}
где Г (/г, х) — неполная гамма-функция. Объяснить совпадение фор¬
мул (9) и (9') с (1.98) и (1.98') при о2 = .
1.4. Показать, что дисперсии логарифма одномерного отношения
правдоподобия для двух нормальных распределений со средними
ах и а0 и одинаковыми дисперсиями а2 равны [см. (1.47) и (1.48)]:
M20^M21=-(fll~aao)2 . (10)
1.5. Пусть #о — простая гипотеза, состоящая в том, что х полу¬
чено из нормального распределения
«M*|tf0) = -j=e 2. (11)
У 2л
a — простая альтернатива, состоящая в том, что эта величина
определена из бимодального распределения
«1 (* IЪ) = [е-<*-а>2 + е-<*+а)1!]. (12)
2 у л
Доказать следующее оптимальное правило выбора решения: отвер¬
гается гипотеза Н0, если
1 (дс-2а)2 (JC+2 а)2
уГе“,[е 2 +е 2 ]>с• (13)
96
Обратить внимание на то, что область действительной оси *,
определяемая неравенством (13), двухсвязная.
1.6. Пусть х —выборочное значение (векторное) из многомерного
нормального распределения с корреляционной матрицей а21 (где 1 —
единичная матрица). Выдвигается гипотеза Я0, что среднее (вектор¬
ное) равно а0, против альтернативы Я1? что оно равно Показать,
что оптимальное по критерию максимального правдоподобия раз¬
биение пространства выборок производится гиперплоскостью, пер¬
пендикулярной линии, соединяющей точки х = а0 и х = аА, и деля¬
щей эту линию пополам.
1.7. Пусть х — выборочное значение (векторное) из многомерного
нормального распределения. Выдвигается гипотеза Я0, что это зна¬
чение принадлежит нормальному распределению с вектором сред¬
них а и корреляционной матрицей М0, против альтернативы Я*, что
это значение принадлежит нормальному распределению с тем же
самым вектором средних и корреляционной матрицей Показать, .
что оптимальное правило выбора решения формулируется следующим
образом: принимается решение ух (корреляционная матрица равна М*),
если для наблюдаемого вектора х
(х-а)' (Mi-Mo) (х-а) > 2 In c + ln , (14)
и принимается решение Yo (корреляционная матрица равна М0), если
выполняется неравенство, обратное (14).
Показать, что, совершая замену переменных
у = Г(х—а), (15)
где матрица f определяется из
M*f = M0fA (16)
и Л—диагональная матрица, элементы Xi, Xn которой являются
корнями уравнения
det [МА — ХМ0] = 0, (17)
можно неравенство (14) привести к виду
N N
2 (l—-j-) у\>21пс+21п^-
<=.1 »=i
1.8. Проверяется простая гипотеза Я, что дисперсия нормальной
случайной величины с нулевым средним равна о§, против сложной
альтернативы, что дисперсия а2 Ф о\. Доказать, что правило, согласно
которому отвергается гипотеза Я, если
2 (19>
а=1
где — процентная точка х2-Распределения с п степенями свободы,
является равномерно наиболее мощным относительно сложной альтер¬
нативы, если а2 > а§.
7-197 97
1.9. Проверяется простая гипотеса Я, что параметр А, экспонен¬
циального распределения равен Я0, против сложной альтернативы, что
К Ф Я0* Доказать, что правило, согласно которому отвергается гипо¬
теза Я, если
71
2 «<-25^-“' М
ft=i
где %i_a—процентная точка %2-расп ределения с 2п степенями сво¬
боды, является равномерно наиболее мощным относительно сложной
альтернативы, если X > Хо-
1.10. Доказать, что условный максимум функционала
оо
Ф [<р (*)] = ^ w (х) In ф (х) dx (21)
— оо
оо
при условии <р (х) > 0 и ^ ф (х) dx = 1 достигается при
— оо
ф (дс) = к»(л:), (22)
т. е. что
оо' оо
^ w (л:) In w (х) dx>> ^ w (х) In ф (х) dx. (23)
ЛИТЕРАТУРА
1. Башаринов А. Е., Флейшман Б. С. Методы стати¬
стического последовательного анализа и их приложения. Изд-во
«Советское радио», 1962, гл. 1, 3.
2. Б о л ь ш а к о в И. А., Г у т к и н Л. С., Левин Б. Р.,
Стратонович Р. Л. Математические основы современ¬
ной радиоэлектротехники. Изд-во «Советское радио», 1968, гл. 6.
3. В а л ь д А. Последовательный анализ. Физматгиз, 1960,
гл. 1—4.
4. Д а в е н п о р т В. Б., Рут В. Л. Введение в теорию слу¬
чайных сигналов и шума. Пер. с англ., под ред. Р. Л. Добруши-
на. Изд-во иностранной литературы, 1960, § 14.2.
5. Дунин-Барковский И. В., Смирнов Н. В.
Курс теории вероятностей и математической статистики. Изд-во
«Наука», 1965, гл. VII.
6. Крамер Г. Математические методы статистики. Пер. с англ.,
под ред. А. Н. Колмогорова. Изд-во иностранной литературы,
1948, гл. 25, 26, 35.
7. Леман Э. Проверка статистических гипотез. Пер. с англ.
Ю. В. Прохорова. Изд-во «Наука», 1964, гл. 1, 3.
98
8. Л и н н и к Ю. В. Статистические задачи с мешающими пара¬
метрами. Изд-во «Наука», 1966, гл. Ill, IV.
9. Миддлтон Д. Введение в статистическую теорию связи.
Пер. с англ., под ред. Б. Р. Левина. Изд-во «Советское радио»,
1962, гл. 18.
10. Миддлтон Д. Очерки теории связи. Пер. с англ., под
ред. Б. Р. Левина. Изд-во «Советское радио», 1966, гл. 1, 2.
И. Хазен Э. М., Бененсон З.М. Последовательные реша¬
ющие правила в некоторых задачах о различении многих гипо¬
тез и сложных гипотез. Тезисы сообщений на Международном
конгрессе математиков, секция И, М., 1966.
12. X е л ь с т р о м К. Статистическая теория обнаружения
сигналов. Пер. с англ., под ред. Ю. Б. Кобзарева. Изд-во
иностранной литературы, 1963, гл. 3.
13. Ш э н н о н К. Математическая теория связи. В сборнике
переводов. «Работы по теории информации и кибернетике», под
ред. Р. Л. Добрушина и О. Б. Лупанова. Изд-во иностранной
литературы, 1963.
14. W а 1 d A. Statistical Decision Functions, New York, John
Wiley Inc., 1950, гл. 1, 3.
7*
глава СТАТИСТИКА СЛУЧАЙНЫХ ВЕЛИЧИН
ВТОРАЯ
2.1. ВЫБОРКА И ЕЕ ХАРАКТЕРИСТИКИ
2.1.1. Эмпирическая функция распределения. Вернемся
к § 1.1.4 и рассмотрим снова некоторый случайный экспери¬
мент и случайную величину, связанную с ним в том смысле,
что возможные значения этой случайной величины пред¬
ставляют результаты отдельных наблюдений. Последователь¬
ность п наблюдений характеризуется выборкой размера п,
элементами которой являются указанные возможные зна¬
чения случайной величины
Будем рассматривать выборки, которые получаются в ре¬
зультате независимых наблюдений. Процесс извлечения
таких выборок называют простым случайным выбором.
Если известны интегральная функция распределения
Fi (х) или плотность вероятности (х) случайной величины £,
то говорят, что выборка xlt . . ., хп принадлежит распре¬
делению Ft (х) или Wi (х). Перегруппировав элементы выбор¬
ки путем расстановки их в возрастающем порядке так, что
Xt>Xj при I > /, получают упорядоченную выборку, кото¬
рую называют статистическим (или вариационным) рядом.
Отдельные члены статистического ряда называют иногда
порядковыми статистиками. Примерами порядковых ста¬
тистик является наименьшее значение Хи наибольшее хп,
выборочная медиана хп (если п — четное).
Т+1
Пусть v (лс) — число выборочных значений, не превосхо¬
дящих некоторого порога х. Ступенчатая функция
2 «(*-**)• (2-1)
k
где и (х) — единичный скачок [см. (1.173)], представляет
частоту события %<х в последовательности п наблюдений.
Ее называют эмпирической функцией распределения выборки.
100
Эта функция представляет статистический аналог функции
распределения случайной величины, но не совпадает с по¬
следней (рис. 12). Эмпирическая функция распределения
F* (я) при п оо сходится по вероятности к гипотетиче¬
ской функции распределения F\ (я), если выборка, по кото¬
рой построена эмпирическая функция, извлечена из распре¬
деления Fi (х) (теорема Гливенко, см. [3]), т. е. при любом
х и 6 > О
lim P{\F1 (х) — FI (х) | > е} - 0. (2.2)
fl—► оо
Когда осуществляется выбор из непрерывного распреде¬
ления и число выборочных значений очень велико, можно
Рис. 12. Эмпирическая функция распределения.
производить группирование. При этом область возможных
значений случайной величины разделяют на N непересекаю-
щихся интервалов и объединяют выборочные значения,
попадающие в один и тот же интервал. На каждом из этих
интервалов как на основании строят прямоугольник высотой
, где hi — длина интервала, v* — число выборочных
значений, попавших в этот i-й интервал; п — размер
выборки. Полученную таким образом ступенчатую функцию
называют гистограммой выборки. Она служит статистиче¬
ским аналогом плотности вероятности случайной величины
(рис. 13).
Рис. 13. Гистограмма.
2.1.2. Выборочные моменты. Эмпирическая функция
распределения содержит всю статистическую информацию,
которая накоплена в процессе извлечения выборки. Как
известно из теории вероятностей, случайную величину мож¬
но характеризовать не только функцией распределения, но
и числами — моментами распределения. Аналогично стати¬
стические свойства выборки можно характеризовать не толь¬
ко эмпирической функцией распределения, но и более
грубо — несколькими числами — выборочными моментами.
Выборочный момент &-го порядка определяется по формуле
п
(2.4)
i=i
т. е. он равен среднему арифметическому k-x степеней
выборочных значений. В отличие от моментов случайной
величины, выборочные моменты обозначают звездочкой.
Следует всегда отличать выборочные моменты от момен¬
тов случайной величины. Последние определяются через
априорную функцию распределения wt (х) по известной
формуле (см. (2.77) в первой книге)
оо
mu = ^ xkWi(x)dx. (2.5)
102
Для дискретной случайной величины, принимающей зна¬
чения хi, с вероятностью рх
mk=^iXipi. (2.5')
г
Таким образом, моменты случайной величины вычисля¬
ются по известным априорным характеристикам, в то вре¬
мя как выборочные моменты — на основании наблюденных
значений.
Рассмотрим выборочные моменты первых четырех поряд¬
ков. В соответствии с общим определением выборочный
момент первого порядка, или просто выборочное среднее,
равен среднему арифметическому выборочных данных, т. е.
п
<=4-2 (2-6)
г=1
Выборочное среднее характеризует расположение выбор¬
ки на действительной оси, указывает область, в которой
группируются выборочные значения. Разность xt — т*
называют отклонением выборочного значения от выбороч¬
ного среднего. Выборочные моменты отклонения называются
центральными и обозначаются символами М%, k = 2, 3, ...
В соответствии с (2.4)
п
М£ = 4-2 (*»-«?)*• (2.7)
г=1
Выборочная дисперсия М* (центральный выборочный
момент второго порядка) является мерой рассеяния выбо¬
рочных значений относительно выборочного среднего:
п
^ = 72 (xi-m*f. (2.8)
i=l
С выборочными центральными моментами третьего и чет¬
вертого порядка связаны выборочный коэффициент асимме¬
трии к* и выборочный коэффициент эксцесса 7*:
2.1.3. Функция правдоподобия. Каждая выборка раз¬
мером п> т. е. совокупность п чисел, представляет точку в п-
мерном пространстве. Если мысленно представить все воз¬
можные исходы экспериментов, то совокупности всевозмож¬
ных выборок заданного размера п соответствует некоторая
область я-мерного пространства выборок. Будем рассматри¬
вать не индивидуально каждую выборку, а совокупность
всех выборок с фиксированным размером п, принадлежащих
априорному распределению wi (л:). Плотность вероятности
выборки с независимыми элементами равна [см. (1.6)1
п
Wn (*!, . . ., Хп) = П Wi (xh). (2.10)
к= 1
Вероятность появления выборки хи ...,хп из дискрет¬
ного распределения
п
Рп (-^1» • • •» Хп) = П Р {Xh)i (2.10 )
где р (лга) — вероятность того, что % = xk.
Совместное распределение Wn (xiy . . ., хп) выборочных
значений, как уже указывалось в первой главе, называют
функцией правдоподобия выборки. Зная распределение
Wi (х), можно по формуле (2.10) найти функцию правдопо¬
добия и по известным правилам теории вероятностей
(см. гл. 3 в первой книге) определить распределение
любой функции g (*!, . . ., хп) выборочных значений.
Функции выборочных значений часто называют стати¬
стиками. Примером статистики являются выборочные
моменты. Выборочные значения и их функции, в частности
выборочные моменты, являются случайными величинами,
в то время как числовые характеристики (моменты) исход¬
ного распределения wx (х) являются постоянными числами,
хотя все или некоторые из них могут быть неизвестными *).
Когда накоплены статистические данные (выборки),
можно использовать выборочные значения и их характери¬
стики в форме эмпирических распределений, гистограмм,
выборочных моментов и т. п. для описательных целей.
*) Из (2.4) следует, что при соответствующих ограничениях
на моменты исходного распределения, указываемые центральной
предельной теоремой (см. § 3.4 в первой книге), выборочные момен¬
ты т* при большом размере выборки асимптотически нормальны.
104
Однако задачи математической статистики не ограничивают¬
ся описанием. Главным является получение статистических
выводов о неизвестном или неполностью известном распре¬
делении случайной величины на основании ее выборочных
значений.
2.1.4. Закон больших чисел. Рассмотрим выборки
хи . . хп из распределения (я) случайной величины £,
имеющей конечную дисперсию а2 (а следовательно, и конеч¬
ное среднее а). Составим выборочное среднее
П
г=1
и вычислим его среднее по пространству выборок:
П П
mi{<>=-rS а=а> (2Л1)
i=i i=i
так как ml{Xi} = a.
Итак, среднее значение от выборочного среднего при
любом размере выборки в точности совпадает со средним
значением а случайной величины £. Это, конечно, не зна¬
чит, что любое конкретное выборочное среднее будет совпа¬
дать с величиной а. Выборочное среднее — величина слу¬
чайная, но ее среднее в точности совпадает со средним
исходного распределения.
Найдем дисперсию выборочного среднего:
П П
°*=1г- (2Л1')
г=1 i=l
Здесь использовано то обстоятельство, что дисперсия суммы
равна сумме дисперсии, если слагаемые независимы, и что
М2 {х^ = а2.
Таким образом, дисперсия выборочного среднего равна
дисперсии случайной величины £, деленной на размер
выборки. По мере того как увеличивается размер выборки,
дисперсия выборочного среднего уменьшается и в пределе
при п оо стремится к нулю.
Рассмотрим вероятность того, что выборочное среднее
отличается от среднего-значения исходного распределения
J05
по модулю на величину, большую, чем произвольное е > О,
и исследуем, как меняется эта вероятность, когда размер
выборки п неограниченно возрастает. В силу неравенства
Чебышева (см. (2.92) в первой книге) эта вероятность не
должна превосходить дисперсии выборочного среднего,
деленной на е2, т. е.
Р{\т*-а\>г)<-^- (2.12)
Из (.212) непосредственно следует, что предел рассматри¬
ваемой вероятности, когда размер выборки стремится к бес¬
конечности, равен нулю:
lim Р {|т* — а|>е} = 0. (2.15)
П—У оо
Предел вероятности противоположного неравенства равен
единице:
lim Р {\т* — а|< е}= 1. (2.13')
П—У оо
Формулы (2.13) и (2.13') являются аналитическим выра¬
жением закона больших чисел: по мере увеличения размера
выборки эероятность того, что выборочное среднее будет
сколь угодно мало отличаться от среднего значения случай¬
ной величины £, стремится к единице.
Следовательно, закон больших чисел можно сформу¬
лировать так: выборочное среднее сходится по вероятности
к среднему значению исходного распределения (см. § 3.5
в первой книге).
Аналогично можно доказать, что любой выборочный
момент k-то порядка сходится по вероятности, когда размер
выборки неограниченно возрастает, к соответствующему
&-му моменту исходного распределения, если только суще¬
ствует момент порядка 2k этого распределения.
Из закона больших чисел следует, что выборочные харак¬
теристики могут служить оценками соответствующих харак¬
теристик исходного распределения. Конечно, достаточно
хорошее совпадение выборочных характеристик с параметра¬
ми исходного распределения получается только при выбор¬
ках очень большого размера, которые не всегда удается
реализовать. Наоборот, для экономии времени и средств
желательно ограничиться возможно меньшим размером
выборки, но тогда нельзя гарантировать большой точности.
106
Возникает задача изучения свойств этих оценок при конеч¬
ном размере выборки.
Закон больших чисел может быть записан в более общей,
чем (2.13), форме:
п
limP { I-J-2 /(*»)—«1 {/(*«)}|>8} =°» (2.13")
П-*оо U I п . I J
1=1
где / (х) — заданная функция и т2 {/ (**)} <С о°• При п —> оо
п
распределение f(*i) асимптотически нормальное.
г=1
Заметим попутно, что соотношение (2.13") может быть
использовано для статистической оценки величины интег¬
рала
оо 71
J f(x)w (X) dx = ttii {f (*)} « 4“ 2 f (Xh),
— oo ft=l
для чего нужно располагать выборкой достаточно большого
размера из распределения w (*)• Этот метод приближенного
вычисления интегралов известен как вычислительный метод
Монте-Карло.
2.2. ОЦЕНКА ПАРАМЕТРОВ
ОДНОМЕРНОЙ ФУНКЦИИ РАСПРЕДЕЛЕНИЯ
2.2.1. Точечные оценки. Многие практически важные
задачи сводятся к получению статистических выводов
относительно одномерной функции распределения, вид
которой известен, но все или несколько параметров этого
распределения неизвестны. Один вид статистических выво¬
дов связан с определением точечных оценок параметров, т. е.
с нахождением таких функций выборочных значений
(статистик)
0nO = g(i)(*i> •••.*»»)> (2-14)
которые являются наилучшими (в некотором смысле) оцен¬
ками неизвестных параметров О*, i = 1, . . ., m, исход¬
ной функции распределения wx (х; Фь . . ., ,&т).
Ограничимся сначала случаем, когда указанное рас¬
пределение содержит один параметр д. Укажем на общую
классификацию точечных оценок параметра одномерного
распределения по некоторым свойствам этих оценок.
107
Важнейшими из этих свойств являются: состоятельность,
достаточность, несмещенность и эффективность. Рассмотрим
каждое из этих свойств в отдельности. Предварительно
заметим, что сам оцениваемый параметр д может быть
случайной величиной и характеризоваться априорным рас¬
пределением w 1 (#). Часто, однако, информация об априор¬
ном распределении отсутствует или заранее известно, что
оцениваемый параметр не является случайным. В соответ¬
ствии с этими двумя ситуациями определяются:
1) условная оценка параметра Ф
K = g(x 1» • • •,*„), (2.15)
определяемая по выборочным значениям хи • • •, хп в пред¬
положении, что они принадлежат распределению w\ (х | '&)
с фиксированным *) значением параметра Ф;
2) безусловная оценка параметра Ф
оо
0„= ^ w1(&)g(x1, ...,xn)d&, (2.15')
— оо
получаемая усреднением условной оценки по всем возмож¬
ным значениям §.
Отметим, что и условная, и безусловная оценки как
функции выборочных значений xlf . . хп представляют
случайные величины, распределения которых определяются
условной и безусловной функциями правдоподобия выборки:
Wn(xi, ..хп|Ф)
И
оо
Wn (Xi, ...,*„) = § Wi (fl) Wn (*!, ...,*„|0)d<>. (2.16)
— oo
2.2.2. Состоятельность. Условная оценка называется
состоятельной оценкой фиксированного параметра О, если
она сходится по вероятности к оцениваемому параметру
при неограниченном увеличении размера выборки п, т. е.
при е > О
lim Р {| —Ф| >е} = 0. (2.17)
П-> оо
*) Обозначение w (х | О) и ему аналогичные используются всегда,
когда Ф — случайный параметр и рассматривается условная плот¬
ность х при фиксированном Ф. Однако обозначение w (х | Ф), наряду
с w (*, Ф), часто используется нами и в том случае, когда Ф — неиз¬
вестный (неслучайный) параметр.
108
Аналогично безусловная оценка &п называется состоятель¬
ной оценкой случайного параметра il>, если она сходится
по вероятности к среднему значению {0} оцениваемого
параметра при неограниченном увеличении размера выбор¬
ки, т. е. если при е > О
lim Р Ц&п — Щ {§} | > е} = 0. (2.17')
П-^оо
Закон больших чисел устанавливает состоятельность
условной оценки специального вида — выборочного сред¬
него, которое сходится по вероятности к среднему значению
исходного распределения. Как указывалось, закон больших
чисел может быть обобщен: любой выборочный момент
сходится при определенных условиях к соответствующему
моменту исходного распределения. Поэтому можно утвер¬
ждать, что при указанных условиях любой выборочный
момент является состоятельной оценкой соответствующего
момента исходного распределения.
2.2.3. Несмещенность. Условная оценка fy* = g (хи... хп)
называется несмещенной оценкой параметра Ф, если среднее
значение этой оценки по совокупности выборок заданного
размера в точности равно оцениваемому параметру, т. е.
если
Щ Фп} =
оо оо
~ I ... 5 §(хи • • -,Xn)Wn(xu ...
— оо —оо
.. .,xn\^)dxi... dxn = ft (2.18)
при любом п.
Аналогично *) безусловная оценка 0„ называется несме¬
щенной оценкой случайного параметра д, если при любом п
оо оо
mi{®n}= § ••• § BJPniXi, ...iX^dXi... dxn = m1{0}.
— OO —00
(2.19)
*) Символы mi в начале и в конце формулы (2.19) относятся
к усреднению по различным совокупностям: оценка 0П усредняется
по пространству выборок заданного размера, а параметр Ф — по его
возможным значениям. (Это замечание следует иметь в виду
и в дальнейшем.)
109
Разность
{#*}-# = МО) (2.20)
называют смещением условной оценки (или систематичес¬
кой ошибкой). Для безусловной оценки смещение опреде¬
ляется следующим образом:
т1{6Л}-т1{0} = Вд(«). (2.21)
Заметим, что смещение МО) легко устранимо, если
оно является линейной функцией
&Л(#) = аФ + &, (2.22)
где а и Ь — любые действительные числа (одно из них
может быть равным нулю). Если имеет место указанное
О $71 ^
смещение, то, заменяя оценку хгл на ' гг»получаем несме-
т 1
щенную оценку.
Примером несмещенной оценки среднего значения а
для произвольного распределения является выборочное
п
среднее а„= Xh так как
t=i
П
Щ {а„} = 4- 2 {*} = а• (2-23)
г=1
Таким образом, выборочное среднее —- состоятельная
и несмещенная оценка среднего значения исходного распре¬
деления. Однако из состоятельности не следует несмещен¬
ность оценки. Так, при определенных условиях выборочная
дисперсия On = представляет состоятельную оценку
дисперсии а2 исходного распределения. Однако
п
щ {о»} =4~2 {(** ~ т*)2}=
г=1
п
= 4“ 2 Imi {(^i—a)2}+mt {(mj — a)2> —
г=1
— 2mi {(Xi — a) (m* — a)}] =
=4-2И4-24)="*('-х)' <2-24>
i=i
110
т. е. оценка <х£ — смещенная. Величина смещения равна
—. При небольшом размере выборки смещение может
быть существенным. Например, при п = 3 оно дости¬
гает 33%. Так как в рассматриваемом случае смещение —
линейная функция, то в соответствии с (2.20) при а =
= —-1, Ь = 0 находим несмещенную оценку дисперсии:
П
—— м? = 1т=т 2 (** - о2- (2-25)
{~Т i=1
Состоятельность оценки не нарушается, так как
lim (1 —5-) = 1.
П-оЛ п)
Заметим, что смещенность оценки On является платой
за незнание среднего значения а исходного распределения.
Если величина а известна, то
П
щ {а2„} = 4* 2 {(х< “ °)2} = °2
г=1
и указанная оценка является несмещенной.
Иногда рассматривают оценки, для которых равенства
(2.18) и (2.19) выполняются не при конечных размерах
выборки, а лишь при неограниченном увеличении п. Оценки
(условные или безусловные), для которых
(2.26)
п—юо
или
lim/K! {@n} = miW. (2.27)
п—юо
называют асимптотически несмещенными. Оценка (2.24)
является примером асимптотически несмещенной оценки,
а2
так как смещение Ьп (а2) = — — стремится к нулю при п ->оо.
Конечно, несмещенная оценка всегда асимптотически
несмещенная, но не наоборот.
2.2.4. Достаточность. До сих пор предполагалось, что
получение оценок связано с предварительным извлечением
выборки заданного размера п. Однако в некоторых случаях
Ш
для оценки параметра О нет необходимости знать каждый
из элементов выборки х-г в отдельности [а достаточно иметь
одну или несколько функций g(l) (хи . . ., хп), I = 1, . . .
. . ., k (&<п), выборочных значений. Эти функции назы¬
вают достаточными оценками (или достаточными стати¬
стиками) параметра О. Ограничиваясь достаточными стати¬
стиками, можно иногда существенно сократить процесс
накопления данных, необходимых для оценки неизвестного
параметра.
Необходимое и достаточное условие того, чтобыg (xit . . .
. . ., хп) была достаточной статистикой, состоит в возмож¬
ности факторизации функции правдоподобия выборки, т. е.
представления Wn (xit . . ., хп | О) в виде произведения
двух неотрицательных сомножителей:
Wn (хи ..., | О) = / [g (хи ..., хп), О] h (хи ..., хп), (2.28)
первый из которых зависит от О и от g (xlf . . ., хп), а вто¬
рой — только от выборочных значений хи . . хп (и не за¬
висит от оцениваемого параметра 0).
Если g (xlf . . хп) — достаточная оценка случайного
параметра О, то апостериорное распределение (0) \xi9 . . .
. . хп) зависит не от самих выборочных значений,
а только от функции g (*b . . хп). Действительно, по фор¬
муле Байеса (см. (2.41) в первой книге)
^(<4*!, • • ' , Хп) = —(#) ^ (Xi 1 Ь) ,
— oo
и, подставляя выражение для функции правдоподобия
из (2.28), получим *)
ИМ<Н ,
I Wi(b)flg{xi, . ..,xn),0]dd
— ОО
Wj (ft I хи ..., хп) = Wi [ft I g (xlt ..., Хп)]. (2.29)
Пусть gx{Xi хп) и g2(Xi, . . ., хп) — две оценки
параметра ft, определенные по выборке заданного размера п.
*) Можно также показать, что количество информации I (хь . . .
. . ., хпЛ$)> содержащееся в выборке xit . . хп относительно
неизвестного параметра О, равно количеству информации / [g (xit .. .
. . хп), О], содержащемуся в достаточной оценке g (xlt . . ., хп)
этого параметра (см. [8, стр. 42—44]).
U2
Оценку gi (хи . . ., хп) называют подчиненной оценке
#2 (*ь • Хп), если из
. . . ., Хп) «= g2 (*1, . ..,*п)
следует:
Всякая оценка, подчиняющая достаточную статистику,
сама является достаточной оценкой.
Если Оо — какое-нибудь фиксированное значение пара¬
метра 0, то можно доказать (см., например, [13]), что
отношение правдоподобия
1(у у I лл Wn (*1, • • . , Хп 1 ft)
' n| ’~wn(xu ...,х„|#о)
представляет достаточную статистику, из которой, исполь¬
зуя приведенное выше замечание, можно найти достаточную
оценку параметра 0.
Как показал Е. Б. Дынкин, для одномерных плотностей
вероятностей, которые представимы в виде
Щ (х; ft) = exp | 2 ф; (*) с, (ft) + с0 (ft) -f ср0 (лг)|,
существуют достаточные статистики параметра 0. Величину
г называют рангом распределения. Функции (1, Фь . . фг)
и (1, си . . ., сТ) линейно независимы.
2.2.5. Эффективность. Условная оценка Од называется
эффективной оценкой параметра 0, если (при заданном
смещении) среднее значение (по совокупности различных
выборок заданного размера п) квадрата отклонения оценки
от оцениваемого параметра не больше, чем среднеквадрати¬
ческое отклонение для любой другой оценки, т. е.
mi {(On эф - ft)2} < {(Од - О)2}. (2.30)
Иначе говоря, эффективная оценка (если она сущест¬
вует) минимизирует при заданном п величину
mi {(Од — О)2} по всем возможным условным оценкам
(с заданным смещением).
Если Од — несмещенная оценка, то в (2.30) можно
вместо О подставить тА{0д} и переписать это неравен¬
ство в виде
М2 {0л Эф} < М2 {Од}. (2.31)
8-197 113
Следовательно, эффективная несмещенная оценка опреде¬
ляется из условия минимума дисперсии оценки.
Относительной эффективностью условной оценки 071
параметра О называют отношение среднеквадратического
отклонения эффективной оценки от оцениваемого параметра
к среднеквадратическому отклонению рассматриваемой оцен¬
ки (для смещенных оценок)
щФпэф-т /OQOX
вп W = 771 (2.32)
щ {(К—®)2}
и отношение дисперсии эффективной оценки к дисперсии
рассматриваемой оценки (для несмещенных оценок)
О ^2 {^71 Эф} (Ci Q
еп(у)= w • 2-33)
м2 {®п}
Ясно, что 0<еп<1. Величина относительной эффектив¬
ности равна единице, когда оценка эффективна.
Иногда говорят об относительной эффективности одной
оценки параметра О по отношению к другой оценке
,в‘п) этого же параметра, понимая под этим отношение сред¬
неквадратических отклонений оценок от оцениваемого
параметра. При таком определении относительная эффек¬
тивность может быть любой неотрицательной величиной.
Следует отличать эффективную оценку от асимптотиче¬
ски эффективной. Оценка называется асимптотически эффе¬
ктивной, если предельное значение ее относительной эффе¬
ктивности, когда размер выборки п неограниченно увели¬
чивается, отличается от нуля. Если среднеквадратическое
отклонение оценки стремится к нулю при п -> оо (что обес¬
печивает состоятельность оценки), то эффективность озна¬
чает, что при достаточно большом п среднеквадратические
отклонения от оцениваемого параметра рассматриваемой
и эффективной оценок представляют малые величины одного
порядка.
Обратим внимание на то, что для смещенной оценки ее
эффективность определяется не дисперсией, а среднеквад¬
ратическим отклонением от оцениваемого параметра. Легко
указать тривиальный пример смещенной оценки с нулевой
дисперсией. Пусть Ьп = с0 = const независимо от резуль¬
татов наблюдений. Тогда М2 {fly*} = 0. Но если только
114
величина оцениваемого параметра не угадана или не была
заранее известна, смещение Ьп (0) = с0 — 0 будет велико.
Нельзя, вообще говоря, сделать равными нулю и дисперсию,
и смещение оценки. Поэтому в дальнейшем случай нулевой
дисперсии (которому соответствует Ь'п (0) = — 1) нами
исключается.
Существует неравенство (известное как неравенство
Рао — Крамера), с помощью которого можно определить
нижнюю границу среднеквадратических отклонений оценок
и тем самым оценить эффективность той или иной оценки.
Предположим, что границы области действительной оси
х, где функция распределения Wi (х; 0) отлична от нуля,
не зависят от О. Это условие выполняется, например
если Wi (х; О) Ф О на всей действительной оси или для
х > 0. Примером распределения, которое не удовлетворяет
этому условию, является равномерное
(л:; О) = , 0<л:<д.
Предположим, кроме того, что функция wt (х\ О) дифферен¬
цируема по параметру О. Пусть = g (xit . . ., хп) —
некоторая условная оценка параметра О, полученная по вы¬
борке размером л. Среднее значение этой оценки
оо оо
Щ {ftn} = § • • • § g (Хи ...,xn)Wn (хи ...
— оо —оо
..., хп | ft) dxi ... dxn. (2.34)
Используя (2.20), перепишем (2.34) в виде
[ оо оо
ft + 6n(ft)= § ••• § g(x и . ■ .,x„)Wn(Xl, ...
— оо —оо
.. .,xn\ft)dxi, ... dxn. (2.35)
Предположим, что интеграл в правой части (2.35) можно
дифференцировать по параметру О. Тогда дифференцируя
обе части (2.35) по О и используя предположение о неза-
8* 115
бйсикбсти пределов интегрирования от $, получим
' оо оо
l + ftn(ft)= § ... § g(Xi, . . .,Xn)^-Wn(xi, . . .,X„|ft)X
— oo —-oo
oo oo
X dXl'... dxn= ^ ... § g (Xj, ..., xn) X
— oo —oo
4 wn(xu ..., x„|ft)^-lnlFn(x1, ..x„|ft)dx, ... dxn =
= m‘{^WlnU7"} • (2>36)
Кроме того, из очевидного равенства
оо оо
^ ^ ^п * * * * I dx\ • •. dxn =■= 1
— оо —оо
дифференцированием по О находим
00 оо
1 • • • § а¥ Wn (Хи ' • ‘ ’Хп I dXi • • • dxn =
— оо — оо
оо оо
= § ... ^ №„(xlt •••,Xn|ft)^|rlnW'n(x1, ...
— оо —оо
.. .,x„|ft)dxi ... dXn — tHi =0. (2.37)
Умножая (2.37) на mi {ft„} и вычитая из (2.36), получим
mi {lb» - т1 {ft„}] -A- In Г„} = 1 + Ь’п (ft). (2.38)
Левая часть (2.38) представляет ковариацию двух случай¬
ных величин, имеющих нулевые средние. Как известно
(см. стр. 84 в первой книге), квадрат этой ковариации не мо¬
жет превосходить произведение дисперсий сомножите¬
лей, т. е.
[1+%(«)]*< Mi {#»} А<* {In . (2.39)
Неотрицательная величина М2 —
называется информацией, содержащейся
116
6 выборке (по Р. А. Фишеру). Обозначим эту величину,
зависящую только от размера выборки и функции распреде¬
ления wt (х; О), через. 1п (О) и предположим, что она отлична
от нуля *). Тогда из (2.39) находим искомую нижнюю гра¬
ницу дисперсии оценок **)
М.2 {^п} > 1п($) * (2.40)
Заметим, что правая часть неравенства (2.40) является
также нижней границей среднеквадратических отклонений
оценок от оцениваемого параметра. Так как минимум
величины mi {[Од — О]2} достигается при mA {Од} = О
(см. задачу 2.6 в первой книге), то
[1+6' (0)12
т, {[Од - О]2} > М2 {Од} > .. (2.41)
Для оценок с постоянным (не зависящим от О) смещением
(Ь' (О) = 0), в частности и для несмещенных оценок
(b (О) ЕЕ 0),
(2.42)
В этом случае нижней границей дисперсии оценок является
величина, обратная информации, содержащейся в выборке.
Знаки равенства в (2.40) — (2.42) достигаются для эффек¬
тивных оценок.
При ограниченном размере выборки случаи, когда
в (2.42) достигается равенство, довольно редки. Как пра¬
вило, нижняя грань дисперсий несмещенных оценок ока¬
зывается больше величины, обратной информации по Фи¬
шеру. Поэтому эффективность представляет не меру каче¬
ства оценки, а меру качества нижней границы в неравенстве
Рао — Крамера. Если дисперсия оценки достигает точной
нижней границы, не равной 1й1 (О), то отличие эффективно¬
сти от единицы нельзя считать показателем неудовлетвори¬
тельности оценки (подробнее см. [2, гл. VIII ], а также [ 11 ]).
*) Равенства нулю информации имеет место, например если
функция правдоподобия не зависит от О.
**) Формулу (2.40) называют неравенством Рао — Крамера,
а иногда неравенством Фреше. Все три указанных автора пришли
к этому результату независимо.
117
Нетрудно, используя (2.10), выразить информацию через
функцию распределения a>t (х; О). Так как
In Wn (xlt ... хп | ft) = 2 ln u>i (*<; ft)
1=1
- 2 Wl{xi\ d) a# w^Xi’ 10')’
i=l
то с учетом (2.37)
/,№ = %{-яг|пГ"}= I ••• I (aFlnr”)2x
1
— OO —OO
oo 71
Щ (Xi;&)
— OO — OO i= 1
X Wn dXi ... dxn = § ... § [2
X ]2 Д wt (Xi-, ft) dxi... dxn =
1=1
71 oo
= 2 $ [afl-lntiy^JCjjft)] wi(xi;ft)dxl +
1=1 —oo
+ 2 ? I
dwi (xj- d)
_ 'дь aXi У
i. Кгф!)
Так как слагаемые в первой сумме одинаковы и
то
118
I дЩ a# &)dxh = J^- J w1(xh;ft)dxh = 0,
— оо —оо
оо
/n(ft) = n ^ [-^ir inwi (*; ft)]2^^; ft)dx=
— oo
= пщ {[wlnt4’i(x; ^]2} (2,43)
или
In($) = nl ,(#). (2.43')
Таким образом, информация пропорциональна размеру
выборки с коэффициентом пропорциональности, зависящим
от исходного распределения.
Подставляя (2.43) в (2.41), получим
Щ {[ft* — ft]2} > М2 {ftn} >
1 [1+*; да
П °° д 2
§ [lF 1п щ (х; wi(x'<®)dx
(2.44)
Величину mi {[ft„ — ft]2}]1/* принимают иногда в ка¬
честве меры точности оценки. Правая часть неравенства
(2.44) определяет потенциальную точность.
Заметим, что для дискретного распределения выражение
(2.43) преобразуется к виду
In (ft) = П 2 [ainffi; *}]2 Р (*,; ft). (2.45)
i
Предположим теперь, что оценка $п = g (хи . . хп)
достаточная. Тогда из (2.28) следует:
In Wn (Xj, ..., х„ I ft) = In/ (ftn, ft).
Пусть, кроме того,
f (ftn, ft) = exp {k (ft) [ft„ + с (ft)]} (2.46)
и, следовательно,
In / (ft„, ft) = k' (ft) ftn+ -L. [k (ft) С (ft)].
Тогда из (2.37) и (2.46) следует, что
Щ In / (ftn, ft } = k' (ft) щ {ft„> + [k (ft) с (ft)] = °
И
In Wn = In / (ftn, ft) = k' (ft) [ftn - m, {ft„}]. (2.46')
Подставляя (2.46') в (2.38), получим
k' (ft) m, {[ft* - m, {ft„}]2} = k' (ft) M2 {ft*} =1+6; (ft). (2.47)
119
С другой стороны [см. (2.46')],
/»(0) = «i {(-^lnU7n)2} = [*'(ft)]*M2{&n}. (2.47')
Из (2.47) и (2.47') находим
= <2-47'»
и, следовательно,
[l + 6;Wla
M2{ftn};
In (d)
Итак, доказано, что среди всех оценок с заданным сме¬
щением bn (ft) достаточная оценка определенного вида
(удовлетворяющая условиям (2.46) и (2.47")) имеет мини¬
мальную дисперсию по сравнению с любыми другими
оценками (см. (2.41)).
Таким образом, любая эффективная оценка принад¬
лежит классу достаточных статистик, но лишь некоторые
из достаточных оценок эффективны.
До сих пор в этом разделе рассматривались только
условные оценки. Понятие эффективности можно распро¬
странить и на безусловные оценки, усредняя (2.30) по ft.
Неравенство Рао — Крамера (2.40) в этом случае пере¬
пишется в виде
J и»!(д) [1 + 6J,
\ Wi (ft)/^ {[ftn — ft]2}dft>-
l (fl)/„ (fl) dd
— oo
2.2.6. Интервальные оценки. Под интервальной оценкой
параметра ft понимают интервал, границы которого ft£°
ий,в) являются функциями выборочных значений Xj, . . .
. . ., хп и который содержит с заданной вероятностью
оцениваемый параметр. Аналитически это может быть
записано в виде
Р {ftnH) < ft < ftr»B)} = Y- (2-48)
Вероятность у называется коэффициентом доверия,
а оценки и Ьп) — Соответственно нижним и верхним
доверительными пределами. Интервал (,б'пН), (К?*) называется
доверительным.
120
Иногда доверительный интервал строят следующим
образом:
= (2.49)
= + (2.49')
где ^ — точечная оценка параметра О; еь е2 — положи¬
тельные числа. Для заданного у величины е4 и е2 можно
найти бесконечным числом способов. Если W$n (z) функция
распределения точечной оценки, то из (2.48), (2.49) и (2.49')
следует:
Р (1 -*2) < Ьп < О (1 + е4)} = Y, (2.50)
откуда получаем два соотношения для определения и е2:
0(1-82)
S Wtn(z)dz = y2, (2.51)
— оо
00
1 W$n (г) dz = уи (2.51')
0(1+«1)
где Yi, v2 — любые положительные числа, меньшие единицы,
причем V1 + V2 = 1 — У-
При е4 = е2 = е формула (2.50) определяет связь
между коэффициентом доверия у, относительной длиной
доверительного интервала 2е и размером выборки п:
0(1+8)
Р{0(1-в)<$„«>(1 + 8)}= I Wbn(z)dz = y. (2.52)
0(1-8)
Если задана длина доверительного интервала, то для
состоятельных и несмещенных оценок коэффициент доверия
будет возрастать по мере увеличения размера выборки,
приближаясь к единице. При заданном размере выборки
коэффициент доверия будет тем больше, чем шире довери¬
тельный интервал. Иными словами, при заданном разме¬
ре выборки невозможно повысить коэффициент доверия,
не увеличивая длину доверительного интервала, или
нельзя уменьшить этот интервал, не уменьшая коэффициен¬
та доверия.
Возможны три вида задач, использующих интервальные
оценки параметра. Для выборки заданного размера п
строится точечная оценка Од, находится ее распределение
121
tt?ft„ (z) и для фиксированного г из (2.52) определяется
коэффициент доверия у. При тех же условиях можно по за¬
данному у найти относительную длину доверительного
интервала 2е. Наконец, можно задать и коэффициент дове¬
рия у, и относительную длину доверительного интервала
2е. Тогда из (2.52) последовательными приближениями
находят размер выборки, для которой возможно достигнуть
одновременно заданных у и е.
2.3. МЕТОДЫ ПОЛУЧЕНИЯ ОЦЕНОК
ПО ОПРЕДЕЛЕННЫМ КРИТЕРИЯМ
2.3.1. Оценка максимального правдоподобия. Функция
правдоподобия выборки размером п для заданных выбороч¬
ных значений xiy . . ., хп является функцией неизвестного
параметра ft [см. (2.10)]
П
Wn (Xj, . . ., Хп | ft) = fj Wi (XftJ ft).
fc=l
Чтобы подчеркнуть это обстоятельство, введем новое обозна¬
чение функции правдоподобия:
Lx(*) = W»(xu ..., *„|ft). (2.53)
Выберем в качестве условной оценки неизвестного пара¬
метра то значение переменной ft, для которого при задан¬
ных хи . . ., хп функция правдоподобия Lx (ft) достигает
максимума. Оценка, удовлетворяющая указанному крите¬
рию качества, называется максимально правдоподобной.
Условие экстремума функции правдоподобия записывает¬
ся в виде
= (2.54)
Практически, однако, уравнение (2.54) не используется.
Простой математический прием упрощает представление
этого уравнения посредством исходного распределения
Wi (х; О). Так как логарифм — монотонная функция, то
экстремумы функций Lx (О) и In Lx (О) достигаются при
одинаковых значениях аргумента О. Поэтому уравнение
правдоподобия записывают обычно в виде
d\nLA$)=Q ^2 55)
122
или с учетом (2.10)
^'ПУ;<>)=0. (2.56)
fc=i
Для дискретного распределения с учетом (2.10') полу¬
чаем
2 —1Р~и' = (2.56')
k=t
Уравнение правдоподобия представляет в общем случае
нелинейное алгебраическое или трансцендентное уравнение,
которое может иметь много решений, соответствующих отно¬
сительным максимумам и минимумам функции правдоподо¬
бия. Каждое решение ■&„ = g (xit . . хп), соответствую¬
щее максимуму функции правдоподобия, представляет оцен¬
ку максимального правдоподобия неизвестного параметра.
Задача в этом случае состоит в нахождении того решения,
которое соответствует абсолютному максимуму (максимуму
максиморуму) функции правдоподобия.
Если для заданного размера выборки п существует несме¬
щенная эффективная условная оценка йпэф параметра ■в’,
то уравнение правдоподобия (2.55) в соответствии с (2.46')
может быть записано в виде
aina»W = *'(*) [*»вф-0] = 0,
где согласно (2.47")
Ы (д) = /»(д)>0.
Так как а1п^^).>о при 0<$пэф и <0 при
$>&п9ф, то отсюда следует, что оценка максимального
правдоподобия равна
Фп = эф*
Таким образом приходим к следующему важному заклю¬
чению.
Если существует несмещенная эффективная оценка „ф,
то уравнение правдоподобия имеет единственное решение,
равное Ьп эф-
123
Если существует достаточная оценка = g (л^, ..., хп),
то из (2.28) и (2.55) следует, что уравнение правдоподобия
может быть записано в виде
dlnLsCft) _ d\nf[g(xi9 ..., хп), О] Л
ао ~ ао -
Следовательно, если существует достаточная оценка, то каж¬
дое решение уравнения правдоподобия является функцией
этой достаточной оценки.
Доказано (см. [5, § 33]), что при некоторых не очень
ограничительных предположениях относительно функции
распределения wiy (х; О) оценка максимального правдопо¬
добия состоятельная. Эта оценка асимптотически несмещен¬
ная и асимптотически эффективная. Кроме того, при п
->• оо распределение оценки максимального правдоподобия—
асимптотически нормальное со средним значением О и дис¬
персией, равной обратной величине информации [см. (2.48)],
т. е.
^п(2)~/^ехр[-^(г-^2]’ (2-57)
причем /п (v) оо при п —>* оо.
Подчеркнем, что оценка максимального правдоподобия
лишь асимптотически несмещенная и эффективная. При
конечном объеме выборки могут, вообще говоря, иметь
место и смещение, и существенное отличие дисперсии оцен¬
ки от нижней границы дисперсии.
2.3.2. Приближенное решение уравнения правдоподобия.
Точного решения уравнения правдоподобия (2.55) не удается
получить, как правило, простыми приемами. В общем слу¬
чае для получения решения может быть рекомендован сле¬
дующий метод последовательных приближений *).
Разложим логарифм функции правдоподобия в ряд
Тейлора около точки Оо и ограничимся в этом разложении
первыми тремя членами:
lnL*(ft) да In L* (#о) + (ft — #о) [ж1п^гс^]#=в0 +
(2.58)
*) Вариант так называемого итерационного метода Ньютона.
Подробнее см., например: Б у т Э. Д. Численные методы. Физ-
матгиз, 1959, стр. 187.
124
Из (2.58) непосредственно находим
+ (ft - <>о) [jpIn Lx (^)]#=#0- (2-59)
Примем в качестве первого приближения решения урав¬
нения правдоподобия *) какую-нибудь грубую оценку
неизвестного параметра О. Это может быть выборочное
среднее, или выборочная медиана, или какая-либо иная
оценка. Используем теперь (2.59) для определения второго
приближения 02 как корня уравнения
Заменим in Lx его средним значением (по про¬
странству выборок):
*) Здесь молчаливо предполагается, что функция правдоподобия
унимодальна или что первое приближение находится вблизи глав¬
ного максимума этой функции.
(2.60)
Из (2.60) следует:
(2.61)
In !.,(<>)««, {^lnMft)} =
oo oo
oo
oo
j ... j -gjrllnLx(H)\Lx(ff)dxi...dxn =
— oo
oo —oo
— oo
S-
oo
— oo
— oo
oo
(2.62)
В силу (2.37)
oo
oo
125
Тогда из (2.62) получаем
In Lx (&) да mi {-gp- In Lx (fl)} =
= { [dlnwWT } = ~In (d)- (2‘64)
Подставляя (2.64) в (2.61), находим выражение для вто¬
рого приближения:
b2 = b1+T±-[-!L\nLx(<>)] . . (2.65)
/n(0l) L(W J0=fll
Следующее приближение можно получить, подставляя
в правую часть (2.59) вместо О0 величину 02 из (2.65), при¬
равнивая ее нулю и находя корень уравнения с заменой
в нем отрицательной второй производной ее средним зна¬
чением — информацией 1п (02). Если найдено m-е прибли¬
жение, то следующее приближение находится по формуле
0m+i = 0т + — д— Г-^0г In Lx (0)1 л , (2.66)
U (От) L 0ХТ
являющейся очевидным обобщением (2.65).
2.3.3. Максимум апостериорной плотности вероятности
оцениваемого параметра. Предположим теперь, что неиз¬
вестный параметр О — случайная величина, функция рас¬
пределения которой wi (О). По формуле Байеса (см. (2.41)
в первой книге) можно определить условную плотность
вероятности параметра для заданной выборки х1у . . ., хп:
Wi(t\xi хп) = —Щ Ф) 1х(Щ (2.67)
J wt (d) Lx (ft) dft
— ОО
Выберем в качестве оценки параметра то значение пере¬
менной О, для которого при заданных хи . . ., хп апосте¬
риорная плотность вероятности оцениваемого параметра
максимальна. Учитывая замечание, которое было сделано
при выводе уравнения правдоподобия (2.55), можно урав¬
нение для оценки, соответствующей максимальной апосте¬
риорной плотности вероятности, представить в виде
-?f\n[w1(d)Lxm = 0 (2.68)
126
или
п
■^rlno;1(ft)+2 Wlnayi(Xhl^ = 0- (2-69)
Рассматриваемые оценки обладают свойствами, схожими
со свойствами условных оценок максимального правдопо¬
добия [9, §21.1.2]. Если 0Д Эф — несмещенная эффективная
безусловная оценка параметра fl, то уравнение (2.68)
имеет единственное решение, равное @п Эф. Оценка, соответ¬
ствующая максимуму апостериорной плотности вероятности
оцениваемого параметра, при слабых ограничениях состоя¬
тельна и асимптотически эффективна. Функция распределе¬
ния этой оценки при п ->■ оо может быть представлена асимп¬
тотическим соотношением
Если априорное распределение параметра Ф точно или
приблизительно равномерное на некотором конечном
интервале, то из (2.67) следует:
где k — константа, не зависящая от О.
В этом случае оценки максимального правдоподобия
будут одновременно оценками, соответствующими максиму¬
мам апостериорной плотности вероятности оцениваемого
параметра Ф.
2.3.4. Байесовские оценки. Точечные оценки, полученные
по критериям максимального правдоподобия или макси¬
мальной апостериорной плотности вероятности соответству¬
ют требованиям специфического вида и могут недостаточно
полно отражать потери, которые возникают в связи с пло¬
хими оценками. Действительно, с каждой оценкой &п =
= g {х 1, . . ., хп), образованной на основании наблюдаемой
выборки *1, . . ., Хп, связана ошибка, измеряемая разностью
О* — дд. Эта разность будет изменяться от выборки к выбор¬
ке: в одном случае она может быть невелика, а в другом —
большой. Для того чтобы учесть это обстоятельство, каждой
ошибке приписывают определенный вес и вводят неотрица-
(2.70)
^(01^, xn) = kLx($),
127
Тельную функцию потерь П (д„, ■О'). В общем случае эта
функция может зависеть не только от разности ft — ftn,
а от каждой из величин, указанных в ее аргументе.
Рис. 14. Функции потерь:
1 — простая, 2 — модуль ошибки, 3 — квадратич¬
ная, 4 — прямоугольная, 5 — экспоненциальная.
Выбор вида функции потерь в известной степени субъек¬
тивен и зависит от конкретной ситуации. Наиболее распро¬
страненными в приложениях функциями являются следую¬
щие (рис. 14):
простая функция потерь *)
II(ft„, ft) = c — 6(ft„ — ft), c> 0;
функция потерь, равная модулю ошибки
Г1(д„, ft) = | ftn —ft |*
квадратичная функция потерь
n(ft„, fl) = (6„-ft)*;
прямоугольная функция потерь
0, | ft — ftn | < е,
(2.71)
(2.72)
(2.73)
II(ftn,ft) =
^ 1, |ft — ft„|>e;
экспоненциальная функция потерь
П (ftn, ft) = 1— ехр[ — &(ft„ — ft)2].
(2.74)
(2.75)
*) Функция (2.71) неотрицательна, за исключением точки
128
Все приведенные функции потерь являются симметрич¬
ными функциями ошибки Од —
Мерилом качества условной оценки может служить
среднее значение потерь по всевозможным выборкам, учи¬
тывающее частоту появления тех или иных выборок, т. е.
функцию правдоподобия Lx (О). Указанное среднее значе¬
ние, равное
г{0')=т1{П (Ьп, О)} =
оо оо
= j ... 5 И (ftn, ft) Lx (ft) dXl... dXn, (2.76)
— oo —oo
называется условной функцией риска. Потребуем теперь,
чтобы условная оценка Фд минимизировала функционал
(2.76). Оценка, оптимальная по критерию минимума услов¬
ной функции риска, называется условной байесовской
оценкой.
Если оцениваемый параметр А* — случайный и wt (Ф) —
его функция распределения, то, усредняя условную функцию
риска по всевозможным значениям Ф, получаем так назы¬
ваемый средний риск
оо
R= J о>! (О) г (0) ЛК (2.77)
— оо
Подставляя в (2.77) выражение для г(&) из (2.76)
и учитывая (2.67), представим средний риск в виде
оо оо
R= ^ ... ^ J(bn\xu .. .,Xn)Wn(xi,.. .,xn)dxt .. .,dx„ =
— oo —oo
= mi {J (ft,, \xlt .... *„)}, (2.78)
oo
J(b„ \xu ...,*„) = § Il(ft„, . ..,*„) dft; (2.79)
— oo
oo
Wn(xu ...,xn)= ^ Wii^Lx^dft. (2.79')
— oo
Оценки, получаемые по критерию минимального среднего
риска, называются безусловными байесовскими оценками
(или просто байесовскими оценками).
9-197 129
Байесовская оценка при заданных функции потерь и ап¬
риорном распределении параметра О находится из условия
минимума функционала (2.78), зависящего от вида функции
&п = g (*ь • • •, хп). Так как функционал J зависит от g
dg
и не зависит от частных производных , то известное
в вариационном исчислении уравнение Эйлера для опре¬
деления экстремальной функции запишется в виде
£=° (2-8°)
при условии, что производная в левой части (2.80) суще¬
ствует.
2.3.5. Простая функция потерь. Запишем выражение
условной функции риска при простой функции потерь.
Подставляя (2.71) в (2.76) и используя фильтрующее свой¬
ство дельта-функции в многомерном интеграле (см. (3.117)
в первой книге), получим
= (2.81)
где Lj, (^) — плотность вероятности оценки fF* при задан¬
ном Ф. Для того чтобы была условной байесовской
оценкой она должна минимизировать функцию рис¬
ка г (О), что эквивалентно требованию:
h*J®)>hnm. (2.82)
Последнее означает, что О* является условной оценкой
максимального правдоподобия.
Таким образом, условные оценки максимального прав¬
доподобия являются частным видом условных байесовских
оценок при простой функции потерь.
Подставляя (2.81) в (2.77), находим также выражение
среднего риска при простой функции потерь:
оо
R = c- J 04(0) 1^(0)40, (2.83)
— оо
из которого следует, что оценка будет безусловной
байесовской оценкой, если
w1($)LK($)>w1(V)Lin($). (2.84)
130
Таким образом, оценка, соответствующая максимуму
апостериорной плотности вероятности [см. (2.67)], является
частным видом безусловных байесовских оценок при простой
функции потерь.
2.3.6. Квадратичная функция потерь. Условная функция
риска в этом случае равна
оо оо
r(ft) = ^ ... ^ (ftn — Lx($)dXl ... dxn, (2.85)
— оо — оо
т. е. совпадает со средним квадратическим отклонением
оценки от оцениваемого параметра (или с дисперсией
оценки, если она несмещенная). Поэтому условие минимума
функции риска г (Ф) сводится к минимизации т{{(Ьп — А)2},
т. е. к отысканию эффективной оценки (см. § 2.2.5). Таким
образом, эффективная оценка (условная) является условной
байесовской оценкой при квадратичной функции потерь.
Подставляя (2.73) в (2.79), находим, что функционал
J ($n I хп) в выражении среднего риска (2.78)
при квадратичной функции потерь имеет следующий вид:
оо
J (ft„ I хи ..., Хп) = § (ftn — ft)2 (ft I xu ..., xn) d$. (2.86)
— oo
Подставляя (2.86) в (2.80) и разрешая уравнение отно¬
сительно неизвестной функции 'fl,7i = gr(jc1, ..хп), получим
искомое выражение байесовской оценки*):
оо
ftn = g* (*!, ...,*„) = ^ #B71(d|x„ ...,xn)df> (2.87)
— оо
или
оо
J Оаг»! {&) Lx (О) dO
$* = /^{01*!, = . (2.87')
I Щ (О) Lx (О) йЪ
— оо
Из (2.87) следует, что байесовская оценка при квадратичной
функции потерь совпадает с условным средним значением
*) Нетрудно убедиться, что (2.87) соответствует минимуму
среднего риска R.
9* 131
оцениваемого параметра Ф при заданных выборочных зна¬
чениях Хи . . •, хп.
Подставляя (2.87) в (2.86), находим (при несмещенной
оценке)
= |*i, ..хп) = М2{$ \хи ..., хп},
и, следовательно, минимальный (байесовский) риск при
квадратичной функции потерь равен
R* = nti {М2 {&\xi, ..., хп}} = М2 {А}, (2.88)
т. е. дисперсии оцениваемого случайного параметра Ф.
В отличие от простой функции потерь, для которой
байесовская оценка определяется локальными свойствами
апостериорной плотности вероятности оцениваемого пара¬
метра О в окрестности ее максимума, байесовская оценка
при квадратичной функции потерь зависит от изменения
указанной апостериорной плотности во всем диапазоне
изменения параметра Ф. Заметим, однако, что для унимодаль¬
ной и симметричной относительно моды апостериорной
функции распределения №i($| xi9 ...,**) байесовская
оценка при квадратичной функции потерь совпадает, как
это следует из (2.87), с оценкой по критерию максимума апо¬
стериорной плотности, т. е. с байесовской оценкой при
простой функции потерь.
2.3.7. Функция потерь, равная модулю ошибки. Для
функции потерь (2.72) находим, что функция J (tin \хи ..., хп)
в выражении среднего риска (2.78) имеет вид
оо
J(bn\Xl, ...,Хп)= ^ | — 0 | И?, (ft | X,, ...,xn)d$ =
— оо
= J (#*-0)Г,(0|дс„ ..., л:„) dft —
— оо
оо
— § (ftn — ft) (ft I xu ..., xn) efft. (2.89)
Sn
Подставляя (2.89) в (2.80), получим
fin oo
S~= [ H7,(ft|x„ ...,A:„)dft- ^,(<>1*1 *„)dft=0
oijn « v
On
132
или
Од оо
§ .... *я)*Ю= I ...,Xn)db. (2.89')
On
Из (2.89') следует, что байесовская оценка при функции
потерь, равной модулю ошибки, совпадает с условной меди-
аной оцениваемого параметра Ф при заданных выборочных
значениях хи . . ., хп-
Если апостериорная плотность вероятности оцениваемого
параметра имеет один максимум (унимодальна) и симметрич¬
на относительно моды, то медиана и среднее значение этого
распределения совпадают и равны его моде. В этом случае
байесовские оценки при функции потерь, равной модулю
ошибки, и при квадратичной функции потерь одинаковы
и совпадают с оценкой максимальной апостериорной вероят¬
ности.
2.3.8. Прямоугольная функция потерь. Для функции
потерь (2.74) из (2.79) находим, что функция J ($п| хи . . .
. . ., хп) в выражении среднего риска (2.78) имеет вид
Оп-е
J (ftnl*!, • • • , Хп) = ^ (0 | , Хп) dft +
— ОО
оо
+ § •••» xn)dft =
On+8
On+8
= 1- I Jfe)d0. (2.90)
On-e
Подставляя (2.90) в (2.80), получим следующее трансцен¬
дентное уравнение для определения байесовской оценки
при прямоугольной функции потерь:
Wi (bn + е I Xi, ...,Xn) = Wi (bn-ejXi, ..., xn). (2.90')
Если апостериорная плотность вероятности оцениваемого
параметра унимодальна и симметрична относительно моды,
то единственным решением (2.90') является такая оценка
которая совпадает с модой указанной апостериорной
плотности вероятности. В этом случае, следовательно,
133
байесовская оценка при прямоугольной функции потерь
совпадает с оценкой, соответствующей максимальной апо¬
стериорной вероятности (т. е. с байесовской оценкой при
простой и квадратичной функциях потерь), условная бай¬
есовская оценка при этом является оценкой максимального
правдоподобия.
2.3.9. Симметричная функция потерь. Рассмотрим произ¬
вольную дифференцируемую функцию потерь, четную отно¬
сительно ошибки, т. е. удовлетворяющую условию
n(ft„-ft) = n(ft-ft„). (2.91)
Предположим, что условная плотность вероятности пара¬
метра А при заданных выборочных значениях хи . . хп
унимодальна и симметрична относительно моды. Из этого
предположения следует, что условное среднее является
модой условной плотности, т. е. Wy (О — {ft| хи • • •
. . ., хп) 1*1, . . ., хп) — четная функция аргумента ft —
— ти Запишем теперь выражение для производной функ¬
ционала (2.79):
-4 [П «?-«>! *
— эо
X Wi (О — т{ {ft I , . . ., хп) I хх, . . ., хп) dft. (2.92)
Так как П (g — ft) — четная функция, то ее производная —
нечетная функция аргумента g — ft. Так как второй сомно¬
житель подынтегральной функции (2.92) — четная функция
ft — mi{ft | jci, . . ., xn}y то величина тождественно обра¬
щается в нуль, если оценка ft^ = g (хи . . ., хп) равна
ftVi^mj {ft I*!, ..Xn), (2.93)
потому что при выполнении равенства (2.93) подынтеграль¬
ная функция становится нечетной функцией относительно
новой переменной интегрирования т — ft — ml{,&\xiy ...
• • Хп}.
Таким образом, оценка (2.93) является решением урав¬
нения (2.80) и, следовательно, байесовской оценкой.
Сравнивая (2.93) с (2.87'), приходим к выводу, что
байесовская оценка при квадратичной функции потерь
(с произвольной апостериорной плотностью оцениваемого
параметра) является также байесовской оценкой при сим-
134
метричной функции потерь, если апостериорная плотность
оцениваемого параметра унимодальна и симметрична отно¬
сительно моды.
2.3.10. Минимаксные оценки. Когда априорное распре¬
деление Wi (ft) неизвестно, процедура построения безуслов¬
ной оценки случайного параметра ft может основываться
на минимаксном критерии качества. Рассмотрим семейство
Рис. 15. Семейство кривых условных функций
риска для различных оценок.
кривых условных функций риска, построенных для раз¬
личных оценок ftn (рис. 15). Минимаксной называется
оценка дпмм, для которой верхняя граница значений услов¬
ной функции риска г (ft) не превосходит верхних границ
значений функции (относительно переменной ft) при любых
других оценках. Так же как и минимаксное правило выбора
решения в альтернативных ситуациях, минимаксная оценка
дает уверенность в том, что потери в среднем (по совокуп*
ности выборок заданного размера) не будут больше неко¬
торой величины rmin. В некоторых случаях манимаксная
оценка может оказаться слишком осторожной (см. рис. 1
на стр. 22).
Как доказал А. Вальд (см. стр. 21—22), минимаксная
оценка является байесовской оценкой при наименее бла¬
гоприятном априорном распределении оцениваемого пара¬
метра, для которого средний риск (при заданной функции
потерь) имеет наибольшую величину. Он же показал, что
байесовская оценка, для которой условная функция риска
превращается в константу (т. е. не зависит от ft), представ¬
ляет минимаксную оценку. Однако обращение этой функции
в постоянную величину при небайесовской оценке не озна¬
135
чает, что оценка минимаксная. С другой стороны, если
условие г (ft) = const неосуществимо для всех ft при байесов¬
ских оценках, то это еще не значит, что нельзя найти мини¬
максную оценку.
Из (2.77) следует, что при г (ft) = rmin
Rmax ~ Гminч (2.94)
т. е. максимальное значение среднего риска совпадает с ми¬
нимальным значением функции риска, если минимаксная
оценка является байесовской.
2.4. СОВМЕСТНЫЕ ОЦЕНКИ СОВОКУПНОСТИ
ПАРАМЕТРОВ
2.4.1. Основные свойства. Изложенную выше теорию
оценок можно распространить на те случаи, когда исходная
функция распределения зависит от нескольких неизвестных
параметров ft4, . . ., ftm. По выборке заданного размера п
из распределения Wi (х; ft4, . . ., ftw) определяются т
функций выборочных значений (условных оценок)
ftn) = gr(i)(JCi, • • •, Хп), t'= 1, ..., т, (2.95)
в предположении, что значения параметров ftb . . ., ftm
фиксированы, или т усредненных по априорному совместно¬
му распределению wm (ftb . . ., ftm) параметров функций
(безусловных оценок)
оо оо
®”г> = § • • • § £(i)• • • ’*")Wm••■’®rn)d$ 1... d#m.
—оо — оо
(2.95')
Каждая из условных оценок ftn} называется состоятель¬
ной, если она при п оо сходится по вероятности к пара¬
метру ftj, и несмещенной, если для любого п ее среднее
по совокупности выборок равно ft*. Аналогично, каждая
из безусловных оценок называется состоятельной, если
она при п оо сходится по вероятности к m4 {ft*}, и несме¬
щенной, если для любого п ее среднее по совокупности
выборок равно rtii {ft*}.
136
Оценки g(i) (хи ..., хп), i = 1, ..., т,- совместно
достаточные, если функцию правдоподобия выборки
п
(ft) = и7* {Хи • • •, Хп I ftt, ..., ftm) = П щ (xk; ftj, ..., ftm),
*=‘ (2.96)
ft = (ft1, . . . , ft),
можно представить в виде произведения
£*(#) = /[£(1)(* 1» •••>*/»). • • •
..., g<m> (xt, ..., хп), ftj, ..., ftm] h (xu xn). (2.97)
Пусть &П =g(i) (xlt ..., xn) — несмещенная оценка пара-
метра fy, i= 1, m. Рассмотрим следующие средние
по совокупности выборок заданного размера п:
№Л (fti. • • •, ftm) = mi {^7 In Lx (ft) JL- In Lx (ft)} =
= (2'98)
Квадратная матрица размером m x m, элементы которой
равны In'j\ называется информационной матрицей Фише¬
ра. Как следует из (2.98), информационная матрица Фише¬
ра является корреляционной матрицей совокупности зави-
симых случайных величин -^lnLx(ft), i= 1, т,
причем в силу (2.37) средние значения этих величин равны
нулю.
Если детерминант информационной матрицы отличен от
нуля, то имеет место следующее обобщение неравенства
Рао —Крамера [см. (2.41)]. Для любых действительных
ии ..., ит квадратичная форма
т т
S S HiKft^-ftO^-ft^-^^UiU^O, (2.99)
i=l j—i
где Уп’J) —элемент матрицы, обратной информационной
матрице Фишера (т. е. равен отношению алгебраического
дополнения элемента /£*;) в матрице Фишера к детерми¬
нанту этой матрицы).
Система оценок Ьп\ ..., $iw), для которой в (2.99)
достигается равенство; называется совместно эффективной.
137
Если это имеет место лишь при п—>оо, то оценки назы¬
вают совместно асимптотически эффективными.
Элементы информационной матрицы можно выразить
через исходное распределение
1{п'3) (ft, . . ., ftm) nttii j-щ- In a>, (,v; ftt, .. ., ft,,,) x
x ln Wi ('v'; • • • ’ } • (2.100)
Эта формула аналогична (2.43) и совпадает с ней при т = 1.
Используя понятие корреляционного эллипсоида
(см. приложение IV), можно неравенство (2.99) интерпре¬
тировать геометрически: корреляционный эллипсоид любой
системы оценок параметров всегда охватывает эллипсоид,
уравнение которого
т т
1. (2.101)
г—1 j= 1
Корреляционный эллипсоид совместно эффективных оце¬
нок совпадает с эллипсоидом (2.101). Отношение квадрата
объема эллипсоида (2.101) к квадрату объема корре¬
ляционного эллипсоида (см. приложение IV) может быть
названо эффективностью совместных оценок совокупности
параметров.
Рассмотрим теперь методы получения оценок совокуп¬
ности параметров по определенным критериям качества.
2.4.2. Метод моментов. Этот метод, хотя и не базируется
на четко сформулированном критерии качества, исполь¬
зуется иногда вследствие своей простоты.
Если исходное распределение wu (.х; . . ., fts) содер¬
жит s неизвестных параметров и если существует момент
2s-го порядка этого распределения, то в силу закона
больших чисел все выборочные моменты до s-ro порядка
включительно, т. е.
и
2 s,
г—1
при п —>■ оо сходятся по вероятности к соответствующим
моментам исходного распределения
оо
mh (ft,, ..., fts) = ^ xkWi (х; ft,, ..., fts) dx.
138
Если приравнять выборочные моменты к моментам исход¬
ного распределения, то получаем систему s уравнений отно¬
сительно неизвестных параметров
п
тк($и •.xi' k = \, (2.102)
i 1
решения которой
ft(n >-£<'*>(.Y„ • • •, xn), k = \, ...,s, (2.103)
определяют оценки по рассматриваемому методу моментов.
При п —>• оо эти оценки асимптотически несмещенны, при¬
чем распределение их асимптотически нормальное с диспер¬
сией, убывающей как — .
Метод моментов может быть использован для любого
конечного значения s> 1.
2.4.3. Оценки максимального правдоподобия. Выберем
в качестве оценок (условных) неизвестных параметров те
значения ftb . . ., ftm, для которых при заданных xl9 . . .
., хп функция правдоподобия (2.96) как функция т
переменных ft; достигает максимума. Условие экстремума
записывается системой уравнений
%^-0, i^l, (2.104)
Однако, как и при оценке одного параметра, вместо (2.104)
используется следующая система уравнений правдопо¬
добия:
д '"Д* W =2 -Щ 1п Щ (х„-, §1, ..., ft,,,) = о,
k=l
i = 1, .. ., т. (2.105)
Если для параметров ftb ..., ftm существуют несме¬
щенные совместно эффективные оценки ftn эф» • • • » Фпэф,
то система уравнений правдоподобия имеет единственное
решение, равное этим оценкам.
При некоторых ограничениях на функцию (х; ftb . . .
• • •» ftm) решение системы уравнений правдоподобия при¬
водит к состоятельным *) асимптотически несмещенным
*) Если при п оо с увеличением размера выборки возрастает
и число т неизвестных параметров, то оценки максимального
правдоподобия могут и не быть состоятельными (см. [2, § 451).
139
и совместно эффективным оценкам, совместное распределение
которых асимптотически нормальное со средними, равными
оцениваемым параметрам, и корреляционной матрицей,
обратной информационной матрице Фишера.
2.4.4. Максимум апостериорной плотности вероятности
оцениваемых параметров. Пусть неизвестные параметры
ftj, . . ., 0m представляют случайные величины, совмест¬
ная плотность вероятности которых wm ($i, . . ., Фт).
Условная плотность вероятности этих параметров, когда
извлечена выборка xi9 . . хп, равна
Wт ('O'i, • • •» I ^1» • • •» Хп) —
wm (^1* • • • i $т) Lx (Ф) /2 ]Q0\
оо оо * V * /
^ ... ^ wrn (Oj, ..., От) Lx ('0') ... dftm
— oo —oo
Выберем в качестве оценок (безусловных) случайных
параметров те значения переменных fti, . . ., Фт, для
которых при заданных xi9 . . хп апостериорная плот¬
ность вероятности (2.106) максимальна. Эти значения
являются решениями следующей системы уравнений
[см. (2.68) и (2.69)]:
■щ In [wm (ft„ ..., ftm) Lx (ft)] = 0 (2.107)
или
Q
ftm) +
Tl
+ 2 ln W1 (xk I ftn • • •. ftm) = o, i=l, . . . , m. (2.108)
fe=l 1
Оценки, соответствующие максимальной апостериорной
плотности, обладают свойствами, схожими со свойствами
условных оценок максимального правдоподобия, указан¬
ными в предыдущем разделе. Если 0п\ . . ©^ — несме¬
щенные совместно эффективные безусловные оценки слу¬
чайных параметров . . ., ft™, то эти оценки являются
единственным решением системы уравнений (2.107).
В некоторых случаях при т неизвестных параметрах
представляет интерес оценка лишь s<m параметррв,
остальные т — s параметров желательно вообще исклю¬
чить из рассмотрения. Пусть, например, неизвестные т
140
параметров перенумерованы так, что подлежащими оценке
являются первые s параметров. Тогда из (2.106) интегри¬
рованием по переменным -Ovm, . . ., ftm находится апосте¬
риорная плотность вероятности этих параметров
• • •» •••Дп)-
оо оо
= § • • • ^ №т(0,, • • fts, fts+l ftm 1^1 Хп)х
— ОО — ОО
X dtys+1 . . . d'd'm,
и далее для получения совместных оценок 0п\ .&п}
максимизируется условная функция 1FS('0,1, ..., ,0,s|x1, ...,хп)
2.4.5. Байесовские оценки. Когда оценивают т неиз¬
вестных параметров, появляются т ошибок, каждой из ко¬
торых приписывают определенный вес. Функция потерь,
учитывающая последствия, которые несут за собой ошиб¬
ки, будет в общем зависеть от 2т переменных:
П = П (Ъ%\ ..., ft^, ft„ . .., ftm). (2.109)
Иногда выбирают в качестве функции потерь сумму функ¬
ций потерь определенного вида для отдельных параметров,
не учитывая при этом, что потери из-за ошибок для одних
параметров более весомы, чем для других. Таким образом,
могут быть аналогично (2.71) — (2.74) введены: простая
функция потерь
771
П = тс- 2 S(ftift)-ftft); (2.110)
k=i
функция потерь, суммирующая модули ошибок,
771
п = S Iftr»ft)— ftft|; (2.1П)
fc=i
квадратичная функция потерь
771
п= S (ft^-fth)2. (2.112)
k=i
Для прямоугольной функции потерь [см. (2.74)] может
быть принят аддитивный или мультипликативный закон
комбинирования отдельных составляющих. Соответственно
т
П=2П„ (2.113)
fc—1
141
или
т
п= П Пк, (2.113')
k=i
где
„ Г 1, |ЭД°-дк|>е.
Щ = ■{ 1 (2.113")
(О, | ) — ftft | < 8.
Условные байесовские оценки неизвестных параметров
. . ., #т минимизируют условную функцию риска
Г (#!, . . . , От) =
ос оо
= ^ ... ^ П(#п \ • • •, ЬТ\ ft1!, • • •, ftm) Lx (ft) dx J ... dxn.
-oo — oo
(2.114)
Если оцениваемые параметры случайны, то критерием
качества служит минимум среднего риска, т. е. минимум
величины
оо оо
R = ^ ... ^ wm (ft4, ..., ftm) г (ftb ..., ftm) dftj ... dftm,
— oo — oo
(2.115)
которая может быть также записана в виде
оо оо
#=$...$ J (ftn0, ...,$,т)|*1, ...,Х„)Х
— ОО —оо
х Wn(Xi, ..., xn)dxi... dxn, (2.116)
где
J(^\ ....ft^K ...,*„) =
oo oo
= § ... J n(ftL‘\ fttl ...,ftm)X
— oo — oo
X Wm (ftj, ..., ftm I Xj, ..., x„) dftj ... dftm, (2.117)
oo oo
Wn(x l,...,xn)= ^ ... ^ aym(ftlt.. ..ftmJL^dJdftj.. .dftm.
— oo — oo
(2.117')
142
Оценки, удовлетворяющие указанному критерию, назы¬
ваются безусловными байесовскими оценками случайных
параметров #ь . . ., #т.
Средний риск/? представляет многомерный функционал,
зависящий от т функций #(пг) = gi (хь . . ., хп), i =
= 1, . . ., п. Так как они входят лишь в выражение (2.117),
то система уравнений, определяющих экстремальные функ¬
ции функционала (2.116), может быть записана в виде
Ц- = 0, i=l,...,m, (2.118)
при условии, что производные в (2.118) существуют.
Обобщая (2.82), можно отметить, что условные оценки
максимального правдоподобия неизвестных параметров
. . ., 0т являются частным видом условных байесов¬
ских оценок при простой функции потерь. Аналогично,
обобщая (2.84), укажем, что безусловные оценки, соответ¬
ствующие максимуму апостериорной плотности оценивае¬
мых параметров, являются частным случаем безусловных
байесовских оценок при простой функции потерь.
Для квадратичной функции потерь из (2.112) и (2.118)
следует, что байесовские оценки имеют следующий вид:
оо оо
©Г = § • • • § (flj, ..., I Xi, ..., xn) d&t... dftm.
— oo —oo
(2.119)
Формула (2.119) после интегрирования по всем перемен¬
ным, кроме может быть переписана в виде
оо
0^* = I W (0,1 , xn)d$i. (2.120)
— оо
Таким образом, при квадратичной функции потерь байе¬
совскую оценку каждого из совокупности зависимых
параметров . . ., От можно находить отдельно, как
при оценке одного параметра [см. (2.87)].
Могут быть также распространены на случай оценки
совокупности произвольного конечного числа параметров
результаты § 2.3, относящиеся к иным функциям потерь
(см. [9 § 21.2.3]). Наконец, не вызывает принципиальных
затруднений формальное обобщение понятия минимаксных
143
оценок. Система оценок #п\ • &nm) называется мини¬
максной, если верхняя граница соответствующей ей услов¬
ной функции риска г (Фь . . не превосходит верхних
границ этой функции многих переменных при любой дру¬
гой системе оценок.
2.5. ОЦЕНКИ ПАРАМЕТРОВ НЕКОТОРЫХ
ОДНОМЕРНЫХ ФУНКЦИЙ РАСПРЕДЕЛЕНИЙ
2.5.1. Условная оценка параметра экспоненциального
распределения. В качестве примера однопараметрического
распределения рассмотрим экспоненциальное распределе¬
ние. Плотность вероятности случайной величины, подчи¬
няющейся этому распределению, имеет вид [см. (1.95)]
Wi (х; ft) = -^-e_ *,
*>0, ft>0. (2.121)
Среднее значение такой случайной величины равно ft,
а ее дисперсия О2 (см. задачу 2.1 в первой книге).
Функция правдоподобия выборки размером п с неза¬
висимыми элементами в соответствии с (2.10) равна
П
Wn(xlt ..., *„|ft) = ^exp ( — -у 2**) • (2-122)
1=1
Сравнивая (2.122) с (2.28), сразу же приходим к выво¬
ду, что для оценки неизвестного параметра О экспонен¬
циального распределения необходимо располагать не каж¬
дым выборочным значением в отдельности, а лишь их
суммой
п
g(Xi, ..., хп) = 2 Xi, (2.123)
i=l
которая в этом случае является единственной достаточной
статистикой. В силу ограниченности дисперсии экспонен-
п
циального распределения выборочное среднее 2 **
i=i
в соответствии с общим результатом (2.23) представляет
состоятельную и несмещенную оценку среднего ft экспо¬
ненциального распределения.
144
В качестве иллюстрации положений, высказанных
в § 2.2.4, заметим, что достаточная статистика (2.123)
подчиняет отношение правдоподобия
1(хи ..*п|#) = (-у-j exp ("gr—^") 2 **] *
i=l
Воспользуемся (2.43) и найдем информацию по Фишеру
для экспоненциального распределения
1п(®) = п § (-$— ^р-) '^'е ®dx =
О
<2Л24)
О
Кроме того, дисперсия выборочного среднего всегда
(при независимых элементах выборки размером п) в п раз
меньше дисперсии исходного распределения, т. е.
М» 2 *}=■£• <2125)
i=l
Из (2.124) и (2.125) следует:
<2-126>
i=l
Таким образом, выборочное среднее
п
(2-127)
. i=l
является несмещенной эффективной оценкой параметра О
экспоненциального распределения (2.121).
Заметим, что производная логарифма функции правдо¬
подобия (2.122)
п
■gylnllMJCi *»|0)= +
i=l
(2.128)
10-197 145
в точности совпадает с представлением (2.46) [с уче¬
том (2.47")1.
Легко убедиться теперь, что выборочное среднее (2.127)
является единственным решением уравнения правдопо¬
добия
In Wn(xu Хп |0) = О,
что соответствует общему результату, отмеченному в § 2.3.1.
п
2 Vi
Так как случайная величина 2j xk распределена по
закону х2 с 2п степенями свободы (см. § 1.3.3), то этому
п
же закону следует и величина xk. Тогда интерваль-
k=\
ная оценка [см. (2.50)] параметра экспоненциального рас¬
пределения может быть определена из соотношения
Р{2л(1-е2)<^<2/г(1 + е1)} =у. (2.129)
Для определения величин еА и е2 используем (2.51), (2.5Г),
полагая ух = у2 = у— у • Тогда
l+ei^2^-Xi 7> (2.130)
2 2*
»-в. = Ж*?+т, (2Л31)
2 2
где %1 — процентное отклонение случайной величины, рас¬
пределенной по закону х2 с 2п степенями свободы.
2.5.2. Байесовские оценки параметра экспоненциального
распределения. Предположим, что параметр О экспонен¬
циального распределения — случайная величина, распре¬
деленная также по экспоненциальному закону с известным
параметром
«о, 0>0, О0>0. (2.132)
Начнем с байесовской оценки параметра для простой
функции потерь, которая является также безусловной
оценкой, соответствующей максимальной апостериорной
плотности оцениваемого параметра. Эта оценка находится
146
из уравнения (2.69), которое с учетом (2.122) и (2.132)
принимает следующий вид:
П
-57+-5S-2 ъ~т = 0- (2-133)
k=i
Из (2.133) находим искомую оценку:
(2'134)
Когда размер выборки неограниченно увеличивается
(л—> оо),
П
хк. (2.134')
h= 1
Таким образом, среднее арифметическое является асимпто¬
тически байесовской оценкой. При ограниченных размерах
выборки алгоритм (2.134) получения байесовской оценки
по выборочным значениям нелинейный.
К оценке максимального правдоподобия (2.134') при¬
ходим также в случае, когда О0-^°°, что соответствует
приблизительно равномерному распределению параметра#.
Определим теперь байесовскую оценку для квадратич¬
ной функции потерь, используя (2.87). Так как в рас¬
сматриваемом случае
<мйехр {~ + **)}
W^\xlt ...,*„)=_ ,
^^ехр{-(^+т2 Хк)}м
О ft^-1
то искомая байесовская оценка, равная условному сред¬
нему, имеет вид
$^техр{-(^+т2 **)}"
= ^ • (2-135)
Siexp{-(-^+i2
О '
10* 147
где Km (2) — функция Бесселя второго рода от мнимого
аргумента, то из (2.135) имеем
= 7c2j« ; ' , (2.137)
Из сравнения (2.137) с (2.134) видно, что байесовские
оценки при простой и квадратичной функциях стоимости
существенно различны, как и следовало ожидать, ввиду
того, что условное распределение (2.132) несиммет¬
ричное.
2.5.3. Условные оценки параметров нормального распре¬
деления. В качестве примера совместной оценки нескольких
параметров одномерного распределения рассмотрим оценки
среднего а и дисперсии о2 < оо нормального распределе¬
ния. Функция правдоподобия выборки размером п с неза¬
висимыми элементами для указанного распределения рав¬
на согласно (2.10)
г*
Lx(a, ст2) = !-й-ехр[ — (*г-а)2] =
(2ла2)2 г=1
п п
Техр {— 2о^ [2 х\-2а^ *г + ла2]} . (2.138)
(2я ст2)2 i=1 i=1
Сравнивая (2.138) с (2.97), непосредственно приходим
п п
к выводу, что 2 xi и 2 А представляют совместно доста-
i=l i=i
точные статистики параметров нормального распределения.
В силу ограниченности дисперсии и общих соотношений
(2.23) и (2.25), справедливых для любых распределений,
148
выборочное среднее
1
a = gi(Xi, ..*„) = — 2 xt (2.139)
i=l
и выборочная дисперсия, умноженная на »
О2 = g2 (Xi, ...,хп) = 2 (Xi ~ <*)2 (2.140)
i=1
представляют соответственно состоятельные и несмещенные
оценки среднего и дисперсии нормального распределения.
Определим элементы информационной матрицы Фишера.
В соответствии с (2.98), учитывая (2.138), получаем:
“(a, o!) = m, {[-gjMe. <,г)]2} =
г=1
/%'п(а, а2) — /<гЛ} (а, о2) =
==/ni {4eLx (а- а>)а5* °2)} =
71 П
=-», {is (*—> [is i**-»)1--dk]} =»,
i=l fe=l
/п’2)(а. ст2) = т! {[-^^(а, о2)]2} =
= {[iS г^]2} = "2а* •
fc=l
Таким образом, информационная матрица имеет вид
'-(! i)
Детерминант этой матрицы равен
det,=lSr>0’
149
а элементы матрицы, обратной информационной,
v<bi> v<2,2) 2а4
Хп ~~Т ’ Гп Т '
у«-« = у«*. ч = о.
С другой стороны, дисперсии и ковариация оценок (2.139)
и (2.140) равны:
М2{<Р} = ГП1 {[^ZTjS (Х*-«)2-°2]2} = S’
i~ 1
mi {(а — а) (о2 — о2)} =
71
= {(<* — а)[2 (л:. —а) —«(а —а)2]} =0.
i= 1
Подставляя полученные выражения в (2.99), находим
—т~~~ус и\ > 0,
п(п— 1) 2 ’
т. е. оценки (2.139) и (2.140) не являются совместно эффек¬
тивными. Корреляционный эллипсоид этих оценок, кото¬
рый описывается уравнением
~2 у2
.«1 . 22 -1,
о2п 1 2 а4/(/г — 1)
не совпадает, а охватывает информационный эллипсоид
[см. (2.101)]
72 «2
Z1 I г2
а2//г 2а4//г
1.
Найдем оценки максимального правдоподобия. Подстав¬
ляя (2.138) в (2.105), получаем систему уравнений прав¬
доподобия
п
^2 i*k-a) = 0, (2.142)
к=1
п
-L-2 (хк-аУ—^ = 0. (2.142')
h=\
150
Из первого уравнения следует:
п
(2.143)
т. е. оценкой максимального правдоподобия среднего нор¬
мальной случайной величины является выборочное сред¬
нее. Заметим, что уравнение (2.142), по существу, не зави¬
сит от второго параметра а2 нормального распределения.
среднее является несмещенной эффективной оценкой сред¬
него нормальной случайной величины.
Из второго уравнения (2.142'), подставляя вместо а
величину а, находим оценку максимального правдоподобия
дисперсии:
Таким образом, оценкой максимального правдоподобия
дисперсии нормальной случайной величины является выбо¬
рочная дисперсия. Эта оценка состоятельная, смещенная,
причем согласно (2.84) смещение равно
Нижняя граница дисперсии оценок параметра а2 нормаль¬
ной случайной величины в соответствии с неравенством
Рао — Крамера равна
Из (2.146) и (2.146') следует, что эффективность оценки
максимального правдоподобия дисперсии нормальной слу¬
чайной величины равна
Сравнение М2 {а} с 1п'{) показывает, что выборочное
п
(2.144)
(2.145)
Дисперсия оценки (2.144)
М2{М*2} = ^( 1-1) . (2.146)
(2.146')
I М2 {°r2imm j 1
М2{М$} - п
min
(2.147)
151
Таким образом, оценка (2.144) не эффективная, а только
асимптотически эффективная, в соответствии с общими
свойствами оценок максимального правдоподобия, отмечен¬
ными выше.
Заметим, что при известном априори среднем оценка
максимального правдоподобия дисперсии нормальной слу¬
чайной величины имеет вид [см. (2.142')]
п
(Xh-af. (2.148)
k=i
Эта оценка, как отмечалось в § 2.2.3, несмещенная, а дис¬
персия ее равна
М2{а2} = -^-, (2.148')
т. е. величине, обратной информации Д2,2). Таким образом,
при известном среднем оценка максимального правдоподо¬
бия дисперсии нормальной случайной величины эффек¬
тивная.
До сих пор рассматривались точечные оценки (услов¬
ные) параметров нормального распределения. Теперь иссле¬
дуем интервальные оценки этих параметров.
Начнем с интервальной оценки среднего нормальной
случайной величины в предположении, что второй пара¬
метр а2 известен точно. В качестве точечной оценки сред¬
него принимаем выборочное среднее (2.139). Вводя норми¬
рованную ошибку оценки
(2.149)
/?■
определим вероятность того, что абсолютное значение
этой ошибки не превосходит заданной величины eY:
Р{|е| <8Y> —у. (2.150)
Из (2.149) непосредственно следует, что нормированная
ошибка оценки среднего представляет нормальную случай¬
ную величину с нулевым средним и единичной дисперсией.
Поэтому (2.150) можно переписать в виде
2F (eY)— 1 = у (2.151)
или
е? = Х1 X’ (2.151')
2 2
152
где F(х) — интеграл Лапласа, а х t Y—процентная точка
Т~Т
нормального распределения (см. приложение I).
Последние два уравнения содержат связь между длиной
доверительного интервала 2eY для нормированной ошибки
и коэффициентом доверия у. Первое из них используется
Рис, 16. Построение доверительного
интервала.
для определения у, если задано eY, а второе — для опреде¬
ления eY, когда дано у. Доверительный интервал для оце¬
ниваемого параметра а может быть представлен неравен¬
ствами [см. (2.149) и (2.150)]
а — гуу'^<а<а + еуу/Г^. (2.152)
Связь между й и а геометрически представляется двумя
прямыми, параллельными биссектрисе координатного угла
и отсекающими на оси а величины ±eY ]/тг (рис. 16).
Для определения нижней и верхней границ доверительного
интервала необходимо спроектировать на ось абсцисс
точки пересечения этих прямых с прямой а = const.
Рассмотрим интервальную оценку среднего нормальной
случайной величины, когда дисперсия ее неизвестна. В ка¬
честве точечных оценок среднего и дисперсии используем
несмещенные оценки (2.139) и (2.140). Так же как и в пре¬
дыдущем случае, введем нормированную ошибку оценки.
153
Отличие будет состоять в том, что для нормировки исполь¬
зуется оценка а2, так как точное значение а2 неизвестно.
Таким образом, в качестве нормированной ошибки оценки
среднего выбираем величину *)
t = (2.153)
l/^l
г п
которая представляет отношение двух независимых случай-
/~ \ I \ ~*^2 /
ных величин: нормальной \а~а)[~) (с нулевым
средним и единичной дисперсией) и случайной величины
/ (Т2 \ ^2 / У2
v'o2’) ’ РаспРеДеленной как V п^л (пРичем X2 имеет
(п— 1) степень свободы). Распределение этого отношения
совпадает с распределением Стьюдента с (п— 1) сте¬
пенью свободы. Поэтому плотность вероятности нормиро¬
ванной ошибки записывается в виде
1 г (т) / **
^■м = тГО7(1=1у(,+^ ■ <2-,54)
При увеличении размера выборки п первые два сомножи¬
теля в (2.154) приближаются к (2я)~1/2, а последний —
к е-л:2/2, так что функция sn (х) асимптотически стремится
при п сю к плотности нормированного отклонения нор¬
мальной случайной величины
(2-154')
Таким образом, для больших размеров выборки можно
и при неизвестной дисперсии использовать формулы (2.151),
(2.15Г), что и следовало ожидать, если иметь в виду состоя¬
тельность оценки а2. Однако для небольших п распределе¬
ние Стьюдента заметно отличается от нормального (рис. 17).
Учитывая симметрию распределения Стьюдента, запи¬
шем вероятность того, что абсолютное значение нормиро¬
*) Обозначение t введено по существующей в статистике тра
диции.
154
ванной ошибки не больше заданной величины ty> в виде
р {|11 < М = 2 ^ Sn-t (х) dx = у. (2.155)
о
В приложении III приведена таблица значений tv,
удовлетворяющих соотношению (2.155) при значениях п
и у у изменяющихся в широких пределах. Последняя строка
в таблицах соответствует нормальному распределению
Рис. 17. Распределения:
нормальное; — — — Стьюдента при п = 2.
(п = оо), и значение ty (а следовательно, и длина довери¬
тельного интервала) в этой строке наименьшее для каж¬
дого фиксированного у. Более широкий доверительный
интервал, который получается при одинаковых размерах
выборки и коэффициенте доверия по сравнению с преды¬
дущим случаем (известной дисперсии), является платой
за неполную информацию о величине дисперсии а2 при
оценке среднего а.
Доверительный интервал для оцениваемого параметра
представляется теперь неравенствами [см. (2.153) и (2.155)]
a-Ll/'°l<a<d + Ll/-°l. (2.156)
г п г п
В заключение рассмотрим вопрос о построении довери¬
тельного интервала для неизвестной дисперсии а2 нормаль¬
ной случайной величины. В качестве точечной оценки
дисперсии примем несмещенную оценку (2.140). Случай¬
ная величина
^=2(^)' (2-157)
1
155
распределена по закону %2 с я— 1 степенями свободы.
Выберем в качестве нижней и верхней доверительных
границ величины е^2 и е2а2. Вероятность того, что
Рис. 18. Определение доверительных гра¬
ниц для дисперсии нормальной случайной
величины.
доверительный интервал с указанными границами накроет
параметр а2, равна
Р {eiO2 < а2 < е2а2} =
n Гп — 1 .я — 1 Л9 ^п— П п (п— 1 , 9 .я—П
- р {—<ТГ “■<—}= р < Ц* <—} = V-
(2.158)
Выберем величины et = и г2 — из условия
%1 %2
(рис. 18)
Р{%2<%1} = Р{У?>У.1}=1-^, (2.159)
что равносильно
Xi = у. Xl = Х21 . у • (2.159')
2 2 2 2
Таким образом, доверительный интервал для дисперсии
нормальной случайной величины, соответствующий коэф¬
фициенту доверия у, определяется неравенствами
п — 1 -
ГЧ __v
2 2
а2 < а2 <
п— 1 %
72 а»
X 1 . у
2 2
(2.160)
В приложении II дана таблица процентных точек %1
хы-квадрат распределения.
156
2.5.4. Метод наименьших квадратов. Пусть производятся
измерения некоторой физической величины jc, зависящей
от некоторой другой величины z, и пусть функциональная
зависимость х = / (z; аи а2, . . .) известна, за исключе¬
нием некоторых параметров аи а2, . • . Предположим, что
результаты измерений xif . . ., хп представляют незави¬
симые нормальные случайные величины, средние значения
которых равны f (.zai9 a2l / (z2; аь a2, . . .),
а дисперсии одинаковы и равны а2 (равноточные, несме¬
щенные измерения). Необходимо воспользоваться резуль¬
татами измерений для полного определения функциональ¬
ной зависимости между физическими величинами х и z.
Совместная функция распределения результатов измере¬
ния (функция правдоподобия) равна
Lx{au 02, ..•) = Цг exP{~ix
on (2л) 2
п
х 2 аи 02, • ..)]2} • (2.161)
к==1
Потребуем, чтобы значения неизвестных параметров
а4, а2, . . . были такими, которые для заданных результа¬
тов измерений xlf . . ., хп максимизируют функцию (2.161).
Это равносильно условию минимума величины
п
2 [xh—f (zh; аи 02, ... )]2,
fe=l
которое используется в классическом методе наименьших
квадратов.
Значения параметров аи а2, ... находятся из системы
уравнений
2 [xh-f(zh; at, а2, . •.)] • ■ ■) = Q, /=1>2>
Ь=1 7
(2.162)
Если зависимость между физическими величинами х и г
линейная, т. е.
* = ^2 + 02, (2.163)
а система уравнений (2.162) перепишется в виде
2 (xh — alzk — a2)zh = О,
/2=1
2 (xft —ад —аг) = О,
л= 1
откуда следует:
a2 = m* {х} — а4 (г), (2.164)
- _mf{xz} — т$ {x\(z) ,0 |С/|,Ч
а1- (г2) — <г>2 ’
где т* {л:}, т* {xz} — выборочные средние случайных вели¬
чин л; и хг, а
п п
^ = тг 22ь =т 2г*-
г=1 i=l
Таким образом, метод наименьших квадратов дает следу¬
ющую линейную зависимость между физическими величи¬
нами х и г по данным измерений:
'“1Г-1)1-1- <г ~(г»- <2Л65>
Формула (2.165) представляет уравнение эмпирической
прямой средней квадратической регрессии (см. (4) в при¬
ложении V).
2.5.5. Байесовские оценки параметров нормального рас¬
пределения. Начнем с того случая, когда дисперсия нор¬
мального распределения а2 известна точно, а среднее пред¬
ставляет нормальную случайную величину с параметрами
(а0, о?), т. е.
(Д-Др)а
Wl(a) = -J—e 2a§ . (2.166)
<т0 у2л
Найдем оценку, соответствующую максимуму апостериор¬
ной плотности вероятности оцениваемого параметра а,
которая согласно (2.84) является частным случаем байесов¬
ской оценки при простой функции потерь. Используя (2.69),
получим уравнение для определения оценки
п
а — а0 1
а2
Ь=\
2 (Хк — а) = 0,
158
откуда
а = —V-Hr2 + • (2.167)
1 i k— 1
noQ n~1
Оценка (2.167) представляет среднее взвешенное двух
п
величин: оценки максимального правдоподобия 2 хь
k=i
и априорного среднего значения а0 оцениваемого параметра,
причем отношение веса, приписываемого второй величине,
а2
к весу первой равно —§ , т. е. отношению дисперсии
по0
оценки максимального правдоподобия к априорной дисперсии.
Апостериорная плотность вероятности параметра а для
заданной выборки равна
«W* *.>=/^(1+Й‘,2х
хехР{-2з('+5)х
х[“--гМ12*. + ^)Г}. (2.168)
При п—> оо плотность вероятности (2.168) стремится
71
к дельта-функции б 2Xh) * ^Ри Данном п и
k=i
-^-—>00 параметры нормальной функции распределения
п
(2.168) приближаются к Xh, -7J-) , а при > <т®
й= 1
(2.168) переходит в (2.166).
Нетрудно также убедиться, что правая часть (2.167)
в точности совпадает с условным средним оцениваемого
параметра, т. е. с величиной т^ {а | хи • • хп). Отсюда
следует, что (2.167) является байесовской оценкой также
и при квадратичной функции потерь, что соответствует
общему результату, указанному в § 2.3.6 (так как распре¬
деление (2.166) симметрично относительно своей един¬
ственной моды а = а0). Из § 2.3.8 также следует, что
159
указанная оценка является байесовской при симметричной
функции потерь.
Заметим, что
«
(2.169)
к= 1
когда
а*» 4- (2.169')
Условие (2.169') выполняется, если при фиксированном
неограниченно увеличивается размер выборки п
или если при данном п величина а* > а2. Первое озна¬
чает, что байесовская оценка (2.167) асимптотически при
п оо переходит в оценку максимального правдоподобия.
Второе условие можно трактовать следующим образом:
распределение (а) неизвестного параметра приблизи¬
тельно равномерное при сопоставлении его с исходным
распределением Wi (х; а). По этой причине оценка (2.167)
при а2 > а2 переходит в оценку максимального правдо¬
подобия, что и отмечалось в общем виде в конце
§ 2.3.3.
Отметим также, что в противоположном случае, когда
дисперсия исходного распределения а2 много больше, чем
па2, из (2.167) следует асимптотическое соотношение
cl а0,
т. е. выборочные значения никак не влияют на оценку,
которая принимается равной среднему значению оценивае¬
мого параметра.
Подсчитаем величину среднего риска при квадратичной
функции потерь. Подставляя (2.167) и (2.168) в (2.79),
получаем
/Т~/, , а2 \1/2
т. е. рассматриваемый функционал представляет постоян¬
ную величину. Далее из (2.78) находим
Максимальное значение среднего риска соответствует слу¬
чаю, когда (т0-> °°> т. е- равномерное распределение (в ука¬
занном выше смысле) параметра а наименее благоприят¬
ное и
Для этого распределения находим функцию риска под¬
становкой (2.169) в (2.76) с учетом независимости и Xk
при i ф k:
Из (2.172) следует, что функция риска при этом не зависит
от оцениваемого параметра и ее величина совпадает с мак¬
симальным значением среднего риска.
Таким образом, выборочное среднее является также
и минимаксной оценкой среднего нормальной случайной
величины при точно известной ее дисперсии и квадратичной
функции потерь.
Рассмотрим теперь байесовскую оценку дисперсии а2
нормального распределения при условии, что среднее а
известно (положим, что а = 0). Зададим априорное рас¬
пределение дисперсии по экспоненциальному закону с па¬
раметром а2:
Найдем оценку, соответствующую максимуму апостериор¬
ной плотности вероятности оцениваемого параметра а2.
Используя (2.69), получаем
(2.170)
(2.171)
П оо оо
оо
г(а) = -^'2 J ••• S {Xk — a)2Lx(a)dXi...dx
(2.172)
(2.173)
откуда
(2.174)
При по\—> оо из (2.174) следует:
П
(2.175)
Таким образом, при неограниченном увеличении раз¬
мера выборки или при фиксированном п по мере того,
как априорное распределение (2.173) приближается к рав¬
номерному, оценка дисперсии, соответствующая максимуму
апостериорной плотности, асимптотически стремится к выбо¬
рочной дисперсии, т. е. к оценке максимального правдо¬
подобия.
Байесовская оценка для квадратичной функции потерь
равна [см. (2.87)]
о2 = т1{о*\хи ..., хп} —
(2.176)
оо
П
П
Используя (2.136), приводим (2.176) к виду
(2.177)
162
Как и при оценке параметра экспоненциального распре¬
деления, отсутствие симметрии апостериорной плотности
вероятности дисперсии приводит к тому, что байесовская
оценка (2.177) при квадратичной функции потерь отличает¬
ся от байесовской оценки (2.174), соответствующей про¬
стой функции потерь.
2.6. ОЦЕНКА ОДНОМЕРНОЙ ФУНКЦИИ
РАСПРЕДЕЛЕНИЯ
2.6.1. Критерии согласия. В предыдущих разделах этой
главы изучались методы оценок неизвестных параметров
распределения случайной величины в предположении, что
функциональная форма закона распределения известна.
Часто, однако, ситуация такова, что подобное предполо¬
жение неоправданно: какая-либо априорная информация
о виде указанного закона отсутствует. Необходимо, рас¬
полагая выборочными значениями, сделать статистический
вывод относительно вида функции распределения, из кото¬
рого извлечена выборка.
Один из принципиальных путей решения этой задачи
указывает теорема Гливенко (см. § 2.1.1), согласно кото¬
рой эмпирическая функция распределения F* (х) сходится
по вероятности к гипотетической функции Fi (х), если
выборка, по которой построена эмпирическая функция,
извлечена из Fi (jc). Но эта теорема, устанавливая факт
асимптотического приближения F* (х) к Fi (jc) при оо,
не дает возможность для выборки конечного размера п
установить, с какими вероятностями могут возникать
отклонения эмпирического распределения от гипотетиче¬
ского. Для этого следует прежде всего ввести количествен-
ную меру соответствия гипотетического и эмпирического
распределений, или, как говорят, критерий согласия.
Этот критерий представляет число Д (.F*, Тч), которое
является функционалом от эмпирического и гипотетиче¬
ского Fi распределений.
Сформулированная выше задача решается в следующей
последовательности. По выборочным значениям хи . . .
. . ., хп строится по формуле (2.1) эмпирическая функция
распределения F* (*). На основании этого эмпирического
распределения, а возможно и других соображений, выдви¬
гается гипотеза о том, что выборка извлечена из распре¬
11 163*
деления Fi (х). По принятому заранее критерию согласия
необходимо вычислить Д (F*, F) и вероятность того, что
указанная величина превосходит некоторый порог Д0.
Для этого необходимо распределение Д (F*> F1). Опреде¬
лить такое распределение в относительно простой форме
удается, как правило, лишь при больших размерах выбор¬
ки (точнее, удается определить лишь асимптотическое
распределение при /г-> оо). Если распределение величины
Д (F*, Fi) известно, то, задаваясь вероятностью а (уровнем
значимости критерия) того, что Д > Д0, находим порог Д0.
При достаточно малом а получаем хорошее правило про¬
верки гипотезы об истинности гипотетического распределе¬
ния Fi (*): если для данной выборки Д > Д0, то гипотеза
отвергается, а в противоположном случае — принимается.
При этом вероятность отвергнуть правильную гипотезу
будет равна уровню значимости (см. гл. 1, стр. 27).
Заметим, что распределение величины Д (F*, F4), опре¬
деляемое при условии, что выборочные значения xit . . .
. . ., хп, по которым построена F*, извлечены из Fu зави¬
сит, вообще говоря, от F^ Было бы желательно иметь такие
критерии согласия, распределения которых не зависели бы
от вида гипотетической функции Fi (*). Подобные критерии
называют непараметрическими (см. § 1.5.3). Рассматри¬
ваемые ниже частные виды критериев согласия являются
асимптотически (при п оо) непараметрическими.
Следует также иметь в виду, что выбранный каким-
либо образом критерий согласия дает при достаточно
малом уровне значимости а хорошее правило, позволяющее
отвергнуть неверную гипотезу. Частота отклонения истин¬
ной гипотезы в длинной последовательности принятия
решений будет равна а. При этом, однако, остается неиз¬
вестной частота ошибок другого рода — принятия неверной
гипотезы. Если для данной выборки Д < Д0, то хотя
принятое правило предписывает утверждать истинность
выдвинутой гипотезы, следует к этому утверждению отне¬
стись более осторожно: с точки зрения заданного критерия
согласия нет основания считать, что наблюдаемые выбо¬
рочные значения не согласуются с гипотетическим распре¬
делением.
Недостатком критериев согласия является произволь¬
ность выбора самого критерия и уровня значимости, а так¬
же трудности, связанные с определением их распределений
для конечных размеров выборки. Другой путь состоит
164
в непосредственном построении оценки неизвестной функ¬
ции распределения по выборочным значениям без выдви¬
жения гипотезьго виде этой функции (сглаживание эмпири¬
ческой функции распределения).
2.6.2. Критерий хи-квадрат. Этот критерий является
одним из наиболее распространенных в приложениях кри¬
териев согласия.
Разобьем область, где определена гипотетическая функ¬
ция распределения Fi (*) случайной величины £, на конеч¬
ное число неперекрывающихся интервалов Д*, i = 1, . . .
Обозначим
Pi=P{leAi}, S/>, = 1. (2.178)
i=l
Пусть в выборке х1ч ..., хп число выборочных значений,
попадающих в интервал Д*, равно v*. Ясно, что
i
Sv, = n.
г=1
Примем в качестве критерия согласия величину
Д=S ^ (х - л)’-2 i <2Л79>
i= 1 г= 1
Как доказал Пирсон (см. [5, §30.1]), если проверяемая
гипотеза об истинности распределения Fi (*) верна, то при
/г-> оо распределение критерия (2.179) асимптотически
приближается к ^-распределению с / — 1 степенями сво¬
боды, не зависящему от вида гипотетического распределе¬
ния Fi (*).
Пусть Ха — процентное отклонение случайной величи¬
ны, имеющей ^-распределение с / — 1 степенями свободы,
т. е. Р {%2 >%«} = а (см. приложение II). При а доста¬
точно малом и большом объеме выборки величина Д, вычис¬
ленная согласно (2.179), практически никогда не будет
превосходить порог %а, если только гипотеза о виде рас¬
пределения, из которого извлечена выборка, верна. Таким
образом, выбирается следующее правило проверки гипо¬
тезы: гипотеза отклоняется, если Д > %а, и принимается,
если Д<Ха* Вероятность отклонить верную гипотезу
равна а.
Кроме отмеченных выше общих недостатков критериев
согласия рассмотренный критерий %2 обладает еще одним
165
существенным недостатком, связанным с произвольным
разбиением области возможных значений случайной вели¬
чины на интервалы Дг, которое не связано со спецификой
функции Fi (*) и соответствующим группированием выбо¬
рочных значений.
2.6.3. Критерий Колмогорова. Согласно этому критерию
количественной мерой соответствия служит для заданного
размера п выборки максимум по всем значениям х модуля
отклонения эмпирического распределения от гипотетиче¬
ского, т. е.
Д = щах | F* (x) — Fl (х) |. (2.180)
ас
Как доказал А. Н. Колмогоров (см. [41, § 62]), если про¬
веряемая гипотеза об истинности Fi (х) верна, то при
п оо и дополнительном предположении непрерывности
Fi (х), функция распределения величины *) Д Yn асимпто¬
тически приближается к
оо
P{A//T<z}~k(z)= 2 (— l)fte-2ft3z2, z>0. (2.181)
ft= —oo
Функцию k(z) можно переписать в виде
оо
к (2) = 1 -2 2 (- l)*'1 е-2*2*2, г > 0. (2.182)
k= 1
С другой стороны, записывая k(z) в виде
оо оо
к (г) = 2 е~2 (2ft>2z2 — 2 e-2<2ft+1)222
k= — оо k— — oo
и используя формулу суммирования Пуассона
оо оо оо
2 h{k)= 2 I h{x)z™k*dx,
*) Рассматриваемая функция распределения может быть представ¬
лена в виде [12]
Р{дУп<2}= 2 “|+0 (4)] .
h=—oo *
166
можно эту функцию представить в виде
1/— 00 Л2(2&-1)2
к (г) = -^2 е 822 • (2.183)
h= 1
Формулу (2.182) удобно использовать при г> 1, а (2.183) —
при г <С 1 •
Если а —заданный уровень значимости, то из (2.182)
следует:
Р {А > Да) = Р {А Уп > Да /Я) ~ 1 - к (ЛаУл) =
= 2 2(-1)ие"2Ил4* = а (2.184)
к= 1
или в другом виде, используя (2.183),
оо n»(2ft-l)*
Р{А> Аа} е 8пЛ“ =а. (2.185)
Ряд в (2.184) сходится быстро, и в качестве первого при¬
ближения часто можно ограничиться только первым его
членсм, т. е.
2е~2пЛ“ = а (2.186)
или
д«=/2>-|. (2.186')
Правило проверки гипотезы таково: если для наблюдае¬
мой выборки Д > Да, то гипотеза о том, что выборка
извлечена из гипотетического распределения, отвергается;
если имеет место противоположное неравенство, то гипо¬
теза принимается. Таблица значений функции к (г) при¬
ведена в [41. Как и критерий %2, критерий Колмогорова
используется, когда размер выборки очень большой. Одна¬
ко при использовании этого критерия не требуется пред¬
варительного разбиения на интервалы и группирования,
как это было в случае критерия %2.
Заметим, что при заданном уровне значимости а гипоте¬
тическая функция распределения полностью заключена
в полосе, границы которой задаются уравнениями
y = F*(x) + A
167
y = Ft (x)-A.
2.6.4. Критерий Мизеса. Согласно этому критерию коли¬
чественной мерой соответствия служит для заданного раз¬
мера п выборки среднее значение квадрата отклонения
эмпирического распределения от гипотетического
оо
А= ^ [/•'* (х) — Fi (х)]2 Wi (х) dx, (2.187)
— оо
где Wi (х) = F[ (х) — гипотетическая плотность вероятно¬
сти случайной величины. Подставляя (2.1) в (2.187) и инте¬
грируя, представим величину А в виде *)
<2187'>
й=1
Нетрудно показать [3], что
M2{A>=W- <2Л88)
Выражение точного распределения величины лА очень
сложное, но при п > 40 оно близко к некоторому пре¬
дельному. Как и критерий Колмогорова, критерий Мизеса,
в отличие от х*. не связан с группированием выборочных
данных, и его распределение достаточно быстро при увели¬
чении размера выборки приближается к предельному.
Ниже приведено несколько процентных точек этого пре¬
дельного распределения:
Y
0,5
0,4
0,3
0,2
0,1
0,05
гу
0,1184
0,1467
0,1843
0,2412
0,3473
0,4614
У
0,03
0,02
0,01
0,001
*Y
0,5489
0,6198
0,7435
1,1679
*) Часто в этом случае вместо Д используют обозначение и2
и критерий согласия называют критерием со3.
168
2.6.5. Принадлежность двух выборок одному и тому же
распределению. Предположим, что имеются две выборки
(jti, . . ., хп) и (уи . . ., ут) с независимыми элементами,
каждая из которых принадлежит некоторому распределе¬
нию. Представляет интерес проверить гипотезу о том, что
обе эти выборки принадлежат одному и тому же распре¬
делению. Пусть F*x (z) и F*v (z) — эмпирические функции
распределения, построенные по указанным выше выборкам.
В качестве критерия согласия примем величину
Д = шах | F*x {z)-FXy (z) [. (2.189)
z
Как доказал Н. В. Смирнов (см. [4, § 63]), при п—> оо
i_
P{A(JL + J_) 2>z}~l-k(z), (2.190)
где k (z) — функция, определенная согласно (2.182).
Если а — заданный уровень значимости, то аналогично
(2.186') можно в первом приближении подсчитать порог
А" =/?+!•/>1г <2-190')
и сформулировать правило проверки гипотезы: выборки
принадлежат одному и тому же распределению, если
Д < Да.
Другой критерий, предложенный Вилькоксоном, осно¬
ван на подсчете числа инверсий. Для этого обе выборки
располагают в виде одного вариационного ряда (см. § 2.1.1)
Уи У2, *i. Уг» *2.
Если в этой последовательности заданному х* предшествует
s элементов выборки у1у . . ., ys, то имеет место s инвер¬
сий. Общее число инверсий U равно сумме инверсий, обра¬
зуемых всеми элементами первой выборки с элементами
второй. Правило проверки гипотезы по критерию Виль-
коксона состоит в сравнении общего числа инверсий с поро¬
говым числом, определяемым заданным уровнем значи¬
мости.
Можно показать (см. [2, стр. 3571), что при m-f п >20
и/п>3с хорошим приближением можно считать распре¬
деление общего числа инверсий нормальным с параметрами
mx{V} = ^~, M2{U) = 0g-(m + n+ 1). (2.191)
169
Тогда пороговое значение Ua числа инверсий для заданного
уровня значимости а определяется по формуле
tf« = ^ + *«V^g-(m + n+l), (2.192)
где ха — процентное отклонение нормальной случайной
величины. Если вычисленное по заданным двум выборкам
значение U превосходит Ua, то гипотеза о том, что эти
выборки принадлежат одному и тому же распределению,
отклоняется.
Может использоваться и двухпороговый вариант крите¬
рия Вилькоксона, для которого критическая область зна¬
чений U, когда отклоняется указанная выше гипотеза,
определяется двумя порогами:
иан = ^-х„1/^(т + п+1), (2.193)
2
Uab = ^+Xay!^r(ni + n+l). (2.193')
2
2.6.6. Оценка функции распределения. Если хи ...
. . хп — выборка с независимыми элементами из неиз¬
вестного распределения с плотностью Wi (х), то для оценки
этой плотности может быть использована следующая функ¬
ция (рис. 19):
<2194>
г=1
Рис. 19. Построение оценки функции рас^
пределения,
170
где К (у) — произвольное ядро аппроксимации, удовлетво¬
ряющее условиям
оо
0<К(у)< оо, lim yK(y) = 0, ^ K(y)dy= 1, (2.194')
i^±“ _1
и
lim Л (л) = 0 (2.194")
П—Уоо
Доказано (см. [15, 17]), что оценка (2.194) состоятельная
и асимптотически несмещенная. Выбор вида ядра К (у)
может быть подчинен некоторым дополнительным усло¬
виям оптимальности оценки. В некоторых случаях можно
рекомендовать гауссовское ядро
Если вид распределения (х) известен, но неизвестны
его параметры, то для оценки функции распределения
можно использовать функцию (.х), параметры которой
представляют оценки неизвестных параметров, получен¬
ные по выборочным значениям. Например, для оценки
нормальной плотности с неизвестными параметрами может
быть использована функция
(я—а)2
щ(х) = ^=е~ 2°2 , (2.195)
У 2ла2
где а, а2 —оценки, определяемые согласно (2.139) и (2.140).
2.7. ОЦЕНКИ ПАРАМЕТРОВ
МНОГОМЕРНОЙ ФУНКЦИИ
РАСПРЕДЕЛЕНИЯ
2.7.1. Обобщение основных определений на многомерные
распределения. Все предыдущее изложение было связано
с теорией оценок распределения одной случайной величи¬
ны. Практический интерес представляют также оценки
многомерных распределений или их параметров для сово¬
купности зависимых случайных величин . . ., \N. В па¬
раметрической теории вид многомерной функции распре¬
деления этой совокупности известен и оцениваются лишь
171
неизвестные параметры, в непараметрической теорий
оценке подлежит сама функция распределения. В любом
случае «сырьем» для статистических выводов является
выборка из многомерного распределения. В отличие от одно¬
мерного случая, элементом такой выборки (размером п)
является не одно число, а N чисел
xiki x2ki • • • * xNki k — 1 , . . . , tl.
Иначе, элемент выборки из многомерного распределения
можно представить вектором xk, имеющим указанные ком¬
поненты, а саму выборку — прямоугольной матрицей раз¬
мером N х п:
X = ||*Jk||.
Функция правдоподобия выборки из iV-мерного распре¬
деления представляет функцию п векторных аргументов,
причем параметры этой функции представляют матрицы
(в частном случае векторы), элементами которых являются
неизвестные параметры многомерного распределения сово¬
купности случайных величин. Для независимых элементов
многомерной выборки
п
ix(#)= II WN(xlk, xNk; фт), (2.196)
k=l
где WN — функция распределения совокупности случайных
величин h, . . ., lN.
По выборке X определяются s выборочных матриц (или
векторов), зависящих от выборочных векторов хь . . Хд,
Mi = g(x!, ..., хп), 1=1, ..., s, (2.197)
в предположении, что параметры распределения WN фикси¬
рованы. Эти выборочные матрицы (вектора) представляют
условные оценки матриц М* (векторов), элементами которых
являются неизвестные параметры . . ., Фт.
Если параметры распределения случайны и известно
их совместное априорное распределение, то могут быть
определены безусловные оценки.
Каждая из условных оценок М* [см. (2.197)] назы¬
вается состоятельной, если при п-+оо она сходится
по вероятности к М*. Оценка Мг называется несмещенной,
если для любого п ее среднее по совокупности векторных
172
выборок равно М*. При этом следует иметь в виду, что
под средним значением случайной матрицы (вектора) пони¬
мается матрица (вектор), элементы которой равны средним
значениям элементов случайной матрицы (вектора). Подоб¬
ным же образом обобщается и понятие совместно доста¬
точных оценок. Для этого скалярные аргументы в (2.97)
заменяются векторными. Информационная матрица Фишера
1п представляет блочную матрицу, элементами которой
являются матрицы
^«(М,, Me) = m1{1|jrlnLx(M)-g|i-lnLx(M)} ,
(2.198)
j, /= 1, ..., S.
Оценки максимального правдоподобия получаются из
системы уравнений
д In Lx (М)
= 0, i=l, . ..,s. (2.199)
Аналогично, оценки, соответствующие максимуму апосте¬
риорной плотности вероятности оцениваемых параметров,
равны
д In wa (Mi М.) , д 1п Ч (М) Л /о , пп,^
дЩ _|“ дМ i ~ ' '
2.7.2. Оценки вектора средних и корреляционной матрицы
многомерного нормального распределения. Прежде чем
вводить байесовские оценки параметров многомерного
распределения, проиллюстрируем указанные выше обоб¬
щения на примере iV-мерного нормального распределения.
Запишем плотность вероятности этого распределения в век¬
торной форме (см. (2.57) в первой книге):
WN (X) = ^ exp [ — ^ (х’ — а') М-1 (х —а)] ,
(2л) 2 уЗёГм
(2.200)
где а — вектор средних значений, М — корреляционная
матрица.
Пусть х1? . . ., хп — независимые выборочные Л^-мер-
ные векторы из приведенного нормального распределения.
173
Функция правдоподобия (2.196) выборки равна
П
Lx (а, М) = П W„(xk; а, М) =
л= 1
—^ ехр [ - Т 2 (х* -а)'М_1 (х* -а)]
(2л) 2 (detM) 2 ft=1
Введем вектор выборочных средних
(2.201)
7»
?42х‘ (2.202)
m
п
h=i
и выборочную корреляционную матрицу
п
м,>==т S (Xft — mj)(xk — m*)'- (2.203)
fe=i
Можно показать, что (см., например, [1, § 3.2])
2 (xk-a)'M-l(x*-a) =
1
= tr (ЛМ^М*) + п (m* - а)'М-1 (m* - a), (2.204)
где символом tr обозначен след матрицы*).
Подставляя (2.204) в (2.201), представим функцию
правдоподобия в виде
Lx (а, М) = —^ it X
(2л) 2 (det М) 2
х ехр £ — п (m* — а)' М"1 (m* —a)J х
X ехр £ — у tr (/iM-1M*)J . (2.205)
Из (2.205) следует, что т* и М* представляют совместно
достаточные оценки вектора средних и корреляционной
*) Следом квадратной матрицы А = || || называют сумму ее
диагональных элементов tr;4=»2aiie Иногда используют другое
г
обозначение вида эрЛ.
174
матрицы многомерного нормального распределения. Эти же
оценки являются оценками максимального правдоподобия.
Оценка а = ш* — несмещенная и эффективная. Оценка М*
смещенная, так как
mj {М*} = (1 — 1) М. (2.206)
Поэтому несмещенной оценкой корреляционной матрицы М
является величина
п
М = = (**-<) (x*-mj)'. (2.207)
fc=l
Эффективность оценок а и М (т. е. отношение объемов
информационного и корреляционного эллипсоидов) равна
/п—1\ N(M+\)
I п ) 2
2.7.3. Байесовские оценки параметров многомерного
распределения. Обобщая (2.109), введем функцию потерь
для оценки матриц (векторов) многомерного распределения
П = П(М4> Ms, Мь ..., Ms). (2.208)
Условные байесовские оценки минимизируют условную
функцию риска
оо оо
Г(Mj М,)= J ... J П(М15 ..., М., Mt, ..., М*)Х
— оо — оо
X Lx (fA)dxi.. .dxn, (2.209)
Если оцениваемые параметры Мь . . ., М* случайны, то,
вводя их априорное распределение ws (Мь . . ., М8), запи¬
шем величину среднего риска
оо оо
£= J ... $ a;, (Mi, ..., М.) г (Mt, ..., М.) dMt.. .<М5.
— оо — оо
(2.210)
Безусловные байесовские оценки получаются минимиза¬
цией матричного (векторного) функционала (2.210).
2.7.4. Замечание относительно оценки многомерной
функции распределения. Критерии согласия для много¬
мерных распределений не исследовались. Естественным
образом может быть обобщена на многомерный случай фор¬
мула (2.194) для оценки неизвестной плотности вероятно¬
сти Wп (Xi, . . ., ЛГдг).
175
Пусть хь . . хп — векторы выборочных значений,
принадлежащих указанному распределению, и xiki . . .
• • •, xNk — компоненты k-ro вектора. Если хи и xi при
k Ф I независимы, то в качестве оценки WN может быть
использована функция
XN)=— 2 Г1 Kj [ h (n) ] - (2.211)
i=l 3=1
где Kj (у) — ядро аппроксимации, удовлетворяющее усло¬
виям (/=1, ..., N)
О<Kj(y)<oo, lim yKj(y) = 0,
у-+± ОО
оо
^ Kj(y)dy= 1, limfij(n) = 0. (2.211')
W П—>оо
— оо
Оценка (2.211) состоятельная и асимптотически несме¬
щенная.
Задачи
2.1. Доказать, что выборочные среднее и дисперсия нормальной
случайной величины независимы. Обобщить этот результат на много¬
мерное нормальное распределение и доказать, что вектор выборочных
средних значений не зависит от выборочной ковариационной матрицы.
Рис. 20. Определение минимального доверитель¬
ного интервала.
2.2. Показать, что при заданном коэффициенте доверия у мини¬
мальный доверительный интервал для неизвестной дисперсии нор¬
мальной случайной величины определяется из условия (рис. 20)
Wi(y)>c, (1)
176
где Wi(y) — плотность вероятности у} с п—1 степенями свободы
[см. (2.157)], а константа с определяется из условия
где и е2 — проекции на ось абсцисс точек пересечения кривой
z = W{{y) с прямой г —с [см. (2.158)].
2.3 [14]. Пусть произведено k групп независимых в совокупности
наблюдений, результатом которых являются k выборок размерами
я1э ..., rik из непрерывных распределений Fц (х)у i— 1, ..., k. Про¬
веряется гипотеза о том, что F^ (x) = F{ (х) для всех /, и выбирается
в качестве критерия согласия величина
где |i5 —s-й положительный нуль функции Бесселя Jk_s(z). Убе-
2.4. Пусть т — число наступлений события при п независимых
испытаниях, в каждом из которых вероятность этого события равна р.
Используя неравенство Чебыщева, доказать, что для произволь¬
ного 6 > О
(2)
k
Л = шах
-ооСЖоо i=1
1
(3)
где
к
i=l
(4)
k
i=l
F*i(x) — эмпирическая функция распределения, построенная по /-й
выборке. Показать, что при я4, ..., пk—> со
Р{ Д<г} ~кй(г)= £7ГХ
ОО
fe-3
4
2
(5)
8=1
(7)
12-197
177
2.5 [7]. Необходимо оценить линейную функцию неизвестных
параметров аь, k=\, m,
т
а= 2 Shah (8)
ft=l
(gk — известные величины) по выборочным значениям N случайных
величин х4, ..., х^, средние значения которых равны
т
2 fihah' <==1, •••’ N>
fc=l
а дисперсии ограничены (известны с точностью до постоянной, т. е.
о2
M2{xi} — -T— , где а2—неизвестно, a Л* —известно).
Аг-
Показать, что оценка вида
т
«= 2 (10)
k=i
где a/j —оценка параметра полученная методом наименьших
квадратов (см. § 2.5.4), в классе линейных несмещенных оценок
имеет минимальную дисперсию (даже если случайные величины
*1» •••» *n не подчиняются нормальному закону распределения).
2.6. Дисперсия а2 нормальной случайной величины известна,
а ее среднее значение а распределено по экспоненциальному закону
а
щ(а) = — е а° , а> О, ао>0* 00
а0
Показать, что байесовская оценка параметра а при простой функции
потерь равна
п
<12>
fe=l
а при квадратичной
^ 2
_ ПР
flKB = anp+lfe[f Hr)] е 2°2’ (13)
где F (х) — функция Лапласа. Убедиться, что оценка (12) при простой
функции потерь соответствует оценке максимальной апостериорной
плотности вероятности параметра а и асимптотически при п ->• оо
совпадает с оценкой максимального правдоподобия, а оценка (13)
при квадратичной функции потерь указанными свойствами не
обладает.
178
ЛИТЕРАТУРА
МОНОГРАФИИ
1. Андерсон Т. Введение в многомерный статистический
анализ. Пер. с англ., под ред. Б. В. Гнеденко. Физматгиз,
1963, гл. 2, 3.
2. Ван дер Варден Б. Л. Математическая статистика.
Пер. с немецкого, под ред. Н. В. Смирнова. Изд-во иностран¬
ной литературы, 1960, гл. VIII.
3. Дунин-Барковский И. В., Смирнов Н. В.
Курс теории вероятностей и математической статистики.
Изд-во «Наука», 1965, гл. VI, VII.
4. Г н е д е н к о Б. В. Курс теории вероятностей. Физматгиз,
1961, гл. И.
5. К р а м е р Г. Математические методы статистики. Пер.
с англ., цод ред. А. Н. Колмогорова. Изд-во иностранной лите¬
ратуры, 1948, ч. III.
6. Л е м а н Э. Проверка статистических гипотез. Пер. с англ.
Ю. В. Прохорова. Изд-во «Наука», 1964, гл. 1.
7. Л и н н и к Ю. В. Метод наименьших квадратов и основы
теории обработки наблюдений. Физматгиз, 1958, гл. 3, 4.
8. Линник Ю. В. Статистические задачи с мешающими пара¬
метрами. Изд-во «Наука», 1966, гл. 2, 3, 7.
9. Миддлтон Д. Введение в статистическую теорию связи.
Пер. с англ., под ред. Б. Р. Левина. Изд-во «Советское радио»,
1962, гл. 21.
10. X е л ь с т р о м К. Статистическая теория обнаружения сиг¬
налов. Пер. с англ., под ред. Ю. Б. Кобзарева. Изд-во ино¬
странной литературы, 1963, гл. 7.
СТАТЬИ
11. Большее Л. Н. Уточнение неравенства Крамера — Рао.
«Теория вероятностей и ее применения», 1961, вып. 3.
12. Б о л ь ш е в Л. Н. Асимптотически пирсоновские преобразо¬
вания. «Теория вероятностей и ее применения», 1963, вып. 2.
13. Дынкин Е. Б. Необходимые и достаточные статистики для
семейства распределений вероятностей. «Успехи математических
наук», 1951, вып. 1.
14. Г и х м а н И. И. Об одном непараметрическом критерии одно¬
родности k выборок. «Теория вероятностей и ее применения»,
1957, вып. 3.
15. Н а д а р а я Э. Я. Некоторые новые оценки функций распре¬
деления. «Теория вероятностей и ее применения», 1964, вып. 3.
16. Daniels Н. Е. The asimptotic efficiency of a maximum likeli¬
hood estimator. Proc. 4 Berkl. Symp. on Math. Stat. and Probab.,
Univ. Calif. Press, 1961. (Русский перевод в журнале «Матема¬
тика». Изд-во «Мир», 1965, 9 : 1).
17. Р а г z е n Е. On estimation of a probability density function
and mode. Ann. Math. Statist., 1962, v. 33, № 3.
12* 179
глава СТАТИСТИКА СЛУЧАЙНЫХ ПРОЦЕССОВ
ТРЕТЬЯ
3.1. ДВА СПОСОБА ПРЕДСТАВЛЕНИЯ
СЛУЧАЙНОГО ПРОЦЕССА
Существуют два различных подхода к определению
случайного процесса (см. § 4.1.2 в первой книге). Если для
характеристики вероятностных свойств случайного процес¬
са £ (/) ограничиваются конечномерной функцией распре¬
деления Fn (хи . . ., xN, 11, . . ., tN), то случайный про¬
цесс, по существу, отождествляется с совокупностью N
случайных величин \ (/А), . . ., \N = \ (tN), которые
в общем представляют совокупность зависимых случай¬
ных величин. Выбор моментов ti9 . . ., tN произвольный.
Например, если задан интервал наблюдения (-Т, Т), то
можно положить th = —' Т, k = 1, . . ., N. Результат
наблюдения над случайным процессом представляется в рас¬
смотренном случае выборкой из многомерного распределе¬
ния Fn (см. § 2.7.1).
Другой подход, сохраняющий всю вероятностную инфор¬
мацию о случайном процессе, состоит в рассмотрении сово¬
купности его реализаций как функций времени t. Вероят¬
ностной мерой, заданной на множестве реализаций, являет¬
ся характеристический функционал случайного процесса
[см. (4.9) в первой книге]
оо
0[t)(t)] = mi |exp[i ^ V (t) КО л]| ,
— оо
где v (t) — некоторая непрерывная функция и интеграл
сходится в среднеквадратическом.
При таком подходе результат наблюдения над случайным
процессом представляется конечным числом его усеченных
180
реализаций
tW /А _ J ^<А) Д=. у /1
( ) \ О, |/|>Т, ’
Во многих случаях для получения статистических выво¬
дов о характеристиках случайного процесса целесообразно
(когда это оказывается возможным) представить случайный
процесс в виде суммы квазидетерминированных случай¬
ных процессов (см. стр. 171 первой книги). Случайные
параметры (не зависящие от времени) слагаемых называют
иногда координатами случайного процесса. Выбор этих
координат не однозначен и зависит от конкретных условий
задачи.
Рассматривают два вида координат, широко используе¬
мых в технических приложениях теории случайных про¬
цессов: 1) отсчетные значения процесса с ограниченным
энергетическим спектром, 2) некоррелированные коорди¬
наты.
3.2. ОТСЧЕТ В ДИСКРЕТНЫЕ МОМЕНТЫ
ВРЕМЕНИ
3.2.1. Теорема Котельникова (прямая). Рассмотрим
детерминированную функцию / (/), спектр (преобразование
Фурье) Z (со) которой непрерывный и ограничен полосой
частот (—А, А), т. е. представляет непрерывную финиш-
ную функцию частоты, равную нулю при | со |>Д:
А
2STI (зл)
-А
Финитную функцию Z (со) можно представить рядом Фурье
на интервале ( — й, Q) при условии, что Й>Д:
00 2тп
Z(co)= ^ 2Й “• (3.2)
П— — 00
где
Q 2л in
cn = 2Q § Z(iо)е 2й “dco =
— fi
1 ^ 2я*п л
-А
181
Ряд в правой части (3.2) является периодической функцией
частоты с периодом 2Q, которая совпадает с Z (и) лишь
на основном интервале периодичности (— Q, Q) и не сов¬
падает на остальных (±6Q, ± {k + 1) Q), fe>l. Под¬
ставляя (3.2) в (3.1) и учитывая (3.2'), получим
Выражение (3.3) представляет интерполяционную фор¬
мулу, при помощи которой можно по отсчетам значений
функции / в дискретные моменты времени с частотой 2Q >
> 2А восстановить точно все значения / (t) на оси времени
от — оо до оо.
При минимально возможной частоте отбора 2Q = 2А
Формула (3.4) составляет содержание известной теоремы
В. А. Котельникова, согласно которой детерминированная
функция / (t), имеющая ограниченный спектр, полностью
определяется своими дискретными значениями в точ-
2я
ках, расположенных на расстоянии друг относительно
друга *), где А — максимальная частота (круговая) в спек¬
тре функции / (t).
Из (3.4) следует, что / (t) получается суперпозицией
последовательности функций вида s-^-A*, каждая из кото¬
рых получается смещением по оси времени относительно
предыдущей на величину интервала отсчета и умножением
на отсчетное значение /. Легко видеть, что каждая функция
максимум, равный единице, и во всех остальных точках
отсчета t = k^ti (ft —целое, включая нуль), она
равна нулю.
Titi
*) Заметим что в правой части (3.4) вместо — можно под-
Titi
ставить > гДе *0“ любое фиксированное число (см. задачу 3.4).
182
Заметим, что из ограниченности спектра функции / (t)
следует, что сама функция / (t) не может быть финитной,
т. е. нельзя указать интервал значений (даже для очень
больших t), на котором функция тождественно равна
нулю.
Если функция f(t) задана лишь на конечном интервале
времени (О, Г), на котором укладывается N отсчетных
Nn ^ гг, ^ (М+\)л
интервалов, т. е. — < Т < -—^— , то, доопределив эту
функцию вне интервала (О, Т) таким образом, чтобы при
л<0 и ti>N отсчетные значения / (~-^) = 0, получим
для этого случая из (3.4)
где [ ] означает наибольшую целую часть числа, заклю¬
ченного в квадратных скобках. При N > 1 можно с малой
По отсчетным значениям функции f(t) можно также
определить величину интеграла от ее квадрата
в предположении, что величина Е ограничена. Подставляя
(3.4) в (3.6) и учитывая, что система функций
(3.5)
жт 2ДГ
погрешностью полагать N = —z—
оо
(3.6)
— оо
ортогональна на интервале (— оо, сю) относительно веса
ф {t) = J, а норма функций равна (см. приложение IV
183
в первой книге), получаем
оо оо оо
е= I p(t)dt= 2 2 /(ir)/(ir)x
71= — оо ft= — оо
X
— оо
~ sin [a (<-f-)]sin Гд (f-ffi]
=т2/2(х)- <3*7)
П= —оо
Если отсчетные значения / равны нулю при п < О
и п> N, то при N > 1
АТ
Я
£=т2 /2(^) • (з-7')
п=0
Отметим также, что формулы (3.5) и (3.7') можно
использовать как приближенные формулы для случая,
когда величина
АТ
п— О
пренебрежимо мала.
Наконец, укажем, что при дополнительных ограниче¬
ниях формула (3.4) верна и в тех случаях, когда спектр
функции / (t) состоит из непрерывной части, занимающей
ограниченную полосу частот, и дискретной, представляю¬
щей сумму дельта-функций (см. § 4.2.5 и 4.2.7 в первой
книге):
Z (со) = ZH (со) + а08 (со) -|- 53 (® “Ь + б (® — ®ь)]• (3.8)
k
Из (3.8) следует, что функция f(t) содержит отличающую¬
ся от нуля постоянную составляющую а0 и что эта функция
2я
содержит гармонические составляющие с периодами — .
Поэтому формула Котельникова (3.4) для функций со сцек-
164
тром (3.8) должна быть записана в виде
00 тsin Га it—
/«)-<*- s ВШ-Ч- L,; „//.(3.9)
П=-оо \ Г)
причем Для любого k, так как в противном слу¬
чае ряд в правой части (3.9) становится расходящимся
, пп
при t = -T .
В качестве примера использования теоремы Котельни¬
кова приведем интерполяционную формулу для корреля¬
ционной функции В (т) стационарного в широком смысле
случайного процесса, энергетический спектр F (со) кото¬
рого непрерывный и тождественно равен нулю при | со | >
> А:
sin Га (т-^П
nw-SBfi. А ■ (310)
—- л г)
(В соответствии с (3.3) в правой части (3.10) вместо А можно
подставить произвольное Q > А.) Используя теорему Хин-
чина — Винера (см. § 4.2.3 в первой книге) и учитывая,
что
ОО ittnG)
sin Г А (т—^)]
*- ■ ' -* е-*“т dx =
/ пп \
(т—Л")
Я - ■ д
те д
I 1/Л (3.11)
| © | < А,
0, I со I > А,
получим из (3.10) связь между энергетическим спектром
с ограниченной полосой и отсчетными значениями корреля¬
ционной функции
п 00 , гяпо)
^и=-х- 2 fi(ir)e А =
п=— оо
= ^.[Б(0) + 22 B(iHL)cosi^], |со|<Д. (3.12)
n—i
Для белого шума, прошедшего через идеальный фильтр
нижних частот (см. стр*. 288 в первой книге), корреляцион-
185
ная функция равна нулю в точках т = -д- при п > 0.
В формулах (ЗЛО) и (3.12) при этом остаются только пер¬
вые слагаемые, и они переходят в формулы (5.44) и (5.45)
первой книги (при со0 = 0). Из (3.10) и (3.12) также сле¬
дует, что стационарный в широком смысле случайный
процесс, корреляционная функция которого обращается
пп
в нуль при т = —, эквивалентен по энергетическим
характеристикам идеально профильтрованному белому
шуму.
3.2.2. Теорема Котельникова (обратная). Рассмотрим
теперь непрерывную функцию /(/), тождественно равную
т
нулю при I t\ >~2 •
Спектр (преобразование Фурье) этой функции равен
JL
2
Z(©) = J / (t) e~iat dt. (3.13)
Однако непрерывный спектр Z(со) функции /(/), ограничен-
т
ной во времени интервалом | /1 < -у , однозначно опреде¬
ляется заданием спектральных интенсивностей на частотах
2зт&
cofc = —ут-, где k — любое целое число, включая нуль. Дей-
т
ствительно, разлагая на интервале 11 | < -у финитную функ¬
цию f(t) в ряд Фурье, получим*)
оо 2я in
f(t)= S апе * , (3.14)
П— — оо
где
_т
1 5 2я*П * 1 , г» .
= Т I fW* Т * = TZ(irL)- <3.14')
_т
2
*) Как и в § 3.2.1, можно получить более общее соотношение,
содержащее избыточное число отсчетных значений Z (со), разлагая
Т
/ (t) в ряд Фурье на интервале |/| ПРИ Условии> что > Т-
186
Если подставить (3.14) в (3.13) и использовать (3.14'),
то после простейших вычислений получим
00 „ sin —ля)
Z (®) = 2 Z{^-)—^ 1. (3.15)
П— — ОО 2
Свойство спектра ограниченной во времени функции, выра¬
женное формулой (3.15), аналогично свойству функции
с ограниченным спектром, указываемому теоремой Котель¬
никова [см. (3.4)].
Заметим, что разложение финитной на интервале
(Т Т \
—2", -g-J функции /(0 в ряд Фурье (3.14) определяет
/ (/) через значения ее спектра Z на частотах, рас-
2я
положенных на расстоянии -у- друг относительно друга.
Нетрудно найти и аналог формулы (3.7):
т_
2 оо
Е= I р»=-н- I
_ Т_ -оо
2
=т £ И-тЧГ <з1б>
П— — оо
или с учетом (3.14')
оо
-£-= 2 а«> (з-16')
П= —оо
как и должно быть в соответствии с теоремой Парсеваля
(см., например, [8]).
В качестве примера использования обратной теоремы
Котельникова приведем интерполяционную формулу для
непрерывного энергетического спектра F (со) стационар¬
ного в широком смысле случайного процесса, корреляцион¬
ная функция В (т) которого тождественно равна нулю
при | т| >т0:
Используя теорему Хинчина — Винера (см. § 4.2.3 в пер¬
вой книге) и учитывая (3.11), получим из (3.17) связь
между финитной корреляционной функцией и отсчетными
значениями энергетического спектра:
оо гяпт
П= — оо
оо
=TTr[f<0>+22f(v)cosi?]' 14<х- (3',8)
71=1
3.2.3. Распространение теоремы Котельникова на случай¬
ные процессы. Пусть £ (t) — непрерывный в среднеквадра¬
тическом и стационарный в широком смысле случайный
процесс, энергетический спектр F% (со) которого непре¬
рывный и тождественно равен нулю вне полосы частот
| со | <С Д. Покажем, что для указанного процесса выпол¬
няется равенство (в среднеквадратическом смысле, см.
§ 3.5 в первой книге)
sin Г A
t(0- 2 I т- »Д ■ (3'|9)
Д (t-—)
Равенство (3.19), обобщающее теорему Котельникова
на случайные процессы, означает, что непрерывный в сред¬
неквадратическом смысле процесс с ограниченным энерге¬
тическим спектром полностью определяется счетным мно¬
жеством случайных величин (координат случайного про¬
цесса)
S» = S(ir)’ « = °-±1-... (3.19')
Случайный процесс при указанных ограничениях пред¬
ставляет сумму квазидетерминированных процессов вида
,1„[д (|-^-)]
4-т) ■
Для доказательства того, что равенство (3.19) справед¬
ливо в среднеквадратическом смысле, следует установить
равенство корреляционных функций процессов, представ-
188
ляющих правую и левую части этого равенства. Имеем
sin Г A (< —
{s
— OO
(-t)
у 5|п[а(, + ,-1г)]
^ \ Д / д (x\ Jtfe \
A^ + t—rj
X
h=— oo
X
r= —OO k—~oo
X
sin [a (f + T—T-)]
я£
Л (« + ,--)
В силу стационарности £ (t) в широком смысле
Ч5(т)Чт)}=Чт <'-*>]•
При этом для произвольных t и т двойная сумма преобра¬
зуется в одиночную*)
Г _ Sin Га (t—^Л1
2 2 'нД •••
Г= — оо k= — оо Alt д- 1
sin ГА (f + т—--г-)! 00
х Л ^JJ - s Mf)^
зтГд (t-^L)l
х a v А ■ (3-20)
л(т-—)
Так как энергетический спектр Ft (©) ограничен поло¬
сой частот | (о |<Д, то в соответствии с (3.10) сумма
в правой части (3.20) совпадает с корреляционной функци-
ей Д| (т).
*) Это непосредственно следует из формулы (6) задачи 3.3.
189
Используя замечания, приведенные в 3.2.1, можно
несколько расширить условия применимости форму¬
лы (3.19). Прежде всего эта формула справедлива при заме¬
не А на любое £2>Д [см. (3.3)], а также при замене
в правой части ^на t0 + ^ (задача 3.4). Кроме того,
можно снять ограничение о непрерывности энергетического
спектра процесса £ (t) и предположить, что спектр содер¬
жит дискретную часть (сумму дельта-функций) на часто¬
тах соь, если только А ф ясо*. Наконец, возможно обобще¬
ние (3.19) на узкополосные случайные процессы (см. за¬
дачу 3.1).
Координаты случайного процесса \ (t), выбираемые
согласно теореме Котельникова, являются, вообще говоря,
коррелированными случайными величинами. Кроме того,
использование этих координат ограничено условиями
стационарности в широком смысле и финитности энерге¬
тического спектра процесса. Переходим к изучению более
универсального способа задания координат случайного
процесса, свободного от указанных ограничений.
3.3. ОРТОГОНАЛЬНОЕ РАЗЛОЖЕНИЕ
СЛУЧАЙНОГО ПРОЦЕССА
3.3.1. Ортогональное разложение корреляционной функ¬
ции. Из рассмотрения общих свойств корреляционных
функций случайных процессов следует, что любая корре¬
ляционная функция В (/, т) является симметричным ядром
положительно полуопределенной квадратичной формы (см.
§ 4.2 в первой книге), т. е. для любых я, ии • • ип,
п п
S S B(tlt tj) UiUj>0 (3.21)
i=l j=l
T
или для любой функции f (t) при условии ^ f2 (t) dt < OO
—T
T T
I I B(t, y)f(t)f(y)dtdy> 0. (3.2Г)
—T — T
Из (3.21) при (3.2Г) согласно формуле (9) приложения VI
(в первой книге) непосредственно следует возможность
представления корреляционной функции случайного про-
190
цесса в виде следующего ряда:
Bit, у) = ]£ (3.22)
ft=i
где Фа (0 и А* — собственные функции (решения) и соб¬
ственные числа однородного линейного интегрального урав¬
нения
т
Ф(t) = k ^ B(t, y)(p(y)dy, |t\<T. (3.23)
-т
Собственные функции фй(/) образуют систему ортогональ¬
ных нормированных функций, т. е.
р ( О, k =7^= /,
I Фл(0фЛ0Л = | j’ (3.23')
Умножая обе части (3.23) на ф (/), интегрируя затем по t
в пределах от — Т до Г и учитывая (3.21), (3.23'), убеждаем¬
ся, что собственные числа >• 0. Кроме того, если корре¬
ляционная функция В (t, у) положительно определенная
(т. е. в (3.21) и (3.21') исключается равенство нулю), то
можно показать, что совокупность собственных функций
полная. Это означает, что на интервале | t | < Т не суще¬
ствует более ни одной функции t|> (t), которая была бы
ортогональна всем фь (/).
Для корреляционной функции В (т) стационарного
в широком смысле случайного процесса разложение (3.22)
может быть переписано в виде
B(t-y) = 2 ф|-,(xj*(у) > (3-24)
ft=i
которое при t = у переходит в
5(°)=2 4г-- <3-24')
h=l
Из (3.24') интегрированием обеих частей по t с учетом
(3.23') получаем
оо
2-^=2 ™<°),
А=1
191
т. е. сумма величин, обратных собственным числам, равна
средней энергии процесса на интервале (— Г, Т).
Нетрудно показать, что в общем случае сумма обрат¬
ных степеней собственных чисел может быть определена
по формуле (см. (3.32) в первой книге)
оо т
2 -т^г= I в(п)(и, u)du, (3.24")
*=i h -т
где £(п) (и, v) — n-кратная итерация корреляционной функ¬
ции B(t, у), т. е.
т т
Bin)(u, v)= J ... I В (и, U)B{t 1, tz) ...
-т -т
... В (tn-i, v) dtt ... dtn-i, n> 2,
ВЛ) (и, v) = В (и, v).
Заметим, что для корреляционной функции белого шума
с единичной интенсивностью В (t, у) = 6 (t — у) и из (3.23)
следует, что все собственные числа одинаковы, т. е. % = 1.
Тогда в соответствии с (3.22)
b(f — y)= 2 Ф*(/)фл(</). (3.24*)
ь=1
где {ф* (0} — любая система ортонормированных функций.
3.2.2. Некоррелированные координаты случайного про¬
цесса. Рассмотрим непрерывный в среднеквадратическом
смысле случайный процесс £ (t) с нулевым средним и кор¬
реляционной функцией В (t, у). Выберем в качестве коор¬
динат случайного процесса | (t) случайные величины
(интеграл в среднеквадратическом)
т
ll(t)<tk(t)dt, (3.25)
-т
где фь (t) и kh — собственные функции и собственные числа
интегрального уравнения (3.23). Эти случайные величины
имеют, очевидно, нулевые средние. Кроме того, они попар¬
но некоррелированны и имеют одинаковые, равные еди-
192
нице, дисперсии, так как в силу (3.23) и (3.23')
т т
щ {Ыт} = Vhhxm ^ § В (/, у) (рь (0 cph (у) dt dy =
-т -т
=/¥ |<р* <») ф» <») «1»={(з.2б)
Покажем теперь, что при любом ty принадлежащем интер¬
валу (— Ту Г), справедливо в среднеквадратическом смыс¬
ле равенство
6(/)=2&-^В, (3.27)
т. е. что
ыо=2 <3-27')
сходится при N—> оо в среднеквадратическом к l(t).
Находим с учетом (3.25), (3.26) и (3.27')
N Т
щ {£ (о ^ (0}=я*1 {I (о 2§ £ (“)45,4 (“)du}=
ft=i -т
IV Т N
= 2 ^ в (Л «) Фь (И) Фй (0 du = yi
<А (0
** ’
ft=i -Т fc=i
<М1И0>- 2 2"•■№>=2 тг1'
ft= 1 71-— 1 ft— 1
откуда следует:
mi ш (о - s* m=др, о-2 4r • (3-28)
ft=i
Из (3.22) при t = y получаем
оо
V j
Я(*. 0=s4r-* (3-29)
Л=1
13-197 193
и, следовательно, при N оо правая часть (3.28) стремит¬
ся к нулю, т. е. lN (t) сходится в среднеквадратическом
к I ДО-
Таким образом, доказана возможность представления
случайного процесса суммой квазидетерминированных слу¬
чайных процессов вида ^где фь(/) и Л* опреде-
yXk
ляются корреляционной функцией процесса, а ^ — случай¬
ные величины, получаемые «взвешенным» интегрированием
случайного процесса [см. (3.25)].
Если среднее значение £ (t) отлично от нуля и равно
а (t), то разложение (3.27) следует использовать для откло¬
нения случайного процесса от его среднего, и тогда
оо
|(0 = а(/)+2^^=-. \*\<Т, (3.30)
причем ядром интегрального уравнения (3.23) теперь слу¬
жит не В (t, у), а В (t, у) — a (t)a (у).
Заметим, что детерминированную функцию а (t) на ин¬
тервале | / | < Т также можно представить в виде орто¬
гонального разложения
а(/)=2а*Я*&, |*|<7\
ФА (0
“ \Ч — uh
k—i
где
(3.31)
Oh = VK. } a(u)<pk(u)du, (3.32)
-т
причем фд (t) и А* — любая совокупность собственных
функций и чисел *). В справедливости (3.31) легко убедить¬
ся, подставив в него (3.32) и использовав (3.24").
Соединяя (3.30) с (3.31), можно ортогональное разло¬
жение случайного процесса £ (t) с отличным от нуля сред¬
ним представить в виде
оо
6(0= 2fo+fl0-^- (3.33)
*) Предполагается также, что ^ a2 (t) -—-<оо.
-т к=1
194
Отметим, что возможно получить разложение случай¬
ного процесса по произвольной совокупности ортогональ¬
ных детерминированных функций *), но при этом коор¬
динаты процесса будут, вообще говоря, коррелированы.
Только при специальном выборе этих функций, согласо¬
ванных с корреляционными свойствами процесса [см.
(3.23)], координаты становятся некоррелированными. Если
к тому же процесс £ (0 нормальный, то эти некоррелиро¬
ванные координаты становятся независимыми случайными
величинами.
Основным препятствием к практическому использова¬
нию ортогонального разложения случайного процесса (3.27)
или (3.30) (т. е. представления его при помощи счетного
множества случайных величин) является отыскание точных
решений интегрального уравнения (3.23). Лишь для ста¬
ционарных процессов с дробно-рациональными энергети¬
ческими спектрами нахождение этих решений может быть
сведено к интегрированию линейного дифференциального
уравнения (см., например, приложение 2 в [3]).
3.3.3. Ортогональное разложение комплексного случай¬
ного процесса. В некоторых задачах потребуется обобщение
указанного ортогонального разложения на комплексный
случайный процесс (см. § 4.7.1 в первой книге)
С(0 = 6(/Жл(0.
Аналогично (3.22) корреляционную функцию процесса £ (t)
можно представить в виде
Вс (t, у) = т, {£ (0 £ (у)} = 2 , (з.з4)
k=i
где черта сверху указывает на комплексно-сопряженную
величину, а <р*(/) и ^ — собственные функции и собствен¬
ные числа интегрального уравнения (3.23) с ядром В^(/, у).
*) Например, гармонических функций у ^ cos kw0t, Vh
... 2 л
X sin лсо0/, wo = “jr-; в этом случае разложение называют рядом
Фурье (в среднеквадратическом).
13* 195
Тогда, вводя некоррелированные комплексные коор¬
динаты
1
= lt(t)^¥)dt, (3.35)
-т
m1{£kQ = ( °' к фт' (3.35')
[ 1, k = m,
и сохраняя предположение о нулевом среднем, приходим
к следующему ортогональному разложению процесса £(/):
оо
(з.зб)
v%h
Если среднее as (t) процесса £ (/) отлично от нуля, то ана¬
логично (3.33) имеем
£(0= 2 (£* + «*) W- <3-37)
k=1
или
0*1 = 1/^ ^ а* (^) ф/j (t) dt. (3.38)
-г
3.3.4. Случай белого шума, прошедшего идеальный
фильтр. В качестве примера, иллюстрирующего материал
§ 3.3.2, рассмотрим стационарный (в широком смысле)
случайный процесс на выходе идеального фильтра ниж¬
них частот, на вход которого действует белый шум с мощ¬
ностью N0 на единицу полосы (см. стр. 288 первой книги).
Энергетический спектр этого процесса равен
F( со)
( 2N0, I со | < Д,
{ о, Н>4, <3-39>
а корреляционная функция
В (t — у) = В (0) Si^)AA . В(0) = (3.39')
Собственными функциями и собственными числами инте¬
грального уравнения (3.23) с ядром (3.39') являются сово¬
купность ортонормированных функций [см. формулу (6)
196
задачи 3.3]
sin д (t —-тт-)
ф>(о=/4- Д(,_Ц ’~°°</<00’ (3-40)
и числа
= (3.40')
Некоррелированными координатами процесса являются
в соответствии с (3.25) случайные величины
Г—— ~ sin Г А “т-)1
1lw [i;_A (3-41)
V А /
а его ортогональное разложение, имеющее вид
r—jr— °° sin Га (t —j "I
iV)=/ik 2 Ь , rtyJ
A —zr)
k= — oo
(3.4Г)
представляет ряд Котельникова (см. (3.19)), в котором
ь-/5((т)'
Заметим, что для ортогонального разложения белого
шума £ (t) со спектральной интенсивностью N0 может быть
использована любая система ортонормированных функций
{ф/ЛО} (см* (3.24'")). Некоррелированные координаты белого
шума равны
оо
= I (3.42)
3.4. ХАРАКТЕРИСТИКИ НАБЛЮДАЕМЫХ
КООРДИНАТ СЛУЧАЙНОГО ПРОЦЕССА
3.4.1. Функция правдоподобия наблюдаемых координат.
Предположим, что случайный процесс £ (t) задается своими
координатами, т. е. конечной или счетной совокупностью
случайных величин £*. Если задана длительность интер¬
вала наблюдения, то результат одного эксперимента может
197
быть представлен одним элементом выборки из многомер¬
ного распределения совокупности lN. Представ¬
ление результатов наблюдения может быть различным
в зависимости от принятых координат. Так, при наблюде¬
нии на интервале (—7\ Т) через равные промежутки вре-
2 Т
мени -jj- элементом выборки являются N чисел х^ =
— l(i) (tk)y где tk = — ~N- Т, k = 1, . . N. Если выбор
должен производиться из совокупности некоррелирован¬
ных случайных величин (3.25), то наблюдаемыми коорди¬
натами будут величины, полученные интегрированием с раз¬
личными весами (0 реализации £<4> (t) на задан¬
ном интервале, т. е.
т
xik = V>Z I Еш(0Фk(t)dt, k=\, ...,N,
-т
где в соответствии с изложенным выше Фй (t) и опреде¬
ляются корреляционной функцией процесса £ (t).
При повторных независимых наблюдениях координат
случайного процесса получают последовательно элементы
выборки Хгл, . . ., xnk', k = 1, . . ., N. Совместное распре¬
деление выборочных значений — функция правдоподобия
наблюдаемых координат — представляет произведение мно¬
гомерных функций распределения элементов выборки
[см. (2.196)]
П
^ • • • » Xjin) [| WN (jfftj) . . • , XkN) • (3.43)
1
Часто при достаточно большом N удается ограничить¬
ся выборкой размером п = 1. Заметим, что предел
WN (xki, . . ., XkN) при N -+ оо не существует.
3.4.2. Распределение наблюдаемых координат нормаль¬
ного случайного процесса. Получим выражения функций
правдоподобия наблюдаемых координат нормального слу¬
чайного процесса, которые будут постоянно использовать¬
ся во всем дальнейшем изложении.
При наблюдении через равные промежутки времени
совместное распределение N наблюдаемых координат, за¬
данное в выборочном пространстве, представляет N-мерную
198
нормальную функцию распределения (см. (4.159) в пер¬
вой книге)
^)-(to)W„l...J>V5x
<3-44)
i=l ft=i
где ak = a(tk), ok = a (f*) — среднее и среднеквадратиче¬
ское значения, а Ь и DiA — детерминант и алгебраические
дополнения матрицы коэффициентов корреляции.
Если в качестве координат выбраны случайные вели¬
чины, определенные согласно (3.25), то выражение функции
правдоподобия существенно упрощается. Действительно,
если £ (t) — нормальный случайный процесс с нулевым
средним, то его координаты (3.25) представляют нормаль¬
ные некоррелированные, а следовательно, и независимые
случайные величины. Поэтому их многомерное распреде¬
ление представляет произведение одномерных нормальных
функций распределения случайных величин £*, имеющих
нулевое среднее и единичную дисперсию, т. е.
N
xn) = ехр { - -у ^ Д} • (3-45)
(М) у. h=i J
Для процесса с ненулевым средним a (t) в качестве наблю¬
даемых координат принимаем в соответствии с (3.33)
величину
т
Ik + ah = Vh’ I [6 (t) + a (/)] Фй (0 dt, (3.46)
-T
и тогда
N
WN(xu ..., xN) = -'jvTi exp{-y2 (Xk - a*)2} • (3.47)
В том случае, когда имеется n независимых наблюдений
реализации на заданном интервале (—Т, Т) функции
правдоподобия могут быть записаны в виде:
199
для периодического отбора значений нормального слу¬
чайного процесса
L>X " (2я)""г I/O5(о, ... «»)“ Х
2 2 , (3.48)
r= 1 t=i k=i
для некоррелированных координат
L (Хц, . . . , Xjin) = (2я)П/У/2 Х
n ЛГ
Xexp{-i-2 2 —а»)2} • (3.49)
r=l ft=i
При n = 1 формулы (3.48) и (3.49) переходят в (3.44)
и (3.47) соответственно.
3.4.3. Отношение правдоподобия и его предельная форма.
Как было показано в первой главе, правила выбора реше¬
ния при проверке статистических гипотез о параметрах
распределения случайной величины основаны (для приня¬
тых критериев качества) на вычислении отношения прав¬
доподобия и сравнении его с порогом. Очевидно, что при
представлении результатов наблюдения над случайным
процессом дискретной выборкой указанные в первой главе
правила решения могут быть непосредственно использова¬
ны для проверки статистических гипотез относительно
параметров распределения случайного процесса. Так, на¬
пример, если WN [xi, . . ., xN | s0 (/)] и WN Ulf . . .
. . ., xN | Si (/)] — функции правдоподобия выборки (n =
= 1) при гипотезах о том, что среднее равно s0 (t) (гипо¬
теза Н0) и Si (t) (гипотеза Я4), то правило решения (байесов¬
ское, Неймана — Пирсона, иногда и минимаксное) может
быть записано в виде: принимается решение Ни если для
наблюдаемых координат xlf . . ., xN
l (xt, ..., xN) = w* kj’ _ _ _ ’ xnn j s* > c, (3.50)
где порог с зависит от выбранного критерия качества.
Однако при проверке статистических гипотез о пара¬
метрах случайных процессов, имеющих непрерывные конеч¬
номерные плотности вероятности, можно вместо дискретных
200
выборок Хи •• • •» Xn использовать непрерывно наблюдае¬
мую реализацию х (t) случайного процесса £ (f). Эта воз¬
можность базируется на фундаментальной теореме, соглас¬
но которой при определенных условиях существует конеч¬
ный предел по вероятности при N-+ оо отношения правдо¬
подобия / (хи • • •, xN) независимо от того, принадлежит
ли совокупность величин к . . xN распределению
WN (xit . . ., xN | H0) или WN (Xj xN | Ht), т. e.
й,,(x '";i = ■1 <'»•
(3.51)
причем предел (3.51) отличен от нуля. Этот предел назы¬
вается функционалом отношения правдоподобия наблюдае¬
мой выборки. Следуя Гренандеру [2], случай, для кото¬
рого существует функционал отношения правдоподобия
/ [х (/)] > 0, называют регулярным.
При других условиях функционал отношения правдо¬
подобия неограниченно возрастает или обращается в нуль,
что соответствует вырожденному (или сингулярному) слу¬
чаю.
Можно показать, что в регулярном случае при любом
конечном времени наблюдения Т правило, использующее
функционал отношения правдоподобия, приводит неиз¬
бежно к отличным от нуля вероятностям ошибочных реше¬
ний. Напротив, в сингулярном случае оказываются воз¬
можными достоверные безошибочные решения при любом
конечном Т > 0.
Как и в случае дискретной выборки, будет использован
не сам функционал отношения правдоподобия, а его лога¬
рифм In I [х (<)]. Тогда в регулярном случае | In I [х (*)] |
ограничен, а в сингулярном — не ограничен.
Доказательство упомянутой выше теоремы в общем
виде и отмеченного следствия этой теоремы требует рас¬
ширения математического аппарата и выходит за рамки
этой книги (отсылаем читателя к [2, 4]). В следующих
разделах эти положения будут проиллюстрированы на при¬
мере нормального случайного процесса.
3.4.4. Функционал отношения правдоподобия нормаль¬
ного случайного процесса. Пусть £ (/) — нормальный слу¬
чайный процесс с нулевым средним и известной корреля¬
ционной функцией В (ty у). Этот процесс суммируется
201
в одном случае с детерминированным процессом s0 (О*
а в другом — с Si (/). Запишем логарифм отношения прав¬
доподобия для дискретной выборки хи . . ., xNi получен¬
ной на интервале (—7", Т) через равные промежутки вре¬
мени из реализации х (t) процесса £ (t) + s0 (/) или £ (/)
+ si (t):
N N
In / (X\, . . ., X,y) = 2q~ S 2 Sl^
t=l j= 1
N N
— (*i — So/) (лгу — Soy)] = "20- 2 2 D‘j l(So. — sl0 XJ +
i=l i=l
+ (Soj — Sa) Xi + (SuSu — So.So,)], (3.52)
где
2k —N
Xk = x(th); s0h = s0(tk)\ slk = sl(tk)\ tk = —-fi—T\
D и Dij — детерминант и алгебраическое дополнение
элемента В (tif tj) в корреляционной матрице М =
= || В (tiy tj) ||, причем предполагается, что матрица М невы¬
рожденная, т. е. D > 0, и для любого N существует обрат¬
ная матрица (элементами которой являются числа .
Найдем предел (3.52) при N оо, т. е. логарифм функ¬
ционала отношения правдоподобия. Рассмотрим сначала
билинейную форму
N N в
Кл-=2 2 ~[T*yj (3-53)
i=l j=t
и положим
N п
V, = 21-g-y„ / = (3.54)
г=1
Тогда
N
Kn-'ZVjXj. (3.54')
i=i
Так как -jj- являются элементами матрицы, обратной кор¬
реляционной, то решение системы линейных алгебраиче-
202
ских уравнений (3.&4) может быть представлено в виде
N
Jfc = 2 Я (*i. tj) Vj, i = 1, ..., N. (3.54")
i=i
При N —> oo (или при шах (th+i — tk) 0 на заданном
интервале наблюдения) билинейная форма переходит
в интегральную форму (см. приложение VI в первой книге)
т
V(t)x(t)dt, (3.55)
-т
а система линейных уравнений (3.54")-—в линейное неодно¬
родное интегральное уравнение
т
y(t)=J В (/, и) V (и) du, 111 < Т, (3.56)
-Г
из которого по заданным у (t) и В (t, и) должно быть най¬
дено неизвестное V (t), входящее в выражение (3.55),
Используя (3.55) и (3.56), можно перейти в (3.52) к пре¬
делу при N -+ оо и получить следующее выражение лога¬
рифма функционала отношения правдоподобия, к которому
по вероятности сходится логарифм отношения правдоподо¬
бия In / (*ь . . ., xN):
т
In I [х (f)] = ^ V (t) х (t) dt +
-T
т
+T I lVo ® So W W s‘ Wl dt, (3.57)
-T
где V (t), Vi(t), V0 (t) — решения следующих неоднородных
линейных интегральных уравнений (везде |*|<Г):
т
^ B(t, и) V (и) du = Si (t) — s0 (/), (3.58)
-т
т
^ В (t, и) Vi (и) du = Si (/), (3.59)
-т
т
^ В(/, и) V0 (и) du = s0 (t). (3.59 )
-т
203
Сравнение (3.58) с (3.59) и (3.59') показывает, что
V(0 = Vl(0_Vo(0. (3.60)
Далее, умножая обе части (3.59) на V0(0> а (3.59') —
на Vi(t) и интегрируя по t в пределах от —Т до Г,
получим
т т
J Si(t)V0(t)dt= § s0(t)Vt (t)dt. (3.60')
— T -т
Используя (3.60) и (3.60'), нетрудно формулу (3.57)
привести к виду
т
In l[x(t)]= J V (t) [л: (0 -50 ^Ц—1 {t)- ] dt. (3.61)
-т
Выражение (3.61) логарифма функционала отношения
правдоподобия можно получить также предельным пере¬
ходом при N -+ оо в логарифме отношения правдоподобия
для N наблюдаемых независимых координат. Используя
(3.47), получим
N
In / (*!, . . ., XN) = — J 2 — bh)2 — (Xh — Cthf] =
k=l
N N
=т 2 №-**) + 2 ** (P* - <3-62)
k=i k=i
где
т
xk = Vxh l X(t)<ph(t)df, (3.63)
-T
T
ak = Vh § s0(i)ffh{t)dt-, (3.64)
-Г
T
bh = Vh, l ^(ОфПО^; (3.64')
-T
Xh и (t) — собственные числа и собственные функции
однородного линейного интегрального уравнения (3.23).
204
Обозначим
N
Vx (0 = 2 V** ^ - а'<) т* (*)• (3-65)
k=i
Тогда выражение (3.62) можно переписать в виде
т
In / (хи ..., Xs) = I VN(t) [дг (t) _ ioW+Ml j dt. (3.66)
— T
Заметим также, что, умножая обе части (3.65) на B(t, и),
интегрируя по t от -Г до Г и используя (3.23), получаем
т N
I В (/, и) Vn (0 Л = 2 Фь (“)• (3-67)
-Т &=1 ^ ft
Если
2 h(ah-bh)2<<x>, (3.68)
k=l
то существует конечный предел
lim VN (t) = V(t)y (3.68')
ЛГ-> оо
причем функция V (t) определяется из неоднородного линей¬
ного интегрального уравнения [см. (3.67) и (3.31)]
Т ' оо
I B(t,u)V(u)du= 2 ^7=-Ф*(0-
-Т ft=i V h
2 ^%=-фь(о=мо-5о(о. и<т\
к-i yXh
которое не отличается от (3.58).
При выполнении условия (3.68) из (3.68') следует, что
логарифм отношения правдоподобия (3.66) сходится по ве¬
роятности к следующему функционалу:
ln/[x(0]= I V(t) [x(f)-M№lIiI]df.
-т
Последнее выражение полностью совпадает с (3.61).
205
Ёслй ряд (йн — Ьк)* расходящийся, то можно
h=1
показать (см., например, [2, § 4.4]), что логарифм отно¬
шения правдоподобия (3.66) при N оо стремится по ве¬
роятности к +оо, если x(t) принадлежит процессу | (t) +
+ Si (/), и стремится к — оо, если х (t) принадлежит про¬
цессу I (0 + So (О-
Таким образом, при выполнении условия (3.68) имеет
место регулярный случай (по терминологии, указанной
в § 3.4.3), а если это условие не выполняется — то син¬
гулярный.
Если имеется не одна, а п наблюдаемых независимых
реализаций х4 (t), . . ., хп (t), то, учитывая (3.48) или
(3.49), можно непосредственно обобщить (3.61), представив
логарифм функционала отношения правдоподобия в виде
In I [Х\ (/), ..., хп (^)]
Т п
= I v (0 { 2 (0 ■- f [s° W + s‘ W]} dt, (3.69)
-T t=l
где V (t) по-прежнему представляет решение интеграль¬
ного уравнения (3.58).
3.4.5. Обобщение на комплексный случайный процесс.
Распространим результаты предыдущего раздела на ком¬
плексный нормальный случайный процесс £ (t) с нулевым
средним и известной корреляционной функцией (/, у)
[см. (3.34)]. Найдем логарифм отношения правдоподобия
для дискретной выборки (размером 2N) некоррелирован¬
ных координат:
г* = xk + iyh, k—l, ..., N, (3.70)
полученных из реализации z (t) — х (t) + iy (t), наблю¬
даемой на интервале (— T, Т), процесса £ (t) = | (t) -f-
+ ir\ (t) или процесса t, (t) + s (t) = 1 (t) + a (t) +
+ i [r| (t) + b (tf)], где s (t) = a (t) + ib (t) — детермини¬
рованная комплексная функция. Из (3.35') следует:
m-i {xkxm} = mi {уиУт} = 0, кфт,
Щ{ХкУт} = 0 ДЛЯ любых k И 7П,
mi {4} = т, =
Введем, кроме того, координаты детерминированного про¬
цесса: Sh — ah + ibh [см. (3.30)].
206
Тогда в силу нормальности случайных величин xh, ут
получим аналогично (3.62)
N
In I (хи уи xN, yN) = 2 [4 + Ук — (Xk — ak)2 — (yh — Ьк)й]
k=i
или в комплексной форме
N
In I (ги ..., 2лг) = 2 [|2ft I2 “ IZh ~ Sh И=
fc=l
N
= 2 2 [Re(shzft)-y|sft|2] , (3.71)
k = i
где
zk = yxh ^ г (/) cpfe (t) dt; (3.72)
-T
т
Sk = Vh. J s(t)^Jt)dt, (3.73)
-T
a А* и ерь (^) — собственные числа и собственные функции
интегрального уравнения (3.23) с ядром B^(t, а).
Обозначим
TV
Ы0 = 2 /WpHO- (3.74)
/i=l
Тогда (3.71) можно переписать следующим образом:
г
In I (zu ..., zN) = 2 Re 5 V* (t) [г (0 - ^] dt. (3.75)
-T
Если
2 Aft | Sft |2 < oo, (3.76)
k=i
то существует предел
limW(0 = V(0,
N~*oo
207
который определяется из неоднородного линейного инте¬
грального уравнения [ср. с (3.58)]
т
§ Bt (t, u)V (и) du — s(t), \t\< Т. (3.77)
-т
Интегральное уравнение (3.77) в комплексной форме
эквивалентно системе двух интегральных уравнений отно¬
сительно действительной VR (t) и мнимой V7 (0 частей V (t):
т т
^ [Bs(t, u) + Br](t, u)]VR(u)du+ § [Bir)(t,u) — Brii(t,u)]x
-т -т
xVj(u)du = Res(t), (3.77')
т
§ [В| (/, и) + Bn (t, ы)] Vj (и) du +
-т
т
+ § [Б„| (t, и) — В|Л (t, и)] VR (и) du = Im s (t). (3.77")
-т
При выполнении условия (3.76) логарифм отношения
правдоподобия (3.75) сходится по вероятности к функ¬
ционалу
т
In I [Z (01 = 2 Re § V (t) [z (0 - \ s (/)] dt. (3.78)
-T
Когда ряд (3.76) расходящийся, логарифм отношения
правдоподобия (3.75) стремится к + оо, если реализация
z (t) принадлежит процессу £ (t) + s (0, и к - оо, если
она принадлежит £ (t).
3.4.6. Нормальный белый шум. Найдем в качестве
примера явное выражение функционала правдоподобия,
когда | (0 представляет нормальный белый шум *) с интен¬
сивностью N0 на единицу полосы (см. § 3.4.4). Так как
корреляционная функция белого шума равна
В (t, u) = N06 (t — u),
то из (3.58) сразу же находим, что
N0V (t) - s4 (0 - s0 (0, (3.79)
*) См. стр. 206—207 в первой книге,
208
а из (3.61) находим искомое выражение для рассматривае¬
мого случая
т
1п/И0]=^ I [Si(t)-S0(t)]x(t)dt-
-т
т
I lsi(0-sS(0]d/. (3.80)
-т
Для корреляционной функции белого шума все собствен¬
ные числа интегрального уравнения (3.23) одинаковы
и равны X = -щ (ср. с (3.24")). Тогда условие (3.68) может
быть переписано в виде
оо
2 (dh — bh)2<°°.
k=l
Но сумма квадратов коэффициентов разложения аъ — bk
на интервале (— Т9 Т) детерминированного процесса
So (0 — s 1 (t) по ортогональным функциям пропорциональ-
т
на (при А, = const) величине ^ § Is0 (t) — Si (/)12 dt.
—т
Таким образом, при ограниченности средней мощности
детерминированного процесса и при условии, что процесс
I (t) представляет белый нормальный шум, в соответствии
с (3.68) всегда будет иметь место регулярный случай.
3.5. ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ
О НОРМАЛЬНОМ СЛУЧАЙНОМ ПРОЦЕССЕ
3.5.1. Предварительное замечание. Переходим к изучению
правил выбора решений о параметрах случайного процесса
и их оценок, имея в виду распространение методов, изло¬
женных в предыдущих главах, со случайных величин
на случайные процессы. Когда результаты наблюдения
над случайным процессом представлены выборкой (ди¬
скретной) конечного размера, все результаты, используе¬
мые для получения статистических выводов относительно
случайных величин, могут быть непосредственно исполь¬
зованы для аналогичных целей при статистическом анализе
случайных процессов. Поэтому задача последующего изло¬
м-197 209
жения в этой главе состоит в том, чтобы показать, каким
образом конструируются статистики, через которые выра¬
жаются правила выбора решений или оценки, если резуль¬
татом наблюдения служит не дискретная выборка, а одна
непрерывная реализация (или несколько таких реализа¬
ций) случайного процесса.
3.5.2. Проверка гипотез о среднем значении нормального
случайного процесса. Начнем с простейшего случая про¬
верки простой гипотезы Я0 о том, что среднее значение
нормального случайного процесса | (t) с известной корре¬
ляционной функцией *) В (ty и) равно s0 (0. против про¬
стой альтернативы Яь что среднее равно s4 (t). Будем пред¬
полагать сначала, что корреляционная функция процесса
положительно определенная и, следовательно, соответ¬
ствующая ей совокупность собственных функций полная
(см. §3.3.1).
Как было показано в первой главе, различные критерии
качества приводят к единообразной процедуре принятия
решения: по наблюденной выборке (дискретной) фиксиро¬
ванного размера вычисляется отношение правдоподобия
и принимается или отвергается гипотеза Я0 в зависимости
от того, превосходит или нет отношение правдоподобия
некоторый порог, величина которого зависит от установ¬
ленного заранее критерия качества и не зависит от раз¬
мера выборки.
Следовательно, для проверки гипотезы о среднем зна¬
чении нормального случайного процесса можно восполь¬
зоваться правилом, указанным в § 1.3, заменив отноше¬
ние правдоподобия функционалом отношения правдоподо¬
бия (3.61), логарифм которого в регулярном случае огра¬
ничен по абсолютной величине. Таким образом, правило
выбора решения формулируется следующим образом: если
для наблюдаемой на интервале (— Т, Т) реализации х (t)
т т
^ V (t) x(t)dt>\nc + j § V(t)[s0(t) + Si(t)]dt = kT, (3.81)
— Т -т
то принимается решение Yi (верна гипотеза Я4), а если
выполняется неравенство, противоположное (3.81), то при¬
нимается решение у0 (отвергается гипотеза Я4). В фор¬
муле (3.81) величина с в зависимости от выбранного крите-
*) Здесь предполагается, что В (t, и) — т\ {[£ (t) —
-т,{1 (ОШЕМ-т, {Б (и)}]}.
210
рйй определяется согласно табл. 1 на стр. 40, а функций
V (t) является решением неоднородного линейного инте¬
грального уравнения (3.58).
Нетрудно найти выражения условных вероятностей
ошибок. Действительно, из (1.11), (1.12) и (3.81) следует:
т
a = P{yi\Hf) = P { I V(t)x(t)dt>kT\s0{t)} , (3.82)
-т
т
p = P{y0|^} = P{ I V(t)x(t)dt<kT\st(t)} . (3.83)
-т
Так как х (t) — реализация нормального случайного
процесса, то интеграл в левой части (3.81) представляет
при заданном Т нормальную случайную величину, причем
средние значения, вторые начальные моменты и дисперсии
этой случайной величины равны:
т г
"*10 = Щ | ^ V (/) х (/) dt I tfoj = § v (t) So (/) dt, (3.84)
-T -T
T T
niu — rrii | ^ V (t) x (t) dt | нЛ = ^ V (t) (t) dt, (3.84')
-T -T
т т т
m‘{( § V(f)x «)*)'{ H0} =mj { ^ | l/(/)x(0x
— T -T -T
T T
X V (u) x (u) dt du | H01 = ^ ^ V (t) V (и) [B (t, u) -|-
-T -T
т
+ s0(t)s0(u)]dtdu= ^ V (/) [Si (/) — s0 (/)! d/ +
-T
т
+ ( I V(t)so(t)dt)\ (3.85)
-T
k 2
mi{(S V^x^dtYlH^ § V(0M0-S0(0]^ +
— T -T
+ ( J V(t)Si(t)dty, (3.85')
-T
14* 211
т. е.
dr = M2{ j V(t)x(t)dt\H^=-
-T
т
= M2{ I V (0 л: (О Л17/t} =
-т
т
= § V(0[Si(0 — So (01 л = «1ц — «ю- (3-86)
-т
Отсюда следует, что*) [см. все формулы от (3.81) до (3.86)]
In c+mi0±mi1.
ОО
= J exp[-f*/2]tf=l-F(-^-|-^-) , (3.87)
In С ат
1„е+“И±!2“
Р=17ЙГ S ч[-т)',=
— ОО
=f(-^--Tr)- <3-88>
Если имеется не одна, а п наблюдаемых независимых
реализаций xi(t), t= 1, то в соответствии с (3.69)
область принятия гипотезы Hi определяется неравенством
т п т
J V(0[2 *»(*)] Л>1пс + Т S
-Т i=i ~ -т
X ls0(t) + st(t)]dt, (3.89)
*) Заметим также, что величины тц5 dTl так же как
т
и ^ V (0 * (0 df, безразмерные, как это следует из интегрального
-т
уравнения (3.58).
212
а для определения условных вероятностей ошибок можно
использовать те же формулы (3.87) и (3.88), полагая лишь
т
d\ = n ^ V(/)[s,(0 — s0(t)\dt. (3.89')
-т
Из указанных формул следует, что при d? оо вероят¬
ности ошибок стремятся к нулю (состоятельность правила
выбора решения).
Различение близких гипотез при заданном Т требует для
получения приемлемых значений вероятностей ошибок
большого числа независимых реализаций. Пусть, напри¬
мер, Si (t) = ais (t) и s0(t) = a0s(t). Тогда, обозначив
т
-т
из (3.89') получим
d\ = п, (3.89")
о куда следует, что для сохранения состоятельности
правила решения необходимо, чтобы при п —> оо величина
ai~a° убывала медленнее чем .
В том случае, когда £ (/) представляет нормальный белый
шум со спектральной плотностью N0, функция V (t) опре¬
деляется из (3.79). Подставляя (3.79) в (3.81), получаем
следующее правило выбора решения: принимается реше¬
ние Yi, если
т
^ [Sj (t) — So (01 X (t) dt >N0\nc +
-T
T
+ T I [Si (t)-sl (01 dt. (3.90)
-T
В частности, при равенстве энергий процессов s0 (0
и Si (/) на интервале наблюдений и при с = 1 (критерий
максимального правдоподобия) неравенство (3.90) пере¬
ходит в
т т
Si(t)x(t)dt^> ^ s0(t)x(t)dt. (3.90')
—Т -т
213
Дисперсия величины ^ V(t)x(t)dt, когда х (t) пред-
-т
ставляет реализацию суммы нормального белого шума
и детерминированного процесса при любой из гипотез
(Н0 и Hi), равна в соответствии с (3.86)
т
= щ I lSi(t)-s0(t)]*dt. (3.91)
-т
Покажем теперь, что в тех случаях, когда совокупность
собственных функций неполная, можно указать правило
выбора решения с нулевыми вероятностями ошибок. Как
уже отмечалось, подобная ситуация (сингулярный случай)
возникает, если отказаться от предположения о положитель¬
ной определенности корреляционной функции В (t, и) слу¬
чайного процесса и допустить возможность равенства нулю
квадратичной формы (3.21) или интегральной формы (3.2Г).
В соответствии с определением, если система ортого¬
нальных функций {фд (0} неполная, то существует по край¬
ней мере еще одна функция а|) (/), которая ортогональна
ко всем (рь (/). Иначе говоря, для всех k
т
J <р„ (0 г|з (0 dt = 0. (3.92)
-т
Воспользуемся ортогональным разложением случайного
процесса (3.30) и представим его реализацию в виде
оо
*(о=мо+2 и\<т,
когда справедлива гипотеза Н0, и в виде
оо
*(/)=*(0+2
1 VKh
когда справедлива гипотеза Н{.
Тогда из (3.92) следует, что
т
если верна гипотеза Н0,
(3.93;
_т если верна гипотеза Ни
т
J де<0 ч|> (0 dt = j
214
где
Со- j S0(t)q(t)d(-, с,= j s,(t)y(t)dt. (3.93')
-т
Если с^фси то из (3.93) получаем правило выбора безоши¬
бочного решения (с вероятностью, равной единице): верна
гипотеза Я0, когда
^ x (t)ty (t) dt — с0,
и верна гипотеза Ни когда
т
^ x(t)\J) (t) dt - с{.
е»
-Т
3.5.3. Сложная альтернатива. Исследуем теперь тот слу¬
чай, когда альтернатива сложная (ср. § 1.4.1). Пусть
проверяется простая гипотеза Н0 о том, что среднее значе¬
ние нормального случайного процесса £ (t), рассмотренного
в предыдущем разделе (3.5.2), равно нулю, против сложной
альтернативы Ни что среднее принадлежит совокупности
процессов s0 (0 [или в частном случае s (t; '&)], причем
ft может быть любым действительным числом (или находить¬
ся в некоторых интервалах действительной оси).
Начнем с байесовского правила выбора решения. В этом
случае должны быть заданы априорные вероятности q
и р = 1 — q того, что mi {I (/)} = 0 и mt {£ (/)} = s0 (t),
и априорное распределение Wi (ft) параметра ft. Усредняя
отношение правдоподобия по случайному параметру ft,
для дискретной выборки некоррелированных коорди¬
нат хи • • •, xN находим [см. (1.110') и (3.62)1
оо N
А (Хи . .., XN) = ^ ехр | 2 [xkbk (ft) —
— оо h= 1
- (0)d0,
(3.94)
215
где
xh = V% ^ x(t)yh(t)dt; (3.95)
-т
т
bk (Ъ) = Vh. \ <* (t) Фй (0 dt; (3.95')
eJ
-Т
hki фл (О —собственные числа и собственные функции одно¬
родного линейного интегрального уравнения (3.23).
оо
Аналогично предыдущему, если 2 Kbl(ft) конечна,
k=\
то существует предел
N
lim 2 V^kbh (ft) фh (t) = V (t\ ft), (3.96)
oo k=i
причем функция V (t; d) определяется из неоднородного
линейного интегрального уравнения
т
§ В (t, и) V(ы; $)du = s<> (t), |/|<Т. (3.97)
-т
При этих условиях усредненное отношение правдоподобия
сходится по вероятности к функционалу
оо т
Л [х (/)] = ^ ехр | ^ V (/; О) [х (/) — dt} Ш1 (§) dft.
-00 -т
(3.98)
Используя (3.98), приходим к следующему байесовскому
правилу (минимизирующему средний риск): принимается
решение Yi (отвергается гипотеза Я0), если для наблюдаемой
реализации
оо Т
^ ехр | § V (/; ft) [х(0 — -^р-] dt} Wt(ft)>c =
-00 -Т
„ п п
(3.99)
q П01 —П00
р П10 —Пи
и решение у0 (принимается гипотеза Я0), если выполняется
неравенство, противоположное (3.99) [см. (1.109)].
216
В частном случае, когда su (t) = а (О) s (t) — квазиде-
терминированный процесс со случайной амплитудой, функ¬
ционал (3.98) отношения правдоподобия может быть пере¬
писан в виде
оо т
Л [*(01= § ехр£а(Ф) ^ x(t)V(t)dt —
-оо -т
т
- I s(t)V (t) dt] wt (ft) dft, (3.99')
-T
где V (t) — решение интегрального уравнения
т
J B(t, u)V (u)du = s(t), \t\<T. (3.100)
-T
Рассмотрим теперь критерий Неймана — Пирсона. Пов¬
торяя рассуждения, приведенные в начале этого раздела,
получим при произвольных ft следующее выражение лога¬
рифма функционала отношения правдоподобия:
т
In l[x(t)]= ^ V (t\ ft)x(t)dt —
-т
т
J V (*;#)** (0 Л. (3.101)
-т
Критическая область для фиксированного О, в которой
отклоняется гипотеза Я0, определяется неравенством
т
§ V(t\ $)x(t)dt>K($), (3.102)
-т
где К (Ф) находится по заданной величине вероятности
ошибки первого рода. Из (3.102) следует, что для существо¬
вания равномерно наиболее мощного правила (см. § 1.4.4
и § 1.4.7) должно выполняться условие
s&(t) = a(ft)s(t), (3.103)
причем амплитуда а (О) сохраняет постоянный знак. При ус¬
ловии а (О) > 0 правило выбора решения формулируется
так: отвергается гипотеза Я0, если для наблюденной реали¬
217
зации х (t)
т
J V (t) x (t) dt > K, (3.104)
-Г
где V (t) определяется из интегрального уравне¬
ния (3.100).
Так как при справедливости гипотезы Н0
т
mx { ^ V (t)x(t) =0,
-т
г т
м2{§ V(t)x(t)dt}= V(t)s(t)dt = d2T,
-т -т
то в силу нормального распределения интеграла в (3.104)
т
Р{ J V(t)x(t)dt>K\H0} = l-F (-£-) (3.105)
-т
и, следовательно, приданной вероятностна ошибки первого
рода [ср. с (1.76)]
K = dTx а, (3.105')
где ха — процентная точка нормального распределения.
Если а (О) < 0, то неравенство (3.104) заменяется сле¬
дующим:
т
§ V(t)x{t)dt<-K. (3.106)
-т
Итак, правило (3.104) является равномерно наиболее
мощным при сложной альтернативе, для которой а (О) > 0,
а (3.106) — равномерно наиболее мощным при альтернативе,
для которой а (О) < 0. Если же рассматривать в качестве
сложной альтернативы все действительные значения ампли¬
туды а (О), то равномерно наиболее мощного правила не
существует.
Функция мощности для правила (3.104) имеет вид
т
1 -$(Ъ) = Р { I V{t)x{t)dt>K\Hl} =
-т
К
iT
218
1 -F(-^-a(ft)dT) . (3.107)
При а (Ф) > О, 1 — р (О) > а, функция мощности монотон¬
но возрастает при увеличении а (О). Но если а (О) < О,
то 1 — р (О) < ос и функция мощности монотонно стремится
к нулю при неограниченном увеличении | а (О) |. Следо¬
вательно, если область возможных значений а (О) — все
действительные числа, то правило (3.104) смещенное.
Можно показать [2], что аналогично дискретному слу¬
чаю, рассмотренному в § 1.4.7, равномерно наиболее мощ¬
ное несмещенное правило определяется по наблюдаемой реа¬
лизации следующим соотношением:
т
| § x(t)V(t)dt >К. (3.108)
-т
3.5.4. Процессы с дробно-рациональными энергетически¬
ми спектрами. Из изложенного ясно, что основная слож¬
ность полученных правил выбора решения для проверки
гипотезы о среднем значении нормального случайного про¬
цесса связана с тем, что зависимость правила от известной
корреляционной функции В (/, и) процесса выражена не
в явной форме, а через решение V (t) неоднородного линей¬
ного интегрального уравнения (3.58). Решение этого урав¬
нения в общем виде неизвестно, в некоторых случаях оно
может быть получено ценой весьма громоздких построений,
и всегда остается путь для использования численных мето¬
дов. Исключением является случай, когда нормальный про¬
цесс представляет сумму детерминированной функции и ста¬
ционарного нормального случайного процесса 5 (0 с нуле¬
вым средним и дробно-рациональным энергетическим спект¬
ром Ft (со) вида
р /гл\ Q (w)
F*(со) = Т^Г’
где Q и Р — многочлены степени тип соответственно (т <
< п). При этом процесс £ (/) является компонентой много¬
мерного нормального марковского процесса (см. § 9.5.1
в первой книге). В указанном случае интегральное урав¬
нение (3.58) сводится к обыкновенному дифференциальному
уравнению с постоянными коэффициентами и его решение
может быть записано в явном виде (см., например, [3, при*
ложение II]).
Рассмотрим задачу проверки простой гипотезы //0
О том, что наблюдаемая реализация принадлежит процес?
219
су | (t) + s0 (О» против простой альтернативы #ь что она
принадлежит | (t) + s4 (/), при условии, что | (0 — нор¬
мальный стационарный марковский процесс. Тогда, как
отмечалось в § 4.5.4 первой книги, энергетический спектр
процесса равен
= |Д,2 _)_ со2 ’
а его корреляционная функция
В (т) = a2e-^lTl, fx>0. (3.190)
Решение интегрального уравнения (3.58) с ядром
типа (3.109) имеет следующий вид:
+ [Ц5д (Т) - 5д (Г)] 6 (t-T) + fi 25д (0 - Si (t)}, |/|<7\
(3.110)
где
(3.110')
Подставляя (3.110') в (3.81) и вводя обозначение для
суммы детерминированных функций
sz(t) = sl (t) + s0(t), (3.110")
запишем правило выбора решения в рассматриваемом случае
следующим образом: принимается решение (справедлива
гипотеза Я,), если для наблюдаемой на интервале ( —7\ Т)
реализации x(t) процесса
[sA(-T)-^y^]x(-T) + [sA(T)-S-^-]x(T) +
Т
+ ц j jc(/)[sa(0 — -^-'jdt>2a2\nc + j ^sA(-T) —
-т
-J*^]s*(-T) + [s*W-^]sz(T) + Vi I Sx (t) X
-T
x[sa(0—• (3.111)
220
Условные вероятности ошибок первого и второго рода
определяются величиной [см. (3.87) и (3.88)]
{Ь<-г)--^2.><-т>+
+ [><Т)-^] s.m + n J Si «) <■!( } =
-т
т
= 2^Г {& (~T) + sl(T) + [i § (si (/) + [5Д (/)]«) dt} .
-T
(3.112)
Если при |aT > 1 величины s& ^ < 1 и - ■< 1,
то из (3.111) и (3.112) получаем следующие асимптоти¬
ческие выражения, справедливые при большом времени
наблюдения:
т
|х ^ %(0[зд(0 Л>2сг21пс +
-т
т
+ | I 52(/)[5д(0--^-]л, (3.113)
-Т
т
~ iM {s*(/)+^[s* {t)]t }dt- (3-114)
-т
В том случае, когда для любых t функции s0 (t) и Si (t)
постоянны, т. е.
s0(t) = a0l Si(t)==au (3.115)
рассмотренная задача сводится к проверке гипотезы о вели¬
чине среднего значения стационарного нормального слу¬
чайного процесса с корреляционной функцией вида (3.109).
Тогда производные от функций s0 (t) и Si (f) тождественно
равны нулю, и из (3.111) следует правило: среднее равно аи
если
т
х( — T) + x(T) + \i \ x(t)dt>-^°2 1 пс +
t) «1 — «о
-т
'■Mai~bflo) (1 (3.116)
221
При этом
^г = (а1~а°)2(1+[.Г). (3.117)
Если \iT > 1, то имеем асимптотические соотношения
Xi~T2^X{T) +W I , (3.118)
-т
а величина dr возрастает пропорционально \iT:
dr~ (3.118')
3.5.5. Проверка гипотез о корреляционной функции.
Проверяется гипотеза Н0 о том, что корреляционная функ¬
ция нормального случайного процесса | (О с нулевым сред¬
ним *) равна Во (t, у), против альтернативы Я1( что его
корреляционная функция равна Bt (t, у). Если выбрать
в качестве координат процесса i (t) случайные величины
[см. (3.25)]
т
tk = Vh. 5 t(t)<fh(t)dt, (3.119)
-т
где Хк и ф* (0 — собственные числа и собственные функ¬
ции интегрального уравнения
т
Ф (t) = K ^ В0 (t, и) ф (и) du, 111 < 7\
то эти координаты не коррелированы, если справедлива
гипотеза Я0, но будут коррелированы, если верна гипотеза Нх.
Можно, однако, выбрать координаты процесса таким
образом, чтобы они были не коррелированными (а, следо¬
вательно, независимы в силу нормального распределения)
и при гипотезе Я0, и при гипотезе Яь с той лишь разницей,
что при одной гипотезе дисперсии всех координат единичны,
а при другой — различны для разных координат. Здесь
имеет место аналогия с известным результатом высшей
*) Легко обобщить результаты данного раздела, предположив,
что среднее значение процесса отлично от нуля [12]. Дискретного
аналогом рассматриваемо^ задачи является задэчэ |.§.
2??
алгебры, согласно которому одним линейным преобразова¬
нием можно одну квадратичную форму привести к нормаль¬
ному виду (т. е. к сумме квадратов переменных), а другую —
к каноническому *).
Пусть координаты процесса £ (f) определяются согласно
(3.119), причем Хк и <р* (t) — собственные числа и собствен¬
ные функции (ненормированные) интегрального уравнения
^ [Bi(t, u) — KB0(t, u)](f(u)du — 0, \t\<T, (3.120)
а нормировка собственных функций производится относи¬
тельно B0(t, у), т. е.
Используя (3.121) и (3.12Г), нетрудно записать лога¬
рифм отношения правдоподобия для N наблюдаемых неза¬
висимых координат хи . . ., xN реализации нормального
*) См., например: Мишина А. П. и Проскуря¬
ков И. В. Высшая алгебра. Физматгиз, 1962, стр. 162—164.
т
-т
* { \ k tn
Xh J J B0(t,u)<fk(t)<fm(u)dtdu={Q’ k~^ (3.120')
Тогда
Ml | Hq) —
T T
V^hKi Bo (t, и) <pft (t) <pm (u) dt du
(3.121)
T T
m, {Ыт | Ht) = VЫт I I Si (/, u) x
-Г -T
T T
X (t) фт (и) dt du — 'hm Bq (ty u) X
(3.12Г)
223
стационарного случайного процесса:
N N 2
In / (A-J, . . XN)= —-i 2 — J 2 =
ft= 1 k=i
(3-122)
k=l k=i
где в соответствии с (3.119)
т
xk = Vhi § x(t)<th(t)dt, (3.122')
-т
причем Xk и ф& (t) — собственные числа и собственные функ¬
ции интегрального уравнения (3.120), а х (t) — реализация
нормального случайного процесса, наблюдаемая на интер¬
вале (—Т, Т).
Подставляя (3.122') в (3.122) и переходя к пределу
при N-+ оо, получим следующее выражение логарифма
функционала отношения правдоподобия:
оо
ЫИ01 = у 2 (А*-1)х
h=i
т ОО
х[ j дс(0ф*(0л]*-7 2 1пХ*- (3л23>
-Т й=1
Теперь может быть сформулировано правило выбора
решения. Если для наблюдаемой на интервале (—Т, Т)
реализации х (t)
оо Т оо
2 (A*-l)[ j x(t)<th(t)dtj>2\nc+ 2 In А*, (3.124)
k=l -т k—t
то принимается решение (верна гипотеза Я4), а если
выполняется неравенство, противоположное (3.124), то при¬
нимается решение (верна гипотеза Н0). Порог с, как
всегда, выбирается в соответствии с принятым критерием
качества (см. табл. 1 на стр. 40).
Для того чтобы найти вероятности ошибок, необходимо
предварительно определить функцию распределения лога¬
рифма функционала отношения правдоподобия (3.123).
224
Хотя In / lx(t)] представляет бесконечную сумму независи-
^ I j
мых случайных величин -щ- Х1 — у распределение
этой суммы отличается от нормального, так как условие
применимости предельной теоремы Ляпунова не выполняет¬
ся [см. (3.144) в первой книге]. Для определения указан¬
ного распределения воспользуемся методом характеристи¬
ческих функций. Так как хи — нормальная случайная
величина, то одномерные характеристические функции
k-ro слагаемого суммы при гипотезах Н0 и Я4 равны соот¬
ветственно [см. (9.16) в первой книге]
в.>(Р|»«)= / , , - е~¥ " *, (3.125)
У
е-»<°'н‘>-и-,пм-„Л‘пЧ <3-'25')
Учитывая независимость случайных величин Xk, находим
одномерные характеристические функции логарифма функ¬
ционала отношения правдоподобия как произведения харак¬
теристических функций (3.125) и (3.125'):
1
"2
X
в.«-|я.)=[П('-ттг;)]
h= 1
оо
Хехр{-^1ПП (l+-^)} , (3.126)
k=i
в.(»|«.)=[П ('-■£-)]'
h= 1
оо
хехр {—f-lnH > (ЗЛ26')
k= 1
1
*2
X
где обозначено
15-197
0к = _1_. (3.126")
225
Теперь обратным преобразованием Фурье можно найти
плотности вероятности и интегральные функции распре¬
деления логарифма функционала отношения правдоподо¬
бия. Однако эти вычисления представляют в общем случае
довольно сложную математическую задачу.
Остановимся еще на том случае, когда коэффициент
корреляции R (т) стационарного нормального случайного
процесса точно известен и проверяется лишь гипотеза Н0
о том, что дисперсия равна а*, против альтернативы Ни
что она равна а*. В рассматриваемом случае В0 (т) =
= olR (т), Bt (т) = o2xR (т). Обозначим (~)2 = мЛ и пусть
\i ф I. Тогда из (3.120) находим
т
(\i2 — К) ^ R(t—u)q>(u)du = 0, (3.127)
-т
откуда следует, что собственные числа интегрального урав¬
нения постоянны и равны Kk = |я2. Логарифм отношения
правдоподобия в соответствии с (3.122) преобразуется к виду
N
In I (хи . . . , XN) = у (1 — ) 2 хь — 4"1п
k=l
и, следовательно:
lim^-ln/fo, ...,xN) = \ fl—-4) X
N-уоо /v z v Г /
N
X lim У Д — 1пц==
N ftTi
{Y ( 1 y) — In ц < 0, если верна гипотеза H0,
, ^ (3.128)
Y (И'2 — 1) — In [а > 0, если верна гипотеза
так как последовательность случайных величин zN =
N
сходится по вероятности к единице*), если
226
верна гипотеза Я0, и к ц,2, если верна гипотеза Я4.
Из (3.128) следует, что
lim In / (Xi, ..., xN) = — (50, (3.129)
7V->oo
если верна гипотеза Я0, и
lim In / (*4, .. ., лслг) = °°» (3.129')
iV->oo
если верна гипотеза Я4.
Таким образом, рассматриваемый случай сингулярный,
и поэтому возможно при любом (произвольно малом) вре¬
мени наблюдения выбрать правило проверки гипотезы
с вероятностью единица. Такое правило непосредственно
следует из (3.128), если вместо координат хк подставить
их выражения (3.122') через наблюдаемую реализацию.
Если для наблюдаемой на интервале (—7", Т) реализа¬
ции х (t)
N Т
§ *(0ф*(0Л)*=1. (3-130)
N~>°° k=\ -т
то принимается гипотеза Я0 (дисперсия процесса равна а*,
а если предел в (3.130) равен |я2, то принимается гипотеза Н{
(дисперсия процесса равна о*).
3.5.6. Случай, когда проверяемая гипотеза — белый шум.
Рассмотрим частный случай общей постановки задачи, изло¬
женной в предыдущем разделе. Пусть проверяется гипотеза
о том, что £ (0 представляет нормальный белый шум со
спектральной интенсивностью N0l против альтернативы,
что корреляционная функция нормального случайного про¬
цесса равна В (t, у) + N08 (t — у). Покажем, что в этом
*) Заметим, что для суммы ziу выполняются условия примени¬
мости теоремы Ляпунова, так что при N —> оо
г'ы' ушш“р {«''} •
причем гщ {zN | Н0} = I, mi {zN | = (i2, M2 {zN \ tf0} = ,
2u2
M2 {Zivl Hi) = -£[-. В пределе lim (zN) = 6 (z — 1щ {г}).
^ ‘ N-+ OO
15* 227
случае в (3.124) суммирование может быть заменено интег¬
рированием реализаций с некоторой весовой функцией,
зависящей от В (t, у).
В рассматриваемом случае интегральное уравне¬
ние (3.120) преобразуется к виду
т
ВД-1)Ф(0= I B(t, y)<t(y)dy, \t\<T, (3.131)
-Т
иричем для нормировки каждую из собственных функцией
сpfe(/) необходимо разделить на [см- (3.120')].
Обозначим
оо
h (t, У) = 2 Фл (0 Ф* (У)' (3-132)
k=l
где фЛ (t)~ ортогональны и нормированы. Тогда первое
слагаемое в (3.122) может быть представлено в виде
k=i -Т -Т k=i
т т
X'fk(t)<9k(y)dtdy = 1^ § j h(t,y)x(t)x(y)dtdy. (3.133)
-Т -Т
Далее из (3.132) находим
Т ОО
§ [B(t, y) + N06(t — y)]h(v, y)dy= 2
-Т fc=l
Т оо
X § [В(/, y) + N0b(t — #)] Фь («/) Ж/= 2 No(^h— 1)фл(и) X
-Т й=1
X фй (t) = B(t, v).
Следовательно, весовая функция h (t, и) удовлетворяет
интегральному уравнению
т
J B(f, y)h(v,y)dy + N0h(v, t) =
Интегральное уравнение (3.134) является частным
случаем (при и= 1) более общего уравнения
т
и ^ B(t, y)h(v, t, u)dy + N0h(v, t, u) = B(t, u),
|f|<7\ |i>|<7\ (3.135)
относительно функции h (v, t, и), которую называют резоль¬
вентой. Для резольвенты имеет место разложение
оо
h (t, у, и) = ^ ц Фь (0 Фь (У). (3.136)
из которого при и=1 следует (3.132). Из (3.136) находим
Т оо
^ Л(/, t, u)dt = 2 j +(Хл — l)« ’ (3.136 )
- Т /1=1
откуда интегрированием по переменной и от нуля до еди¬
ницы получаем
1 Т 1 оо
I I h(t, t, u)dtdu= I (2 I+|fj-1)u) du =
0 -T 0 fe=l
OO oo
-2 s 1$;-S'»».-
fc=l 0 fc=l
Таким образом, второе слагаемое в правой части (3.123)
в рассматриваемом случае равно
оо 1 т
2 1пА*=^ ^ h(t, t, u)dtdu. (3.137)
fe = l о -т
Подставляя (3.133) и (3.137) в (3.124), получим сле¬
дующее правило для проверки гипотезы Н0 о том, что
наблюдаемая реализация принадлежит нормальному белому
шуму: гипотеза Н0 отвергается, если
т т
-щ ^ ^ h(t, y)x(t)x(y)dtdy>2 lnc +
0 _ Т -т
1 т
+ J § h(t, t, u)dtdu, (3.138)
О -т
229
где h (t, у) и h (/, у, и) — решения интегральных уравне¬
ний (3.134) и (3.135) соответственно.
Для определения в рассматриваемом случае характери¬
стических функций логарифма отношения правдоподобия
воспользуемся формулами (3.126), (3.126'). Для этого вве¬
дем сначала функцию In D (г), равную интегралу от (3.136')
по и в пределах от нуля до г, т. е.
2 г
lnD(z)=^ ^ h(t, t, u)dt du =
о -т
оо оо
h= 1 k=i
или
z Т оо
D(z) = ехр { ^ ^ h(t, t, u)dtdu} = JJ (l+-^-), (3.139')
0 -T k=i
где Vh определено согласно (3.126").
Используя (3.139) и (3.139'), получаем искомые выра¬
жения характеристических функций [см. (3.126), (3.126')]
®i(v\Ho) = y^ ЩГ“~7^ехР { —In £>(о} . (3.140)
0,("|н,)" VEPSexp ЬтlnD(1)} ' (ЗЛ40,)
Тогда условные вероятности ошибок первого и второго
рода при использовании правила (3.138) равны
оо оо
а = 1Т:гЧ ^ уЩ=ехр{-ш[х + 1п/ЩГ)]М^х,
In С —оо
(3.141)
P = jy===exp{-w[x + lnVm]}dvdx.
— оо —оо
(3.14Г)
3.5.7. Обобщение для процессов с дробно-рациональ-
ными энергетическими спектрами. Можно распространить
результаты предыдущего раздела на тот случай, когда
230
проверяемая гипотеза и альтернатива относятся к нормаль¬
ным случайным процессам с дробно-рациональными энерге¬
тическими спектрами (см. § 3.5.4). Для того чтобы сохра¬
нялось соотношение (3.133), весовая функция h (t, у) долж¬
на удовлетворять двумерному интегральному уравнению
т т
I I h(s> у) в0 (t — s) Bi (У — v),ds dy =
-т -т
= |/|<7\ М<7\ (3.142)
где N0 — постоянный (размерный) множитель. При
В{ (t — v) = В (t — v) + N08 (t — v), Bq (t — v) =-
= N08(t — v) уравнение (3.142) переходит в (3.134) Гс до¬
полнительным ограничением стационарности процесса и ра¬
циональности спектра Fi (со)].
Вводя двумерное преобразование Фурье от функции
h (s, у) по формуле
1
h(s, у)= ^ ^ И (соД) ej dXdco,
— оо —оо
можно интегральное уравнение (3.142) переписать в виде
(см. [13])
оо оо
J J Я (со, X)/7o(©)f1We-1-(W-®0)da)dX =
— 00—00
= B1(t-v)-Bo(t-v), |/|<Г, М<7\ (3.142')
где F0 (со) и Fi (со) — энергетические спектры двух стацио¬
нарных нормальных случайных процессов, каждый из
которых представляется в виде
<з-из>
причем все корни полиномов G (ш) и V (ico) имеют отри¬
цательные действительные части, и степень полинома числи¬
теля не выше степени полинома знаменателя.
Обозначая в (3.142') интеграл по переменной со
оо
L (Я, v) = J Я (со, к) F0 (со) dco, (3.144)
2-00
231
приводим интегральное уравнение (3.142') к виду
оо
^ L (X, v) Fi (со) е_ш dX = Bi(t — v) — В0 (t — v),
— оо
\t\<T, М<7\ (3.145)
Уравнения (3.144) и (3.145) представляют два однотип¬
ных неоднородных линейных интегральных уравнения,
каждое из которых сводится к решению линейного диф¬
ференциального уравнения (см. [13]), причем сначала реша¬
ется уравнение (3.145), полагая параметром переменную v.
Затем находится решение уравнения (3.144) относительно
Я (со, Я), полагая параметром переменную К.
Общее правило выбора решения (3.124) приводится в этом
случае к виду, аналогичному (3.138): отвергается гипо¬
теза #о, если
ГГ оо
^ h(t, y)x(t)x(y)dtdy>2\nc+'2i\nXk, (3.146)
-Г-Г /1=1
причем первое слагаемое в правой части (3.146) определя¬
ется, как всегда, критерием качества, а определение второ¬
го слагаемого сопряжено с дополнительными достаточно
громоздкими вычислениями. Как показано в [13], величи-
л
ны 8k — 1—т" являются собственными значениями диф-
ференциального уравнения (записанного в операторной
форме)
Чж)Ч-а)Ч4)Ч-ж)0<'> =
Ч‘ + т) (я) М-Й й) ^ (-я)»(')
при соответствующей системе граничных условий. Общее
решение этого уравнения имеет вид
2 N
У(0= Цсйехр {teft(6)},
k=i
где N — степень полинома Gi (ш) V2 (ш); zk (б) — корни
характеристического многочлена, соответствующего приве¬
денному дифференциальному уравнению. Константы ск
232
находятся из системы линейных алгебраических уравне¬
ний, получающихся при удовлетворении граничных усло¬
вий. Если D (б) — детерминант этой системы уравнений и
£(6) = _ ВМ
П [**(в)-г,(в)]
k>j
то второе слагаемое в правой части неравенства (3.146)
может быть представлено в виде [13]
оо
21пА*=-^бг- <ЗЛ46')
k=i }
Заметим, что для рассматриваемого случая, когда энер¬
гетический спектр стационарного (в широком смысле)
нормального случайного процесса представляет дробно¬
рациональную функцию частоты, сформулировано необ¬
ходимое и достаточное условие сингулярности [1, 20]
при проверке гипотезы Н0 о том, что наблюдаемая реализа¬
ция принадлежит процессу со спектром F0 (со), против
альтернативы Ни что она принадлежит процессу, энерге¬
тический спектр которого равен F\ (со). Это условие состоит
в том, чтобы
lim ф 1. (3.147)
Fо (о>) ^ v >
Указанное выше [см. (3.130)] сингулярное правило*)
соответствует частному случаю (3.147), когда Ф
Ф 1. Если при со —> оо предел отношения дробно-рацио¬
нальных энергетических спектров равен единице, то всегда
будет иметь место регулярный случай, которому соответ¬
ствуют отличные от нуля вероятности ошибочных решений.
Достаточным условием сингулярности является также суще¬
ствование конечного интервала частот, на котором хотя бы
один из энергетических спектров, FА (со) или F0 (со), тож¬
дественно равен нулю. Поэтому использование математи¬
ческой модели случайного процесса с ограниченным энерге¬
тическим спектром (см. § 3.2.3) приводит к сингулярности.
*) Заметим, однако, что сингулярное правило (3.130) имеет
место не только для дробно-рационального, а для произвольного
энергетического спектра. Fi (со) = \i2F0 (со).
233
Наконец, укажем, что регулярный случай будет иметь
место всегда, если (при любой из двух гипотез) нормальный
процесс содержит аддитивную компоненту в виде белого
шума одинаковой интенсивности, так как условие (3.147)
безошибочной проверки гипотез основывается на исполь¬
зовании различия высокочастотной части энергетического
спектра. Так как белый шум (представляющий, например,
тепловые шумы) всегда присутствует в любых реальных
устройствах, то добавление его устраняет парадокс сингуляр¬
ности и приближает математическую модель к изучаемому
физическому процессу (см. также [21]).
3.6. ОЦЕНКИ ХАРАКТЕРИСТИК СЛУЧАЙНОГО
ПРОЦЕССА
3.6.1. Оценка параметров распределения случайного
процесса по его реализации. В этом разделе будет рассмотрен
другой тип статистических выводов относительно неизвест¬
ных характеристик распределения случайного процесса
по наблюдаемой на конечном интервале времени реализации
этого случайного процесса. Речь идет об оценке неизвест¬
ных параметров одномерной или многомерной функции
распределения случайного процесса. Аналогично тому, как
результаты, приведенные в § 3.5, распространяли на слу¬
чайные процессы теорию проверки статистических гипотез
по дискретным выборкам конечного размера из распределе¬
ния случайных величин, здесь будет дано обобщение теории
оценок параметров функций распределения случайных
величин (см. § 2.2).
В отличие от оценок параметров функции распределения
случайной величины, представляющих функции многих
переменных от выборочных значений [см. (2.14)], оценки
(статистики) параметров • • •, функции распределе¬
ния случайного процесса являются функционалами от его
реализации x(t)\
<Ъ = £«[*(0Ь *’=1. •••> м. (3.148)
Определение состоятельности и несмещенности оценок
(3.148) не отличается от соответствующих определений
в § 2.2.2 и 2.2.3 с необходимым добавлением, состоящим
в том, что усреднение производится не в конечномерном
234
пространстве выборок, а в функциональном пространстве
реализаций *).
Дальнейшие определения и результаты в теории оценок
параметров случайных величин связаны с функцией правдо¬
подобия, представляющей плотность распределения точки
выборочного пространства [см. (3.43)]. Как уже подчерки¬
валось в конце § 3.4.1, предел функции правдоподобия,
когда размерность пространства выборок неограниченно
возрастает, не существует. Это казалось бы создает пре¬
пятствия для формального обобщения результатов теории
оценок, данных во второй главе, на случайные процессы.
Для преодоления этого препятствия вместо несуществую¬
щего функционала правдоподобия для построения теории
оценок параметров случайных процессов вводится **) функ¬
ционал отношения правдоподобия, который в регулярном
случае положительный и ограниченный [см. (3.51)].
Так, информация по Фишеру об оцениваемом парамет¬
ре Ф, содержащаяся в реализации х (t) случайного про¬
цесса, определяется по формуле
/(^) = т1{(^г1п/[х(0|0])2} . (3.149)
где символ mi означает усреднение по множеству реализа¬
ций, a I [х (t) I'd] — функционал отношения правдоподо¬
бия при фиксированном значении параметра. Минимум дис¬
персии оценки определяется обобщенным неравенством
Рао — Крамера (см. § 2.2.5)
п+^ш*
Ai2{4»L-(ff J , (3.150)
где смещение
b($) = ml{g[x(t)]} — ft. (3.151)
Оценка, для которой в (3.150) достигается равенство, назы¬
вается эффективной.
*) Об интегрировании в функциональном пространстве см.,
например: Гельфанд И. М. и Я г л о м А. М. Интегрирование
в функциональных пространствах. «Успехи математических наук»,
1956, вып. 1 (67).
**) Подробнее см. [2 и 4].
235
Оценка максимального правдоподобия параметра ft
определяется из уравнения [см. (2.54)]
am/[x(oi<n =0> (3152)
Если существует эффективная оценка, то она является
оценкой максимального правдоподобия. Обратное утверж¬
дение, вообще говоря, неверно.
Аналогичным образом обобщаются и байесовские оценки.
Если параметр й случайный и известна его априорная плот¬
ность вероятности Wi (й), то вычисляется апостериорная
плотность вероятности параметра й по наблюдаемой реали¬
зации х (t) случайного процесса
г, [ft IX (/)] = _«Мв)П*(01<И (з. j 53)
J щ (■») I [х (01 Ъ] db
— со
и далее определяется средний (байесовский) риск
оо
/? = /?!!{ J П №(*)], ' UMft|*(OJdft}, (3.154)
— ОС
где П (ft, ft) — функция потерь (см. § 2.3.4).
Обозначая
оо
Jlx(t)\g]= I П (g, ft) Wt{ft \х (/)] dft, (3.155)
— оо
находим байесовскую оценку ft = g [х (/)] параметра ft
из условия
-^■ = 0. (3.156)
Естественным образом приведенные выше определения
и соотношения обобщаются на случай совместных оценок
совокупности параметров . . ., $т. Эти обобщения
будут приведены ниже в связи с конкретно формулируемы¬
ми задачами.
3.6.2. Оценки максимального правдоподобия параметров
детерминированного слагаемого. Предположим, что х (t) —
наблюдаемая на интервале (—Т, Т) реализация процес¬
са, представляющего сумму нормального случайного
236
процесса | (/) с нулевым средним и известной корреляцион*
ной функцией В (/, у) и детерминированного процесса
s (t\ 'fl’i, . . ftm), зависящего от неизвестных парамет¬
ров Oi, . . ,&m. Задача состоит в том, чтобы, используя
наблюдаемую реализацию х (/), оценить неизвестные пара¬
метры . . ., 'б‘т детерминированного слагаемого. Для
этого воспользуемся выражением логарифма функционала
отношения правдоподобия (3.61), полагая (t) =
= s(t; . . ., flm), s0 (t) s= 0:
\nl[x(t)\ftu ..., flm] =
T
= § V (/;«!, ...,#n)[x(/)-js(<; К (3.157)
-T
где V (t) — решение неоднородного линейного интегрального
уравнения
т
^ В (t, и) V (u; ..., ftm) du — s (t; О,, ..., ftm),
-Т
|/|<Г. (3.158)
Принимая максимум функционала отношения правдопо¬
добия как критерий качества оценок . . ., '0,т неизвест¬
ных параметров, находим из (3.157) систему уравнений,
которой должны удовлетворять эти оценки:
-^1п[х(0|#1, .^т]=0, 1=1, ..., т,
или
т
J ..... От)[*(0—JS(*;0|, .... #т)]л-
-т 1
т
i J ..., От)-^*(<;#!, .... О™) Я = 0.(3.159)
■ т
Но из (3.158) следует:
1 i
J V (*;<>„ ..., #m)-^S(/;^, •••- вт)<#= 5 •••
— Т г -Г
т
..., dm)[ J 5(/, u)^-^(«;dlt ..., ftm)du]d/ =
— т . г
237
т
= J dfy v•••’ ф"*)х
— т
т
х[$ Я (t, и) V ((; &!, ..., Om) dtJ du =
-Т
т
= § ..., s(w; 0±, ..., ftm)du. (3.160)
-т 1
Подставляя (3.160) в (3.159), получим окончательно
т
§ Wi V V’ '9’1’ • • • ’ ^ ^ ^ — s V’ '&1' • • • ’ dt =
t = 1, ..., m. (3.161)
Решая систему уравнений (3.161) относительно неизвест¬
ных йь . . ., ,б'т, можно найти условные оценки этих
параметров bt = gt [х (t) ], i = 1, . . ., /п, удовлетворяю¬
щие принятому критерию максимального правдоподобия.
Нетрудно обобщить систему уравнений (3.161) макси¬
мального правдоподобия на случай комплексного пред¬
ставления процессов. Используя (3.78), получим
т
§ #'n)[z(0 —s(/; г^1, •••, ftm)]dt +
-Т 1
т
-\ I ..., вт)х
-Т 1
X [z (t) — s(t\ ..., $m)]dt = 0, (3.161')
где V (t; б*!, ..., $m) определяется из комплексного инте¬
грального уравнения типа (3.77).
Если процесс l(t) представляет белый шум со спек¬
тральной плотностью N0, то из (3.158) следует, что
1/(/;<>„ ..., bm) = -^s(t;Qu ..., #m) (3.162)
и система (3.161) значительно упрощается:
т
I з57*(*;в1. •••’ От)И0-*(*;#1. •••> От)]Л = о,
Т t = 1, ..., /п. (3.163)
238
В частном случае одного неизвестного параметра б
из (3.161) при т= 1 следует:
т
I дУй^[хw-s&dt=°’ (з-1б4)
-т
а для белого шума соответственно из (3.163) находим
т
I U(0-s(f;0)l<ft = 0- (3.165)
- Т
3.6.3. Оценка амплитуды. Рассмотрим в качестве примера
оценку амплитуды детерминированного процесса as (t).
Уравнение максимального правдоподобия (3.164) для полу¬
чения этой оценки преобразуется к виду
т
V (t) [х (t) — as (/)] dt = О,
-т
откуда
т
I V (t) х (t) dt
а=^ , (3.166)
J V(t)s(t)dt
-т
где V (t) в соответствии с (3.158) представляет решение
линейного интегрального уравнения
т,
J B(t,u)V(u)du = s(t), |/|<7\ (3.167)
— т
Оценку максимального правдоподобия амплитуды детер¬
минированного процесса в аддитивном нормальном белом
шуме получаем подстановкой (3.162) при т=\ в (3.166):
т
J s (t) х (t) dt
a = ^f . (3.168)
J s2 (t) dt
-T
239
Заметим, что при s(t) = 1 из (3.168) следует
т
I xV)dt, (3.169)
— т
т. е. оценка постоянного среднего а получается усреднением
по времени реализации наблюдаемой на интервале (—Г, Т).
По аналогии с дискретным случаем оценку (3.169) называют
иногда среднеарифметической.
Обозначим
h (t) = -Т V (i) . (3.170)
J V (t) s (t) dt
-T
Тогда оценку (3.166) можно записать в виде
т
а= J h(t)x(t)dt. (3.171)
-Г
Следовательно, оценка максимального правдоподобия амп¬
литуды детерминированного слагаемого получается интег¬
рированием на интервале наблюдения реализации случай¬
ного процесса с весом, зависящим от вида детерминирован¬
ного слагаемого и корреляционной функции процесса.
Оценки такого вида называют линейными.
Рассмотрим основные свойства оценки (3.171). Прежде
всего ясно, что эта оценка несмещенная. Действительно,
для любого фиксированного Т из (3.170) и (3.171) следует:
т
mi{a} = ^ h (t) mi {х (/)} dt =
-т
т
= h(t)s(t)dt = a, (3.172)
— т
так как mi{x(t)} = as(t).
Дисперсия оценки а равна
М2 {а) = т4 {(а — а)2} =
h (t) h (и) {[х (t) — as (/)] [х (и) — as (a)]} dt du =
-Г -Г
т т
h(t)h(u)B(t, u) dt du (3.173)
-T -T
240
T T
-I I
или с учетом (3.170) и (3.167)
т т
I J V(t)V (и) В (/, и) dt du
М2 {а} = =1^
( J V (0 s (<) dtу
т
J V(t)s(t)dt
. (3.174)
-т
-т
Однако знаменатель в правой части (3.174) совпадает со
средним значением квадрата производной по оцениваемому
параметру логарифма функционала отношения правдопо¬
добия. Действительно, информация по Фишеру в соответ¬
ствии с (3.149) равна
Следовательно, из неравенства Рао. — Крамера [см.
(3.150) ] можно сделать вывод о том, что несмещенная линей¬
ная оценка (3.171) имеет минимальную дисперсию в классе
всех возможных оценок амплитуды детерминированной
составляющей, т. е. является эффективной оценкой этого
параметра.
Так как оценка (3.171) максимального правдоподобия
является линейным функционалом от реализации нормаль¬
ного случайного процесса, она представляет нормальную
случайную величину со средним значением а (в силу несме¬
щенности) и дисперсией М2 {а}, определяемой по форму¬
ле (3.174). Это дает возможность довольно просто указать
интервальную оценку для амплитуды [см. (2.52)]
I (а) = mi |(^-1п/[х(0, а])2} =
Т т
^ V (t) V (и) [х (t) — as (/)] [х (и) — as (u)]dt du |
-г -г
т т
т
-г -г
-г
Р{а(\ — е)<а<а(1 +г)} =
ае
/м2 „2
16-197
откуда следует, что длина доверительного интервала равна
[см. (3.174)]
т J_
2еа = 2[ § V(t)s{t)dt} 2xt_y, (3.176')
-т 2
где ЛГ1—у — процентная точка нормального распределе-
~2
ния, определяемая по коэффициенту доверия у.
В случае белого шума N0V (t) = s (0 и дисперсия
(минимальная) оценки а определяется по формуле
М2{а)=-Т-^ . (3.177)
J s2 (t) dt
-т
Следует отметить, что хотя оценка (3.171) представляет
оценку максимального правдоподобия амплитуды детерми¬
нированного процесса в том случае, когда он комбинируется
аддитивно с нормальным случайным процессом, эта оценка
сохраняет некоторые важные свойства и для процессов \ (/),
отличных от нормального. Прежде всего ясно, что эта оценка
всегда несмещенная. Кроме того, можно показать, что
в классе линейных оценок она имеет минимальную дисперсию.
Действительно, пусть оценка амплитуды равна
т
а= § g(t)x(t)dt (3.178)
-т
при условии несмещенности
т
^g(t)s(t)dt= 1. (3.178')
-т
Тогда по аналогии с (3.173)
т т
Мг{а}= J J g(t)g(u)B(t, u)dtdu. (3.179)
-т -т
Найдем нижнюю границу значений дисперсии при всевоз¬
можных *) функциях g (t) и соблюдении условия (3.178'),
*) Предполагается, конечно, что класс функций g (t) огра¬
ничен не только условием (3.178'), но и требованием ограниченности
М2 {а}, т. е. сходимости в среднеквадратическом стохастического
интеграла (1.178).
242
которое с учетом (3.167) может быть переписано в виде
т т
g (t) V (и) В (t, u)dtdu= 1.
-т -т
Воспользовавшись неравенством Буняковского — Шварца
(см., например, сноску на стр. 84 в первой книге), получим
т т
1 = ( ^ ^ g (^) I/ (0 5 (t, и) dtdu'j <
J т - т
т т т т
< ^ ^ V (t)V (и) В (/, u)dt du ^ ^ g (t) g (и) В (t, и) dt du,
-т-т -т-т
откуда следует, что [см. (3.179)]
Л42 {<*) > “г-т "
I I V(t)V(u)B(t, u)dtdu
-т -т
или (см. (3.174))
М2 {а} > - j 1 • (3.180)
J V(t)s(t)dt
-т
Таким образом, нижняя граница дисперсий всевоз¬
можных линейных оценок амплитуды а детерминирован¬
ного процесса as(t) в произвольном аддитивном случай¬
ном процессе с корреляционной функцией В (t, и)
т
равна ^ V (t) s (t) dt^"1, где V (t) — решение интегрального
-т
уравнения (3.167). Эта граница достигается в том случае,
когда g (t) == h (t) [см. (3.170)]. Во всех приведенных
выше результатах молчаливо предполагалось, что
т т т
[ V(t)s{t)dt= § ^ V{t)V(u)B(t,u)didu> 0, (3.181)
-Т -Т-Т
т. е. корреляционная функция является ядром положитель¬
но определенной квадратичной формы. Это условие, как
отмечалось выше, соответствует регулярному случаю.
Если же
т
§ V(t)s(t)dt = 0,
-Т.
16* 243
то имеет место сингулярный случай. Наличие аддитивного
белого шума является достаточным условием для справед¬
ливости предположения (3.181), так как при
В (Л и) = Bi (/, и) + N06 (t — и)
т т т
^ V(t)s(t)dt= ^ ^ V (t)V (и) Bl(t, u)dt du +
—т -т-т
т
+ N0 J V*(t)dt> 0, (3.181')
-Т
потому что первое слагаемое в (3.18Г) неотрицательное,
а второе — положительное.
Таким образом, наличие аддитивного белого шума сразу
же исключает возможность появления сингулярности.
3.6.4. Байесовские оценки. Используя обобщение методи¬
ки, изложенной в § 2.4.5, нетрудно в принципе определить
и байесовские оценки случайных параметров бь . . ., бт
квазидетерминированного слагаемого s (t\ . . ., Фт) по
наблюдаемой реализации х (/).
Байесовские оценки lx(t)]9 . . ftm^gm lx (t)]
неизвестных параметров Фь . . ., бт, минимизирующие
средний риск
R = mi{J[x(t)\gu ..., gm]}, (3.182)
находятся из системы уравнений [см. (2.118)]
-^7 = 0, г = 1, ..., т, (3.183)
где
J[x(t)\gu •••. Ы =
оо оо
= ^ ... ^ П (ft j, . . ., ftm, ftj, . . ., ftm) X
— OO —OO
X Wm [fti, ..., ftm|* (01 dftt ... dftm (3.184)
№m[ftl, . . ., ftm I X (/)! =
(fy. • • •. $m)l [X (t) 1 ■»!, ..., flm]
OO OO
J • • • J wm (^i, . . ., $m) I [x (t) I .. ., Фиг] . . . d$n
— 00 — 00
244
(3.185)
Для квадратичной функции потерь получим [см. (2.119)]
ft* = ^ ^ ft;lFm [ftlt ..., ftm | x{t)] dfti... dftm. (3.186)
— oo — oo
При ограничениях, указанных во второй главе, эта же байе¬
совская оценка имеет место и для иных (симметричных)
функций потерь.
Возвращаясь к рассмотренному выше примеру, найдем
байесовскую оценку амплитуды а квазидетерминированного
процесса as(t), предположив сначала, что функция потерь
П—квадратичная и что амплитуда представляет нормальную
случайную величину с точно известными средним а0 и
дисперсией
Тогда в соответствии с (3.157) и (3.185) апостериорная
плотность параметра а, когда имеется отрезок реализации
х (/) на интервале (—Т, 7), равна
Wda\x{t)\ = -W^a)l[x{ °lfl] =
I wi (a) l Iх (0 I a] da
— oo
(q—gp) 2 T
2"S «pH''«[*(0--Н0]л}х
oo (a—ao)2 T
X { —X— \ e 2°o exp Га ^ V (i) x
I a0 У 2я L
x[jc(0—£s(0]<tf]da}"\
где V (0 представляет решение интегрального уравне¬
ния (3.167). Вычисляя интеграл, заключенный в фигур¬
ных скобках, получим после несложных преобразо¬
ваний
HMfl|*(0]=(1+^V,x
00 |/ 2л
<3-187>
245
где
т
J V(t)s(t)dt, (3.188)
ST =
-т
т
хт = J V(t)x(t)dt. (3.189)
- т
При квадратичной функции потерь *) минимум J [х (/) | g]
достигается для оценки, совпадающей с условным средним
оцениваемого параметра а (см. § 2.3.6). Тогда из (3.187)
непосредственно следует, что байесовская оценка амплитуды
квазидетерминированного слагаемого имеет вид
т
«о + о02 J V(t)x (0 dt ао + фт £т
•- f “-rW21 <3'190>
1+<т§ J V(t)s(t)dt
-т
или
а = а0 + ррф j V (t) [х (t) - a0s (t)] dt =
- T
= a0 -f- ^(л:т — 0ost)* (3.190')
Сравнивая (3.190) с (3.166), нетрудно прийти к выводу, что
байесовская оценка представляет среднее взвешенное двух
величин: оценки максимального правдоподобия и априорно¬
го среднего а0, причем отношение веса, приписываемого
первой величине, к весу второй равно
Iх = °ost = —т * (3-191)
( \ V (0 s (0 dt)'1
-т
т. е. отношению дисперсии априорного распределения пара¬
метра к дисперсии оценки максимального правдоподобия.
Если указанное отношение неограниченно возрастает
(т. е. дисперсия оценки максимального правдоподобия
много меньше дисперсии априорного распределения), то
«—г-. (ЗЛ9Г)
ST
*) Из § 2.3.8 следует, что приводимые ниже результаты спра¬
ведливы также и при любой симметричной функции потерь.
246
т. е. байесовская оценка приближается к оценке максималь¬
ного правдоподобия. Если же, напротив, дисперсия априор¬
ного распределения много меньше дисперсии оценки макси¬
мального правдоподобия, то
Оо, (3.192)
т. е. наблюдаемая реализация не влияет на оценку, которая
принимается равной априорному среднему оцениваемого
параметра.
Когда случайная составляющая процесса представляет
белый шум, то согласно (3.167) N0V (t) = s (t), и тогда
из (3.190) следует:
т
§ s (t) х (t) dt
а= (3.192')
гг?
-Т
ИЛИ
а = go+И^мп , (3.192")
где амп — оценка максимального правдоподобия (3.168).
Величина
т
т2
-Т
т. е. равна отношению дисперсии априорного распределе¬
ния к дисперсии оценки максимального правдоподобия
[см. (3.177)].
Рассмотрим некоторые свойства байесовской оценки
(3.190) амплитуды квазидетерминированного слагаемого.
Прежде всего видно, что эта оценка получается путем
линейной обработки наблюдаемой реализации х (t) и, сле¬
довательно, так же как и исходный процесс, имеет нормаль¬
ное распределение (как и оценка максимального правдопо¬
добия). Найдем среднее и дисперсию байесовской оценки ау
причем сначала получим условные средние и дисперсию
при фиксированном а, а затем безусловные, усредняя по а.
247
Из (3.190') следует:
mt {а | а} = а0 + (а - а0) ■,
М2 {а | а} = (, [ 1 + (а-а0)2 sT],
и так как т1{а} = а0, /пА {(а — Яо)2} = ov то» усредняя по а,
получим
т!{а} = а0> (3.193)
= (3-193,)
При jx 0 дисперсия байесовской оценки также стре¬
мится к нулю, а при \х —оо асимптотическое значение этой
дисперсии равно а*.
Заметим, что функция J [х (t) \ а] в рассматриваемом
примере в соответствии с (3.189), (3.187) и (3.190) равна
оо
J[x(/)|a]= ^ (a — a)2Wl[a\x(t)]da =
— оо
-ув№"Ч<‘-*х
— ОО
xexp[_l^£l(a_a)2]da = _^_) (3.194)
т. е. не зависит от x(t). Отсюда следует, что средний
риск равен
/? = m1{JH0|al} = rq^5; = Tfir~. (3.195)
При а0 0 величина среднего риска также стремится
к нулю, так как в этом случае априорное распределение
оцениваемого параметра приближается к дельта-функции.
При сто оо
R-*Rmax = -!-, (3.196)
т. е. к величине дисперсии оценки максимального правдо¬
подобия.
Таким образом, априорное распределение, для которого
дисперсия много больше дисперсии оценки максимального
правдоподобия, является наименее благоприятным и, сле-
248
довательно, оценка (3.166) максимального правдоподобия
является также и минимаксной.
3.6.5. Асимптотические свойства байесовской оценки.
При произвольном априорном распределении Wi (а) ампли¬
туды квазидетерминированного сигнала байесовская оценка
этой амплитуды при квадратичной функции потерь равна
в соответствии с (3.186)
где х (t) — наблюдаемая на интервале (—Г, Т) реализация
суммы сигнала as (t) и нормального случайного процесса
с нулевым средним и известной корреляционной функ¬
цией В (t, у).
Подставляя в (3.197) выражение для апостериорной плот¬
ности оцениваемого параметра [см. (3.187)], используя
выражение для функционала отношения правдоподобия
и обозначения (3.188), (3.189), запишем (3.197) в виде
Дополняя экспоненты в подынтегральных выражениях
до полных квадратов, после элементарных алгебраических
преобразований находим
Когда дисперсия оценки максимального правдоподобия
St1 —> 0, функция
(см. стр. 69 в первой книге), и из (3.198), предполагая непре¬
рывность w 1 (а) и используя фильтрующее свойство дель-
249
(3.197)
— оо
— оо
а
оо
оо
— оо
. (3.198)
оо
— оо
та-функции, получаем асимптотическую формулу для байе¬
совской оценки амплитуды при sTоо:
т
I V(t)x(t)dt
• (з-1")
j V (t) s (t) dt
— T
Таким образом, независимо от вида априорного распре¬
деления Wi (а) амплитуды а байесовская оценка а прибли¬
жается при sT->oo к оценке максимального правдоподо¬
бия (3.166).
В том случае, когда аддитивный случайный процесс
представляет белый шум,
т
ST=~h § s2wdt'
-т
т. е. указанная асимптотика имеет место при неограниченном
увеличении отношения энергии детерминированного про¬
цесса на интервале наблюдения к спектральной плотности
аддитивного белого шума.
Так как несмещенная оценка максимального правдопо¬
добия (3.166) имеет нормальное распределение и ее диспер¬
сия равна st, то асимптотическое (при sT -+■ оо) условное
распределение байесовской оценки может быть записано
в виде
Wi(a\a)= |/^ехр [-4^(а —а)2] , (3.200)
откуда следует, что безусловное распределение байесовской
опенки а при sT-+ оо асимптотически приближается к
оо
Wl(a)= ^ Wi (а) U?! (а | a) da ~ (а), (3.200')
— оо
т. е. к априорному распределению неизвестного параметра,
в котором переменная а заменяется оценкой максимального
правдоподобия этого параметра.
3.6.6. Обобщение результатов. Вернемся к общему
случаю, когда детерминированное слагаемое . . ., бт)
содержит произвольное конечное число неизвестных пара¬
метров. Случайное слагаемое, как и прежде, представляет
нормальный случайный процесс с нулевым средним и изве-
250
стной корреляционной функцией. Предположим, что функ¬
ция s (/; hi . . ., 'O'jJ может быть представлена в виде
т
s(*;#!, 0m) = 2 VjSj(t), (3.201)
j= 1
где sj (t), j = 1, . . m — известные функции.
Найдем совместные оценки максимального правдоподо¬
бия параметров ftiy . . ., '&ш. Подставляя (3.201) в правую
часть (3.158), заменим интегральное уравнение (3.158)
системой уравнений
т
^ В (t, и) Vi (и) du = Si(t)i 111 < Г,
(3.202)
причем функция V (t; Ф™), от которой зависит ло¬
гарифм функционала отношения правдоподобия (3.157), равна
771
V(f;0j, (3.203)
j=i
Из (3.203) находим
...,bm) = Vt(t) (3.204)
и, подставляя (3.204) в (3.161), получаем систему уравне¬
ний максимального правдоподобия
Т 771
J Vi (() [х (t) - 2 QjSj (о] dt = О, 1 = 1 /я, (3.205)
-Т j=i
или
7п Т Т
2 Ь I Vi (t) Sj (t) dt — 5 Vi(t)x(t)dt,
j=l -T -T
i— 1, ..., m. (3.205')
По аналогии с (3.188) и (3.189) обозначим
г
Stu= I Vi(t)Sj(t)dt, (3.206)
-т
т
xTi = J Vi (t) х (t) dt (3.206')
-т
251
и представим систему линеиных уравнении относительно
(3.205) в виде
т
S $Tijftj — %Ti» i — 1» • • •» (3.207)
j=i
или в матричной форме
sT# = XT, (3.207')
где sT — матрица размером т х т, элементы которой равны
sTiy, а О и Хг —векторы-столбцы, элементы которых ftj
и соответственно.
Полагая, что для всех /
т
^ s* (/) d/ -
! < оо
и что В (t, и) — положительно определенная функция
(см. § 3.3.1), приходим к заключению, что существует
матрица sт\ обратная матрице sr. Тогда решение уравнения
(3.207') приводит к следующим оценкам максимального
правдоподобия неизвестных параметров:
# = sr1Xr. (3.208)
Если случайная составляющая наблюдаемого процесса
представляет белый шум с интенсивностью N0l то из (3.202)
следует, что
N0Vi (t) = Si (/), i = 1, ..., m,
и, следовательно, матрицы sr и Хг в (3.207') преобразуются
к виду (множитель N0 сокращается)
т
sr = j ^ Si (t) Sj (t) dt
-T
/ ■= 1, ..., m,
/=1, ..., m, (3.209)
т
Xr = || ^ Si(t)x(t)dt , / = 1, (3.209')
-T
Векторная оценка (3.208) несмещенная. Действительно,
из (3.208) находим*)
m1{^} = sr1m1{Xr}. (3.210)
*) О среднем значении матриц см. § 2.7.1.
252
Но
m Т m
ttti {xTi} = 2 ^ § si V) Vi V) dt = 2 bfiTth
3=1 -T j=i
и, следовательно,
mi {XT} = sr<K (3.210')
Подставляя (3.210') в (3.210), получим
m, {£} = #, (3.211)
что и доказывает утверждение о несмещенности оценки
(3.208).
Найдем выражение корреляционной матрицы М оце¬
нок (3.208) максимального правдоподобия [см. (2.99)]
М = т4 {(#-#) (#-#)'}, (3.212)
где знак штрих указывает на транспонированный вектор
(в дальнейшем — на транспонированную матрицу). После
несложных преобразований и подстановки вместо Ь ее выра¬
жения из (3.208), получим с учетом симметричности мат¬
рицы sT:
M = tnl {М'} - = mi {s?XtXt (sт1)'} - б#' =
= Sr1/^ {ХтХт} Sr1- М'. (3.213)
Но
т т
^ ^ ^ (и, у) К* (и) V; (у) du dv +
-т -т
771 771
+ ftnSTjni
k=l 71— 1
и, следовательно [см. (3.202)],
{ХтХт} = sT + sr##'sT. (3.214)
Подставляя (3.214) в (3.213), находим
М = st1, (3.215)
т. е. корреляционная матрица оценок максимального прав¬
доподобия детерминированного слагаемого (3.201) совпадает
с матрицей, обратной матрице sr [см. (3.206), а для белого
шума (3.209)].
253
Найдем также элементы информационной матрицы Фише¬
ра [см. (2.98)]. Используя левую часть (3.205), получим
-т
т Т m
х[*(ы)—2 -e-ftSft (w)] du § Vj(v) [х(у) —2 dv} =
k=l -T 71=1
T T
В (и, v) Vi (u) Vj (v) du dv =
-T - T
T
= ^ Vi (“)S/ («) du>
—T
что полностью совпадает с (3.206).
Таким образом, информационная матрица
с матрицей sr, т. е.
I = sr,
и из (3.215) находим, что
Г1 — St1 = М.
Следовательно [см. (2.99)], оценки максимального прав¬
доподобия (3.208) являются совместно эффективными.
Результаты, аналогичные приведенным выше, могут
быть получены и в том случае, когда результаты наблюде¬
ний представлены не реализацией х (t), а дискретной выбор¬
кой (см. задачу 3.6).
Возможны также обобщения результатов § 2.6.4 и на
случай совместных байесовских оценок случайных пара¬
метров #i, . . ., ,&w квазидетерминированного слагаемого
вида (3.201) (см. задачу 3.7, а также [11]).
3.6.7. Оценка параметров корреляционной функции. Рас¬
смотрим задачу оценки неизвестных параметров ■&!, . . ., ftm
корреляционной функции В (t, у\ ft и • • •> ^т) нормально¬
го случайного процесса с нулевым средним. Для того чтобы
исключить сингулярность, предположим, что к процессу
добавляется белый нормальный шум со спектральной плот¬
ностью N0. Таким образом, корреляционная функция изу¬
чаемого случайного процесса | (t) представляется суммой
Вг (*, у) = N08 (у-1) + В (*, у; О* ..., ftm). (3.218)
254
совпадает
(3.216)
(3.217)
-
Воспользуемся выражением (3.123) логарифма функционала
отношения правдоподобия, полагая в этом выражении
(t, и) = Вг (t, и) и В0 и) = N08 (t — и)
оо
ln/[*(0;Oi, ...,^1 = 12 1Ы#1. •••. #m)-l]X
ft= 1
т
[ J *(0 сРь(*> *i> • • • ’dt~\ —
oo
|2ln^(#, u (3.219)
X
-T
2
h= 1
где в соответствии с (3.120) ф& и ^ — собственные функции
и собственные числа линейного интегрального уравнения
т
^ [B(t, и; 0Ул)+Мо6(* — м) — XN08(t — и)] y(u)du = 0
-т
или
NoCk— 1)ф(0= § B(t, u;Qu ..., #т)ф(u)du, |*|<7\
-Т
(3.220)
причем собственные функции нормированы согласно (3.120'):
N0K(ftu ^ фй(^; ^1, .... ^т)фп(^; • • .,Qm)dt =
(3.221)
-г
1, k = n,
0, 1гфп.
{
Принимая максимум функционала отношения правдо¬
подобия как критерий качества оценок . . ., 6m неиз¬
вестных параметров, находим, что эти оценки должны удов¬
летворять системе уравнений
■A-ln/[x(0;Oi, 0i»] = 0, /=1, .. т, (3.222)
в которую следует подставить выражение In I [х (t);
. . ., бт] из (3.219)..
255
Рассмотрим подробно тот случай, когда корреляционная
функция В (/, у) известна с точностью до постоянного
множителя, т. е.
В (tj у) = cR (t, у). (3.223)
Для стационарного нормального случайного процесса не¬
известным параметром с может быть дисперсия; тогда
R (t, у) = R (У — t) представляет известный коэффициент
корреляции.
В рассматриваемом случае интегральное уравнение
(3.220) преобразуется к виду
т
ср(/) = |i ^ R(t, u)y(u)du, |f |<7\ (3.224)
-т
где
>‘ = 7м£=ГГ <3'225»
Из последней формулы также следует, что
Ь-'+Яф- <3-226>
Запишем теперь функционал логарифма отношения
правдоподобия, подставляя (3.226) в (3.219). С учетом
нормировки ера, (t; с) = . . (t) получим
V Nq lh
__ С гр
1п[х(0|с]=^-2 [ I x(t)4>k(t)dty —
-т2>»0+*?й)- (3.227)
k=l
Дифференцируя (3.227) по cf находим уравнение макси¬
мального правдоподобия
4r\nl[x(t\c)} =
2N0 Л
k=i
дс
1
OO
2 1 X) 1
X
256
или
%ri(i
)V
1
[ J *(0<М0<и]2 =
= 2
=i (1+4^)
(3.228)
M-ft
Решая уравнение (3.228) относительно с, получаем
оценку максимального правдоподобия. В этом уравне¬
нии (лА и (0 — собственные числа и функции интеграль¬
ного уравнения (3.224). Конечно, вычисление оценки макси¬
мального правдоподобия в явном виде из (3.228) весьма
трудоемкое. Ясно, что эта оценка получается в результате
нелинейных операций над наблюдаемой реализацией х (t).
Определим нижнюю границу дисперсий несмещенных
оценок параметра с корреляционной функции. Для этого
вычислим величину информации по Фишеру [см. (3.149)]:
1(с)=т1 {(^Ы[х(0|с])2} =
оо оо
= -Щ 2 2 т1 [
k—\ П— 1 ^
%
X
X
П2п
\
X
где
WoM*/ V 1 No\in)
m‘К1*-лг,—•дг) -vo—-^г)} •
т
%= § x(t)<fk(t)dt
— нормальная случайная величина с нулевым средним
и дисперсией N0 + —, а и цп при кфп независимы.
Поэтому при k Фп mi j (ill — N0 — (r|n — N0 — -^-)} = 0’
17-197 257
а при k = n
{(ч£ - "• - i)2} “'"■ «> - ("“+s)!-
-2K+i)2-
Тогда
'w-wSwTTrM5- <3-229>
»-• l1+ssd
Согласно неравенству Рао—Крамера [см. (3.150)] находим,
что дисперсия несмещенной оценки
М2 {с} > Ш . (3.230)
«чО+кЁ)'
Нижнюю границу дисперсии [правую часть неравенства
(3.230)] можно с учетом (3.225) переписать в виде
M2min = -^i . (3.231)
S (и>д*)-2
h=i
Вводя функцию h(t, у) согласно (3.132), которая пред¬
ставляет решение интегрального уравнения [см. (3.134)]
т
lR(t,y)h(v,y)dy + ^.h(v,t) = R(t,v), \t\<T, (3.232)
-т
получаем из (3.231) выражение нижней границы дисперсии
оценки параметра с в виде
M2min = т т 2с2 , (3.233)
J I Л2 (t, у) dt dy
-т -т
так как из (3.132) следует, что
§ ^ h?(t, y)dtdy=^i ( \h ) = щ 2 (М*)~2-
-т -Т k=i k=i
258
Если -^1- > 1, то из (3.232) в качестве приближенного
решения интегрального уравнения можно принять
h(v,t)&-j^R {t, v). (3.234)
Тогда для нижней границы дисперсий оценки параметра с
имеет место асимптотическое соотношение
г ^сТ> . (3.235)
^ ^ Я2 (u, v)dudo
-т -т
Для стационарного в широком смысле процесса
Т Т 2 Т
§ § R2(u, v)dudv= ^ (2T — \x\)R2(x)dx
-Т -Т —2Т
и соотношение (3.235) может быть переписано в виде
(ir)2^, (3.235')
где
2 Т
ъ-т И1~£Ч**(,>Л- (3236)
— 2Т
Заметим, что, используя (3.226), можно формулу (3.231)
переписать в виде
= 2 . (3.236')
q2 оо 4 '
2 ('+^*Г
fc=l
При А^о ->■ 0 знаменатель в (3.236') неограниченно возраста¬
ет (|гА от N о не зависит) и соответственно М2тт 0- Это
указывает на возможность оценки параметра без смещения
и с нулевой дисперсией при отсутствии аддитивного белого
шума, что соответствует рассмотренному выше сингуляр¬
ному случаю [см. (3.130)].
Рассмотрим теперь следующий специальный класс нели¬
нейных оценок неизвестного параметра с корреляционной
17* 259
функции нормального случайного процесса (рис. 21):
т т т
с= ^ ^ h(t, u)x(t)x(u)dt du — No ^ h(t,t)dt. (3.237)
-г -т -Т
Нетрудно убедиться, что эти оценки несмещенные при
условии
т т
J J h (t, и) R (t, u)dtdu= 1, (3.238)
-т -т
Рис. 21. Блок-схема устройства для оценки амплитуд¬
ного множителя корреляционной функции.
так как с учетом (3.218)
т т
Mi {с}= \ ^ h(t, u)Bz(t, u)dtdu — N0 ^ h(t, t)dt -
-Т -т -Т
т т
= с ^ ^ h(t, u)R(t, и) dt du = с.
-т -т
Дисперсия оценки (3.237) равна
М2 {с} = rrii {с2} — с2 =
т т т т
= I I I ^ h(t, u)h(v, y)ml{x(t)x{u)x(v)x(y)} х
-Т -Т -Т -Т
т т т
X dt dudv dy — 2N0 ^ h(t, t)dt ^ ^ h(t, u)Bi(t, u)dtdu-{-
-T -T -T
T
+ Nl( I h{t,t)dt)2-c\
260
Используя известное выражение для смешанного момента
четвертого порядка нормального случайного процесса (см.
задачу 4.5 в первой книге), получаем с учетом (3.218)
и нормировки (3.238)
т т
М2{с}=2N1 ^ ^ h(t,v)h(v,t)dtdv +
-т -т
т т т
-{-AN0c ^ ^ ^ h(t, u)h(t, y)R(u, y)dudydt +
-T -T -Т
т т т т
+ С2 § § § \h{t,u)h (V, у) [R (t, у) я (u, I/) 4-
-Т -Т -Т -т
+ R (t, у) /? (и, v)] dt du dv dy. (3.239)
Определение весовой функции h(t,u), для которой
дисперсия М2{с) минимальна при условии (3.238), пред¬
ставляет сложную задачу вариационного исчисления. Однако
нетрудно решить эту задачу для предельных случаев малых
и больших отношений .
сТ
Если -^г > 1, то сформулированная выше задача сво¬
дится к минимизации функционала [первого члена в (3.239)]
т т
^ ^ h(t, v)h(v, t)dtdv
-т -т
при условии (3.238) Решение имеет простой вид:
h(t,u)= T~yR(t'u) . (3.240)
J J R2 (и, v) du dv
-T -T
Следовательно, в рассматриваемом случае
т т
I I R2 (/, v) dt dv
М2 {с} ~ 2N1 =
( J J R2 (и, v) du dvf
-T -T
т т
= 2Nl ts s R2(u, v)dudvl^ (3.241)
— T -T
261
что по существу не отличается от (3.235).
Итак, при » 1 несмещенная оценка
т т
~Т [ § § R (*’ “)х ^ Х ^ di du
I I R2 (w, 0) du dv —t -T
-No I R(t, t)dt\
(3.242)
представляет асимптотически эффективную оценку.
Для стационарного нормального процесса (3.242) может
быть записано в виде
XlR(t,v)R(u, y) + R(t, y)R(u,v)]dtdudvdy>0. (3.244)
Таким образом, в классе рассматриваемых несмещенных
оценок дисперсия оценки даже при 0 (когда возмож¬
на сингулярность) ограничена снизу величиной, отличной
от нуля.
3.6.8. Оценка корреляционной функции. В предшествую¬
щих разделах рассматривались оценки неизвестных пара¬
метров функции распределения случайного процесса. В не¬
которых ситуациях для заданного вида распределений
неизвестными оказываются детерминированные функции,
характеризующие распределение. К числу таких функций
относятся, прежде всего, корреляционные функции и энер-
262
2 Т
X
-2 Т
Т Т
В другом предельном случае, когда >0,
т т т т
М2 {с} —> с2 h (t, и) h (v, у) х
гетический. спектр стационарного (в широком смысле)
случайного процесса. В этом и следующем разделах рас¬
сматриваются оценки указанных функций по одной
реализации х (t) процесса, наблюдаемой на интервале
(-Т, Г).
. Известно (см. § 4.1.6 в первой книге), что для эргоди-
ческих случайных процессов временное среднее
т
Вт (т) = ±г 5 ж (0 л: (t + т) dt (3.245)
-т
сходится при Т -*■ оо по вероятности к корреляционной
функции В (/) случайного процесса. При дополнительных
предположениях (например, нормальности) имеет место
сходимость Вт (т) к В (т) в среднеквадратическом (см.
задачу 4.2 в первой книге).
Естественно, в качестве оценки неизвестной корреляцион¬
ной функции В (т) случайного процесса можно взять выбо¬
рочную временную корреляционную функцию (3.245). Одна¬
ко она неудобна в том смысле, что для ее вычисления при
любом | т | < Т необходимо иметь значения реализа¬
ции х (0 вне заданного интервала наблюдения (— Т, Т).
Поэтому в качестве оценки корреляционной функции В (т)
принимают функцию
В(т) = В*(т) =
1
т_ ill
2
2 Г-|т|
Оценка (3.246), так же как и (3.245), состоятельная и не¬
смещенная. Последнее следует из того, что среднее по мно¬
жеству реализаций
Щ {Вт (т)} =
М
1
Г-2
2Т-1 х j
-Г+-Ц
I 5-) *(* + £) }я = Д(т).
(3.247)
263
Для того чтобы определить дисперсию оценки (3.246),
найдем сначала второй момент случайной величины Вт(т):
т 1*1 r-J-i!
2
х
-т + Ц^- -т+-4г
X л:
(« + у) л: (и — y) * (и + у) } d“dv. (3.248)
Из предположения о стационарности следует, что четвертый
момент rtii {* (« — у) х (“ + у) х (и— у) х (^ + у) }
зависит только от двух аргументов: т и v — u. Обозначая
этот момент символом M(t,v — u), перепишем (3.248)
в виде *)
т 1Т| т 1x1
2 2
тг {В£(т)} = (2ГГ|Т|)2 S I M(x,v-u)dudv--
-т+-ф- -t+1y-
2Т-|т|
= (2т — I Т 1)2 ^ I х I | z |)Л1 (т, z) dz.
Так как
2Т-\х\
2Т—\х |
S
-2Т+| т
1
J (2Г — | т | —| z|)dz = 1,
(2Т — | т |)2
-2Т+|т |
то с учетом (3.247)
М2 {В*т (т)} = т2 {В*т (т)} - В2 (т) =
(2Г—| т |)2
-2Т+|т|
(3.249)
Для нормального стационарного случайного процесса
момент четвертого порядка равен (см. задачу 4.5 в первой
книге)
М (т, z) = B2 (т) + В2 (z) + -S (т + z) В (т — z). (3.250)
*) Переход от двойного интеграла к одномерному аналогичен
преобразованию (4.60) в (4.61), приведенному в первой книге.
264
Подставляя (3.250) в (3.249), получим для дисперсии оценки
корреляционной функции нормального процесса следующее
выражение:
2Т-|т |
= \ (> — 2г=]7т) х
X [B2(z) + B(t + z)B(t — z)] dz. (3.251)
Распределение вероятностей оценки (3.246) можно найти
методами, указанными в § 9.3 первой книги. Из приведен¬
ных там результатов следует, в частности, что при Т ->■ оо
эта оценка асимптотически нормальна со средним В (т)
и дисперсией:
оо
М2 {В* (т)} ~ ~ I [В2 (z) + В (т + z) В (т - г)] dz. (3.252)
о
При т = 0 из (3.246) находим несмещенную оценку
средней мощности стационарного случайного процесса
т
т\ = В*т (0) = -±r J х2 (t) dt, (3.253)
-т
дисперсия которой для нормального процесса согласно
(3.251) равна
2 т
М2 {m*2) = A J (1 - ^г) В2 (z) dz. (3.254)
о
При Т —> оо оценка (3.253) средней мощности асимпто¬
тически нормальная со средним В(0) и дисперсией
оо
jj B2(z)dz. (3.255)
о
Заметим, что оценка (3.253) является частным случаем
(3.237) при N0 = 0 и h(t, и) = -^г 8 (t — и). При этом фор¬
мула (2.239) переходит в (2.254).
Приведенные выше результаты нетрудно распространить
на оценку взаимной корреляционной функции В(т) двух
265
стационарных и стационарно связанных процессов | (/)
и т)(/). Аналогично (3.246) имеем
T_iii
2
в\г[т(х)— 27’_|х| § х 2^) У + у) dt, |т|<7\
(3.256)
где x(t) и y(t) — реализации процессов £(/) и Л (0 соот¬
ветственно, наблюдаемые на интервале времени (— Т, Т).
Оценка (3.256) несмещенная, а ее дисперсия равна
[ср. (3.249)]
ЛМВ&.т(т)} =
2Т—| т I
= 2Т—|т| ^ 0 ~ 2Г — |т I ) 2^— ^
-2Г+|т|
(3.257)
где
М5„(т, z) = m1{x (ы-у)|/(ы+-Ь)х(у- у) «/(« + у)} •
(3.258)
3.6.9. Оценка энергетического спектра. Примем сначала
в качестве оценки непрерывного*) энергетического спектра
стационарного случайного процесса по его реализации х (()
на интервале (-Т, Т) величину (см. § 4.7.3 в первой кни¬
ге) **)
F (ю) = GT (©) = 1ZT (loo) |2, (3.259)
где
т
ZT (to>) = J х(0 е-‘«'dt. (3.260)
-т
*) Предполагается, таким образом, что среднее процесса равно
нулю и он не содержит квазидетерминированных составляющих.
•*) В статистической литературе оценку Gj> (со) называют
периодограммой.
266
Нетрудно убедиться, что оценка (3.259) смещенная.
Используя (4.61) первой книги, запишем
т
Щ {^т (®)} = FT (о) = 4 ^ (1 - у-) В (т) cos сот dx —
о
Т оо
= F (со) — 4 (jг ^ тВ (т) cos сот dx + ^ В (т) cos сот dx) .
Следовательно, смещение оценки энергетического спектра
при заданном Т равно
F (со) — FT (со) =
Т оо
— jr^xB (т) cos сот dx + 4 ^ В (т) cos сот dx, (3.261)
о т
где В (т) — корреляционная функция процесса.
Однако из (3.261) (как, впрочем, и из определения
энергетического спектра) следует, что оценка (3.259) при
Т —> оо асимптотически несмещенная, так как
lim FT (со) = F (со),
Г-мо
при условии, что ^ хВ (х) dx
< оо.
Найдем дисперсию оценки (3.259) энергетического
спектра нормального случайного процесса. Для этого опре¬
делим сначала ее второй момент:
^2 {Gt (®)} ~ {^т (®)} =
Т Т Т Т
= ^ I S I S mi{x(t)x(y)x(u)x (У)} х
— Т -Т -Т -Т
X e-tofl-H-u-») dt dy du dv;
так как для нормального процесса (см. задачу 4.5 в пер¬
вой книге)
nii {х (t) х (у) х (и) х (v)} = B(y~t) В (V —и)+
+ B(u-t)B(v-y) + B(v-t)B(u-y), (3.262)
267
то (см. (4.60) в первой книге)
т т т т
m2{GT(co)}=-^ I J I § [B(y-t)B(v — u) +
-Т -Т -Т -Т
+ В (u — t) В (v — у) + В (v — t) В (и — у)] х
т т
X dt dy du dv = 2Ft (со) + § § В (t — u) X
-T -T
т т
X e-ico('+u> dt du ^ ^ В (v — y) eico^+u) dy dv
-T -T
или
т т
m2 {GT (со)} = 2F2T (со) -f | ^ ^ В (u — t) e-ifi><*+u) dt du
-T -T
(3.263)
Используя (3.263), находим искомую дисперсию оценки:
М2 {GT (со)} = m2 {GT (со)} — т\ {GT (со)} =
т т
= n(co)+1L| J J fi(u-0e-to('+")d/du 2 . (3.264)
-т -т
Так как при Г —> оо и со^О
т т
Y2 § ^ В (u — t)e-i(0^+uy> dt du
~Г ~П«о)(^)!, (3.265)
то второе слагаемое в (3.264) при Т —■> оо и со=^0 стре¬
мится к нулю и, следовательно,
lim М2 {GT (со)} = F2 (со). (3.266)
Т-* ОО
При со = 0 и Т —> оо из (3.264) непосредственно следует
lim М2 {GT (0)} = F2 (0).
Т-> оо
Таким образом, для всех со, при которых F (со) > 0,
дисперсия оценки энергетического спектра не стремится
к нулю при Тоо. Иначе говоря, оценка не сходится
в среднеквадратическом к оцениваемому спектру при Тоо.
268
Сохранив предположение о нормальности процесса,
можно найти распределение вероятностей оценки (3.259)
его энергетического спектра. Эта оценка представляет
сумму квадратов нормальных случайных величин
т т
^ x(t) cos со/ dt, § х (0 sin со/ dt,
средние значения которых равны нулю, а их дисперсии
и ковариация равны соответственно
т
Отс (<*>) = Щ ^ х (t) cos со/ dt j2 | =
-т
т т
= — § § B(v — и) cos av cos сои dvdu, (3.267)
-т -т
т
От8 (со) = m4 j-^г- ( ^ * (0 sin со/ d/j 2 j =
-т
т т
— — ^ ^ В (v — и) sin сои sincow dv du, (3.268)
-т -т
т т
/яг(<о) = mt ^ х (t) cos Ш dt ^ x(t) sin со/Л j =
-т -т
т т
у ^ ^ B(v — и) cos av sin av dv du. (3.269)
T
-T -T
Используя формулу (3.116) первой книги, запишем
теперь выражение характеристической функции оценки
энергетического спектра:
в^-2ттс„т'ут^щ I W{-7<r^rx
г 1 — ОО —оо
х ^к~2Нт~^+^;)+iv(xi+x$} dxidx2=
^ § § ехР {(i/i ^тУ\Уг + у\) +
2л
— оо —оо
+ iv (1 —Rt) (отсУ1 + от3г/2)} dyt dy2,
269
где обозначено
<3-270>
Вычисление интеграла производим согласно приложе¬
нию II первой книги. Получим
©Gr (о) = [1—2/о(1— R2t) (отс + от,) -
_ _1_
— 4и2 (1 — £ гг)2 oho2T, - Яг] 2
или
_
@gt (t>) = [ 1 — 2iu (отс + о2т,) — 4и2(1 —Rt) o2TCa2Tlt\ 2.
(3.271)
Обратным преобразованием Фурье *) находим искомое
распределение оценки энергетического спектра нормального
случайного процесса:
аТс + аТв
Wgt№ 2ar~Or. if I —R% exp[
2oTcoTe У1 — R\. L 4агсат« (1 — R2t)
•z X
xlm\v (0rc-qT8)2+4qTcgT^T Л ; z>0. (3.272)
L 4аТсаТв(^—J
Согласно определению энергетического спектра
lim arc (со) = lim of-* (сo) = -\-F (со), (3.273)
Т-мо Т—мо ^
limmT(co) = 0. (3.274)
Т-юо
Из (3.272) следует, что при Г —> оо оценка энергетического
спектра имеет в пределе экспоненциальное распределение
вероятностей
F(6,)’ z>0 (3-275)
с параметром F (со) [т. е. среднее равно F (со), а дисперсия
F2 (со) находится в полном согласии с (3.266)].
Хотя рассмотренная выше оценка F (со) = GT (со) энер¬
гетического спектра случайного процесса асимптотически
несмещенная, она обладает тем недостатком, что увеличение
*) См., например, [5, т. 2, стр. 328].
270
времени наблюдения над реализацией случайного процесса
не позволяет достигнуть желаемой точности, так как даже
при Т —>- оо дисперсия оценки остается конечной. Поэтому
рассмотрим также класс смещенных оценок с дисперсией,
убывающей при увеличении времени наблюдения.
Выберем в качестве оценки непрерывного энергетическо¬
го спектра стационарного случайного процесса следующую
случайную величину, представляющую функционал от
наблюдаемой на интервале (—Т, Т) реализации процесса:
F (со) = gT (со) =
Г г
= ~Т § I § х (и) h (t — и) e~i(i)U du 2 dt, (3.276)
-т -г
где h (т) — весовая функция, которую можно трактовать
как импульсную переходную функцию некоторого линейно¬
го фильтра. Оценка (3.276) получается усреднением по вре¬
мени на интервале наблюдения суммы квадратов процессов
на выходе упомянутого фильтра, когда на вход действуют
процессы х (t) cos со t и х (t) sin со t.
Вводя преобразования Фурье ZT (ico) для реализации
х (t) и k (/со) для импульсной переходной функции h (т)
(см. (5.5') в первой книге), перепишем (3.276) в виде
ШИП
— Т — Т — Т —оо —оо —оо —оо
X ZT (iсо2) k (tco3) k (ico4) exp [ iu (co4 — co3 — со) -f-
-f iv (co2 — co4 + со) -f it (co3 + o)4)] du dv dt dcot dco2 da>3 dco4.
(3.277)
Усредняя обе части (3.277) по множеству реализаций,
переходя к пределу при Т -*■ оо и используя фильтрующее
свойство дельта-функции (см. приложение III в первой книге)
оо
6И=-5Г I '
— оо
получаем
оо
щ {gT (®)} ~ 2JJ- I F(0) + v)C2(V) dv, (3.278)
—оо
где
С2 (со) = 16 (ico) |2.
271
Из (3.278) видно, что оценка (3.276) смещенная. С уче¬
том нормировки характеристики фильтра
оо оо
-JJ- J С2 (v) dv = J h2 (т) dx = 1 (3.279)
— oo — oo
асимптотическое смещение оценки можно представить в виде
оо
т1 {gT (ю)} — F (со) — ^ [F(v) — F(co)]C2(v — ©)dv.
(3.280)
При дополнительном предположении нормального рас¬
пределения процесса л; (/) можно найти асимптотическое
выражение (при Г оо) для дисперсии оценки (3.276) [15]:
оо
М2{£г(®)}~^2И I С4 (со) Л0. (3.281)
— оо
При сглаживающем фильтре типа /?С-интегратора (см. § 5.2.3
в первой книге) с учетом нормировки (3.279)
С2 ^ = 1 _j_ 2 ’ а ~ ~RC~ ’
из (3.281) получаем
ЛМ£гИ}~-§р2И, (3.282)
т. е. для получения достаточно малого значения дисперсии
оценки время наблюдения Т должно быть много больше
постоянной времени ^ = RC фильтра (иначе говоря, про¬
изведение ширины полосы фильтра и времени наблюдения
должно быть много больше единицы).
Задачи
3.1. Пусть s (/) — детерминированная функция, спектр (преобразо¬
вание Фурье) которой непрерывен и ограничен полосой частот (со4, со2)-
Показать, что для этого случая справедлива следующая интерполя¬
ционная формула:
X
272
где
А — ^ — м _ W2 + (01 . /о\
А — 2 ’ 0 ~ 2 ’ ' '
Л2(/)=52(0 + ст2(0; (3)
<p(<) = arctg-^-^-: (3')
о (t) — преобразование Гильберта от s (t) (см. приложение VII в пер¬
вой книге).
3.2. Показать, что площадь под детерминированной функцией
/ (t), имеющей непрерывный спектр, тождественно равный нулю при
| со | > А, равна
оо оо
!»‘-тМт)' <*>
— оо 71— — оо
Используя (4) и (4.67') в первой книге, показать, что время корре¬
ляции стационарного в широком смысле случайного процесса, энерге¬
тический спектр которого непрерывен и ограничен полосой частот
(— А, А), равно
оо
2 * (т-) • <5>
71=— оо
где R (т) — коэффициент корреляции процесса.
3.3. Имея в виду, что амплитудный спектр функции
^У при любом фиксированном tQ обращается в нуль при
Д (f tty)
| (о | > А [см. (3.11)], доказать справедливость равенства
00 sin А (/о—sin A (t
sin A (t — tо) = у V А / V А }
Доказать (6), используя ортогональное разложение корреляционной
функции (см. § 3.3.2).
3.4. Для любого фиксированного t0 получить следующее обоб¬
щение формулы (3.4):
sin Га
2 '('»+х) • <7>
71= — оо A I t t о д j
3.5. Показать, что оценка максимального правдоподобия ампли¬
туды а квазидетерминированного процесса as (t) по наблюдаемой
на интервале ( —7\ Т) реализации х (t) суммы этого процесса и ста¬
ционарного нормального марковского процесса с дисперсией а2
18-197 273
и коэффициентом корреляции R (т) = ехр ( — /л | т |) имеет следующий
вид:
e= {[s(-r)--i-*'(-T)]*(-^+[*W--£-s' (71)] х(Т) +
т
+ ц J [s(f)~^-s'(<)]*(<)<«} [**(-Г) + 8*(Г) +
-т
+ V I {s*(0+-jj [s'(<)]*} dtj1. (8)
-Г
Доказать, что оценка (8) несмещенная и что ее дисперсия равна
[ср. (3.112)]
М2 {а} = 2а2 |^s2 (— Г) +s2 (Г) +
т
+ И J {s2(0 + -^K WI2} dtj\ (9)
-Г
Рассмотреть частный случай s (/) г 1 и убедиться, что при этом
Г
дс(-Л + *(Г) + Ц I *V) dt
а= fl , (10)
2(1+цГ)
<">
и при \лТ » 1
т
1
“~2Т I X{t)dt’ (12)
-т
(13)
Объяснить причину совпадения (12) с (3.169).
3.6. Рассмотреть задачу § 3.6.5 в предположении, что результаты
наблюдения представлены не реализацией x(t) = s(t; О*, ..., Фт) +
+ £(/), а дискретной выборкой х = (х4, ... х^), где xi — x(t{) и —
моменты времени, принадлежащие интервалу наблюдения (— 7\ Г).
Показать, что оценки максимального правдоподобия параметров Ф&
могут быть представлены в векторной форме [ср. (3.158)]
d = (И)
274
где
X = s'k_1x, (15)
S = s'k-1s. (15')
Здесь к — нормированная корреляционная матрица случайного слагае¬
мого £(/),
k=w- (16)
где tr К — след корреляционной матрицы' К, a s —матрица размером
Nxm с линейно-независимыми (в алгебраическом смысле) столбцами,
причем /-й столбец матрицы представляет вектор Sj с компонентами
s/(*i)» Sj(tjy); j = 1» .**, т. Штрихом обозначена транспониро¬
ванная матрица. Доказать, что оценка (14) несмещенная, а ее кор¬
реляционная матрица равна
M = -^S-1. (17)
3.7. Показать, что в условиях задачи 3.6 совместная байесовская
оценка совокупности параметров ,0, = (д1, ..., Фт) при квадратичной
функции потерь имеет следующий вид:
I $wm (ф) lN (х | d) dft
Q
J wm (О) In (х | d) dO
Q
(18)
где wm (О) — совместная априорная плотность вероятности оцениваемых
параметров и Q — область m-мерного пространства, на которой задана
эта плотность, а функция lN (х | О) определяется из соотношения
/лг(*|0) = ехр { — 2-ff-j^(x — sO)'k~1(x—sO)} . (19)
3.8. Найти нижнюю границу М2т'т дисперсии несмещенных оценок
параметра а2 нормального стационарного марковского процесса, кор¬
реляционная функция которого представлена формулой (3.109), в ад¬
дитивном нормальном белом шуме со спектральной интенсивностью N0
по реализации суммарного процесса на интервале (— 7\ Т). Дока¬
зать, что при ^ 1 имеет место асимптотическая формула
M2min 4fiЧ ( N0 у
а* 4|хГ + е'4^г-1 U2r j ‘
Если время наблюдения много меньше времени корреляции марков¬
ского процесса (\хТ < 1), то показать, что из (20) следует
M2min
а4
(См. также задачу 7.6 в первой книге.
18* 275
ЛИТЕРАТУРА
МОНОГРАФИИ
1. Вайнштейн Л. А. , 3 у б а к о в В. Д. Выделение сигна¬
лов на фоне случайных помех. Изд-во «Советское радио», 1959,
приложение III.
2. Гренандер У. Случайные процессы и статистические
выводы. Пер. с англ., под ред. А. М. Яглома. Изд-во иностран¬
ной литературы, 1961.
3. Д а в е н п о р т В. Б., Рут В. Л. Введение в теорию слу¬
чайных сигналов и шумов. Пер. с англ., под ред. P. JI. Добру-
шина. Изд-во иностранной литературы, 1960, гл. 14 и при¬
ложение 2.
4. Д у б Д ж. Л. Вероятностные процессы. Пер. с англ., под
ред. А. М. Яглома. Изд-во иностранной литературы, 1956,
гл. VII, § 9.
5. Миддлтон Д. Введение в статистическую теорию связи.
Пер. с англ., под ред. Б. Р. Левина. Изд-во «Советское радио»,
т. I, 1961, гл. 4; т. II, 1962, гл. 16.
6. Серебрянников М. Г., Первозванский А. Л.
Выявление скрытых периодичностей. Изд-во «Наука», 1965,
гл. 5.
7. X э н н а н Э. Анализ временных рядов. Пер. с англ., под
ред. Ю. А. Розанова. Изд-во «Наука», 1964.
8. X а р к е в и ч А. А. Спектры и анализ. Гостехиздат, 1949
СТАТЬИ
9. Б е л я е в Ю. К. Аналитические случайные процессы. «Тео¬
рия вероятностей и ее применения», 1959, вып. 4.
10. Г а е к Я. Линейная оценка среднего стационарного случай¬
ного процесса с выпуклой корреляционной функцией. Чехо¬
словацкий математический журнал, 1956, вып. 6.
11. Левин Б. Р., Ш и н а к о в Ю. С. Предельная форма бай¬
есовской оценки коэффициентов регрессии при нормальном
нестационарном шуме. «Проблемы передачи информации»,
1967, № 1.
12. П и с а р е н к о Б. Ф. К задаче обнаружения случайного
сигнала на фоне шума. «Радиотехника и электроника», 1961, № 4.
13. Писаренко Б. Ф. О вычислении отношения правдоподобия
для гауссовских процессов с рациональным спектром. «Теория
вероятностей и ее приложения», 1965, вып. 2.
14. Blackman R. В., Т u к е у I. W. The measurement of
Power Spectra trom point of fien of Communication Engineering.
BSTJ, 1958, № 1, № 2.
15. Grenander U., Rosenblatt M. Some problems in
estimating the spectrum of time series. Proc. Third Berkley
Symp. Math. Stat., Los Angelos, 1956, v. 2.
16. Kelly E. J., Reed I. S., Root W. L. The detection
of radar echocs in noise. I. J. Soc. Ind. Appl. Math., 1960,
v. 8, № 2.
17. H о f s t e t t e r E. M. Some results on the stochastic signal
parameter estimation problem. IEEE Trans, 1965, IT-11, № 3.
276
18. L e v i n M. J. Power spectrum parameter estimation. IEEE
Trans, 1965, IT-11, № 1.
19. R e i с h E., S w e r 1 i n g P. Detection of sine wave in gaus-
sian noise. J. Appl. Phys. Rev., 1953, v. 24, № 3.
20. Slepian D. Some comments on the detection ot gaussian signals
in gaussian noise. IRE Trans., 1958, IT-4, № 2.
21. К a i 1 a t h T. Some results on singular detection. Information
and Control, 1966, v. 9, april.
четвертая ФИЛЬТРАЦИЯ СЛУЧАЙНЫХ ПРОЦЕССОВ
4.1. ВВОДНЫЕ ЗАМЕЧАНИЯ
В предыдущей главе рассматривались оценки неизвест¬
ных параметров и функций, характеризующих распреде¬
ление вероятности случайного процесса, по реализации
этого процесса, наблюдаемой на конечном интервале време¬
ни. Другой практически важной задачей является отыска¬
ние преобразования наблюдаемой реализации для получе¬
ния наилучшей в некотором смысле оценки значения слу¬
чайного процесса в некоторый момент времени внутри или
вне интервала наблюдения. Это преобразование в общем
случае называют фильтрацией случайного процесса.
Два параграфа этой главы будут посвящены линейным
преобразованиям. Вначале, пренебрегая физической осу¬
ществимостью линейного фильтра, используется неограни¬
ченный интервал наблюдения, а затем вводится ограничение
этого интервала. Критерием качества оценки значения
случайного процесса служит в одних случаях среднее по
множеству реализаций квадрата ошибки, т. е. средний квад¬
рат отклонения оценки от оцениваемого значения, а в дру¬
гих — отношение мощности полезного сигнала к мощности
помехи. Рассматривается задача оценки *) значения слу¬
чайного процесса £ (t) по наблюдаемой реализации х (t)
суммы этого процесса с другим процессом т) (^), коррелиро¬
ванным с £ (0, а на основании общих результатов исследу¬
ются некоторые частные случаи, представляющие интерес
для радиотехнических приложений. Наряду с оценкой
самого процесса £ (t) представляют также интерес оценки
по указанной выше реализации х (t), наблюдаемой на неко¬
тором конечном (или бесконечном) интервале времени,
*) Часто говорят о выделении одного процесса (сигнала ) £ (/)
из аддитивной смеси этого процесса с другим (помехой) т] (/).
278
линейных преобразований этого процесса. Рассматриваются
следующие виды линейных преобразований: смещение мо¬
мента оценки по оси времени, однократное и многократное
дифференцирование и интегрирование, а также комбинации
этих преобразований.
Вопросы нелинейной фильтрации по критерию минимума
среднего квадрата ошибки рассматриваются в § 4.4. В дан¬
ном параграфе рассматривается один из возможных подхо¬
дов к решению задачи, связанный с характеризацией не¬
линейных систем при помощи бесконечной суммы интегра¬
лов Вольтерра. Получаемое при этом решение в точном виде
не реализуемо, и поэтому исследуются приближения, кото¬
рые, однако, в некоторых случаях могут существенно
уменьшить среднеквадратическую ошибку, получаемую при
использовании оптимальной линейной системы.
Другой подход к точному решению задачи оптимальной
нелинейной фильтрации состоит в ограничении класса
исследуемых процессов одномерными марковскими или
компонентами многомерных марковских процессов [13,
21]. Наконец, иногда используются квазилинейные методы,
основанные на использовании малого параметра (например,
соответствующим образом определенного отношения сиг¬
нал/шум) [9, 10]. Последние два подхода в этой книге не
рассмотрены, и для ознакомления с ними следует использо¬
вать указанные выше библиографические ссылки.
4.2. ЛИНЕЙНАЯ ФИЛЬТРАЦИЯ ПО КРИТЕРИЮ
МИНИМУМА СРЕДНЕГО КВАДРАТА
ОШИБКИ
4.2.1. Импульсная переходная функция оптимальной
линейной системы. Пусть х (t) — реализация суммарного
процесса £ (0 + Л (0> определенная для всех действитель¬
ных значений t. В качестве оценки £ (<) примем профильтро¬
ванное значение реализации (см. § 5.2 в первой книге)
оо
1(0= I h(t, T)x(T)dT, (4.1)
— оо
где h (t, т) — импульсная переходная функция линейного
фильтра (без ограничений, связанных с физической осу¬
ществимостью). Интегралы случайных процессов здесь
279
и далее предполагаются сходящимися в среднеквадратиче¬
ском (см. первую книгу, § 3.5).
Заметим прежде всего, что оценка (4.1), вообще говоря,
смещенная, так как
оо
«1 {!(*)}= I ^)1а%(г) + аГ](х)]йхфа1^),
— оо
где ai(t) и ац (t) — средние значения процессов l(t) и \\(t).
Среднее значение (по множеству реализаций случайного
процесса) квадрата ошибки £ (t) — | (t) при использовании
такой оценки равно
е2 (0 = /«i {[1(0 — 1 (О]2}- (4-2)
Определим импульсную переходную функцию линейного
фильтра, для которого средняя квадратическая ошиб¬
ка е2 имеет величину, меньшую, чем для любой другой
линейной системы *).
Подставим (4.1) в (4.2) и произведем элементарные пре¬
образования. Тогда
оо
е2 (0 = | (0 — 2 ^ h(t, т) л: (т) 1 (0 dx +
— оо
оо оо
+ ^ ^ h(t, u)h(ty v) х (и) х (v) du dv^ =
— oo — oo
oo
= mi{g2(0} —2 § h(t, u)ml{x(x)l(t)}dx +
— oo
oo oo
+ ^ ^ h(t, u)h(t, v) mx {x (u) x (v)} du dv. (4.3)
*) Подчеркнем еще раз, что оптимум ищется в классе линейных
систем. Конечно, в некоторых случаях, применяя нелинейные сис¬
темы, можно иметь меньшую ошибку, чем та, которую дает опти¬
мальная линейная система. Если процессы £ (/) и r\ (t) являются
нормальными случайными процессами, то абсолютный оптимум,
как будет показано ниже, всегда реализуется при помощи линей¬
ной системы. Рассматриваемая в этом разделе задача линейной
фильтрации является обобщением на случайные процессы линейной
средней квадратической регрессии (см. приложение V).
280
Пусть известны корреляционные функции B%(tь t2),
Br)(ti, /2) процессов l(t) и г] (/) и их взаимная корреляци¬
онная функция В%ц (tu t2)- Так как
ml{x(u)x(v)} = Bx(u, v) = Bi (и, у) + В6ч(ы, у) +
+ £„6(и, о) + В„(ы, у), (4.4)
{* СО £ (0} = (т, 0 = (т, 0 + В%„ (т, 0, (4.5)
то из (4.3) — (4.5) находим
оо
е2 (t) = Bi(t, t) — 2 ^ h (t, т) Bxi (т, t) dx +
— oo
oo oo
+ ^ ^ h(t, u)h (t, v) Bx (u, v) du dv. (4.6)
— oo —oo
Из (4.6) следует, что среднеквадратическая ошибка линей¬
ной оценки 1 (/) зависит только от корреляционной и вза¬
имной корреляционной функций процессов £ (t) и ц (t)
и не зависит от более тонкой структуры этих процессов.
Покажем, что при заданных Внаилучшую
(в смысле принятого критерия) линейную фильтрацию про¬
цесса £ (0 из его аддитивной смеси сц (t) будет осуществлять
линейная система, импульсная переходная функция которой
удовлетворяет интегральному уравнению *)
оо
Вх1 (х, 0= I h* (t, у) Вх (х, у) dy. (4.7)
— оо
Подставим (4.7) в (4.6) и покажем, что ошибка e2(t) мини¬
мальна при условии h (/, т) == Л* (t, т). В самом деле,
в результате указанной подстановки получим
оо оо
B2(t) = B%(t, 0-2 I [ h(t, x)h*(t, у)Вх{х, y)dxdy +
Ъ ft)
— oo —oo
oo oo
4- ^ ^ h(t, u) h (t, v) Bx (u, v) du dv =
*) Здесь доказывается только достаточность, доказательство
необходимости см., например, в [4].
281
= вг({, t) — § § h*{t, x)h*(t, у) Bx (т, y)dxtdy +
— оо —оо
оо оо
+ § § fix (ы, V) [h (t, и) — h* (t, «)] х
—оо —оо
X [h (it, и) — Л* (/, и)] da (4.8)
Так как только последний член в (4.8) содержит неиз¬
вестную функцию h (ty и) и так как он неотрицательный
(в силу положительной полуопределенности корреляцион¬
ной функции Вх (ut v); см. §3.3.1), то минимальное
значение е2 будет соответствовать такой линейной системе,
передаточная функция которой обращает его в нуль. Как
нетрудно видеть, это будет иметь место при условии
h (t, и) == h* (t, и), что и требовалось доказать.
Из (4.8) следует, что минимальное значение среднеквад¬
ратичной ошибки при использовании оптимальной линей¬
ной системы равно
оо оо
Emin (0 = вг (t, t) — § § h* (t, u) h* (t, v) Bx (и, v) du dv
—oo —oo
(4.9)
или с учетом (4.7)
oo
Emin (t) = (t, t)— ^ h* (t, u) Bxl (u, t) du. (4.9')
— oo
Используя (5.14) из первой книги, можно (4.9) перепи¬
сать следующим образом:
еи(/) = Вб(*. /)-В|(/, 0, (4.9")
т. е. минимальный средний квадрат ошибки равен разно¬
сти средних квадратов значений оцениваемого процесса
и оценки *).
Величину минимальной среднеквадратической ошибки
£min (0 можно выразить также через интеграл от разности
мгновенных энергетических спектров процесса £ (t) и его
линейной оценки | (/) (см. стр. 219—220 в первой книге).
*) Из (4.9*) следует, что В~ (/, /)<<£|(£, t).
Из (4.9") следует:
ОО
8min (/) = 2^- I [Ф5 (t, О) — Ф| (t, ©)] d(i>,
О
гдеФ (t, <о) — мгновенный энергетический спектр, а индекс
при Ф указывает, какому процессу соответствует спектр.
Заметим, что для некогерентных *) процессов | (t)
и л (0 уравнения
Вх(и, v) = Bi(u, v) + B1](u, v), (4.10)
Bxi(u, v) — B| (u, v) (4.10')
и основное интегральное уравнение (4.7) преобразуются
к виду
оо
0= § Л*(*> Ж5б(т> ^) + 54(t, y)]dy, (4.11)
— 00
а формула (4.9) может быть записана следующим образом:
оо оо
<&in (t) = Вг (t, t) - J J h* (t, u) h* (t, V) X
— oo —oo
X [5| (и, и) + Bn (и, у)] du dv = B% (t, /) —
oo
— J h*(t, u)Bt(u, t) du. (4.11')
— oo
Если процессы 5 (0 и Л (0 стационарны и стационарно
связаны (по крайней мере, в широком смысле), а фильтр
представляет линейную систему с постоянными во времени
параметрами, то интегральное уравнение (4.7) для опреде¬
ления импульсной переходной характеристики преобра¬
зуются к виду **)
оо
Bxi(x)= I h*(2)Bx(X-2)dZ, (4.12)
*) Здесь используется определение некогерентности двух слу¬
чайных процессов, данное на стр. 184 первой книги. Его, конечно,
не следует отождествлять с понятиями «когерентный сигнал»
и «некогерентный сигнал», широко используемыми в импульсной
технике для различения ситуаций, когда фаза высокочастотного
заполнения импульсов известна и когда эта фаза случайна.
**) Интегральное уравнение (4.12) часто называют уравнением
Винера — Хопфа.
283
а для некогерентных процессов | (t) и г] (/)
схэ
В|(т) = ^ Л* (2) [fij (т — z) + Бл (т — z)] dz. (4.12')
— оо
Величина среднего квадрата ошибки не зависит от момента
времени, для которого выполняется оценка значения про¬
цесса | (t), а ее минимальная величина в соответствии
с (4.9) равна
оо оо
£min = Въ (0) — ^ ^ h* (и) h* (у) Вх (у — и) du dv =
— оо —оо
оо
= Bi(0)- J h* (v) Bxi (v) dv (4.13)
— oo
или
&min = Bz (0) —(0), (4.13')
т. e. минимальный средний квадрат ошибки равен разности
средних мощностей оцениваемого процесса и оценки.
Выражая средние мощности через энергетические спект¬
ры процессов (см. (5.22) в первой книге), запишем величи¬
ну 6min В виде
оо
е™<п = 1гГ § —6* (ico) I2] d(D, (4.14)
о
Fx (<*>) = Ft (со) + Fл (со) -f- F^ (со) + F(со), (4.15)
где k* (i(о) — передаточная функция оптимальной линей¬
ной системы; Fi (со), Fn (со), F^ (со), F^i (со) — энергетические
спектры и взаимные энергетические спектры процессов | (t)
и ц (t).
Итак, задача отыскания оптимальной линейной системы
в рассматриваемом случае сводится к решению интеграль¬
ного уравнения (4.12), которое при игнорировании физи¬
ческой осуществимости находится путем преобразования
Фурье от обеих частей (4.12). Так как правая часть (4.12)
есть свертка функций, преобразования Фурье которых
равны соответственно k* (т) и Fx (со), то
Fxt (<о) = F% (<о) + Fln (со) = k* (т) Fx (со),
284
откуда с учетом (4.15) находим
/,*/• \ Fxl(^) Fl (<*>) + FZr) («)
W ^ (со) “ Ft (со) + (со) + F6T| (со) + F46 (со) ’ < * 0)
Подставляя (4.16) в (4.14), получим величину минимальной
среднеквадратической ошибки
2 71 У.
2тс J F* (со)
О
Если процессы l(t) и г] (^) некогерентны, то F(со) =
= ^^(0)) = 0 и из (4.16) следует
Ft (со)
fe*(H= с г • (4.17)
v ' F|(co) + FT1(co) v 7
Так как правая часть (4.17) действительна, то она представ¬
ляет частотную характеристику оптимального линейного
фильтра (фазовая характеристика в этом случае тождествен¬
но равна нулю).
Из (4.16') при Fx% (со) = Fi (со), Fx (со) = F% (со) +
+ Ft, ((d) получим для некогерентных процессов
1 р Fl (со) ^л(со)
Emin"~ 2л I F6(<B) + F4(ffl) d(0- (4Л8)
о
Формула (4.18) показывает, что ошибка в оптимальной
линейной системе может быть сделана равной нулю тогда,
когда энергетические спектры процессов £ (t) иг] (/) не пере¬
крываются, т. е. когда F^ (со) F^ ((d) == 0 при всех со.
В противном случае ошибка неизбежна. Для того чтобы
не было перекрытия, необходимо, очевидно, чтобы энер¬
гетические спектры Fi (со) и Fn (со) на некоторых интерва¬
лах оси частот тождественно обращались в нуль *).
Таким образом, фильтрация стационарного случайного
процесса из аддитивной смеси с другим стационарным слу¬
чайным процессом с нулевой среднеквадратической ошибкой
(сингулярность) соответствует тому случаю, когда энерге¬
тические спектры этих процессов имеют диапазоны частот,
где они тождественно равны нулю.
*) Заметим, что один из спектров должен быть при этом финит¬
ным. Тогда их отношение равно нулю или бесконечности [см. (3.147)].
285
При фильтрации процесса £ (/) на фоне белого шума
для которого (со) = N0, из (4.18) следует
yVn Р Pi (®)
8min = 2я" ^ Fj Н + Л'о ’ 19^
о
т. е. наличие аддитивного белого шума в данном случае
исключает сингулярность (см. § 3.4.6).
4.2.2. Физически реализуемая оптимальная линейная
система; конечное время наблюдения. Линейная система,
импульсная переходная функция которой h* (t, у) находит¬
ся из уравнения (4.7), не реализуема физически, так как
h* (t, у) не равна нулю при t < у. Полученные в предыду¬
щем разделе соотношения можно трактовать следующим
образом: операция фильтрации осуществляется после на¬
блюдения реализации х (t) суммарного процесса £ (/) +
+ т| (/) на всем интервале времени от —оо до оо. Следова¬
тельно, подобная оптимальная линейная система совершает
оценку значения процесса в заданный момент времени с бес¬
конечным запаздыванием. Условие физической осуществи¬
мости означает, что для фильтрации используется только
предыстория реализации х (t) до момента времени, когда
производится оценка, иначе говоря:
h(t, т) = 0, т > t. (4.20)
Подставляя (4.20) в (4.1), получим оценку £ (t) при помощи
физически реализуемого линейного фильтра
*
1(0 = § h(t, x)x(x)dx. (4.21)
— оо
В оценке (4.21) используются все значения реализации,
предшествующие моменту оценки t. Если имеется реализа¬
ция х (т) конечной длительности Т, т. е. если оценка в мо¬
мент t производится по результатам наблюдения на замк¬
нутом интервале (t — Т, t), то вместо (4.21) будем иметь
t т
1(0= § h(t, x)x(x)dx= ^h(t, t — u)x(t — u)du. (4.22)
i-Г о
Подставляя (4.22) в (4.2) и выполняя те же преобразования,
что и в (4.3), придем к следующему выражению среднего
квадрата ошибки, учитывающего физическую реализуе-
286
мость фильтра и конечную длительность реализации про¬
цесса:
т
е2(t) = Bi(t, t) — 2^h(t, t — x)Bxi(t — x, t)dx+
о
т т
+ § Jft(f, t — u)h(t, t — v)Bx (t — u, t — v)du dv. (4.23)
0 0
Используя (4.23), нетрудно (как и в § 4.2.1) показать, что
наилучшую по критерию минимума среднего квадрата
ошибки линейную фильтрацию £ (/) из его аддитивной смеси
с г] (/) осуществляет такая линейная система, импульсная
переходная функция которой удовлетворяет интегральному
уравнению
т
Bxi(t — T, t)=^h*(i, t — y)Bx(t — т, t — y) dy, 0<т<7.
о
(4.24)
Минимальное значение среднего квадрата ошибки, соот¬
ветствующее фильтрации при помощи оптимальной линей¬
ной системы [см. (4.9') 1, равно
т
®min (0 = Вг (t, о - J Л* (t, t - и) Bxl (t - и, t) du. (4.25)
о
Для стационарных и стационарно связанных процессов
|(0 и т|(0 и для фильтра с постоянными параметрами
из (4.24) и (4.25) следует:
т
Bxi (т) (У) Вх (т — yjdy, 0 < т < Т, (4.26)
О
т
Emin = Въ (0) — ^ h* (и) Bxl («) du. (4.27)
о
Если в приведенных формулах устремить Т к бесконеч¬
ности, то приходим к случаю бесконечного времени наблю¬
дения, предшествующего моменту оценки.
4.2.3. Оценка линейно-преобразованного случайного про¬
цесса. Теперь распространим изложенную выше методику
на оценку значения не процесса £ (/), а его линейного пре¬
образования £ (/). Как и раньше, оценка £ (t) производится
287
линейной фильтрацией реализации * (t) аддитивной сме¬
си | (t) и г] (/), наблюдаемой на конечном интервале време¬
ни (t — Т, t), т. е.
т
£ (f) = ^ А4 (/, t — u)x(t — u) du. (4.28)
о
Средний квадрат ошибки при использовании такой оценки
равен
т
6l(t) = mi {[£(0- § Mf, и) *(t — a)daj2 j =
о
т
= Bt(t, 0-2 J М*> t — x)Bxl(t — x, t)dx +
о
т т
+ ^ § А4(£, t — u)ht(t, t — v)Bx(t — u, t — v)dudv, (4.29)
о о
где
B*c(*i, ^) = m1{^(/1)£(/2)} = B«(/i, *2) + Влс(*1, ^). (4.29')
Наилучшая по критерию минимума е| оценка £ (/) осу¬
ществляется линейным фильтром, импульсная переходная
функция A* (t, т) которого удовлетворяет интегральному
уравнению [см. (4.24)]
т
Bxt(t — x, 0 = § (^> t — y)Bx(t — x, t — y) dy, 0 <т<7\
(4.30)
При этом минимум среднего квадрата ошибки равен
т
(/, t)—^h*(t, t — u) Bxl (t — и, /) da. (4.30')
о
Для стационарных процессов формулы (4.30) и (4.30')
преобразуются к виду
т
ht(y)Bx(r — y)dy, 0<т<7\ (4.31)
о
т
ejmin = Bs (0) — ^ h* (и) Bxt(u) du. (4.3Г)
о
288
Различные виды линейного преобразования £ (t) отра¬
жаются лишь на выражениях корреляционной функции
В; (tu t2) и взаимной корреляционной функции Вх^ (tu t2).
Приведем эти выражения для трех наиболее важных видов
линейных преобразований.
Пусть
С (0 = £(* + *<>)• (4-32)
Тогда
t) = -{-to, t-\-to), (4.33)
t2) = Bi(tu t2 + ^o) + B^i (tly t2-\-t0). (4.33')
Случай ^0>0 или t0<C — T соответствует экстраполяции .
случайного процесса*), а — Т < t0 < 0 соответствует
интерполяции.
Если £ (t) дифференцируем в среднеквадратическом и
£(0 = П0. (4-34)
то (см. § 4.3.3 в первой книге)
д2В% (fj, и)
Вс(0 =—дЛ, , (4.35)
*w д/i dt2 (1=(2=/ v '
D ti 4 \ дВ^ ^ , дВг& V1’ ^ //I OR'4
Bxl (h, h) - I gf2 • (4.35)
Для процесса
oo
l(t)= § g(t, T)|(T)dx, (4.36)
— oo
где g(t, x)—заданная функция, получим (см. § 5.2.1 впер¬
вой книге)
оо оо
Bi(t, 0= I I v2)Bi(vlt v2)dvidv2, (4.37)
— oo—oo
oo
Bxi(tu t2)= § g(t2, v)Bl(ti, v)dv +
— oo
oo
+ I g(t2, v)Bnl(ti, v)dv. (4.37')
*) Случай tо > 0 иногда называют предсказанием.
19—197 289
В этом случае оценку £ (t) [см. (4.28) I по реализации
суммы I (t) -г Л (t), наблюдаемой на конечном интервале
времени, можно трактовать как оценку, оптимальную по
критерию минимума среднего квадрата ошибки, процесса
на выходе линейной системы с заданной импульсной пере¬
ходной функцией g (/, т), когда на ее вход действует про¬
цесс I (t).
Заметим, что из (4.36) — (4.37') при g (/, т) =
= 6 (т —t — t0) получаются формулы (4.32) — (4.33'), а при
g (/, т) = б' (t — т) — формулы (4.34)—(4.35').
Формулами (4.30) и (4.31) можно воспользоваться для
оптимальной линейной оценки процесса £ (/), представля¬
ющего результат преобразования £ (t) в линейной системе
со случайными параметрами. Используя (5.112) из первой
книги, можно функцию Вs (t, t) записать в виде
оо оо оо оо
Bt(*»0 = isrJ I I I Bc(t, t, Щ, (02)х
— оо —оо —оо —оо
X Bt(t — и, t — v) e^(®lм-Ь^,)2l,) do)! dco2 du dv, (4.38)
где
Bc(tu t2, (o1? (d2) = ml{k(io)i, ti)k(i<o2, t2)) (4.38')
— корреляционная функция линейной системы. Предпола¬
гается, что передаточная функция линейной системы
k (/a), t) (представляющая случайный процесс) независи¬
ма от i (t).
Взаимная корреляционная функция Вх; (/ь t2) в этом
случае записывается следующим образом:
оо оо
Bxz(tn h) — ~2^ ^ ^ kc(ico, t2) X
—оо — оо
X [В| (tu t2 — v) -I- Bjr, (tu t2 — y)l eiw® dco dv, (4.39)
где
kc(m, t) = mi{k(iсо, i)} (4.39')
— среднее значение передаточной функции линейной си¬
стемы.
4.2.4. Фильтрация как задача регрессии. Рассмотренной
выше задаче линейной фильтрации может быть дана не¬
290
сколько иная трактовка. Пусть £ (/) и £ (/) — два зависимых
случайных процесса, и необходимо оценить значение про¬
цесса £(2) путем линейной фильтрации реализации х (t) про¬
цесса I (t), выбирая характеристику фильтра по критерию
минимума среднего квадрата ошибки. Импульсная пере¬
ходная функция такого фильтра находится из интеграль¬
ного уравнения (4.30) (или (4.31) для стационарных про¬
цессов).
Таким образом сформулированная задача фильтрации
представляет обобщение на случайные процессы задачи
линейной среднеквадратической регрессии для случайных
величин (см. приложение V). Интегральное уравнение
Винера — Хопфа (4.31) аналогично системе линейных
алгебраических уравнений, определяющих гиперплоскость
среднеквадратической регрессии в конечномерном про¬
странстве выборок [см. (7) в приложении V].
В общем виде функционал регрессии задает оценку
процесса £ (t) по наблюдаемой реализации х (t) процесса
I (t) как условное среднее
i(t) = m1{t(t)\x(t)}.
Эта оценка минимизирует средний квадрат ошибки mi{(£ —
— Q2}. Условное среднее не всегда является линейным функ¬
ционалом реализации х (t). Только в том случае, когда
процессы £ (t) и £ (0 нормальные (совместно), функционал
регрессии всегда линейный (см. приложение V, а также
§ 4.4.4).
4.2.5. Фильтрация квазидетерминированного сигнала.
В качестве первого примера, иллюстрирующего теорию опти¬
мальной фильтрации, рассмотрим задачу о фильтрации
квазидетерминированного сигнала £ (t) = as (t), вид кото¬
рого определяется известной функцией s (t), а амплиту¬
да а случайна. Сигнал наблюдается в аддитивной смеси
с независящим от а случайным процессом т\ (t), среднее
значение которого равно нулю, а корреляционная функция
равна В (tlf t2)- Необходимо найти характеристику линей¬
ного фильтра, который формирует наилучшим образом
(по критерию минимума среднего квадрата ошибки оценку
I (t) = a s (/), по реализации аддитивной смеси £ (t) +
Ьт] (t), наблюдаемой на интервале (t — 7\ t). Для этого
необходимо решить интегральное уравнение (4.24), под¬
ставив в него вместо Вх^ и Вх следующие выражения
19* 291
|см. (4.4) и (4.5)]:
Bxi(t — т, t) = mi{a2}s(t — x)s(t), (4.40)
Bx(t — x, t — y) = tiii {a2} s (t — t) s (t — у) + В (t — T, t — y).
(4.40')
Вводя обозначение для второго момента амплитуды
т2 = т1 {а2},
получим после указанной подстановки
т
m2s (t — x)s (t) t — у) [m2s (t — t) s {t — y) +
o
+ B(t — x, t — y)]dy, 0<т<7\ (4.41)
Решение интегрального уравнения (4.41) ищем в виде
h*(t, х) = Xs(t)v(x), (4.42)
где v (х) — решение другого интегрального уравнения *)
(
^ v(u)B(y, u)du = s(y), t-T^.y<Ct- (4.43)
l-T
Подставляя (4.42) в (4.41), с учетом (4.43) получаем
г
т2 = \ [m2 § v (t — y)s(t — y)dy+ l] ,
о
откуда находим величину X:
t
A, = m2(l+m2^ v(z)s(z)dzj (4.44)
t-T
Итак, оптимальная фильтрация квазидетерминирован¬
ного сигнала as(t) на фоне случайного процесса т](/)
осуществляется линейной системой с импульсной переход¬
ной функцией
h* (*, т) = nfis(t)v{x) ) (4>45)
1 + т2 J v (z) s (z) dz
t-T
где v (т) — решение интегрального уравнения (4.43). Оценка
сигнала в момент t по реализации л*(т) его аддитивной
*) Уравнение типа (4.43) уже неоднократно появлялось в пре¬
дыдущей главе.
292
смеси с ri(/), наблюдаемой на интервале (t — T, t), имеет вид
т
as (t) =^h*(t, t —и) x(t — и) du =
о
t
m2s (t) J v (z) x (z) dz
= ^ ; , (4.46)
1 + m2 J v (z) s (z) dz
t-T
а оценка случайной амплитуды сигнала *)
*
m2 J v (z) x (z) dz
a = —t . (4.46')
1 + m2 v (z) s (z) dz
t-T
Оценка а смещенная, так как из (4.46') следует:
t
tn2 J v (z) s (z) dz
mi{a} = ml{a} —t , (4.47)
1 + m2 J v (z) s (z) dz
t-T
но, как видно из (4.47), эта оценка асимптотически при
пг2 —> оо несмещенная.
Найдем средний квадрат ошибки при использовании
оценки (4.46). Согласно (4.30') и (4.40') имеем
т
£>min (0 = m2S2 (t) — 'km2 ^ s2 (t) s (t — t) V (t — t) dr =
0
*
= m2s2 (t)^l — X ^ v(z)s(z)dz^
t-T
*) Подчеркнем, что оценка (4.46') представляет оптимальную
по критерию среднего квадрата ошибки оценку в классе линейных
функционалов от наблюдаемой реализации х (t). При этом не де¬
лается никаких предположений о функции распределения аддитив¬
ного шума. При пг оо эта оценка совпадает с оценкой макси¬
мального правдоподобия амплитуды детерминированного сигнала
на фоне аддитивного нормального шума [см. (3.166)]. Заметим,
однако, что (4.46') совпадает с байесовской оценкой (3.190) при
квадратичной функции потерь и нормальном распределении шума,
если в (3.190) положить = т2 и а0 = 0.
293
или с учетом (4.44)
6min (0 = mi{(a — a)2 s2 (t)} =
_ UplSH . (4.48)
1 -f m2 J v (z) s (z) dz
t-T
Из (4.48) следует также, что
т, {(а - а)2} = ^ , (4.49)
1 + т2 J v (г) s (z) dz
t-T
причем при т2 —> оо средний квадрат отклонения оценки а
от оцениваемой амплитуды а сигнала стремится к своему
t
минимальному значению, равному ^ ^ v (z) s (z) dz j
t-T
Отношение
t
m2 J v (z) s (z) dz
»;{(.-«)■) =e = , (4.50)
l+m. j „Ws(l)i>
t-T
которое не превосходит единицы, указывает, насколько
средний квадрат ошибки при конечном втором моменте
амплитуды меньше этой величины при бесконечном втором
моменте. Сравнивая (4.50) с (4.47), замечаем, что
Щ {а} = е Щ {я}- (4.50')
В частном случае, когда фильтрация квазидетермини¬
рованного сигнала происходит на фоне белого шума
со спектральной интенсивностью Л/0,
B(t, u) = N0b(t — u), v(x) = -^-s(x),
и из (4.45), (4.48) получаем
т
2
N • « (0 « (т)
h* (t, х) = ——j , (4.51)
■w I
} dz
t-T
(t) = . (4.52)
1+Ж I sH*)dz
t-T
294
Приведенные выше соотношения остаются, конечно,
справедливыми и для случая фильтрации детерминирован¬
ного сигнала, если под величиной т понимать амплитуду
детерминированного сигнала. Все результаты, относящиеся
к оценке неизвестной (не случайной) амплитуды детерми¬
нированного сигнала, указанные в § 3.6.1, получают из
соответствующих формул этого раздела при т2 оо (см.
подстрочное примечание на стр. 293).
Заметим, что в соответствии с (4.46) дисперсия оценки
квазидетерминированного сигнала по реализации аддитив¬
ной смеси сигнала и шума равна дисперсии шумового сла¬
гаемого на выходе фильтра, т. е.
т т
M2{as(t)} = ^ ^ Л*(/, t — u)h*(t, t — v)X
о о
B(t — u, t — v)dudv = X2s2 (t) ^ v (z) s (z) dz ■
X.
t-T
t
n* С
mi2 \ v (z) s (z) dz
' т
t
= m2s2 (t) —t . (4.53)
(1 + m2 J v (z) s (z) dz)
t-T
Сравнивая (4.53) с (4.48), находим
t
m2 \ v (г) s (z) dz
M2{as{t)} _ t-т
&mm (t) | _j_ m2 J v ^ s ^ dz
2
<1, (4.54)
t-T
причем это отношение стремится к единице, когда т2—■> оо.
4.2.6. Чистая экстраполяция. В качестве второго иллю¬
стративного примера рассмотрим задачу об экстраполяции
значений случайного процесса £ (t) по наблюдаемой на
конечном отрезке времени реализации этого же процесса.
Решение этой частной задачи получается из общего реше¬
ния, приведенного в § 4.2.3, если положить £ (0 = £ (* +
+ t0) и ц (0 = 0. Экстраполированное значение £ (t + t0)
получается линейной фильтрацией наблюдаемой реализа¬
295
ции х (t) процесса \ (t)
т
l(t + t0)=^h(t, t — u)x(t — и) du, (4.55)
0
а импульсная переходная характеристика наилучшего
фильтра по критерию минимума среднего квадрата ошибки
находится из интегрального уравнения [см. (4.30)]
т
B%(t — т» t ~\~to) = ^ h* (ti t — у) X
о
X В% (t — т, t — у) dy, 0 < т < Т. (4.56)
Соответствующее (минимальное) значение среднего квадрата
ошибки экстраполяции равно [см. (4.30')]
£2 (U to) = В% (t + t0l t + /о) —
т
— ^h*(t,t — и) Bi(t — u, t +10) du. (4.57)
о
Импульсная переходная характеристика h * (т) опти¬
мальной линейной системы с постоянными параметрами
для получения экстраполированного значения стационар¬
ного (в широком смысле) процесса
т
| (t -[- /0) = ^ h* (и) x(t — и) du (4.58)
о
является решением интегрального уравнения
т
Б5(т + /0)= ^ к* (у)Вг(х — y)dy, 0<т<7\ (4.59)
о
которое является частным видом уравнения (4.56). Сред¬
ний квадрат ошибки при этом равен
т
s*min (to) = (0) - I h* (и) Вг (и + to) du. (4.60)*)
о
*) Заметим, что для чистой экстраполяции, без учета физи¬
ческой реализуемости фильтра, интегрирование в (4.58) — (4.60)
производится по всем действительным значениям переменной.
Интегральное уравнение при этом имеет тривиальное решение
h* (у) = 6 (у + t0)\ оценка совпадает со значением реализации
I (t + t0) = х (t + /0), а средний квадрат ошибки равен нулю.
296
4.3. СОГЛАСОВАННЫЕ ФИЛЬТРЫ
4.3.1. Линейная фильтрация по критерию максимума
отношения сигнал/шум. В предыдущем разделе качество
линейной фильтрации определялось величиной среднего
квадрата отклонения оценки от значения оцениваемого
случайного процесса. Такой подход оправдан в ситуациях,
когда при выделении сигнала имеет значение вид его функ¬
циональной зависимости от времени. В других радиотех¬
нических задачах, например в радиолокации, важно уста¬
новить наличие или отсутствие сигнала, скрытого в шумах,
т. е. важно при фильтрации обеспечить максимальное
отношение сигнал/шум даже ценой существенного иска¬
жения формы сигнала.
Пусть х (t) — реализация аддитивной смеси детермини¬
рованного сигнала s (t) и стационарного (в широком смысле)
случайного шума r\ (t) с нулевым средним и известной
корреляционной функцией Вц (т). Реализация наблюдается
в течение конечного интервала времени Т. Оценку сигнала
дает профильтрованное значение реализации
т
s (t) = ^ h (т) х (t — т) dx, (4.61)
о
где h (т) — подлежащая определению импульсная пере¬
ходная функция линейной системы (с постоянными во вре¬
мени параметрами). Критерием качества оценки принима¬
ем максимум отношения сигнал/шум на выходе фильтра,
которое нетрудно определить в силу линейности фильтра
(см. § 6.3.1 в первой книге). Действительно, (4.61) можно
переписать в виде
s(t) = Si (0 + v(/),
где
т
s{ (t) = ^ h (т) s(t — т) dx,
о
т
v (() = ^ h (т) r\ (t — т) dx.
о
Отношение сигнал/шум определяется как отношение квад¬
рата сигнала на выходе s\ (t0) в некоторый момент време-
297
(4.62)
(4.62')
(4.62")
ни t0 к дисперсии шума на выходе фильтра o'i = M2{v (/)},
т. е.
С __ s? (t0)
Ш a2v
(4.63)
Оптимальный по критерию максимума отношения сиг¬
нал/шум линейный фильтр называют согласованным.
4.3.2. Импульсная переходная и передаточная функции
согласованного фильтра. Определим импульсную переход-
Q
ную функцию линейной системы, для которой отношение щ
имеет максимальную величину. Обозначим эту величину
через \imax- Тогда для любой линейной системы с импульс¬
ной переходной функцией А (т) имеет место неравенство
[см. (4.62), (4.63)]
т т
(^o) = \^max ^ ^ А (U) А (и) Зц (V U) dll dl)
О о
т
— ( ^ А (т) s (to — т) dx) 2 > О, (4.64)
о
причем знак равенства соответствует согласованному филь¬
тру. Нетрудно проверить, что левая часть (4.64) обращается
в нуль для функции А (т) = А* (т; /0)» удовлетворяющей
интегральному уравнению
т
^ Л* (т; t0) Вц (t — T)dx = k (/0) s(t0 — t), 0 < t < 7\ (4.65)
о
где константа к (/0) равна
т
$Л*(т; t0) s(t0-T)dT
к (t0) = -5 = (4.66)
Цтах l^max si (^o)
(звездочка указывает, что значения сигнала s4 и дисперсии
шума относятся к процессу на выходе согласованного
фильтра).
Заметим, что если Л* (т; /0) представляет решение
уравнения (4.65), то этому уравнению удовлетворяет так¬
же функция сЛ* (т; t0), где с — произвольная константа,
а величина \imax остается неизменной. Таким образом,
298
импульсную переходную функцию согласованного фильтра
достаточно определить с точностью до постоянного (мас¬
штабного) множителя.
При фильтрации детерминированного сигнала из адди¬
тивной смеси с белым шумом импульсная переходная
функция согласованного фильтра может быть выражена
Рис. 22. Сигнал и импульсная переходная функция
согласованного фильтра.
в явном виде, если в (4.65) подставить Вц (t — т) =
= N08 (t — т). Используя фильтрующее свойство дельта¬
функции, получаем
h* {t\ t0) = s (/„ - 0, 0 < t < T. (4.67)
Следовательно, в рассматриваемом случае импульсная
переходная функция согласованного фильтра пропорцио¬
нальна зеркальному отображению относительно вертикаль¬
ной оси, проходящей через точку t = t0, отрезка сигна¬
ла s (0 на интервале (/0 — Т, /0) с последующим перено¬
сом начала координат в точку t = t0 (рис. 22). В том
случае, когда t0 = Г, импульсная переходная функция
получается одним зеркальным отображением сигнала отно¬
сительно вертикали, делящей пополам интервал (О, Т).
Максимальное значение отношения сигнал/шум рав¬
но [см. (4.64)]
т
[I S2 (<о — X)dx]2
о
М-max —" j
I s2 (to — *) dТ
б
т. е. отношению энергии сигнала на интервале (/0—7\/0)
к спектральной плотности N0 шума.
299
т
= 1 S2(t0 — x)dx, (4.68)
о
Передаточная функция k* (/со; t0) согласованного фильтра
с импульсной переходной функцией (4.67) равна
оо
/г* (ico; /„) = ^ h* (i; /0) е~ш dt =
— оо
т
= I s('o-*)e-to'<« =
О
to
_ над е-гш(0 ^ s (/) е'“' dt
0 io-т
или
6* (ico; g = ^ ^ /о’ Г) (4-69)
где As (со; t0, Т) — спектр отрезка сигнала s (t) на интер¬
вале (/0 — Т, t0) и черта сверху указывает на комплексно¬
сопряженную величину.
Итак, при выделении сигнала из аддитивной смеси
с белым шумом передаточная функция согласованного
фильтра пропорциональна комплексно-сопряженному спек¬
тру усеченного сигнала.
Можно получить общее выражение передаточной функ¬
ции согласованного фильтра при произвольном энергети¬
ческом спектре Fn (со) шума, если, отказавшись от условия
физической осуществимости, предположить, что имеется
реализация х (t) для всех действительных /, и представить
оценку сигнала в виде [ср. с (4.61)]
оо
s(t)= ^ h* (т; t0)x(t — x)dx.
— оо
В этом случае уравнение (4.65) преобразуется к виду
(для всех действительных значений t)
оо
^ Л*(т; t0)B4(t — x)dx = k(t0) s(tQ — t). (4.70)
— oo
Совершая преобразование Фурье над обеими частями (4.70),
приходим к выражению
k* (ко; to) /Ч) И = k (t0) As (со) е~ш<>
300
(здесь As (со) — спектр неусеченного сигнала), из которого
находим передаточную функцию согласованного фильтра:
**(йо;/0) = ВД-^^е-^о. (4.71)
Максимальное отношение сигнал/шум в соответствии
с (4.64) равно (см. также § 5.2.1 в первой книге)
оо
[ J h* (т, t0) s(t0 — т) d-c]2
— оо
{1-тах —
J J h* (щ to) h* (v\ /0) Вц (v — u)du dv
— oo — oo
oo
[27Г § k* (/co: A$ №еШ( d“]
— 00
00 ’
2^ § Fn (“) I k* (/to; t0) |2 dm
— 00
и, подставляя вместо k* (ш; tQ) его выражение из (4.71),
получаем окончательно
<4'72)
— ОО
В случае белого шума Fv (со) = N0 и из (4.72) следует
[ср. с (4.68)1:
оо
Мтпаас — 2nNо ^ \ As ((d) \2 d(x). (4.72)
— оо
Отметим, что оценка сигнала на выходе согласованного
фильтра, вообще говоря, смещенная, так как
т
mi {s (/)} = mi | ^ h* (т; /0) х (t — т) dx j =
о
т
= J /г* (т; /„) s (t - т) dx = sf (/) ^ s (0. (4.73)
О
301
Дисперсия этой оценки равна дисперии шумового сла¬
гаемого v(/) на выходе согласованного фильтра [см. (4.53)]
т т
В случае белого шума из (4.73), (4.73') и (4.67) следует:
4.3.3. Оптимальная фильтрация периодической последо¬
вательности импульсов из аддитивной смеси с белым шумом.
В качестве простейшего примера, иллюстрирующего резуль¬
таты предыдущего раздела, найдем частотную характери¬
стику согласованного фильтра, предназначенного для выде¬
ления периодической последовательности импульсов из
аддитивного белого шума. Пусть т0 — длительность оди¬
ночного импульса и пусть и (t) — функция, отличная от
нуля на интервале 0</<т0, описывает форму этого
импульса. Спектр импульса имеет вид
о
Для периодической последовательности импульсов с пери¬
одом Т
Нормированная частотная характеристика согласован¬
ного фильтра (т. е. отношение модуля коэффициента пере¬
302
т
= k (t0) ^ Л* (и; t0) s (t0 — u)du =
о
(4.73')
т
о
о
т
м2 {s (t)} = ^ s2 (to - т) dx.
о
оо
s (0 = 2 u(t—пТ)
спектр равен
оо
/ющии
дачи к кд/о) j будет согласно (4.71) иметь следуй
вид:
С И - | As (со) | - . (4.74)
Если длительность одиночного импульса стремится к нулю,
то | Аи (со) | остается постоянным в увеличивающемся диа-
Рис. 23. Частотная характеристика
гребенчатого фильтра.
пазоне частот и частотная характеристика согласованного
фильтра приближается к частотной характеристике идеаль¬
ного гребенчатого фильтра (рис. 23):
с и (4.74')
sin -
Если сигнал представляет пачку импульсов конечной
длительности (с числом импульсов Л/), то
N-1
-гсо Т
п = О
и в соответствии с (4.69) нормированная частотная харак¬
теристика согласованного фильтра определяется по формуле
N&T
С (©) = | Аи (©) |
sin-
соТ
(4.75)
Заметим, что в отличие от частотной характеристики
2д&
(4.74), которая не ограничена на частотах -jr- , где k —
303
любое целое и | Аи | >0, частотная характеристика
согласованного фильтра для импульсной последовательности
конечной длительности ограничена и на частотах, кратных
тактовой частоте, так как из (4.75) следует, что
c(^i)=w|,4„ (^)|.
4.3.4. Активный и пассивный фильтры. Устройство,
вырабатывающее оптимальную по критерию максимума
отношения сигнал/шум оценку сигнала
т
s(t)= ^ h* (%) x(t — т) di (4.76)
о
(где h* (т) — решение неоднородного интегрального урав¬
нения (4.76) и х (t) — наблюдаемая на интервале (t — Т, t)
аддитивная смесь сигнала и шума), может быть интерпре¬
тировано двумя способами. Согласно одному из этих спо¬
собов, указанному выше, согласованный фильтр, выделяю¬
щий сигнал из аддитивной смеси со стационарным случай¬
ным шумом, интерпретируется как линейная система
с постоянными параметрами, импульсная переходная
функция Л* (т) которой определяется видом сигнала и кор¬
реляционной функцией шума [см. (4.65)]. В частном случае
белого шума эта импульсная переходная функция получает¬
ся зеркальным отображением сигнала.
Однако устройство, на выходе которого получается
оценка (4.76), можно интерпретировать иначе. Пусть име¬
ется генератор, вырабатывающий на основании решения
интегрального уравнения (4.65) функцию Л* (т). Тогда
оценка s (t) получается при помощи устройства типа корре¬
лометра, в котором функция Л* (т) от местного генератора
перемножается с принимаемой реализацией, прошедшей
линию задержки, а полученное произведение интегрируется
по всему интервалу наблюдения. Подобное корреляционное
устройство для выделения сигнала иногда называют актив¬
ным фильтром в отличие от линейной системы с импульс¬
ной переходной функцией h* (т), которую называют пас¬
сивным фильтром *).
*) По терминологии Д. Миддлтона, активный и пассивный
фильтры представляют согласованные фильтры первого рода:
первого и второго типа соответственно [10].
304
4.4. НЕЛИНЕЙНАЯ ФИЛЬТРАЦИЯ
ПО КРИТЕРИЮ МИНИМУМА СРЕДНЕГО
КВАДРАТА ОШИБКИ
4.4.1. Общий метод характеризации нелинейных систем.
В предыдущих разделах рассматривались оценки случай¬
ного процесса, получаемые линейной фильтрацией наблю¬
даемой реализации, и определялись характеристики линей¬
ных фильтров, оптимальных в смысле принятого критерия
качества оценки. Если отказаться от условия линейности
алгоритма обработки наблюдаемой реализации, то в более
широком классе допускаемых оценок могут быть, вообще
говоря, получены оценки, которые по заданному критерию
будут лучше линейных оценок.
При использовании линейной системы как устройства
получения оценки связь между оценкой и наблюдаемой
реализацией дается достаточно простым интегральным соот¬
ношением (4.61). Если для оценки используется нелинейная
инерционная система (с возможными обратными связями),
то такая простая связь оценки с наблюдаемой реализацией
уже не имеет места. Если определить нелинейную систему
некоторым нелинейным интегродифференциальным уравне¬
нием, то при этом часто возникают значительные математи¬
ческие трудности. Можно, однако, попытаться и для нели¬
нейной системы установить явную зависимость процесса
на ее выходе от процесса на входе.
Пример такой зависимости дает формула (9.5) в первой
книге, которая выражает процесс £ (/) на выходе типо¬
вого звена (усилитель — квадратичный детектор — фильтр)
через процесс х (t) = s (t) + | (t) на его входе в виде
двойного интеграла
оо оо
С(0= J ^ K(u,v)x(t-u)x(t-v)dudv, (4.77)
— оо —оо
где
оо
K(u,v)= ^ hl(u — x)h2(x)h1(v — x)dx; (4.78)
— оо
Ai(t), Л2(т) — импульсные переходные функции усилителя
и фильтра соответственно.
Заметим, что для нелинейной системы усилитель —
квадратичный детектор-, т. е. при h2 (т) = б (т), ядро
20-197 305
К (и, v) равно произведению
К [и, (4.78')
Представление вида (4.77) можно обобщить на тот
случай, когда характеристика нелинейного неинерционного
элемента типового звена необязательно параболическая,
а аппроксимируется конечным числом членов степенного ряда
2 акУк-
Л=1
Тогда вместо (4.77) получим
П оо оо
L (t) = ah ^ ... ^ К («1, ..., uk) х {t Ui) ...
k = i — oo — oo
. . . x(t — uk)dui .. . duit, (4.79)
где
oo
(uit ..., uh) =- ^ hi («j — x) ... (ыЛ — t) h2 (t) dx. (4.80)
— oo
При Ь2(т) = 8(т) многомерное ядро сводится к произведе¬
нию функций одного переменного
к
К (ии ..., ик) = И hi (ut). (4.80')
i=l
Хотя во многих случаях сложные схемы нелинейных
систем, содержащие обратные связи, могут быть заменены
эквивалентными многокаскадными типовыми звеньями, ука¬
жем на общий подход к вопросу о том, как охарактеризовать
нелинейную систему произвольного вида. Отправным пунк¬
том этого подхода является вполне естественное утвержде¬
ние о том, что процесс на выходе нелинейной системы пред¬
ставляет функционал, заданный на множестве возможных
процессов, действующих на ее вход. Далее используется
одна замечательная теорема, доказанная еще в 1910 г.
французским математиком Фреше *). Он показал, что для
любого непрерывного функционала **) у [х (/)] существует
последовательность функционалов уп [х (t)], которая при
п -> оо сколь угодно точно аппроксимирует у [х (t)].
*) F г е с h е t М. Sur le functionelles continues. Ann. de l’Eco-
le Normal Sup., 3-rd Ser., 1910, p. 27.
**) О понятии непрерывности в функциональном пространстве
см., например, учебник: Шилов Г. Е. Математический анализ.
Специальный курс. Физматгиз, 1961, гл. 2, § 7.
306
Аппроксимирующая последовательность представляется
суммой интегралов (так называемых интегралов Воль-
терра)
оо
ynlx{t)] = Ко+ § Ki(ui)x(t — ui)dui +
— оо
оо оо
+ ^ Кг(и\, u2)x(t — ux)x(t — u2)duidu2-\- • • • +
— оо —оо
оо оо
+ \ ^ Кп(ии . . un)x(t—Ui). . . x(t—Un)dUi .. . dun.
(4.81)
Утверждение Фреше представляет собой теорему суще¬
ствования, так как в формуле (4.81) ядра Кт {ии ..., ит),
т = 1, 2, ... остаются неопределенными, а гарантируется
лишь возможность в каждом конкретном случае найти
последовательность аппроксимирующих функционалов.
Теорема Фреше аналогична известной теореме Вейер-
штрасса об аппроксимации непрерывной функции после¬
довательностью полиномов, которая также относится к тео¬
ремам существования. Практически для аппроксимации
непрерывных функций используется та или иная совокуп¬
ность ортогональных полиномов. Подобными методами
могут быть определены соответствующие последовательно¬
сти ядер Km (ui> •••> ит) для аппроксимации функционалов
по формуле (4.81) (см. § 4.4.5).
Заметим, что выражение (4.79) процесса на выходе
типового звена является частным случаем (4.81) при
Кт (^1? • • • » Um) ~ К (^1? • • • 1 Um)j
где функции К (ии ..., ит) определены согласно (4.80).
Если Кт = 0 Для всех т > 1, то получаем чисто линей¬
ное преобразование л: (/), причем К\ (и,) — импульсная
переходная функция линейного фильтра. Добавление чле¬
нов ряда (4.81) при т > 1 означает введение нелинейности.
Совокупность ядер Ко, Ки • Кп характеризует нели¬
нейный фильтр п-го порядка. Линейные фильтры по
этой терминологии являются фильтрами первого порядка.
Наконец, следует оговорить, что теорема Фреше отно¬
сится, строго говоря, к функционалам, определенным на
множестве детерминированных непрерывных функций.
Будем предполагать, не вдаваясь в математические детали,
что выполнены необходимые ограничения, при которых
20* 307
эта теорема справедлива и при условии, что процесс на
входе нелинейной системы случайный.
4.4.2. Фильтры второго порядка. Пусть х (t) — реализа¬
ция суммы двух стационарных и стационарно связанных
случайных процессов | (t) + ц (t), определенная для всех
действительных значений t. Предполагая, что средние
значения указанных процессов равны нулю, примем
в качестве оценки
с»
i(t) = ^ /Ci («i)a: (/ — и,) dui 4
— ос
оо оо
-h ^ ^ Kz(Ui, u2)x(t — ui)x(t — u2)duidu2, (4.82)
— оо —оо
где Ki (ui) = Л* (и,) — импульсная переходная функция
оптимальной линейной системы, определенная из урав¬
нения (4.12).
Оценка (4.82) отличается от рассмотренных выше в раз¬
деле 4.2 наличием нелинейного слагаемого. К оценке, опти¬
мальной в классе линейных систем, добавляется корректи¬
рующее слагаемое за счет использования нелинейности.
Для формирования оценки (4.82) использована простейшая
нелинейная система — фильтр второго порядка. Задача
состоит в том, чтобы определить характеристику К2 (^1, ui)
нелинейности таким образом, чтобы средний квадрат ошибки
b! = «i{[5(<)-5( 012} (4.83)
был минимальным.
Обозначим через ^ (/) ошибку, которая получается,
если для оценки | (t) используется только оптимальная
линейная система, т. е.
оо
Ii(0 —КО- § h* (Mi)jt(f — Ui)dUi. (4.84)
— 00
Заметим, что ошибка %i(t) не коррелирована с x(t),
так как с учетом (4.12)
{х (t — v) |i (t)} = mt {x {t — v)l (0} —
oo
— ^ h*(ul)ml{x(t — v)x(t — u1)}dul=*
— oo
308
= BXl(v)— ^ h* (ul)Bx(ui — v)dui = 0,
— oo
mi{x(t — v)ll(t)} = 0. (4.85)
Из (4.82) — (4.84) с учетом стационарности и стацио¬
нарной связанности процессов находим
оо оо
e22 = Bi1(Q) — 2 ^ ^ Kz(uu u2)milX(uu u2)duidu2Jr
— оо —оо
оо оо оо оо
+ I I I I Kz{ul’ "2)х
— оо —оо —оо —оо
хК2(из, u4)mx(«1 — и2, «! — иг, и2 — ub)duldu2du3dub,
(4.86)
где
Щхх (ии и2) = ш4 {£, (0 л: (i — «j) л: (i — u2)} =
= rtti (/) x(t — Ui) x (t — u2)} —
oo
— § h*(u3)ml{x{t — ul)x(t — u2)x(t — u3)}du3 =
— oo
oo
~mix(uu u2)— ^ h* (u3)mx(ul — u2, ul — u3)dui\ (4.87)
— oo
mx(ui~u2l ui~u2) = mi{x(t~ux)x(t~u2)x(t — u^}\ (4.88)
mx(ux — u2, и, — иъ, u2 — u^) =
= {x (t — a4) x(t — u2) x (t — u3) x(t~ j/4)}, (4.89)
a (0) совпадает с минимальной среднеквадратической
ошибкой, определяемой по формуле (4.13), которая полу¬
чается при использовании линейных оценок.
Из (4.86) следует, что при использовании в качестве
устройства оценки нелинейного фильтра второго порядка
среднеквадратическая ошибка оценки зависит уже не
только от корреляционных и взаимно корреляционных
функций процессов £ (/) и т] (/), но и от смешанных момен¬
тов третьего и четвертого порядков.
Для того чтобы найти условие, которому должно удо¬
влетворять ядро К2 (^ь ^2) нелинейного слагаемого оцен¬
ки, при котором величина будет минимальной, исполь-
309
зуем тот же прием, что и в § 4.2.1. Покажем, что при задан¬
ных смешанных моментах процессов до четвертого порядка
включительно наилучшая (в смысле принятого критерия
минимума среднего квадрата ошибки) нелинейная фильтра¬
ция второго порядка процесса | (t) из его аддитивной смеси
с т| (t) будет осуществляться при условии, что ядро Кг {ии
и2) нелинейного корректирующего члена удовлетворяет
следующему двумерному интегральному уравнению:
щхх(ии «2)= § ^ КЪ{иг, ы4):
J X
— оо — оо
хтх(и{~ и21 и,~иъ, uz — u^dusdiib. (4.90)
Подставим (4.90) в (4.86) и покажем, что ошибка е*
минимальна при условии К2(и, v)=--K*{u, v). В результате
указанной подстановки имеем
оо оо оо оо
IX
e; = BSl(0)-2 I I I 1к2(их,и2):
— оо —оо —ОС —оо
Х-ККиз. tii)mx (Uj — и2, «1 —«3. u2 — u,I)duidu2du3dui +
оо оо оо оо
+ § § § § К2{ии и2) К2(и3, и4) х
--оо — оо —оо —оо
Xtnx(ui — u2l Ui — Us, u2~u^)duidu2du3du^=^
оо оо оо оо
=--%(0)- jj J J J и2)К1(и3, и,)х
— оо —оо —оо — эо
X
оо оо оо оо
:тх(и{ — и2, и{ — иг, u2~u^)duidu2du^du/k-\-
3 оо оо оо
+ ^ ^ ^ ^ [^2(^1, и2)— К* ^2)] [(из> иь)
— 00 —00 —00 —00
— КК^з, и^)]тх(и{ — и2, — и2 — ы^) du, du2 du$ du^.
(4.91)
Здесь использовано также очевидное равенство [см. (4.89)]
тх (ui — u2, Ui — Uz, и2 —и4)=--тх(и3 —и4, и3 — ии и^~и2).
Так как только последнее слагаемое в (4.91) содержит
неизвестную функцию K2{u,v) и так как оно неотрица-
31 0
тельное, потому что
оо сю ос оо
§ § I I 1^2 («1- ич) — К*(и1- иг)) 1^2 (Из. «4) —
— оо —оо — оо —оо
— К*(«з> w4)] («± — и2, их — и3, u2 — ui)duldu2du3dui^
00 00
^-т4 {[ § ^ [К2(и, v) — K*(u, v)]x(t — и)х
— оо—оо
Хх (i — v) du dv^ j > 0,
то минимальное значение г\ будет соответствовать такому
нелинейному фильтру второго порядка, для которого ука¬
занное слагаемое обращается тождественно в нуль. Это
будет иметь место, если ядро К2 (и, v) нелинейного кор¬
ректирующего члена оценки совпадает с функцией
К* (и, v), являющейся решением интегрального уравне¬
ния (4.90).
Полагая в (4.91) Кг (и, ^) = К% (и, v), найдем мини¬
мальное значение среднеквадратической ошибки оцен¬
ки (4.82):
оо оо оо оо
e2min = %(0)— ^ ^ ^ § KUuj, и2)К!(и3, «4)х
— оо —оо —оо —оо
Xmx(ui — u2l Ui — U3, u2--uil)duidu2du3duil (4.92)
или с учетом (4.90)
оо оо
Цтгп=ЩгШп-1 ^ К* (ии и2) mlix (ии и2) dux du2, (4.93)
— oo —oo
где
oo
ei min = mi {SJ (0) = % (0) = Вг (0) - I h*(u)Bxl(u)du
— oo
— минимальная среднеквадратическая ошибка линейной
оценки [см. (4.13)].
Таким образом, использование оптимального нелиней¬
ного корректирующего звена в фильтре второго порядка
позволяет дополнительно уменьшить среднеквадратическую
ошибку при оценке только оптимальной линейной системой
311
на величину
оо оо
e!min-8imi»= I I K*{uuu2)mllX{uuui)duidu2. (4.94)
— оо —оо
Рассмотрим задачу об оптимальном фильтре второго
порядка в более общем виде, отказавшись от предположе¬
ния, что линейная часть оценки (4.82) задана. Найдем
совместно две функции К\ (и) и Кг (^, у), минимизирую¬
щие средний квадрат ошибки.
Подставляя (4.82) в (4.83), находим развернутое выра¬
жение функционала г\у зависящее от двух неизвестных
ядер первого и второго порядка:
оо
е\ = (0) — 2 § Ki (u^BtxiUi) dui —
— оо
оо оо
— 2 ^ ^ Кг{^и и2) tn^x (^i> ^2) dUi du2 +
—00 —00
00 00
\ ^ Ki (Ui) К (и2) Вх (и2— Ui)dUidu2-{-
—00 —00
00 00 00
+ 2 J I <^Ki{ui)Kz{u2,u3)mx{ul—u2,ul — u3)duidu2du3ir
— 00 —00 —00
00 00 00 00
+ ^ ^ ^ ^ *2<И1. «Д2(^4)Х
— оо —оо —оо —оо
Xmx(ui — u2, и^ — иъ, u2 — u^)duidu2du3du^. (4.95)
Тем же приемом, который применялся выше, можно
показать, что минимум среднего квадрата ошибки дости¬
гается при использовании такого нелинейного фильтра
второго порядка, ядра которого удовлетворяют следующей
системе двух интегральных уравнений:
оо
^ /CI(«2. из)тх(и1 — и2, ul — u3)du2du3 +
— 00 — оо
00
+ § K*(u2)Bx(u2 — u1)du2 = Bix(ui), (4.96)
— 00
312
оо оо
§ § КЪ{и3. UJttlxiUi — Uz, «! — «3. м2 —«4)dM3d«4 +
— оо —оо
оо
+ § К*(и3)тх(и1 — и2, ul — u3)du3 = m^x{uuu2). (4.96')
— оо
Заметим, что для независимых процессов £ (0 и г| (/),
имеющих симметричные распределения, тх (и, — и2>
ui — u3) = 0 и система уравнений (4.96)—(4.96') распадается
на два уравнения, первое из которых переходит в уравне¬
ние (4.12), а второе — в (4.90), так как при этом (ии
иг) = Щ1Х (Mi, м2). Следовательно, при указанном условии
полученное выше решение задачи об оптимальном фильтре
второго порядка справедливо и в том случае, когда нет
никаких априорных ограничений на линейную часть
оценки.
4.4.3. Фильтры произвольного порядка. Дальнейшее
улучшение оценки процесса £ (t) по наблюдаемой реали¬
зации х (t) аддитивной смеси этого процесса с другим
случайным процессом r\ (t) может быть достигнуто путем
использования нелинейных фильтров более высокого поряд¬
ка. В соответствии с (4.81) оценку, даваемую фильтром
п-го порядка, представляем в виде
П оо оо
1(0=2 § ••• § ^г(ы 1> •••> Иг)х
г= 1 — оо — оо
X х (t — их) ... x(t — Ui) diii ... dut. (4.97)
При этом возможны две постановки задачи. Можно попы¬
таться отыскать такую последовательность ядер К\ (^i), ...,
Кп iui, •••> ип)> которая минимизирует средний квад¬
рат ошибки
71 оо
E2n=m1{[E(o-i(oi2}=^i{[s(o-2 I •••
г=1 — оо
оо
... ^ Ki , щ) х (t—Ui) ... х (t—Ui) du{ . .. dut J j .
—00
(4.98)
313
Условие минимума сводится к системе п интегральных
уравнений относительно неизвестных ядер, аналогичной
системе (4.96)—(4.96') для п = 2.
Менее общая постановка, приводящая к обозримому
результату, аналогична той, которая формулировалась
в начале § 4.4.2. Предположим, что (и) совпадает
с импульсной переходной функцией оптимальной линей¬
ной системы, ядро ЛГ2 (м4, и2) корректирующего нелиней¬
ного элемента второго порядка находим из уравнения (4.90)
и ядро Кз 1, ^2, и3) корректирующего элемента третьего
порядка определим из условия минимума г\. Затем доба¬
вим нелинейность четвертого порядка и определим
/<4 (ии u2t иг> а4) из условия минимума г\ и т. д. Найдем
рекуррентное уравнение, определяющее К* (^ь •••, ип),
если уже определена последовательность оптимальных ядер
до (п — 1)-го порядка включительно.
Обозначим через £n-i (О ошибку, которая получается,
если для оценки £ (t) используется нелинейный фильтр
(п— 1)-го порядка:
П— 1 оо оо
i»-i(0 = E(0 — 2 § ••• Ц Ki(uu..., щ) хЦ — щ)...
г = 1 —оо —оо
... x(t — ui)dui ... йщ. (4.99)
Тогда из (4.98) находим
оо оо
8П = ИХ, ^ (0 ^ ‘ ^ ^71 » ^п) ^
— оо —оо
Xx(t — Ui) ... xit — u^diii ... j = Bin i (0) —
oo oo
— 2 ^ ... § Kn(uu ..., un) mlniX («i, ..., un)dut ... dun{-
— oo —oo
oo oo
+ ^ ... ^ Kn («1, ..., Un)Kn (Un+l , . . . , U.2n) X
— oo —oo
• • •> “2n)d«i • • • du2n, (4.100)
где
m._iX («!, ...,«„) = m, (in-j (t) x (i — Ui) ... x(t — «„)};
(4.101)
mx(uu ..., uZn) = mi{x(t — u1) ... x(t — u2n)}, (4.102)
314
а 7l_1 (0) совпадает с минимальной среднеквадратической
ошибкой, которая может быть достигнута при использова¬
нии последовательности нелинейных корректирующих чле¬
нов до (ti— 1)-го порядка. Для вычисления среднего квад¬
рата ошибки согласно (4.100) требуется уже априорное
знание смешанных моментов исходных процессов до 2п-го
п ор ядка в кл ючител ьн о.
Следуя применявшемуся выше приему, нетрудно убе¬
диться, что оптимальная по критерию минимума среднего
квадрата -ошибки нелинейная фильтрация n-го порядка
процесса £ (/) из его аддитивной смеси с ц (t) будет осу¬
ществляться при условии, что ядро Кп (иь ип) удовле¬
творяет следующему многомерному интегральному урав¬
нению:
Щп^х («1, ...,ип) =
оо ОО
— ^ ^ Кп {Цп+li • • • ч ^2п) Мх {Ци • • • 5 U2п) dun+l . . . dllyji'
— оо —оо
(4.103)
При п = 2 уравнение (4.103) переходит в (4.90).
Минимальное значение среднеквадратической ошибки
оценки, вырабатываемой нелинейным фильтром я-го порядка,
равно
оо оо
Snmin ~ £(n— l)min ^ ^ Кп (^1> • • • ? Un) X
— оо — оо
•••'>Un)dui ... dun. (4.104)
При п = 2 формула (4.104) совпадает с (4.93).
Уравнение (4.103) представляет рекуррентное соотно¬
шение, позволяющее принципиально определять характери¬
стику оптимальной корректирующей нелинейности п-го
порядка, если уже найдены характеристики оптимальных
корректирующих элементов до (п— 1)-го порядка. Рекур¬
рентной является также формула (4.104), по которой опре¬
деляется дополнительное уменьшение минимального сред¬
него квадрата ошибки за счет введения нелинейности
n-го порядка. Заметим в заключение, что, так же как
и в теории оптимальной линейной фильтрации, изложен¬
ная выше методика может быть использована и для более
широкого класса ситуаций, когда процессы | (0 и т| (/)
315
нестационарны, реализации их суммы наблюдаются на
конечном (или полубесконечном) интервале времени, а
оценке подвергается значение не процесса £ (/), а его
линейного преобразования.
4.4.4. Фильтрация нормального случайного процесса.
До сих пор не делалось никаких специальных предположе¬
ний о функциях распределения процессов £ (t) и ц (t).
Предположим теперь, что эти процессы нормальные. Тогда
нетрудно убедиться, что добавление нелинейных элементов
к оптимальному линейному фильтру не может уменьшить
величины средней квадратической ошибки.
Как показано выше, оптимальная по критерию миниму¬
ма среднего квадрата ошибки нелинейная фильтрация
2-го порядка процесса £ (t) из его аддитивной смеси с r\ (t)
осуществляется при условии, что характеристики К\ (и)
и Кг (^> v) нелинейного фильтра удовлетворяют системе
интегральных уравнений (4.96), (4.96'). Для нормальных
процессов тх (и, — и2, и4 — и3) = 0, т^х (uiy и2) = О
и, следовательно, К% (и, v) еее 0, т. е. наилучшей в указан¬
ном смысле является линейная фильтрация.
Докажем теперь, что добавление нелинейного элемента
произвольного порядка также не уменьшает средний квад¬
рат ошибки. Пусть
оо оо
Ш-1(0 = М0- I ••• I Кп(ии • •., ип)х
— оо —оо
xx(t — ui)---x{t — un)dui ... dun, (4.105)
где £i (/) — ошибка, которая получается при использова¬
нии оптимальной линейной системы [см. (4.84)]. Повторив
рассуждения, которые привели к (4.103), убедимся, что
минимум среднего квадрата ошибки (4.105) достигается
при условии, что ядро Кп (иь •••, ип) удовлетворяет инте¬
гральному уравнению
оо оо
ttlllX (^1» • • • » Un) == ^ ^ КП (^71 +1» • • • » ^2п) X
— оо — оо
Хтх(ии ..., u2n)dun+i ... duzn, п> 1. (4.106)
Как было указано выше, ошибка (/) не коррелирована
с x(t). Для нормальных случайных процессов (/)
и x(t) это означает ш независимость, Поэтому в рассмат-
316
риваемом случае
тЬх (ии un) = mi{ll(t)x(( — ul) ... х{1 — «„)} =
= Щ {Ij (/)} mi {х (t — ui) ... x(t — «„)},
и так как
оо
mi{£i(0}= § h* (u)mi{x(t — u)} du = О,
— оо
то для нормальных процессов с нулевыми средними
mllX(uu ...,ип) = 0. (4.107)
Из (4.106) и (4.107) следует, что
Кп(ии .. ., ид) ее 0, я> 1. (4.108)
Таким образом, наилучшая фильтрация нормального
случайного процесса из аддитивной смеси с нормальным
(зависимым, вообще говоря, от него) случайным процессом
осуществляется оптимальным линейным фильтром, импульс¬
ная переходная функция которого определяется из инте¬
грального уравнения (4.12). Этот результат обобщается и на
нестационарные нормальные случайные процессы.
То, что наилучшая фильтрация нормальных процессов
линейная, соответствует известному факту совпадения
поверхности регрессии для совокупности нормальных слу¬
чайных величин с плоскостью средней квадратической
регрессии (см. приложение V).
4.4.5. Интерпретация нелинейных фильтров. Изложенный
в этом разделе метод оптимальной нелинейной фильтрации
по критерию минимума среднего квадрата ошибки основан
на использовании аппроксимации непрерывного функцио¬
нала последовательностями вида (4.81). При этом фильтр
n-го порядка характеризуется последовательностью ядер
Кп (^ь •••> ип)> удовлетворяющих интегральным уравнени¬
ям вида (4.103). Решив эти уравнения, можно в принципе
по заданной реализации л; (/) аддитивной смеси случайных
процессов | (/) и к\ (/) сформировать согласно (4.97) оценку
| (t) ОДНОГО ИЗ ЭТИХ процессов, для которой /72i {[1 (/) —
— i (t)]2} минимальна в классе нелинейных фильтров
n-го порядка. Практическая реализация фильтра по задан¬
ной последовательности ядер Кп связана либо с доста¬
точно сложным вычислительным алгоритмом, либо с какой-
либо подходящим образом выбранной интерпретацией
317
ядер. Одна из таких интерпретаций основана на разложе¬
нии функции многих переменных в кратные ряды по орто¬
гональным полиномам.
Пусть {Q„ (х)} — совокупность ортонормированных поли¬
номов с весовой функцией cp(x). Тогда ядро Кп(Ци • • •» ип)
можно во многих случаях разложить в п-кратный ряд
Кп 5 Un) — Ф (^l) • • • ф {Un) X
с» оо
X 2 * * • 2 &т\. . .mnQ.ni 1
(Ml) .
• • Qmn
(ип), п> 1, (4.109)
?Щ= 0 7Пп—0
коэффициенты которого из условия ортонормированности
полиномов равны *)
оо оо
#7711... 771/1 = ^ ... ^ Кп {Ц\ч • • • j ihi) Qmi (^i) • • •
е; t)
— оо —оо
• • • Qmn («!>) ф («О • • • ф (Ын) dUi ... dun. (4.109')
Подставляя (4.109) в (4.81) и обозначая
оо
Xk(t)= § Qk(u)i.f(u)x(t — u)du,
— оо
получаем
Уп [х (01 ~ Ко 4
71 оо оо
S 2 -г... 2 ат1... 7iiyXmi (t)...xm<t). (4.110)
/{=1 7711—0 771^—0
Выражение (4.110) позволяет интерпретировать аппрокси¬
мацию нелинейного функционала следующим образом.
Имеется набор линейных фильтров с импульсными пере¬
ходными функциями
hk(u) = y(u)Qk(u), (4.111)
выходные процессы которых перемножаются всеми возмож¬
ными способами, а затем суммируются с коэффициентами
(4.109'), отражающими специфику функционала.
Для физически реализуемых фильтров условие hk (и) == 0
при и < 0 выполняется, если используется совокупность
*) Для аналогии см. § 2.4.4 в первой книге,
318
полиномов Лагерра (см. приложение IV в первой книге).
В этом случае импульсные переходные функции (4.111)
представляют совокупность ортогональных функций
Лагерра
1 dn
hji (ц) —
«>0,
О, и<С О,
(4.112)
Приведем в качестве примера приближенное выражение
характеристики нелинейного фильтра второго порядка,
Рис. 24. Блок-схема нелинейного фильтра второго порядка.
если используется набор лагерровских линейных фильтров
нулевого, первого и второго порядков. Из (4.110) получим
Уг Iх (01 ~ Ко + а0х0 -f- Н~ &2Х2
+ а00Хо 4“ (001 “Ь flio) Х0Х1 “Ь (а02 + а2о) Х0Х2 Н“
-)- ЯцХ^ (&12 Н~ #2l) Х1Х2 &22Х\) (4. 113)
где
оо
.Yq = лг0 (/) ^ e~ux(t — u)du; (4.114)
о
319
оо
Xi = xl(t)= ^ (1 —u)t~ux{t — u)du\ (4.114')
о
oo
oo
x2 = x2(t)= § (i-2m + -^-) e~ux(t-u)du(4.114")
0
и
oo
am = ^ Ki(u)hm(u)du, m = 0, 1, 2, (4.115)
— oo
oo oo
fl„m= \ \ /С2(м. v)hm(u)hn(v)dudv, m, n = 0, 1,2.
(4.115')
Блок-схема устройства, реализующего указанный нели¬
нейный фильтр второго порядка, показана на рис. 24.
4.1. Пусть £ (0 — случайный процесс на выходе линейной системы
со случайными параметрами (стационарный в широком смысле), когда
на вход ее действует стационарный в широком смысле процесс g (/)
с энергетическим спектром F%(со). Показать, что оптимальная по
критерию среднего квадрата ошибки линейная оценка £ (/) по реали¬
зации процесса £ (t) осуществляется пропусканием этой реализации
через фильтр с передаточной функцией, равной среднему значению
kc (/со) передаточной функции указанной выше линейной системы.
Доказать, что минимальная среднеквадратическая ошибка при этом
равна
где Вс (т, со) —корреляционная функция линейной системы.
4.2. Пусть в постановке задачи § 4.2.3 отбрасывается условие
физической осуществимости и оценка процесса (4.36) производится
по реализации х (t), наблюдаемой при всех действительных значе¬
ниях t. Предположим также, что процессы £ (/) и г) (t) стационарны
в широком смысле, функция g (t, т) = g{t— т) и G (/со) — преобразо¬
вание Фурье функции g(t). Доказать, что передаточная функция
оптимального фильтра, вырабатывающего оценку £ (t) по реализации
суммарного процесса §(0+г](0> равна
Задачи
оо
'min
— oo
(2)
320
а минимальная среднеквадратическая ошибка равна
оо
e2min=2^ I [|G (ш) I»F% (со)-1 k* (ш) |* Fx (to)] dm--
1 P , „ ч Fs(°) И-I N I2
= ^ 10 <i<o) |2 Т7Щ d“- (3)
0
4.3. Пусть x (/) — реализация случайного процесса, представля¬
ющего сумму белого шума с интенсивностью N0 и независимого
от него случайного процесса £ (/), который получается на выходе
интегрирующей ^С-цепочки, когда на ее входе действует белый шум
с интенсивностью Ns. Показать, что наилучшая оценка по критерию
минимума среднего квадрата ошибки экстраполированного на время /0
значения процесса | (t) по реализации х (t) имеет следующий вид:
оо
!(< + <о) = Ло I X(t-u) e~aVT+**udu, <0>0. (4)
О
где
.1,— as2 Р-а<о. <j2 = ^l „ L (4>)
Л° 1 + уГнаб ,S No ’ RC ' (4)
Найти выражение для минимального значения среднего квадрата
ошибки экстраполяции
аМйГ’ s2 е-2а'°1, <0>0. (5)
«АГ«Г.
4 L
(l + Vl + в*)*
Получить из (4) и (5) в пределе при N0 0 (s2 —>■ оо) формулы,
соответствующие чистой экстраполяции
\{t + t0)=x(t) е-“г°, <о>0, (6)
^in=^r(l-e-2a<0). (7)
Заметить, что случай фильтрации в момент t получается из приведен-
ных формул при t0 — 0.
4.4. В условиях задачи 4.3 показать, что ири наилучшая
оценка интерполированного значения процесса £ (/) по реализации
х (t) имеет следующий вид:
t(f-| /01) = -==- I x(t-u) [е-“ ^(“-I'oD-
О
2 1—Vl+s2 c-g T/1+S2(U+|<0|)
l + Vl'+s*
J du. (8)
21-197
321
ИепоЛЬЗуя (4.31'), найти для этого случая выражения минимальной
среднеквадратической ошибки интерполяции. Убедиться, что при
N о-+0
i(f-i*oi)=*(*-i *о о,
т. е. оценка сводится к задержке на время | to |.
4.5. Показать, что согласованным фильтром для постоянного
сигнала s (/) = а является идеальный интегратор с импульсной пере¬
ходной функцией h* (t) —аи (/), где и (/)— единичный скачок.
4.6. Показать, что для импульсного синусоидального сигнала
s (/) = a sin со0/, 0 < / < 7\ со0Г = (2п-\ 1) я, (9)
импульсная переходная функция согласованного фильтра равна
h* (и) = a sin o)0w, и > 0. (10)
ЛИТЕРАТУРА
МОНОГРАФИИ
1. Бен дат Дж. Основы теории случайных шумов и ее при¬
менения. Пер. с англ., под ред. В. С. Пугачева. Изд-во «Наука»,
1965, гл. 4.
2. Вайнштейн Л. А., Зубаков В. Д. Выделение сигна¬
лов на фоне случайных помех. Изд-во «Советское радио», 1959,
гл. 2, 3.
3. В и н е р Н. Нелинейные задачи в теории случайных процес¬
сов. Пер. с англ., под ред. Ю. Л. Климоновича. Изд-во ино¬
странной литературы, 1961.
4. Давенпорт В. Б., Рут В. Л. Введение в теорию слу¬
чайных сигналов и шума. Пер. с англ., под ред. Р. Л. Добру-
шина. Изд-во иностранной литературы, 1960, гл. И.
5. Д е й ч Р. Нелинейные преобразования случайных процессов.
Пер. с англ., под ред. Б. Р. Левина. Изд-во «Советское радио»,
1965, гл. 6.
6. Л е з и н Ю. С. Оптимальные фильтры и накопители импульс¬
ных последовательностей. Изд-во «Советское радио», 1963,
гл. 1, 2.
7. Л и Р. Оптимальные оценки, определение характеристик
и управление. Пер. с англ., под ред. Я. 3. Цыпкииа. Изд-во
«Наука», 1966, гл. 3.
8. ЛэннингДж. X., Беттин Р. Г. Случайные процессы
в задачах автоматического управления. Пер. с англ., под ред.
В. С. Пугачева. Изд-во иностранной литературы, 1958, гл. 7, 8.
9. Миддлтон Д. Введение в статистическую теорию связи,
т. II. Пер. с англ., под ред. Б. Р. Левина. Изд-во «Советское
радио», 1962, гл. 16.
10. Миддлтон Д. Очерки теории связи. Пер. с англ., под
ред. Б. Р. Левина. Изд-во «Советское радио», 1966, гл. 3.
11. Пугачев В. С. Теория случайных функций и ее примене¬
ние к задачам автоматического управления, изд. 3. Физмат¬
гиз, 1962, гл. 16—18.
322
12. Солодовников В. В. Статистическая динамика линей¬
ных систем автоматического управления. Физматгиз, 1960,
гл. 7, 8.
13. С т р а т о н о в и ч P. JI. Условные марковские процессы
и их применение к теории оптимального управления. Изд-во
Московского университета, 1966.
14. Т и х о н о в В. И. Статистическая радиотехника. Изд-во
«Советское радио», 1966, гл. 13.
15. X а р к е в и ч В. А. Борьба с помехами. Физматгиз, 1963,
§ Ю, И.
16. В а г г е t t J. F. Application of the theory of Functionals to
Communication Problems. Cambr. Univ., 1955.
17. Wiener N. The interpolation, extrapolation and smoothing
of stationary time series. J. Wiley, N. Y., 1949.
СТАТЬИ
18. Б о д e Г. Шэннон К. Упрощенное изложение линейной
минимально-квадратичной теории сглаживания и предсказания.
В сб. переводов. «Теория информация и ее приложения». Под
ред. А. А. Харкевича, Физматгиз, 1959.
19. Кацнел ьсон Д ж. и Гуд JI. Конструирование нели¬
нейных фильтров и систем управления. В книге Ван-Триса
Г. Синтез оптимальных нелинейных систем управления. Пер.
с англ., под ред. А. Ю. Ишлинского. Изд-во «Мир», 1964.
20. К о л м о г о р о в А. Н. Интерполирование и экстраполиро¬
вание стационарных случайных последовательностей. «Изве¬
стия АН СССР», серия математическая, 1941, № 5.
21. Стратонович Р. Л. Применение теории процессов Мар¬
кова для оптимальной фильтрации сигналов. «Радиотехника
и электроника», 1960, № 11.
22. X а н о в и ч И. Г., Яновский Г. Г. Возможные приемы
уточнения линейного предсказания стационарных временных
рядов. XXII Всесоюзная научная сессия, посвященная дню
Радио. Секция теории информации, 1966.
23. Z a d е h L. A. On the representation of nonlinear operation.
IRE Wescon Conv. Rec., 1957, pt. 2.
24. Z a d e h L. A. Progress in Information Theory in USA. IRE
Trans. 1961, IT-7, № 2, 1963, IT-9, №4.
21 *
ГЛАВА
ПЯТАЯ
ОБНАРУЖЕНИЕ СИГНАЛОВ НА ФОНЕ
ПОМЕХ
5.1. ХАРАКТЕРИСТИКА ПРОБЛЕМЫ
Многообразные радиотехнические системы (связи, радио¬
локации, телеуправления) решают задачи, связанные с пере¬
дачей информации при помощи электрических сигналов,
подверженных искажающему действию различного рода
помех. Результатом воздействия помех является частичная
или полная потеря полезной информации. В связи с этим
возникает ряд проблем, в том числе проблема рациональ¬
ного конструирования (синтеза) системы, состоящая в оты¬
скании оптимальной по некоторому критерию качества
процедуры обработки наблюдаемого процесса, являющего¬
ся комбинацией сигнала, содержащего в закодированном
виде полезную информацию, и маскирующих полезный
сигнал помех.
Могут рассматриваться задачи двух видов. Одной из
них является задача обнаружения сигнала при наличии
помех, состоящая в том, чтобы по результатам обработки
наблюдаемого процесса, который может быть либо только
помехой, либо комбинацией полезного сигнала и помехи,
решить, содержится ли полезный сигнал в принятом или
нет. Более общей является задача обнаружения одного
сигнала (или нескольких) из группы сигналов, наблюдае¬
мых на фоне помех (так называемое различение сигналов).
Когда априори известно, что полезный сигнал содер¬
жится в наблюдаемом процессе, то возникает задача
выделения сигнала, скрытого помехой, состоящая в измере¬
нии некоторого числа информационных параметров сигнала
или описании самого сигнала как функции времени.
Как сигнал, так и искажающие его помехи являются,
вообще говоря, случайными процессами, причем наши
суждения об этих процессах базируются на выборках
конечного размера, представляющих либо конечное множе¬
324
ство чисел (дискретная выборка), либо одну или несколько
усеченных реализаций наблюдаемого процесса (непрерыв¬
ная выборка). Это обстоятельство определяет статисти¬
ческий подход к вопросам обработки наблюдаемых процессов
с целью извлечения интересующей информации. Точка
зрения на прием сигналов как статистическую задачу
стала уже традиционной в современной радиотехнике.
Математические основы решения указанных выше задач
обнаружения и выделения сигналов на фоне помех содер¬
жатся в предыдущих главах, так как формально обнару¬
жение представляет проверку статистических гипотез
о характеристиках случайной величины или случайного
процесса (главы первая и третья), а выделение — оценку
параметров или фильтрацию (главы вторая, третья, чет¬
вертая). Также как и проверка гипотез и оценки, обе отме¬
ченные радиотехнические задачи могут рассматриваться
с единых позиций теории статистических решений [6, 15].
В этой и следующих главах книги упор будет сделан
на детализацию рассмотренных выше статистических мето¬
дов применительно к радиотехническим системам. Харак¬
терной особенностью таких систем является передача
информации при помощи модулированных электромагнит¬
ных колебаний высокой частоты, вследствие чего процессы
на входе приемных устройств, являются узкополосными
(в том смысле, что ширина полосы спектрга процесса много
уже центральной частоты спектра, см. § 4.2.4 в первой
книге). Поэтому наряду с процессами, имеющими произ¬
вольный спектр, будут отдельно и более подробно рассма¬
триваться узкополосные процессы, спектры которых в основ¬
ном сосредоточены в полосе частот о)0 ±-у, (Дс С о)0).
Как указывалось в § 6.2 первой книги, такие процессы
могут быть представлены в виде
х (t) = г (/) cos [со0^ + # (/)], (5.1)
где г (/), ft (/) — медленно меняющиеся огибающая и фаза,
спектры которых ограничены практически полосой частот
^0, yj . Поэтому вместо выборки, состоящей из 2N мгно¬
венных значений наблюдаемого процесса (хи . . ., лг2^),
можно использовать выборку того же размера, состоящую
из N значений огибающей и N значений фазы процесса
(f 1> г2> • • •> rN>
325
Часто бывает желательно до какой-либо специальной
обработки принятого сигнала выделить его огибающую или
фазу (т. е. продетектировать), а затем применять опти¬
мальную процедуру обработки выборки (гь rN) (ампли¬
тудный метод) или (0Ь Ф^) (фазовый метод). Поэтому
наряду с оптимальными методами обработки поступающих
на вход приемного устройства процессов (абсолютно опти¬
мальная додетекторная обработка) будут рассмотрены
последетекторные оптимальные методы обработки. Ясно,
что оптимальные амплитудные или фазовые методы не
могут быть лучше абсолютно оптимальной процедуры, так
как процессы выделения огибающей или фазы, вообще
говоря, неизбежно связаны с потерей информации.
Изложение ограничивается случаем, когда помехи —
аддитивные и статистически независимые от сигнала шумы,
представляющие стационарный нормальный случайный
процесс с нулевым средним и энергетическим спектром
произвольного вида. Структура полезного сигнала будет
оговариваться особо в каждом отдельном случае.
В этой главе рассматриваются задачи обнаружения,
а в следующей — выделения сигналов.
5.2. ОПТИМАЛЬНЫЕ АЛГОРИТМЫ
ОБНАРУЖЕНИЯ сигнала в аддитивном
НОРМАЛЬНОМ ШУМЕ
5.2.1. Детерминированный сигнал. Начнем с пррстейшей
задачи обнаружения детерминированного сигнала *) s (t)
в аддитивном нормальном шуме. Задача состоит в проверке
простой гипотезы (Я0), что наблюдаемый процесс стацио¬
нарный, нормальный с нулевым средним, против простой
альтернативы (#i), что этот процесс также нормальный,
но со средним значением, изменяющимся по известному
точно закону s (/).
Выберем (согласно § 3.4) в качестве наблюдаемых некор¬
релированные координаты
т
xk = VK ^ x(t)q>h(t)dt, (5.2)
-т
*) Это так называемое когерентное обнаружение.
326
где х (t) — реализация принятого процесса на интервале
наблюдения ( — 7\ Г), а Хъ. и cpft (t) — собственные числа
и собственные функции интегрального уравнения
т
ф(0 = Х § В(у — t)y(y)dy, |/|<7\ (5.3)
-т
где В (т) — известная корреляционная функция шума *).
Ограничиваясь первыми N координатами и учитывая
(3.45) и (3.47), нетрудно убедиться, что логарифм отноше¬
ния правдоподобия для выборки хи •••> xN размером N
имеет вид
N ' N
In I (*!, . . ., XN) = 2 XiSi “2 2sit (5-4)
i«l i-1
T
Si = \% I s(t)(fi(t)dt, t'=l, ..(5.5)
-T
Используя теорию, изложенную в гл. 1, а также учи¬
тывая (5.4), нетрудно сформулировать правило выбора
решения о наличии или отсутствии сигнала s (t) по наблю¬
даемым координатам xif ..., xN его аддитивной смеси с шу¬
мом. Принимается решение (у4) о наличии сигнала, если
для наблюдаемой выборки
N N
2 XiSi > In с + у 2 s!, (5.6)
i=i i=i
и принимается решение (у0) об отсутствии сигнала, если
выполняется неравенство, обратное (5.6).
Таким образом, алгоритм обнаружения сводится к вы-
N
числению суммы 2 х& и сравнению ее с независящим
i=i
от наблюдаемой выборки порогом
N
^=1пс + у28?- (5-?)
г=1
*) Результаты, приведенные в гл. 3, позволяют легко обобщить
решение рассматриваемой задачи на случай нестационарного нор¬
мального шума с нулевым средним и корреляционной функцией
В (t, у).
327
Этот алгоритм является оптимальным fi о любому из рас¬
смотренных в первой главе критериев качества (непоследо¬
вательных): байесовскому (включающему как частные
случаи максимум апостериорной вероятности и максимум
правдоподобия), критерию Неймана — Пирсона и мини¬
максному. Выбор одного из указанных критериев качества
отражается лишь на константе с (см. табл. 1 на стр. 40),
т. е. на величине заранее устанавливаемого согласно (5.7)
порога KN.
Как и в общей теории проверки простой гипотезы против
простой альтернативы, при обнаружении сигнала на фоне
помех использование заранее установленного правила
выбора решения связано с возможностью принятия ошибоч¬
ных решений двух родов. Ошибка первого рода, называе¬
мая ложной тревогой, состоит в том, что объявляется
наличие сигнала, когда его в действительности не было.
Ошибка второго рода, называемая пропуском сигнала>
состоит в том, что объявляется отсутствие сигнала, когда
в действительности он содержится в принятом процессе,
но маскирован шумом.
Если обозначить через G4 область N-мерного простран¬
ства выборок, удовлетворяющего неравенству (5.6), а через
G0 — остальную часть этого пространства, то условные
вероятности ложной тревоги а и пропуска сигнала р запи¬
шутся в виде [см. (1.11) и (1.12)]
а = Р{у 11 #о} = ^ (*!, ..., xN 10) dXi ... dxN,
Gi
(5.8)
PP {Yo I ^1} — ^ * * * ^ Wn * * * ’ I ^ dxi • • • dx?*]-.
Go
(5.9)
Величину
1-P = P{yi\Hi} (5.10)
называют вероятностью правильного обнаружения.
Можно обойти вычисление кратных интегралов в (5.8)
и (5.9) и свести его к однократному интегрированию, если
воспользоваться общим приемом, указанным в § 1.2.5,
328
и представить величины а и р в виде
а = Р {In / (х1? . .., xN) > In с | tf о} =
N
= Р { 2 ад>^]Я0} , (5.11)
г=1
р = Р {In I (Хи . . ., Хц) < In С I tfj =
N
= p{2*is,</tw|tf1} • (5.12)
г=1
Случайные величины лгь как это следует из (5.2), представ¬
ляют независимые нормальные случайные величины, сред¬
ние значения которых равны нулю, когда верна гипотеза Я0,
и равны Si> когда верна гипотеза Ни а дисперсия всег¬
да равна
т т
M2{Xi} = lh ^ ^ B(t — y)<fi(t)q>l(y)dtdy =
-т -т
т
= § ф?(Оdt=\.
- т
При этом сумма независимых нормальных случайных вели-
N
чин 2 xisi также будет нормальной случайной величиной
г=1
с нулевым средним, когда верна гипотеза Н0, со средним
значением
N
(5.13)
1=1
когда верна гипотеза Ни и с дисперсией, равной d% всегда.
Тогда из (5.11) и (5.12) находим
а ~ 1 • [ е 2d»dz=l-F №) ,
Vzndb ,f 1
KN
KN (г-dfoz
p = _L^?e~ 2dJ, dz = F (*»=*») '
Vindh '
■329
Учитывая (5.7), можно выражения условных вероятностей
ложной тревоги и пропуска сигнала представить в виде
<5-14»
<5Л5>
Для критерия максимального правдоподобия («идеаль¬
ного наблюдателя») величина с равна единице, и из (5.14),
(5.15) следует равенство условных вероятностей:
a = p=l-f(^£) . (5.15')
Отметим, что правило выбора решения, аналогичное (5.6),
получается и в том случае, когда в качестве наблюдаемых
координат процесса принимаются не независимые величи¬
ны Xk, определяемые согласно (5.2), а зависимые выбороч¬
ные значения процесса в N моменты времени, т. е.
xk = x(tk), k=l,
Используя матричное представление многомерного нор¬
мального распределения (см. (2.57) в первой книге), мож¬
но логарифм отношения правдоподобия по коррелированной
выборке Хи • . •, xN представить в виде
In I (X) = s'M_1X — y s'M-1s, (5.16)
где X и s — векторы-столбцы, элементами которых слу¬
жат х (tk) и s (tk) соответственно (k = 1, . .N), а М"1 —
матрица, обратная корреляционной матрице шума.
Обозначая
s'M-^U, (5.17)
можно логарифм отношения правдоподобия представить
в виде разности скалярных произведений векторов:
In/(jCi, ..., JC*) = UX—j-’us =
I а
N N
= 2 «fts*- (5.18)
k=i h= 1
Правило выбора решения формулируется теперь следую¬
щим образом: присутствует сигнал, если для наблюдаемой
330
выборки
N
N
и сигнал отсутствует, если выполняется неравенство, обрат¬
ное (5.19).
Как и правило (5.6), правило (5.19) предписывает
линейную обработку принятой системы выборочных дан¬
ных — взвешенное суммирование и сравнение результата
суммирования с заранее установленным порогом, завися¬
щим от известных априорных характеристик сигнала
и шума и от критерия качества. Условные вероятности
ложной тревоги и пропуска сигнала определяются по фор¬
мулам (5.14) и (5.15), в которых вместо величины dN,
подсчитываемой согласно (5.13), подставляется другая,
которая находится из соотношения
Отличие правила (5.6) от правила (5.19) состоит в том,
что в первом случае используются независимые координа¬
ты наблюдаемого процесса, получаемые из реализации на
заданном интервале интегрированием с весами, которые
определяются решением интегрального уравнения (5.3),
а во втором — зависимые, непосредственно наблюдаемые
выборочные значения, которые затем суммируются с веса¬
ми, представляющими компоненты произведения вектора-
строки сигнала и обратной корреляционной матрицы шума.
Наиболее трудоемкой операцией в первом случае является
решение интегрального уравнения (5.3), а во втором —
обращение корреляционной матрицы М. Заметим, что при
одинаковом размере выборки N рабочие характеристики
обнаружения по алгоритмам (5.6) и (5.19), вообще говоря,
отличаются друг от друга.
Наконец, рассмотрим оптимальный алгоритм обнару¬
жения в том случае, когда результаты наблюдений, пред¬
ставленные непрерывной реализацией, не дискретизируются
и обработка этих результатов проводится только в ана¬
логовой, а не цифровой форме.
Для этого используем результаты § 3.5, полагая
Si (/) = s (0 и s0 (0 0. Тогда из (3.81) следует правило
выбора решения: сигнал присутствует, если для наблюда-
N
d% = 2 ukSk•
(5.20)
331
емой на интервале (—7\ Т) реализации х (t)
т г
J V(t)x(t)dt>\nc + ±. J V(t)s(t)di = KT, (5.21)
-Т -Г
и сигнала нет, если выполняется неравенство, обратное
(5.21). Величина с, как и в предыдущих формулах, опреде¬
ляется критерием качества, а функция V (t) представляет
решение неоднородного линейного интегрального уравнения
т
^ B(t — u)V(u)du = s(t), |<|<7\ (5.22)
-т
Как следует из (3.87) и (3.88), условные вероятности лож¬
ной тревоги и пропуска сигнала определяются по форму¬
лам (5.14) и (5.15), если в них dN заменить величиной dT,
которая подсчитывается по формуле [см. (3.86)]
т
dT= ( § V{t)s{t)dty2. (5.23)
-т
Нетрудно обнаружить аналогию в формулах (5.6), (5.19),
(5.21), а также в формулах (5.13), (5.20) и (5.23).
Заметим, что при обнаружении детерминированного
сигнала в аддитивном нормальном белом шуме из (3.79)
следует, что функция V (t) в формулах (5.21) — (5.23) равна
V(t) = ^s(t). (5.24)
Обозначив через Е8 энергию сигнала за интервал наблю¬
дения
т
Е8 = ^s2(t)dt, (5.25)
-г
получим из (5.21) следующее правило обнаружения сигнала
в белом шуме: сигнал присутствует, если
т
<\js(t)x(t)dt>\nc + -^-. (5.26)
-т
Параметр dr, определяющий условные вероятности лож¬
ной тревоги и пропуска сигнала, в этом случае равен
332
т. е. равен отношению энергии сигнала к спектральной
плотности шума.
Е
Вводя мощность сигнала и среднюю мощность
шума N0F в эффективной полосе F сигнала, можно фор¬
мулу (5.27) переписать в виде
d2T = |2. = 2F7s2, (5.27')
yv0
где s2 — отношение мощности сигнала к средней мощно¬
сти шума.
Исключая из двух соотношений (5.14) и (5.15) величину
Inc, можно записать аналитически связь между вероят¬
ностью правильного обнаружения и вероятностью ложной
тревоги в виде [ср. (1.77')]
*<х — xi-(i = d, (5.28)
где ха и Xi-з — процентные точки нормального распределе¬
ния вероятностей, а параметр d в зависимости от принятой
методики обработки определяется по формулам .(5.13),
(5.20) или (5.23).
На рис. 25 сплошными линиями показано семейство
кривых
1-Р = /(а; d), (5.29)
называемое рабочей характеристикой обнаружения. Штрих-
пунктирная линия пересекает кривые в точках, соответ¬
ствующих критерию максимального правдоподобия («иде¬
ального наблюдателя»).
Укажем на важную интерпретацию оптимального алго¬
ритма обнаружения (5.21). Используя результаты § 4.3.1,
находим, что оптимальная линейная обработка наблюдае¬
мой на интервале (—Т, Т) реализации х (t) для обнаруже¬
ния детерминированного сигнала s (t) состоит в пропуска¬
нии этой реализации через согласованный фильтр с им¬
пульсной переходной функцией
А*(т) = И(Т — т), |т|<7\
где V (t) представляет решение интегрального уравнения
(5.22). Этот фильтр, как отмечалось в § 4.3.4, может быть
333
выполнен в виде коррелометра. В случае обнаружения
в аддитивном белом шуме реализация согласованного филь¬
тра упрощается, так как импульсная переходная функция
представляет просто зеркальное отображение сигнала.
Соответствующий коррелометр при этом просто вычисляет
взаимную временную корреляционную функцию наблюда¬
емой реализации и детерминированного сигнала.
0,8
0,6
0,<*
0,2
Рис. 25. Рабочие характеристики обнаружения де¬
терминированного (сплошные линии) и квазидетер¬
минированного сигнала (пунктир).
Итак, оптимальное устройство обнаружения детермини¬
рованного сигнала на фоне аддитивного нормального шума
представляет согласованный фильтр, за которым следует
безынерционный пороговый элемент.
5.2.2. Квазидетерминированный сигнал. Рассмотрим
теперь более сложную задачу обнаружения квазидетермини¬
рованного сигнала, представляющего узкополосный процесс
с заданными законами амплитудной а (t) и фазовой г|?в (t)
модуляции и со случайной начальной фазой *) ср0:
s(t) — a (t) cos [(o0t — ф* (t) + cpo], (5.30)
*) Это так называемое некогерентное обнаружение.
334
в аддитивном узкополосном нормальном шуме. Задача
состоит в проверке простой гипотезы (Я0), что наблюдае¬
мый процесс — стационарный, нормальный с нулевым
средним, против сложной альтернативы (ЯА), что этот
процесс также нормальный, но со средним значением s (t),
которое представляет одно из континуума реализаций,
соответствующих изменению случайной фазы cp0 в интер¬
вале (—я, я).
Воспользуемся комплексным представлением реализа¬
ций узкополосного случайного процесса (см. § 6.2.2 и при¬
ложение VII в первой книге)
A'(/) = Re*(/)e*®«', (5.31)
где z (t) — комплексная огибающая узкополосного про¬
цесса, связанная с его огибающей г (t) и фазой О (t) соот¬
ношением
z(0 = r(0eiO(°, (5.32)
причем
z(t) = A(t) + iC(t), (5.32')
где A (t) и С (t) — квадратурные составляющие узкополос¬
ного случайного процесса. Для нормального процесса эти
составляющие также нормальны. Комплексная огибающая
квазидетерминированного сигнала (5.30), обозначаемая
z8 (/), равна
zs(t) = a(t)e~^\ (5.33)
s (t) = Re zs (t) ei0)ot ei<Po. (5.33')
Теперь реализация л; (/) на интервале наблюдения
(—Г, Т) может быть охарактеризована совокупностью
некоррелированных координат комплексной огибающей
т
zk = Vh § z(/)<pfe (/) dt. (5.34)
-Г
Здесь Xk и ер/* (/) — собственные числа и собственные
функции интегрального уравнения *)
т
ф(/) = Я ^ Bz(t — u)y(u)du, (5.35)
-г
*) Нетрудно также убедиться, что функция двух переменных
Bz (t — и) симметрична и положительно определенная (см. § 3.3.1),
а собственные числа действительны и положительны.
335
где
Bz (т) = {ffli{2 (/) z(t + т)} (5.35')
— корреляционная функция комплексной огибающей шума,
действительная и мнимая части которой совпадают с корре¬
ляционной и взаимной корреляционной функциями квад¬
ратурных составляющих
ReBz(x) = BA(x) = Bc(x), (5.36)
Im Bz (т) = ВАС (т) = — ВСА (т). (5.36')
Из (5.34) и (5.35) имеем
Г 0, 1гфт,
т‘^г“> = \ 2, * = т. (5-37)
Используя (5.32), (5.36) и (5.36'), нетрудно показать,
что
m1{zhzm} = 0 (5.37')
для всех кит.
Если Xh и </ь — действительная и мнимая части коор¬
динаты гь, то из (5.37), (5.37') следует (см. § 3.4.5):
= 0 для любых k и т, (5.38)
Щ {х1} = Щ {упУ = 1, (5.38')
mi {xkxm} = mi {укУт} = 0, k=£m. (5.38")
Кроме того, для шума без сигнала (гипотеза Н0)
т, {г (0} = 0, и, следовательно,
mi {xh | Н0} = mt {yh | H0} = {zh \ H0} = 0, (5.39)
а для шума с сигналом (гипотеза Hi) mi{z(t)} = zs(t)ei410,
и поэтому
mi {zk | Hi} = Sfte^o, (5.39')
mi {xh | Hi} = ak cos cp0 — bh sin <p0,
mi {yh\ Hi} = ak sin <p„ + bk cos tp0.
где
336
Sb = + гЛ = ]/% ^zs(t)(fh(t)dt. (5.39")
-T
Так как компоненты комплексной огибающей нормаль¬
ного узкополосного процесса нормальны, то случайные
величины Xi, у и ..., xNi у N представляют совокупность
независимых случайных величин. Соответствующее этим 2N
координатам наблюдаемого процесса выражение логарифма
отношения правдоподобия может быть записано в виде
[см.(3.71) ]
N
In 1{хи уи . . . , XN, yN | Фо) = j 2 I(xh+yl) —
h=1
— (xk — ah cos фо + bh sin ф0)2 — (yh — ah sin ф„ — bh cos ф0)2]
(5.40)
или в комплексной форме
N
ln/(zlt ..гЛ-|фо) = 2 [Re (ZftSfte-^ — i-l Sft |2J . (5.41)
ft=i
Переходя к построению правила выбора решения, при¬
мем вначале байесовский критерий качества. В этом слу¬
чае, как было показано в § 1.4.2 [см. (1.110')], оптимальное
правило базируется на сравнении с порогом (зависящим
от априорной вероятности наличия сигнала и платы за
ошибочные решения) усредненного отношения правдоподо¬
бия. Так как в рассматриваемой задаче было принято, что
случайный параметр cp0 имеет равномерное распределение,
то из (5.41) получаем (см. также § 3.5.3)
2я
A(zlt . . ., ZN)= 2^ § I (Zj, . . ., 2^|фо)С?фо =
о
N 2я
= ехр 2 Ы2} 2^Г I ег"с08(фо-’|’^фо,
Л=1
где
N
^• = |SzftSh|; (5.42)
N
Im 2 zk$h
^Ar = arctg ^ . (5.42')
Re 2 zksk
ft--*
22-197 337
Используя известное интегральное представление функции
Бесселя от мнимого аргумента (см., например, первую
книгу, стр. 121), получим окончательно
N
А (ги ..., zlV) = /о Ы ехр { - у 2 II2} • (5-43)
k=i
Таким образом, если ограничиться первыми N координа¬
тами zu ..., zN комплексной огибающей наблюдаемого
процесса, то байесовское правило выбора решения о нали¬
чии или отсутствии квазидетерминированного узкополос¬
ного сигнала в аддитивной смеси с шумом может быть сфор¬
мулировано следующим образом: принимается решение (yi)
о наличии сигнала, если
N
In/0 Ы> In с+4 2 Ы2. (5-44)
fc=l
и решение (у0) об отсутствии сигнала, если выполняется
неравенство, обратное (5.44).
Неравенство (5.44) может быть переписано в виде
[ср. с (5.6)]
(5.44')
где cN определяется из трансцендентного уравнения
N
\n!0(cN) = KN=\nc + ±- 2 Ы2- (5.45)
k=i
Итак, оптимальный (байесовский) алгоритм обнаруже¬
ния в рассматриваемом случае сводится к вычислению
величины rN (т. е. к существенно нелинейной обработке
наблюдаемых координат) и сравнению результата с незави¬
сящим от выборки порогом сjv, определяемым соглас¬
но (5.45).
Вероятностные характеристики обнаружения зависят
прежде всего от распределения случайной величины rNy
определяемой согласно (5.42). Нетрудно найти это распре¬
деление. Действительно, случайные величины zu представ¬
ляют независимые комплексные нормальные случайные
величины с нулевыми средними, когда верна гипотеза #0,
и со средними, равными s^e^o, когда верна гипотеза Hi.
Дисперсия этих величин для обеих указанных гипотез
338
равна [см. (2.116) в первой книге]
M2{\zh\} = mi{\zh |2} - mi {4} rtni {у\}
или с учетом (5.38')
M2{|z*|} = 2. (,5.46)
Отсюда следует, что случайная величина rN представляет
модуль комплексной нормальной случайной величины (или
плоского случайного вектора) с независимыми компонента-
N
ми, дисперсия которой равна 2 2 1^|2, а среднее зна-
чение равно нулю, когда верна гипотеза #0, и равно
N
2 I Sh |2 ei(P°, когда верна гипотеза Ну.
ь=1
Распределение модуля такого вектора было подробно
рассмотрено в § 3.2.2 первой книги, из которого следует,
что случайная величина rN подчиняется релеевскому рас¬
пределению
_ Г2
a»i(0=4-e 2“h ’ r>0> (5-47)
когда справедлива гипотеза Н0, и обобщенному релеевскому
распределению
Г2+4,-
= 2d" /0 (г), г > 0, (5.48)
алг
если верна гипотеза Ht.
В формулах (5.47) и (5.48) параметр dN равен [ср.
с (5.13)]
<&=2Ы2. (5.49)
k={
Теперь можно записать выражения для вероятностей
ложной тревоги и пропуска сигнала. Так как функция
1п/0(г) монотонно возрастающая, то в соответствии с опти¬
мальным правилом (5.44)
а = Р {In /0 (rN) > Kn\H0} = P {rN > cN | H0}, (5.50)
$ = P{lnI0(rN)<KN\Hi} = P{rN<Cx\Hi}, (5.51)
22* 339
где cn — абсцисса точки пересечения кривой у = \п10(г)
с прямой у = Кы [см. (5.45)].
Из (5.50) и (5.51) с учетом (5.47) и (5.48) находим
2
r2 CN
o=J^-e 2d%Ndr = e 2d* , (5.52)
dN
CN
CN
dN dN
|3 = e 2 ^ xe 2 I0(xdN)dx. (5.53)
о
Последний интеграл подробно табулирован (см. ссылки
в третьей главе первой книги).
Наряду с рассмотренной выше процедурой обнаружения
по дискретной выборке, найдем аналогичный алгоритм
в том случае, когда результаты наблюдений не дискретизи¬
руются, а представляются непрерывной реализацией х (t)
на интервале (—Г, Т).
Из (3.78), учитывая (5.35') и подставляя вместо s (t)
величину zs(0ei(P<\ находим выражение для функционала
отношения правдоподобия, соответствующее наблюдаемой
на интервале (—Т, Т) комплексной огибающей z (t) про¬
цесса при заданном cp0:
т
llz(t) |ф0] = ехр {Re ^ V(t\y0)z(t) dt j х
-г
X
1
ехр | — у Re ^ V (/; ср0) г8 (t) е~^о dt} , (5.54)
где V (t; фо) определяется из неоднородного линейного
интегрального уравнения [см. (3.77)]
г
^ Bz(t — u)V(u;cpo)du = zs(t)ei<Pol |<|<7\ (5.54')
-т
Вводя функцию
U (t) = V (t; фо) e_i(Po, (5,55)
можно локализовать параметр ф0 в выражении функцио¬
нала отношения правдоподобия. Подставляя (5.55) в (5.54),
340
получаем для определения U (t) интегральное уравнение
т
J Bz (t — y)U (у) dy = zs (t), |*|<7\ (5.56)
-T
из которого видно, что функция U (/) не зависит от ср0.
Заметим, что комплексное интегральное уравнение (5.56)
эквивалентно системе двух действительных интегральных
уравнений относительно действительной и (/) и мнимой
v (/) частей функции U (/):
г
^ [BA(t — y)u(y) — BAC(t — y)v(y)]dy =
-т
= a (t) cos (5.56')
т
§ [BA(t — y)v(y) + BAC(t — y)u(y)]dy =
-т
= a(/)sintpe(/)f \t\<T. (5.56")
Выражение (5.54) функционала отношения правдоподо¬
бия можно с учетом (5.55) переписать в виде
т
In [z(t) | фо]’= ехр |Reei(Po ^ U(t)z(t)dt^
X
-г
т
Г 1 _
X
ехр | —у Re ^ U (t) z, (t) л} =
-т
т
= ехр || ^ и (/) z (t) dt I cos (фо — ■фг) X
-г
т
X ехр | —у ^ U(t)I7U)dt}, (5.57)
-т
где
т
Im J U(t)z (t) dt
1|зт = arctg—=| — ; (5.57')
. Re j U(t)T(t)dt
-T
341
знак Re при втором сомножителе в (5.57) опущен, так
как интеграл действительный и положительный:
J и (0 zs (() dt= \ и (/) 2S (t) dt =
-т -г
т т
= $ lBz(t-y)U(y)U(t)dydt =
-т -т
т
= т4 { | I W)U{t)dt\2} >0. (5.58)
-т
Усредняя функционал (5.57) по случайной равномерно
распределенной (в интервале | ср01 < я) фазе, получаем
d\
А [z (/)] = /0 (гт) е 2~, (5.59)
где введены обозначения [аналогичные (5.42) и (5.49)]:
т
rT= I ^ 6/ (t)zjt)dt ; (5.60)
-т
т
d2T= (t)z7W)dt. (5.61)
-т
Оптимальное (по байесовскому критерию минимального
риска) правило выбора решения может быть теперь сфор¬
мулировано следующим образом: сигнал присутствует, если
для наблюдаемой на интервале (—Т, Т) реализации ком¬
плексной огибающей z (t)
In Iq {гt) ^ In с -|—2“= Кт (5.62)
или
г j' ^ Cj', (5.62 )
где величина ст определяется из трансцендентного урав¬
нения
\п10(ст) = Кт- (5.63)
342
Случайная величина гт — модуль комплексной нормаль-
т
ной случайной величины ^ U (t)z(t)dt, среднее значение
-г
которой равно нулю, когда справедлива гипотеза Я0, и равно
Gfrei(P°, когда справедлива гипотеза Ну. Дисперсия этой
величины в соответствии с (5.58) всегда равна [см. (5.35')]
т т
М2{| § U(()I(tjdt\} =mi Л U Ц)Щй^\=2й'т. (5.64)
-т -т
Таким образом, случайная величина гт имеет реле-
евское распределение с параметром dr, когда верна
гипотеза Н0, и обобщенное релеевское распределение
с параметрами (d4T, dr), когда верна гипотеза Я4.
Поэтому вероятности ложной тревоги и пропуска сигнала
определяются, как и в дискретном случае, также по форму¬
лам (5.52), (5.53), с очевидной заменой величин dN, Kn,
cN на dT, Кт, cTi причем последняя определяется из транс¬
цендентного уравнения (5.63).
При обнаружении квазидетерминированного узкополос¬
ного сигнала в аддитивном нормальном белом шуме со
спектральной плотностью N0 функция U (t) в форму¬
лах (5.60), (5.61) равна
U(t) = ±z,(t). (5.65)
Тогда оптимальный алгоритм обнаружения сводится к вычис¬
лению величины*)
:-щ\ \ z.(t)z(t)dt (5.66)
-Г
и сравнению ее с порогом ст [см. (5.63)], причем параметр
d\ в этом случае равен
т
d*T=ik I \Zs^\2dt’ (5-66')
-г
*) Оптимальное устройство обнаружения может вместо гт
вычислять любую монотонную функцию / (гт) и сравнивать ее
с f (ст), не изменяя при этом величин вероятностей ошибок. Таким
образом, рабочая характеристика обнаружения определяется
не отношением сигнал/шум на выходе устройства, которое зависит
от вида функции /(гг), а отношением энергии сигнала к спектраль¬
ной плотности белого шума (или аналогичной величиной (5.61),
когда спектр шума неравномерный).
343
т. е. совпадает с отношением энергии (узкополосного)
сигнала к спектральной плотности шума [ср. с (5.27)].
На рис. 25 пунктиром дана рабочая характеристика
обнаружения квазидетерминированного узкополосного сиг¬
нала. Сравнение с кривыми, изображенными сплошными
линиями, при одинаковых значениях параметра dT дает
представление о том, насколько ухудшаются характери¬
стики обнаружения по сравнению со случаем детермини¬
рованного сигнала.
В случае обнаружения гармонического сигнала s (t) =
= А0 cos (co0t + фо) со случайной фазой из (5.66)
получаем
т т I
Гт = ^[П Л(/)Л)*+( J С(0Л)2]2-’ (5-67)
-Г -Т
Учитывая, что квадратурные составляющие A(t) и С (t)
наблюдаемой реализации x (t) медленноменяющиеся по срав¬
нению с cos со 0/, (5.67) можно записать в виде*)
1
= ^ х(t) cos (a0t dt)2-f-
0 -г
т i
-f- ( ^ jc(/)sinco0^ Л)2]2 • (5.67')
-т
Параметр dr при этом равен
*) Например:
т т
^ х (t) cos (d0t dt = ^ A (t) cos2 w0t dt +
-T -T
т т т
+ y § С (t) sin 2(o0tdt = -^- ^A(t)dt+±.
-T -T -T
T
X cos 2w0t + С (t) sin 2gV] ^ ^ ^ A (t) dt,
-T
344
Заметим, что в соответствии с (3.102) критическая об¬
ласть для фиксированной величины ф0, в которой откло¬
няется гипотеза Н0 (т. е. принимается решение о наличии
сигнала), определяется по критерию Неймана — Пирсо¬
на неравенством
т
Re ^ V (t\ фо) z (/) <# = rT cos (фо — ^т)>К(Чо), (5.68)
-г
где К (Фо) определяется заданной вероятностью а ложной
тревоги. Из (5.68) видно, что равномерно наиболее мощ¬
ного правила в рассматриваемом случае не существует.
Возможна модификация этого критерия, состоящая в том,
что используется усредненное по ф0 правило (5.68),
т. е. байесовское правило (5.62'), в котором сТ находится
по формуле [см. (5.52)]
ст = йт]/Г 21n-i-. (5.69)
Оптимальный алгоритм обнаружения (5.62') допускает
достаточно простую интерпретацию, если от комплексных
величин перейти к действительным. Тогда (5.62') можно
переписать в виде
(Re rT)2 + (Im гт)2 > с\, (5.70)
где
т
Re rT = J [и (0 А (t)+v (t) С (0] dt; (5.71)
-т
т
Im Гу = § [v(t)A(t)—u(t)C(t)]dt. (5.71')
-т
Пусть ht (т) и h* (т) — импульсные переходные функции
фильтров, согласованных с квадратурными составляющими
сигнала a (t) cosips (t) и a (t) s\ntys (t). Эти функции опре¬
деляются решениями системы линейных интегральных
уравнений (5.56') и (5.56"):
Л*(т) = и(Г-т), | т | < Г, (5.72)
ht(x) = v(T-x)1 |т|<7\ (5.72')
Оптимальная нелинейная обработка наблюдаемой на интер¬
вале (—7", Т) реализации х (t) для обнаружения узкополос¬
ного квазидетерминированного сигнала в аддитивном
345
нормальном шуме состоит (рис. 26): 1) в пропусканий
квадратурных составляющих наблюдаемого процесса через
две группы фильтров, согласованных с квадратурными
составляющими сигнала, 2) в образовании суммы и разно¬
сти выходных значений в каждой группе фильтров, 3) в двух-
полупериодном квадратичном детектировании суммы и раз¬
ности, 4) в суммировании продетектированных величин.
Если нет фазовой модуляции сигнала, то h% = О,
и в каждой из упомянутых групп фильтров остается один
фильтр, согласованный с огибающей сигнала а (/).
Рис. f26. Блок-схема оптимального устройства обнару¬
жения узкополосного квазидетерминированного сигнала.
Итак, оптимальное устройство обнаружения узкополос¬
ного квазидетерминированного сигнала на фоне аддитивно¬
го нормального шума состоит из системы фильтров, сум¬
маторов и квадратичных детекторов, за которой следует
безынерционный пороговый элемент. Практически исполь¬
зуется эквивалентное, но более простое оптимальное устрой¬
ство, состоящее из одного согласованного с сигналом филь¬
тра и линейного детектора, выделяющего огибающую.
5.2.3. Стохастический сигнал. Предположим, что полез¬
ный сигнал, так же как и аддитивный, независимый от
сигнала шум, является стационарным нормальным случай¬
ным процессом с нулевым средним и отличается от шума
только энергетическим спектром (т. е. корреляционной
функцией). Пусть известны корреляционные функции Вс (т)
и Вш (т) сигнала и шума. Задача обнаружения такого
стохастического сигнала состоит в проверке гипотезы Н0
о том, что корреляционная функция стационарного нор¬
мального случайного процесса равна Вш (т), против альтер-
346
л , (5*74')
О, кфт.
нативы #!, что корреляционная функция процесса
Вс (т) + Вш (т).
Выберем согласно § 3.5.4 в качестве наблюдаемых некор¬
релированные координаты
г
Xh = VK § x{t)qk{t)dt, (5.73)
-г
где х (t) — реализация принятого процесса на интервале
( —7\ Т), a Xk и ерь (/) — собственные числа и собственные
функции (ненормированные) линейного интегрального урав¬
нения [см. (3.120)]
т т
^Bc(t — y)(p(y)dy = (X—\) ^ Bm(t — y)q>{y)dy, |*|<7\
-г -г
(5.74)
причем нормировка собственных функций производится
согласно равенству
т т
р р 1, k = m,
К ^ ^ Bm(t — y)<pk(t)<pm(y)dtdy-
-Т -Т
В соответствии с (3.122) логарифм отношения правдо¬
подобия для выборки xl9 ...,xN конечного размера N
имеет вид
N N
ln/(*!, ..., *jv) = y2 Т 2 1пХ*- (5-75)
/1=1
Правило выбора решения формулируется теперь следую¬
щим образом: сигнал присутствует, если
N N
2 тг"4 > 21п с + 2ln (5-76)
ft=i k=i
и отсутствует, если выполняется неравенство, обратное
(5.76). Таким образом, алгоритм обнаружения стохастиче¬
ского сигнала сводится к вычислению взвешенной суммы
квадратов выборочных данных (некоррелированных коор¬
динат) и сравнению с заранее устанавливаемым порогом
N
KN = 2\nc+ 2 InA*. (5.76')
А=1
347
Этот алгоритм оптимален по любому из введенных в первой
главе (непоследовательных) критериев качества. Выбор
того или иного критерия отражается лишь на величине
порога (константы с).
Условные вероятности ложной тревоги и пропуска
сигнала определяются при помощи распределений (3.126),
(3.126'):
во оо N _А
2
X
-is S ЕП(*-тт=г)]
In С —ОО k=i
N
ехр { —-^-ln II 0 +^) }eiv*dvdx> (5-77)
fc=l
In С ОО N _ 1
5[П('-£)]г*
— 00 — 00 k= 1 •
N
: ехр { — -у!пД (1 + j | eivx dv dx, (5.78)
где
vk-~
Xk-l •
Интерпретацию алгоритма обнаружения стохастического
сигнала в аналоговой форме рассмотрим для случая, когда
аддитивный шум белый, т. е. Вш (т) = N08 (т). В этом слу¬
чае собственные числа равны
*‘=1 + »к- (5J9)
где \ik — собственные числа линейного однородного инте¬
грального уравнения
т
4>(/) = |л J Bc(t — y)ty(y)dy, (5.80)
-т
причем собственные функции (t) исходного уравне¬
ния (5.74) связаны с собственными функциями уравне¬
ния (5.80) соотношением
yk(t)=*VN<frk4>k(t)- (5.80')
348
Наличие аддитивного белого шума исключает сингу¬
лярность, и, следовательно, суммы в выражении (5.75)
отношения правдоподобия имеют конечные пределы при
N оо (см. § 3.5.4). Рассмотрим сумму в левой части (5.76)
при N оо. Подставляя вместо его выражение из (5.73)
и учитывая (5.74), (5.80), (5.80'), получаем
с»
V Xk—l 2 _
Xh —
т т
= 7^ I $*(“)*(р)[2 V+NM ]dudv- (5-81)
-T-T k=i
Функция двух переменных
<5-82>
k= 1
удовлетворяет интегральному уравнению (см. § 3.5.6)
т
^ Bc(t — u)h(u,v)du + N0h(t,v) = Bc(t — v)1 (5.83)
-г
|*|<7\ | v\<T.
Действительно, подставляя в левую часть (5.83) выраже¬
ние h (и, v) из (5.82), изменяя порядок суммирования и
интегрирования и учитывая (5.80), получаем
ft=l
oo oo
2^ (0 фй (») \j v 'I’ft (0 (y)
НА 0 & l+tf0|i*
k= 1
Если учесть, что первая сумма представляет ортогональ¬
ное разложение корреляционной функции сигнала [см. (3.24)]
Be(t-v)= у,
349
а вторая сумма в соответствии с (5.82) равна N0h (t, v), то
справедливость высказанного утверждения становится оче¬
видной.
Используя (5.81) и (5.82), перепишем правило (5.76)
выбора решения следующим образом: сигнал присутствует
в белом аддитивном шуме, если для наблюдаемой реали¬
зации х (t)
т т
^ ^h(u, v) х(и) x(v)dudv^> К, (5.84)
-т-т
где
К = 2\пс+ 2 \пк
i= 1
(5.84')
и h (и, v) — решение интегрального уравнения (5.83).
Бесконечная сумма в (5.84') сходится и выражается через
Рис. 27. Блок-схема оптимального устрой¬
ства обнаружения стохастического сигнала.
резольвенту ядра Вс (t — и) уравнения (5.83) [см. (3.136)
в § 3.5.6].
Таким образом, оптимальное устройство обнаружения
стохастического (нормального) сигнала на фоне аддитив¬
ного нормального белого шума представляет нелинейный
фильтр второго порядка (см. § 4.4.2), за которым следует
безынерционный пороговый элемент (рис. 27) *).
Вероятности ложной тревоги а и пропуска сигна¬
ла р определяются в рассматриваемом случае по форму¬
лам (3.141) и (3.14Г).
В заключение рассмотрим предельный случай, когда
сигнал также является нормальным «белым шумом», т. е.
случайным процессом с равномерным на всех частотах
*) Ср. также с блок-схемой на рис. 21.
350
энергетическим спектром, интенсивность которого Nc
не равна интенсивности N0 мешающего белого шума. Тогда
Вс (т) = iVc8 (т) и из (5.80) и (5.74) следует, что
М-й = дГ! (5.85)
Правило выбора решения по N некоррелированным
выборкам формулируется в этом предельном случае так
[см. (5.76)]:
сигнал присутствует, если
тКХ 2^>21пс-1-Л^1п (5.86)
Ь=1
или
N
S 4>т2. (5-87)
k=i
где
f=.2(1+^)l„[c(l+^)T]. (5.88)
При достаточно большом Л/ сумму в левой части неравен¬
ства (5.87) можно заменить интегралом*)
N Т
24-^- I (5.89)
fc=l -т
Из (5.87) и (5.89) следует, что алгоритм обнаружения
сводится к сравнению отношения энергии наблюдаемого
процесса х (t) к спектральной плотности шума с некоторой
константой у2, определяемой согласно (5.88) величиной ^
и постоянной с (т. е. выбором критерия). Приемное устрой¬
ство, осуществляющее указанную процедуру, может быть
названо энергетическим приемником.
Так как хк — независимые нормальные случайные вели¬
чины с нулевыми средними, то случайные величины
N N
V г2 ^0 V v2
Ь Xk’ Nc + Nо Ь Xh
fc=i
(соответственно, когда сигнала нет и когда сигнал присут¬
ствует) имеют ^-распределение (см. задачу 3.15 в первой
*) Заметим, что величина у при N -* оо неограниченна.
351
книге). Тогда, используя формулу (21) в задаче 3.15,
находим условные вероятности ложных тревог и правиль¬
ного обнаружения:
Г(4’Т)
a=1 / N \ ’ (5-90^
г(4-)
г (К. V2 Мо \
с \2,2Л^с4-^о/
Р Г(|) ' (5-9,)
где Г (л:, у) — неполная гамма-функция [см. (1.41) в пер¬
вой книге].
Если объем выборки большой (N > 1), то, используя
асимптотическое приближение неполной гамма-функции
(см. (1.43) в первой книге), получаем из (5.90) и (5.91)
a~l-F[(y-VN)V2\, (5-92)
<5-93>
Формулы (5.92) и (5.93) связывают между собой (при задан¬
ном с) число наблюдений N, отношение мощностей сигнала
Nc и шума N0 на единицу полосы частот и вероятности
ложных тревог а и пропуска сигнала р.
5.3. ПОСЛЕДЕТЕКТОРНОЕ ОБНАРУЖЕНИЕ
5.3.1. Амплитудный метод. Переходим к изучению алго¬
ритмов обнаружения при условии, что до какой-либо
специальной обработки принятый узкополосный процесс
детектируется, т. е. выделяется либо его огибающая, либо
фаза. При приеме высокочастотные процессы до детекти¬
рования усиливаются (например, в усилителе промежу¬
точной частоты), поэтому в этом разделе предполагаем, что
ширина полосы пропускания А додетекторного усилителя
много больше ширины спектра принимаемого сигнала,
в отличие от предыдущего раздела, в котором линейная
система всегда оказывалась согласованной с сигналом.
Рассмотрим сначала, каково оптимальное правило выбо¬
ра решения о наличии или отсутствии сигнала по реали¬
зации огибающей наблюдаемого процесса, представляющего
352
либо нормальный стационарный узкополосный шум с нуле¬
вым средним (гипотеза Я0), либо сумму этого шума
и детерминированного узкополосного сигнала s (/) =
= а (t) cos [со01 — г|)s (/)] (гипотеза Ht). Вероятностные ха¬
рактеристики этих процессов приведены в восьмой главе
первой книги. Используя указанную там терминологию
(см. стр. 427), можно рассматриваемую задачу сформули¬
ровать так: проверяется простая гипотеза (#0)> что наблю¬
даемая огибающая является релеевским процессом, против
простой альтернативы (#4), что она — обобщенный релеев-
ский процесс *).
Следуя общей методике, необходимо было бы в каче¬
стве наблюдаемых координат огибающей принять некор¬
релированные величины
т
rk = Vhi § r(t)yh(t)dt, (5.94)
т
где г (t) — реализация огибающей на интервале наблюдения
(-Т, Т)\ Kk и фь (/) — собственные числа и собственные
функции интегрального уравнения
т
Ф(0 = Ь I Ве (У — t) У (у) dy, \t\<T, (5.94')
-т
Be М — известная корреляционная функция огибаю¬
щей шума.
Для того чтобы найти функцию распределения случай¬
ной величины rk согласно (5.94), необходимо решить одну
из самых сложных задач теории случайных процессов
(см. гл. 9 в первой книге), которая состоит в определении
распределения процесса на выходе линейной системы,
когда распределение процесса на ее входе отлично от нор¬
мального (в рассматриваемом случае это распределение
релеевское). Случайные величины rhi k = 1, 2, . . .,
не являются ни нормальными, ни релеевскими и из их
некоррелированности не следует независимость. Вычисле¬
ние отношения правдоподобия для выборки (гь . . ., rN)
*) Заметим, что распределение огибающей суммы квазидетер¬
минированного процесса и нормального шума также обобщенное
релеевское (см. стр. 424 в первой книге). Поэтому выводы этого раз¬
дела относятся также к обнаружению квазидетерминированного
сигнала [см. (5.30)].
23-197
353
представляет трудно разрешимую задачу. Поэтому отойдем
от приведенной точной постановки и ценой некоторых
допущений упростим задачу *).
Допуская, что энергетический спектр шума равномер¬
ный в полосе Д, представим наблюдаемые некоррелирован¬
ные координаты огибающей в виде (3.41):
I (5-95)
-т
где N0 — спектральная плотность шума.
Кроме того, предполагаем, что время наблюдения
fyt 1 гр Л « A sin(M-nk)
Т »-д . Так как при А—»оо функция — At_nl{ ►
—»б(^ — » то, учитывая принятое условие АТ > 1,
из (5.95) получим
<596>
или
(5.96')
5 W0A
где а2 = — дисперсия шума;
Eh = ~ выборочное значение огибающей при t = ^.
Таким образом, в качестве наблюдаемых координат
приняты выборочные значения огибающей через равные
интервалы времени ^, причем эти значения приближенно
можно считать некоррелированными.
Так как из некоррелированности значений огибающей
нормального случайного процесса следует их статистиче¬
ская независимость (см. § 8.2 в первой книге), то некорре¬
лированные координаты rk представляют независимые слу¬
чайные величины.
*) Такой упрощенный подход (без достаточно строгих обоснова¬
ний) был единственным в ранних работах по статистической теории
обнаружения сигналов (см., например, [18]).
354
Ограничиваясь первыми N координатами/ нетрудно
записать функции правдоподобия выборки (г1? ..., rN) для
двух указанных выше гипотез (см. (8.17) и (8.18) в первой
книге):
N Л
Wk(Ги ..., гк1Н0) — П rhe 3. rh> 0, (5.97)
N rh+ah
WN(rt, ..., Глг| Ht) = П r*e 2 h(rkah), rft>0, (5.97')
ft=i
где
= (5-98)
представляет отношение амплитуды сигнала (в момент вре-
Tik \
мени t = “д~) к среднеквадратическому значению шума.
Из (5.97) и (5.97') находим логарифм отношения правдо¬
подобия
N N
In I (rlt ..., rN) = 2 ln /о (rkah) — у 2 (5-99)
й-i s=i
Теперь нетрудно сформулировать оптимальное правило
выбора решения: если для наблюдаемой выборки ги ..., rN
координат огибающей
N N
2 In /0 (Гкйь) > In с + у 2 oI = Kn, (5.100)
то принимается решение (yi) о наличии сигнала, а если
выполняется неравенство, обратное (5.100), то — решение (yo)
о его отсутствии.
Константа с в формуле (5.100) определяется принятым
критерием качества (байесовским, Неймана — Пирсона,
минимаксным) согласно табл. 1 на стр. 40.
Вычисление условных вероятностей ложных тревог
и пропусков сигнала в общем виде в этом случае не пред¬
ставляется возможным. Однако поддается исследованию
приближенное выражение этих вероятностей при слабом
сигнале, когда max ак <1.
23* 355
Разложим ln /о (rha,h) в степенной ряд, ограничиваясь
первым членом, т. е. пренебрегая членами, содержащими
степени ак не ниже четвертой *):
In/0 (rhak)« -j (rkcih)2-
Тогда из (5.100) находим более простое правило: сигнал
присутствует, если
N
S aM>4/Cw. (5.101)
ft=i
Таким образом, алгоритм обнаружения в рассматривае¬
мом случае сводится к вычислению взвешенной суммы
квадратов выборочных значений огибающей и сравнению
ее с порогом, зависящим только от выбранного критерия
и априорных характеристик сигнала и шума.
Используя (3.6) и (3.7) и возможность их обобщения
на случайные процессы (см. § 3.2.3), можно приближенно
при ТА > 1 сумму в (5.101) заменить интегралами:
£‘Л--гг£“'(т)я,'й' (5-102)
fc=l ft=l
где
Еа= j a*(t)dt (5.103)
-т
fe=l h=l
Т
\r4t)a4t)dt. (5.104)
-т
Подставляя (5.102) и (5.104) в (5.101), можно правило
выбора решения выразить аналитически следующим нера¬
венством:
т
1 С* г2/А«2/А I
4 JVqO2
-т
^ r2(t)a2(t)dt>\nc + , (5.105)
*) Разложение в ряд и сделанное приближение должны интер¬
претироваться в вероятностном смысле.
356
из которого следует, что основными элементами оптималь¬
ного приемного устройства при амплитудном методе обна¬
ружения слабого сигнала являются квадратичный детек¬
тор и коррелометр, вычисляющий взаимную корреляцию
выхода г2 (/) детектора и квадрата огибающей a2 (t) детер¬
минированного сигнала.
Для определения вероятностей ложных тревог и про¬
пуска сигнала при использовании алгоритма (5.101) или
(5.105) необходимо в общем случае решить достаточно
сложную задачу о распределении взвешенной суммы квад¬
ратов независимых случайных величин, распределенных
по обобщенному закону Релея, в первом случае, или задачу
о распределении интеграла от квадрата обобщенного релеев-
ского процесса, во втором.
Если размер выборки большой (N > 1), то распределе¬
ние суммы в левой части (5.100) независимых случайных
величин можно в силу центральной предельной теоремы
при принятых ограничениях относительно а* (см. § 3.4
в первой книге) считать нормальным со средним и диспер¬
сией, равными*) (при maxaft <С 1)
h
N N
ln/0(afcr*)|tfo} «22 J-) , (5.106)
ft=i ft=i
N N
M2{2 In/о (ahrh) | Я0} « 4 2 at, (5.106')
k=i fc=»l
когда сигнала нет, и
N N г
m,{2 In Л, (a*rk) | «22 4 (l+-f-) , (5.106')
k=i k=i
N N
M2 { 2 ln h (akrk) I Ht} » 4 2 at, (5.106")
k=i
когда сигнал присутствует.
Из (5.106) — (5.106"') следует, что при гпах ак <€ 1
k
*) О вычислении моментов для квадратов релеевской и обобщен¬
ной релеевской случайных величин см. в гл. 2 и 3 первой книги.
357
и N » 1 логарифм отношения правдоподобия (5.99) рас¬
пределен (приближенно) по нормальному закону с пара¬
метрами:
N
trii {In I (гj, ..., rN) I Ho} — — J 2 a*k' (5-I07)
k= 1
N
m^ln/fr*, ...,гя)|Я,} = |24, (5.107')
Af2 {In Z(rf, ..., rN) | H0} =
N
= M2 {In / (rj, ..., rw) IЯ,} = ■-i- 2 at. (5.107")
ft=l
Обозначив
n
SN = T2aft’ (5-Ю8)
ft=l
представим вероятности ложных тревог и пропусков сигнала
следующими формулами:
a=1~F(“7^f + Si0 ’ (5Л09)
P = (5.109')
Заметим, что для абсолютно оптимального метода обна¬
ружения вероятности ложных тревог и пропуска сигнала
[см. (5.14) и (5.15)] определяются параметром dNi кото¬
рый равен корню квадратному из суммы квадратов нор¬
мированных значений сигнала, в то время как указанные
величины в формулах (5.109) и (5.109') определяются пара¬
метром sN, который равен корню квадратному из суммы
четвёртых степеней нормированных значений огибающей
сигнала. Отсюда следует, что при слабом сигнале ухудше¬
ние рабочей характеристики обнаружения при оптималь¬
ной последетекторной обработке по сравнению с оптималь-
йои додетекторной обработкой связано с тем, что в первом
случае она определяется квадратом отношения сигнал/шум,
а во втором — первой степенью этого отношения.
Аналогичным образом можно исследовать асимптотиче¬
ские свойства рабочей характеристики обнаружения, исхо-
358
Дя из алгоритма (6.105) обработки реализации при Т оо
и учитывая, что при этом распределение интеграла в (5.105)
приближается к нормальному (см. § 9.4.2 в первой книге).
Заметим, что для сильного сигнала, т. е. при ття* > 1,
к
используя асимптотическое разложение бесселевой функции
(см., например, стр. 123 в первой книге), неравенство (5.100)
можно представить в виде
N
2 akrh>KN (5.110)
*=i
или приближенно при ТА > 1 [см. (5.105)] в виде
т
■±lrit)a(t)dt>lnc+-^. (5.111)
—Т
В этом случае оптимальное приемное устройство содержит
линейный детектор и коррелометр, определяющий взаим¬
ную корреляцию между выходом детектора и огибающей
детерминированного сигнала.
При N > 1 аналогично предыдущему находим, что
логарифм отношения правдоподобия при min а* > 1 имеет
к
нормальное распределение с параметрами:
N
mi {In I {г 1, ..., rN) I Но} 2 a\.
(5.112)
ft=l
N
ml {In / (ri, .... 5-2
(5.112')
fc-1
N
{In Z(r, rN)\H0}~2 2 a\,
к— i
(5.112")
N
M2 {In / (r,, ..rN) {Hi} ~
k=l
(5.112")
Вероятности ложных тревог и пропусков сигнала равны
соответственно
“=1 "L^+.vi)'
(5.113)
f-F('Z "?)•
(5.114)
359
где
N
d% = S ai. (5.115)
k=i
Заметим, что в рассматриваемом случае сильного сигнала
(dN > 1) вероятность пропуска сигнала, подсчитанная
согласно (5.114), не отличается от этой величины при опти¬
мальной додетекторной обработке [см. (5.15)1. При опреде¬
лении вероятности ложной тревоги второе слагаемое (основ¬
ное) в аргументе интеграла Лапласа в /2 раз меньше
аналогичного слагаемого в формуле (5.14).
5.3.2. Фазовый метод. Перейдем к определению опти¬
мального правила выбора решения о наличии или отсут¬
ствии детерминированного сигнала в аддитивном узкопо¬
лосном нормальном шуме по реализации фазы О (t) наблю¬
даемого процесса. Вероятностные характеристики фазы,
соответствующие двум гипотезам Н0 (фаза шума) и Ht (фаза
аддитивной смеси сигнала и шума), приведены в восьмой
главе первой книги.
Проводя рассуждения, аналогичные тем, которые пред¬
шествовали формуле (5.96), введем некоррелированные
координаты фазы
^=*Нг)- (5Л16>
Так как из некоррелированности значений фазы нормаль¬
ного случайного процесса следует их независимость
(см. § 8.4.2 в первой книге), то координаты д* независимы.
Ограничиваясь первыми N координатами, запишем функции
правдоподобия выборки . . ., для двух указанных
гипотез (см. (8.59) в первой книге):
wN (О*, .... Ow|tf0)= Ыг)* I^K*. (5.117)
Ь=1
+ COS (dft—1|)й) F [aft cos (dk — t|5ft) ] x
a\
xe_~8ln*(#A_1|’*)|, |d| —1|>,|<я, i=l, .... N, (5.118)
360
где ah определяется по формуле (5.98), а
tpft = tps(^). (5.119)
Из (5.117) и (5.118) находим логарифм отношения
правдоподобия
2
N _ _^k_
In (fllt ..., fyv) = 2 In (е 2 + ah cos (^й —-фй) x
ft=i
X F [ak cos (Oft — tpft)] e 2 sin2(#* (5.120)
|Oi — l' = •> • • •> N.
Правило выбора решения может быть сформулировано так:
сигнал присутствует, если
N _
2 In {е 2 + ]/2я ak cos (О* — i|)ft) x
h=i
2
ak
X F [aftcos^ft — t|3ft)] e 2 sln2<#* '1>а)}>1пс, (5.121)
| Oj — “фг | < я, i=\, ..., N.
Для слабого сигнала (max aft < 1) правило (5.121) зна-
h
чительно упрощается. Используя формулу (8.61) первой
книги, находим в первом приближении
__ N N
У % 2 aftCOs(0ft-4>ft)>lnc+-|-2 A = Ks, (5.122)
ft=l А=1
I -- | < я, i=\, ..., N.
Как и в предыдущих случаях, при АТ > 1 сумму в левой
части (5.122) можно приближенно заменить интегралом
т
7Г J в(0см[*(0-».(01Л> / 1-1ПС+ ■
(5.122')
Таким образом, основной операцией в оптимальной про¬
цедуре обнаружения слабого детерминированного сигнала
фазовым методом является вычисление взаимной корреля-
361
ции между косинусом разности фаз принятого и детерми¬
нированного сигналов и огибающей детерминированного
сигнала *).
Как и в амплитудном методе, определение вероятностей
ложных тревог и пропусков сигнала при использовании
алгоритма обработки (5.122) сопряжено с трудностью
вычисления функции распределения суммы случайных
величин в левой части (5.122). Однако если размер выборки
большой (N > 1), то можно воспользоваться асимптотиче¬
ской нормальностью указанной суммы, ограничившись
при этом вычислением среднего и дисперсии для двух
гипотез. Получим при таха* < 1 (см. § 8.5.1 в первой
h
книге):
_ N
т* {у 1г2 я* cos (Oft—=0, (5-123)
k=l
N N
mi{y t2 «ftcos(fy,— i|>h)|tfi} = т2 a*’ (5-123')
fc=l fc=l
N
M2{y — ^ft)|^o} =
h=l
N N
={v т 2 cos (<►* —ч>о I Hi} =t 2 (5-123")
ft=i ft=l
Используя обозначение (5.115), запишем выражения для
вероятностей ложных тревог и пропусков сигнала в виде
““'-^тТЙг+т^Ь <5J24>
(5|24,)
В отличие от оптимального амплитудного метода [см.
(5.109) и (5.109') 1, при оптимальном фазовом методе, как и
при оптимальном додетекторном методе обнаружения, ве¬
роятности ложных тревог и пропусков сигнала определяют¬
*) Как показано в [23], оптимальное устройство при обнару¬
жении фазовым методом представляет идеальный ограничитель,
за которым следует согласованный фильтр.
362
ся параметром dNl т. е. рабочая характеристика обнару¬
жения слабого сигнала при фазовом методе оказывается
лучше *), чем при амплитудном. Нетрудно обнаружить
полную аналогию (5.124), (5.124') с (5.14), (5.15), причем
первые из указанных формул получаются из вторых заме¬
ной dN на j/*dN (т. е. « 0,9 dN).
Если воспользоваться асимптотической формулой (8.63)
в первой книге, то для сильного сигнала (min ак > 1) пра-
k
вило выбора решения [см. (5.121)1 может быть записано
в виде: сигнал присутствует, если
N N j
i-2 In (V2^ahc~TT) (5.125)
к= 1 fe=l
или приближенно при А Г > 1
т
-JL. l a'(t)[e(t)-b(t)rdt<
-T
J In [/2я -2^-] dt - In c. (5.125')
-T
Таким образом, основными элементами оптимального
приемного устройства при фазовом методе обнаружения
сильного детерминированного сигнала является фазовый
детектор, выделяющий квадрат разности фаз принятого
и детерминированного сигналов, и коррелометр, опреде¬
ляющий взаимную корреляцию выхода фазового детектора
и квадрата огибающей сигнала.
Рассмотрим также оптимальный фазовый метод обнару¬
жения квазидетерминированного сигнала [см. (5.30)1.
В этом случае для слабого сигнала (max ак < 1) отноше-
к
*) Этого следовало ожидать, так как функция распределения
фазы (5.118) информативнее функции распределения огибающей
(5.97'). В первом случае параметры распределения содержат инфор¬
мацию о значениях огибающей и фазы сигнала, а во втором —
только о значениях огибающей сигнала.
363
ние правдоподобия при фиксированном значении фазы ср0
имеет вид [см. (5.122)]
I (dj, . . . , ftjsf | фо) =
N N
= ехр | yf -у- ^ ai cos (Oft — + Фо)—g-2 (5-126)
k=i fe=i
или
l (ф„ ..., Ojv I фо) = exp {-|/-y rN cos (фо — <bN)} X
N
xexp j—> (5.126')
k=i
где
rN=\ s aftet<n V| ; (5.127)
h=l
N
Im j оде4**-***
Ф* = arctg —S=i . (5.127')
Re ^
fe=l
Усредняя отношение правдоподобия по равномерно рас¬
пределенной случайной фазе ф0, получаем
N
А (#!, ..., Ojv) = ехр | —g- 2 Oft} х
k=i
X J ехр {]/-у г гг cos (фо — Ф*) }лр0 =
О
r~ N
= /„()/-у Глг) ехр { —2 4} • (5.128)
k=i
Из (5.128) следует байесовское правило выбора реше¬
ния: квазидетерминированный сигнал присутствует, если
или если
(5.128')
где слг —величина, определяемая из трансцендентного урав¬
нения
ln/o(V^Tc")=^- (5.128")
Вычисление функции распределения статистики rN [см.
(5.127)1 можно выполнить в замкнутом виде для гипотезы
Я0, т. е. когда сигнала нет. В этом случае, используя не¬
сколько видоизмененный метод, указанный в [5, гл. 4, § 4]
для задачи о случайных блужданиях, получим следующее
выражение одномерной функции распределения rN, когда
ftk — независимые, равномерно распределенные на интер¬
вале (0,2я) случайные величины:
оо N
щ (r) = r ^ sJ0 (rs) Д Jo (ahs) ds.
0 ft=l
Отсюда с учетом (5.128') следует, что вероятность ложной
тревоги равна
оо оо N
а = ^ Wi (г) dr = 1 — cN ^ Ji (cNs) Д J0 () ds* (5.129)
CN 0 fe=i
Для синусоидального сигнала постоянной амплитуды
оо
о= \—k J ji(kx)j" (x)dx, (5.129')
О
где k = • При использовании критерия Неймана —
/»о
Пирсона порог k определяется из (5.129') по заданной
вероятности а ложных тревог и не зависит от мощности
сигнала.
Если размер выборки велик (N у 1), то распределение
случайной величины ги асимптотически приближается к ре¬
леевскому, когда верна гипотеза Я0, и к обобщенному
релеевскому, когда верна гипотеза (см. [5, стр. 187—188]).
Параметры этих распределений равны соответственно [см.
(5.123) —(5.123")] -i-dfc и ( j/-5-dfc, -I-dBr) , где d% опре-
365
делается по формуле (5.115). Тогда вероятности ложных
тревог и пропусков сигнала равны [ср. (5.52) и (5.53)]
CN
а = е d", (5.130)
CN V~2
P = e-Td^ J (5.130')
0
5.3.3. Стохастический сигнал. Рассмотрим теперь опти¬
мальный амплитудный метод обнаружения стохастического
сигнала, сохранив предположения, сделанные в начале
раздела 5.3. Функции правдоподобия в этом случае имеют
вид [см. (5.97)]
N 2
WN (ru ..., rN | Ho) = П rke~rh/2, rk > 0,
fe==i
N (
WN(rv ...,rw|^)=n ~Vе 41 + 02 ’
*=1 1+-Ф
rh>0, k= 1, ..., N,
где а®—дисперсия сигнала.
Отношение правдоподобия равно
/ ol \ -n
1{ги ..., rN)= ^ 1 +“^г) X
N
( о2 /а2 -I
хехР {г (!+,■/»■) ■ <5|3|>
k = i
Гк> о, k= 1, ..., N.
Правило решения формулируется так: сигнал присут¬
ствует, если сумма квадратов выборочных значений г*
превышает порог [ср. (5.86) и (5.87)]
N
(5.132)
Й=1
где у — та же константа, что и в (5.87), вычисляемая
по формуле (5.88) при очевидной замене ^ на •
366
Так как г\ — независимые экспоненциально распреде¬
ленные случайные величины, то, используя результат, ука-
N
занный в задаче 3..16 первой книги, находим, что 2 rь
/1=1
имеет х^-распределение. Если учесть, что размер выборки
значений огибающей процесса вдвое меньше размера
выборки самого процесса (см. § 5.1), то отсюда следует, что
формулы (5.90) и (5.91) для вероятностей ложных тревог
и пропусков сигнала сохраняются без изменения в случае
оптимального амплитудного метода обнаружения. Таким
образом, оптимальные процедуры обнаружения стохасти¬
ческого сигнала до и после детектирования совпадают.
Этого совпадения следовало ожидать. Действительно, в рас¬
сматриваемом случае функции правдоподобия для выборок
фаз, когда сигнал есть и когда его нет, не отличаются друг
от друга:
UMOi, ...,<ЧЯо) = (4гГ’
так как одномерная плотность вероятности фазы стацио¬
нарного нормального случайного процесса не зависит
от энергетического спектра (дисперсии) процесса и всегда
равна ■—j-, Отношение правдоподобия в этом
случае тождественно равно единице. Отсюда следует также,
что в рассматриваемом случае по независимым выборкам
фазы невозможно отличить сумму сигнала и шума от чисто¬
го шума, т. е. решить задачу обнаружения стохастического
сигнала.
Для осуществления фазового метода обнаружения сто¬
хастического сигнала необходимо иметь независимые вы¬
борки разности фаз*) . . ., ДО^, где ДО* =
= 0(/* + т) — Q(ti). Используя формулу (8.82) в первой
книге, находим функцию правдоподобия выборки разности
фаз для шума:
N
хП
/1*1
х « , Х
at
j 2- + arcsin уд
1 ~~У\ (1 -y\fh
■Ук
(5.133)
|ДО*|<я, k=l,...,N,
) Это имеет место, например, в задачах разнесенного приема.
367
где
У к = Ro (х) cos [О (/„ + х) —О (/*)]; (5.134)
Ro (х) = Rco (х) + Rao (х); (5.134')
оо
Rco (х) = ^ Fш (to) cos (со — ©о) х da; (5.135)
о
оо
R*o (х) = -jjg- § Fш (©) sin (<о — (О0) т </©; (5.135')
о
Ли И, а2 — энергетический спектр и дисперсия шума.
Функция правдоподобия суммы сигнала и шума равна
.... Д<ЧЯ1)=(Ц^)"х
N
ХП
ft=l
! -у + arcsin z*
•2ft ,
(5.136)
где
.*“4 (1-г|)3/2
| | < я, k = l
168
2k = Ri (X) cos [Ф (/* + x) - <► (4)]; (5.137)
RiW = Rh (x) + R»i (x);
(5.137')
Ra (x) = ^ [Fc (©) + Fm (©)] cos (to — a0) x da; (5.138)
c о
oo
= [Fc(a) + Fni(a)]sin(a-a0)xda; (5.138')
c о
Fс (®)> <т| — энергетический спектр и дисперсия сигнала.
Отношение правдоподобия равно
/(Adi, .... Л«Ы =(}=!)" X
_ 1 П
1_у2 l+sft (-£- + arcsinгА) (1 —г|) 2
N
хП
*=1
(4r + arcsin yh) (1 —у\)
(5.139)
| ДО,-1 < я, г = 1, ..., N.
Исследование общего случая представляется весьма
трудным. Ограничимся случаем, когда выборки шума
0 (/ft + т) и О (4) не коррелированы, т. е. когда Я0 = О
[см. (8.81) в первой книге] и когда < ст* (слабый сиг¬
нал). Тогда, обозначая
Д2(х) = Яг(т) + Я?(т), (5. НО)
где
Яс(т) = -4- ^ Fс (со) cos (со — е»0) т с?(о, (5.141)
а° t
оо
1 I*1
#s(T) =-^г \ (<о)sin(<о — (oo)xdco, (5.14Г)
и пользуясь малостью величины , получаем
(*)=-£#(*)• (5Л42)
Полагая в (5.139) /?<> = 0, получаем с учетом (5.142)
N
In/(ДО,, ..., ДФ*)«-^р (-у-)2 2 cosAOft —
-тИ4’ 1<4<я* /=!.■•■. N. (5.143)
Правило решения может быть теперь сформулировано сле¬
дующим образом: сигнал присутствует, если
(-£)'• <5 i44>
л=1
Оптимальная процедура обнаружения состоит в сравнении
выхода интегратора (сумматора) косинусов разности фаз
с заранее установленным порогом.
Если объем выборки большой (N > 1), то распределе¬
ние суммы независимых случайных величин cos Д0Л близко
к нормальному со средними и дисперсией, равными
(см. § 8.4.4 в первой книге)
N
mi { 2 cos Д^л I #о) = 0, (5.145)
ft=i
«1 {2 c°sAOft|tfi} =~^~ (^гУ> (5-145')
N N
М2{2 cosAflft|tfo} =М2{2 cosAOft|W,} =-^-. (5.146)
ft=l k=\
2 4-197 369
Вероятности ложных тревог и пропусков сигнала при
этом равны*)
5.4.1. Вводные замечания. До сих пор рассматривалась
задача обнаружения сигнала по некоторой реализации
процесса на входе приемного устройства, который мог быть
только шумом или суммой сигнала и шума. Наряду с этой
задачей во многих приложениях возникают задачи более
сложные. Например, наблюдаемый процесс х (t) может быть
суммой шума и сигнала одного из заданной совокупности
сигналов s0 (0» • • •» sm (t), и необходимо по принятой
реализации на интервале (— Т9 Т) процесса х (t) принять
решение, какой из указанных сигналов в действительности
присутствует в наблюдаемом процессе.
Аналогичная задача различения сигналов возникает в тех¬
нике связи при построении устройств декодирования сооб¬
щений. В других случаях приходится выяснять, пред¬
ставляет ли наблюдаемый процесс только шум или его
аддитивную смесь с одним или несколькими сигналами
из заданной совокупности сигналов. Подобные задачи
в радиолокации иногда называют задачами разрешения
сигналов. Указанные задачи в общей постановке относятся
к классу многоальтернативных задач выбора решения
(см. § 1.4.9). Ниже будут рассмотрены несколько сравни¬
тельно простых задач этого класса, решение которых,
однако, имеет самостоятельное значение в ряде практиче¬
ских ситуаций.
*) Ср. (5.147) и (5.148) с (6) и (6') в задаче (5.5). Если учесть,
что общий размер выборки в рассматриваемом случае равен 2N,
то можно прийти к заключению, что рабочая характеристика обна¬
ружения стохастического сигнала при указанных ограничениях
приближается к рабочей характеристике обнаружения детермини¬
рованного сигнала амплитудным методом с параметром характе-
nR ( (Xc\
ристики, в раз меньшим (при а = .
nR ~\/~N
Г Т/2 In
5.4. РАЗЛИЧЕНИЕ СИГНАЛОВ
370
5.4.2. Два детерминированных сигнала*). Пусть известно,
что наблюдаемый процесс представляет аддитивную смесь
нормального стационарного шума и одного из двух детер¬
минированных сигналов, So (t) или Si (О- Задача состоит
в проверке простой гипотезы (Я0), что наблюдаемый про¬
цесс нормальный со средним So (0, против простой альтер¬
нативы (Ну), что этот процесс также нормальный, но
со средним, равным sA (О-
Выберем в соответствии с § 3.4 в качестве наблюдаемых
некоррелированные координаты
т
xk = V\lx(t)4k(t)dt, (5.149)
-т
где х (t) — реализация принятого процесса на интервале
наблюдения ( — Т, Т), a Xk и щ (0 — собственные числа
и собственные функции интегрального уравнения
т
y(t) = X В (у — t)y(y)dy, (5.150)
-т
где В (т) — известная корреляционная функция шума.
Ограничиваясь первыми N координатами и учитывая
(3.62), запишем логарифм отношения правдоподобия для
выборки ..., xN размером N в виде
N N
\nl(xi, ..., *iv) = -^-2 (4 —6|)+2 (bk — ah)xh, (5.151)
k=i fe=l
где
т
ak = Yxk ^ s0(t)yk(t)dt; (5.152)
-г
т
bk = V~K § Si(t)q>k(t)dt. (5.152')
-т
Правило выбора решения может быть теперь сформули¬
ровано следующим образом: присутствует сигнал sA (t), если
для наблюдаемой выборки
N N
2 (6* — ak)xh>ln с + 4" 2 Ф\ — а\), (5.153)
Ь=1 /г=1
*) Этот раздел можно рассматривать как обобщение §. 5.2.1,
результаты которого получаются как частный случай при s0 (t) = 0
И St (t) = s (t).
24* 371
и решение о присутствии сигнала s0 (t), если выполняется
неравенство, обратное (5.153).
Таким образом, алгоритм различения сводится к вычис¬
лению взвешенной суммы наблюдаемых координат и срав¬
нению ее с заранее установленным порогом
N
KN = \nc + ±'2i{bl-al). (5.154)
h=i
Этот алгоритм оптимален по любому из рассмотренных
в первой главе критериев качества (непоследовательных).
Выбор критерия отражается лишь на величине с.
Повторяя рассуждения, приведенные в § 5.2.1, находим
условные вероятности ошибок первого и второго рода
(вероятности перепутывания сигналов):
““‘-''(-ЗГ+тА'Ь <5155>
*")■ <5|56>
где
N
dh='Z(bk-ak)\ (5-157)
fe=l
Если результаты наблюдений не дискретизируются,
а используется вся реализация х (t) на интервале наблюде¬
ния, то правило выбора решения формулируется следую¬
щим образом [см. (3.81)]: присутствует сигнал Si{t), если
т т
^ V(()x(t)dt>\nc + Y ^ V(t)[s0(t) f (/)] dt — Кту
_т -Т
(5.158)
и принимается решение о том, что присутствует сигнал
s0 (0» если выполняется неравенство, обратное (5.158).
Функция У(0 представляет решение неоднородного линей¬
ного интегрального уравнения
т
J B{t-u)V(u)du = Sy(t)-s0{t). (5.159)
-т
372
Вероятности перепутывания сигналов определяются по фор¬
мулам (5.155) и (5.156), если в них dN заменить величиной
dT, определяемой из соотношения [см. (3.87) и (3.88)]
d\= j V(0 ^(0-so(01 dt. (5.160)
-т
При различении сигналов на фоне аддитивного белого
шума решение интегрального уравнения (5.159) имеет вид
V(t) = ^-[Si(t)-S 0(ОЬ (5.161)
где Л^о — спектральная плотность шума. В этом случае
неравенство (5.158) может быть переписано в виде
т
§ [Si (t)—s0 (01X (t)dt > No In c+
-T
T
+ T I lsl(t)-sl(t)]dt = N0\nc + ^1=^8, (5.162)
-T
где Еу и E0 — энергии сигналов Sy (t) и s0 (t) на интервале
наблюдения.
Неравенство (5.162) может быть путем элементарных
алгебраических преобразований приведено к виду
т т
^ [So(t) — x(t)]*dt—’^ [Sy(t) — x(t)]2dt>N0lnc. (5.162')
-т -т
Интегралы в (5.162') могут быть названы соответственно
расстояниями наблюдаемой реализации х (t) до сигналов
s0 (0 н Si (0* Правило выбора решения предписывает вычис¬
ление разности этих расстояний и сравнение ее с порогом,
зависящим от критерия и спектральной плотности белого
шума. Для критерия максимального правдоподобия (с = 1)
принимается решение о наличии того из двух сигналов,
который ближе к наблюдаемой реализации. Это — прави¬
ло, согласно которому строится так называемый идеальный
(по Котельникову) приемник. Рабочая характеристика
такого приемника определяется величиной [см. (5.160)]
т
= [Si (0-So (01* Л, (5.163)
-Т
373
т. е. отношением расстояний между сигналами к спек¬
тральной плотности шума. Если найдена величина d\
из (5.163), то для расчетов могут быть использованы кри¬
вые, приведенные на рис. 25 [см. (5.155) и (5.156)].
Заметим, что для ортогональных сигналов, для которых
т
^ Si{t)sQ(t)dt == О,
-г
Е Е
величина d\ равна 2, т. е. отношению суммарной
энергии сигналов к спектральной плотности шума (при
2 Е \
Ех = Е2 = Е в этом случае dr = -д^-J . Максимально воз¬
можное значение d\, равное AEIN0, реализуется при
Si (t)=—s0(t).
Из (5.162) следует, что оптимальный приемник для раз¬
личения двух детерминированных сигналов на фоне адди¬
тивного нормального белого шума состоит из двух согласо¬
ванных фильтров (или коррелометров, см. §4.3.4) с импульс¬
ными переходными функциями
Л0*(т) = 80(Г — х), |т|<7\ (5.164)
h*1(x) = sl(T-x), |т|<7, (5.164')
и следующими за ними устройствами стробирования, вычи¬
тания и отсечки. Для сигналов, обладающих одинаковой
энергией (Ei — Е2), при использовании критерия макси¬
мального правдоподобия последние два устройства заме¬
няются устройством сравнения, так как в этом случае
правило (5.162) преобразуется к виду: присутствует сиг¬
нал Si (0. если
т т
sl{t)x(t)dt> § s0{t)x(t)dt. (5.165)
-т -т
5.4.3. Два сигнала с неизвестными амплитудами. Пред¬
положим теперь, что сигналы известны лишь с точностью
до амплитудного множителя А. Задача различения сигна¬
лов состоит теперь в проверке сложной гипотезы (Я0), что
наблюдаемый процесс нормальный со средним As0 (0,
против сложной альтернативы (tfj), что среднее значение
этого нормального процесса равно As\ (0-
374
Пусть нет никакой априорной информации о пара¬
метре Л. Используя результаты, приведенные в § 3.5.3,
нетрудно убедиться, что логарифм функционала отношения
правдоподобия может быть записан в виде
где V (t) — решение интегрального уравнения (5.159).
Следовательно, при А > 0 существует следующее рав¬
номерно наиболее мощное правило: отвергается гипотеза
Н0, т. е. утверждается, что присутствует сигнал Asx (t),
если для наблюдаемой реализации х (t)
Порог Кт определяется заданной вероятностью а ошибки
первого рода:
где ха — процентная точка нормального распределения,
a dT находится из (5.160).
Если А < 0, то знак неравенства в (5.167) изменяется,
а величина Кт заменяется на —Кт-
Равномерно наиболее мощное несмещенное правило пред¬
писывает отвергнуть гипотезу Я0, если
Таким образом, оптимальное (по критерию Неймана —
Пирсона) устройство различения двух сигналов с неиз¬
вестными амплитудами на фоне аддитивного нормального
шума в основном такое же, как и при полностью извест¬
ных сигналах.
В частности, при s0 (0 = 0 из (5.167) следует, что
оптимальное правило обнаружения детерминированного
т
\nl[x(t)\ = A J V(t)x(t)dt-
-Г
т
I У(0М0 + М0]Л. (5.166)
-т
т
J V(t)x(t)dt>KT-
(5.167)
(5.167')
т
J V(t)x{t)dt Жт-
(5.168)
-т
375
сигнала As (it) с неизвестной амплитудой А сводится
т
к сравнению величины ^ V (t)x (it) di с порогом, причем
-т
К (0 определяется из уравнения (5.22) (в которое пере¬
ходит (5.159) при si (t) = s (t) и s0 (t) = 0). А это и пред¬
писывается правилом выбора решения (5.21) при обнару¬
жении детерминированного сигнала s (/). Вероятностные
характеристики обнаружения будут, конечно, зависеть
от величины А, так как параметр dj. [см. (5.23)] в этом
случае будет равен
т
d2T = A2 J V(t)s(t)cU.
-т
Другой критерий, не связанный с априорной информа¬
цией о неизвестном параметре, — критерий максимального
правдоподобия (см. § 1.4.3). Как следует из (1.116), в этом
случае необходимо найти сначала максимумы функций
правдоподобия при двух гипотезах и сравнить их отноше¬
ние с единицей. Выбирая в качестве наблюдаемых коорди¬
нат величины Xh, определяемые согласно (5.149), и сохра¬
няя обозначения (5.152), (5.152'), запишем функции прав¬
доподобия выборки Ху, . . ., xN при двух гипотезах*):
N
WN(xu XN\ Но) = {2^)N/2 ехР [ — у 2 (ХЬ— Ла*)2] ,
(5.169)
WN(xt, ..., xN\H,) = ехр[—|-(^а — >16fe)a] . (5.169')
Учитывая, что максимумы функции / (Л) и In / (А) дости¬
гаются при одном и том же значении Л, нетрудно показать,
что максимум функции (5.169) достигается при
N
2 ah*k
4, = -^ , (5.170)
fc=l
*) Напомним, в § 5.2.1 было показано, что М2 {xj} = 1.
376
а функции (5.169') —при
N
2 ЬЬХЬ
Л = -^7 * (5-170')
2 Ь1
h= 1
Подставляя вместо А в (5.169) величину А01 а в (5.169') —
величину Aiy получим
max Wn (*i> Itfj)
1 А
шах WN (xj, ..., xN \ Н0) ~
А
N N
~ 2d2 ^kXk) 2d*~ анХк) ’ (5.171)
ldNl ft=1 2dJV0
где
N
4o= 2 ag; (5.172)
ft=i
N
4i=2&2- (5.172')
h=i
Правило выбора решения по критерию максимального
правдоподобия может быть сформулировано так: присут¬
ствует сигнал /Is^), если
N N
-4- (2 ***»)2 > (2 2 > (5-173)
dNi dN 0 \=1
и сигнал (t), если выполняется неравенство, противо¬
положное (5.173).
В том случае, когда энергии сигналов совпадают
(dN0 = dNi), правило (5.173) переходит в (5.153) при с= 1.
^ Используя результаты § 3.4.4, нетрудно правило (5.173)
переписать в аналоговой форме:
т г
-±-(l Vi(t)x(t)dty>-^-(lV0(t)x(t)dt)\ (5.174)
Т1 у» ТО у
377
где
т
d2Ti=lvl(t)sl(t)dt; (5.175)
-Г
т
dh=lV0(t)s0(t)dt, (5.175')
-Г
a Vi (0 и V0 (t) — решения интегральных уравнений
т
J B(t-u)Vi(u)du = si(t), |<|<7\ (5.176)
-т
т
5 В (t - и) Vo (0 du = So (/), I /1 < Г. (5.176')
-т
Оптимальный приемник состоит из двух согласованных
фильтров с импульсными переходными функциями
А® (т) = '^го"'/°(7' —т)* |т1<Г’ (5Л77)
^(тН^М^-т), |т|<7\ (5.177')
и следующими за ними устройствами стробирования, воз¬
ведения в квадрат и сравнения.
При различении сигналов на фоне аддитивного белого
шума решения интегральных уравнений (5.177), (5.177')
имеют вид
V0(t) = ^-Qs0{t), Vi(t)=1Lsi(t),
и из (5.174) следует правило: присутствует сигнал Asi(t)>
если
т т
-i-( I Sl(t)x(t)dty>-^(1 s0(t)x(t)dt)\ (5.178)
-г —т
где Ео и Ei — энергии сигналов s0 (0 и st (/) на интер¬
вале наблюдения. При Е0 = Е{ неравенство (5.178) совпа¬
дает, конечно, с (5.165).
Если задано априорное распределение (А) параметра
А, то может быть использован байесовский критерий мини-
378
мального среднего риска. В этом случае в соответствии
с § 1.4.2 вычисляется отношение усредненных функций
правдоподобия [см. (5.169) и (5.169')]
и в зависимости от того, превышает или нет эта величина
порог с (определяемый априорными вероятностями появ¬
ления сигналов и платами за решения), принимается
решение о присутствии сигнала i4s4 (/) или ^4s0 (t).
В качестве примера рассмотрим случай, когда априор¬
ное распределение амплитуды А нормальное со средним Л0
и дисперсией агА, т. е.
Подставляя (5.180) в (5.179) и вычисляя интегралы в числи¬
теле и знаменателе, получаем
где d%о и d%i определяются согласно (5.172) и (5.172').
оо
N
N
(5.179)
(5.180)
N
(5.181)
379
Байесовское правило выбора решения формулируется
так: присутствует сигнал Asi(t), если
N
При аА —> 0 функция Wi (А) —> б (А — Л0), и неравен¬
ство (5.182) преобразуется к виду
и, следовательно, правило выбора решения совпадает
с байесовским правилом различения полностью известных
сигналов (с очевидным условием А0 = 1).
При оА оо из (5.182) находим
Основные операции, выполняемые над наблюдаемыми коор¬
динатами, в этом случае такие же, как и при использова¬
нии критерия максимального правдоподобия [см. (5.173)].
Отличие состоит лишь в том, что вместо простого сравне¬
ния выходов квадрирующих устройств их разности срав¬
ниваются с некоторым заранее фиксированным порогом,
380
N
(5.182)
где
(5.182')
N
N
. . , 1 lfl aN0
> Inc + Y In -g— .
“NI
(5.184)
Для сигналов равной энергии dN0 = dNl формулы
(5.182) — (5.184) значительно упрощаются и могут быть
переписаны в виде
N о* N
А>2 (bk — ak)xh+-£-'2i {Ьк — а%)х1>(1+о2А)\пс,
k~i k=i
N
Ао S Фк — йк) xk>\nc при СТА—>0,
h=l
N
S ф1 — a\)xl>2\nc при <хА—* оо.
h=l
Заметим, что квазидетерминированиый процесс Лв (t)
со случайной амплитудой А используется часто в приложе¬
ниях в качестве модели сигнала с мультипликативной
помехой (стационарной), медленно изменяющейся за пе¬
риод наблюдения (или на интервале, равном длительности
импульсного сигнала).
5.4.4. Два узкополосных сигнала со случайными фазами*).
Рассмотрим задачу различения на фоне аддитивного нор¬
мального шума двух квазидетерминированных узкополос¬
ных сигналов с заданными законами амплитудной и фазо¬
вой модуляции и со случайными равномерно распределен¬
ными и независимыми начальными фазами
s0 (0 = ао (0 cos [coo/ — Цho (t) + Фо], (5.185)
Si (t) = а{ (t) cos [со,/ — \|)sl (t) + cpi]. (5.185')
Предположим, что
o< Д=.^цр <0)o,
и выберем при представлении узкополосных процессов
через огибающую и фазу в качестве центральной частоту
(о* — 0)0
Выполняя все рассуждения в той же последовательно¬
сти, что и в § 5.2.2, нетрудно получить в рассматриваемом
случае следующее выражение логарифма отношения усред-
*) Результаты § 5.2.2 являются частным случаем при s0 (t) =
= 0, Sj (t) = s (t) приводимых здесь результатов.
381
ненных функций правдоподобия от N некоррелированных
координат комплексной огибающей [см. (5.42)]:
N
2лг) = ехр | —[ I s*i I2 — I «Ао I2]} X
А-i
2л
X-
J exp [rwi cos (<Pi—^ni)] rffi
0
2 П
J exp [rjv0 cos (ф0—tJJjvo)] d4>o
(5.186)
где
I'm —
I'm:
N
2 ^k^hl
k=i
ft=i
; (5.187)
N
fe= 1
; ipN, = arctg N
Re 2 ZhShl
fe=d
N
Im 2 zASfto
; = arctg —^ . (5.187')
Re 2 zkSho
fe=l
Величины Sk о и представляют координаты комплекс¬
ных огибающих сигналов [см. (5.39'")], определяемые
по формулам
т
sfto = V^ J zs0(t)e-"b^(t)dt, (5.188)
-т
т
Ski = V^k § Zsi (0 е{<Лф* (t) dt, (5.188')
-т
где
*80 (0 = По (0 е-*^о(0; Zsi (t) = а{ (t) e-^iW.
Выполняя в (5.186) интегрирование и логарифмируя,
получаем
In Л (ги ..., zN) = In /0 (гдч) — In /0 (/><,) —
N
—■tS 11 sftl I2 —|sA0|2J, (5.189)
k=i
где /0 (г) — бесселева функция нулевого порядка от мни¬
мого аргумента.
382
Из (5.189) следует байесовское правило выбора реше¬
ния: присутствует сигнал st (t) (решение Vi), если для
наблюдаемой выборки
In /0 (rm) — In /0 (гno) > In с +
N
+т2 [|s«M»*ole] = Kir. (5Л9°)
ft=i
и сигнал So (t) (решение у0), если выполняется неравен¬
ство, обратное (5.190).
Если различение проводится не по дискретной выборке,
а по реализации г (/) комплексной огибающей, наблюдае¬
мой на интервале (— Т, Т), то из (5.190) при N -*■ оо нахо¬
дим [см. (5.62)]
In /0 (гп) — In /0 (гТ0) > In с ■
d2 —d2
ап “то
К
г»
где
ги = I \ Vi V) г (0 dt ,
-т
т
<£» = I Ut(t)J^We-^dt,
—Г
т
Г ТО = | § и0 (t) 7{Г) dt ,
-т
(5.191)
(5.192)
(5.192')
(5.193)
л
dro = К Uо (z) е1,л dt | (5.193')
-Т
a Uitf) и £/0 (0 — решения неоднородных линейных инте¬
гральных уравнений
т
§ Bz(t-u)U1(u)du = zsi(t)eit\ \t\<T, (5.194)
-т
т
J Bi(t-u)U0(u)du = za0(t)e-it\ \t\<T, (5.194')
-т
где z9i(t) и zs0 (0 — комплексные огибающие сигналов Si(/)
и s0(0, a £2(т), как и в (5.35'),— корреляционная функ¬
ция комплексной огибающей шума.
Случайные величины гт1, гт0 в неравенстве (5.191) под¬
чиняются обобщенному релеевскому закону, так как пред-
383
ставляют модуль плоского вектора, компоненты которого
независимы и распределены нормально. Средние и диспер¬
сии этих векторов (комплексных случайных величин) рав¬
ны с учетом (5.194), (5.194'):
384
В качестве простейшей иллюстрации рассмотрим слу¬
чай различения на фоне аддитивного белого шума сигна¬
лов при частотной манипуляции, когда (t) = а0 (t) = А0у
(/) = ^s0 (t) = 0, и примем критерий максимального
правдоподобия (с = 1). Правило (5.191) выбора реше¬
ния теперь упрощается: присутствует сигнал Si (t) =
= Л о cos (ol>!t + 9i), если
In I о (rTi) > In I0 (rT0), (5.197)
и сигнал s0 (t) = A0 cos (со0/ + q>o), если выполняется
обратное неравенство. Так как логарифм модифицирован¬
ной бесселевой функции In 10 (г) — монотонная функция
аргумента г, то правило (5.197) сводится к выяснению,
которая из величин гт1 или гг0 больше. Таким образом,
считаем, что присутствует сигнал si (/), если
(5.197 )
Выпишем явное выражение величин в (5.197'), используя
то обстоятельство, что в рассматриваемом случае
2*1 (0 = 2s0 (0 = А0
ц что для белого* шума со спектральной плотностью N0
решения уравнений (5.194) и (5.194') имеют вид
Из (5.197), (5.192) и (5.193) получаем следующее правило
различения: присутствует сигнал частоты щ, если
. J . (01-0)0 £ . (01-0)0
^ z(t)e 2 dt >| ^z(/)e 2 . (5.198)
-Г -Т
Выражая комплексную огибающую через квадратурные
составляющие [см. (5.32')], можно (5.198) переписать в виде
т т
j л (0 cos ю<~-ю-°-1 dt J С(/)sin <£>l^--° -tdt>
-т -т
т т
> § л (0 sin —i dt J С (0 cos M|~t0° tdt. (5.198')
-г -T
Если учесть, что A(t) и C(t) — медленно меняющиеся
функции (см. § 6.2.2 в первой книге), и пренебречь интег¬
ралами от произведения этих функций на высокочастотное
25-197 385
заполнение вида cos at (при (о>со0), то правило (5.198')
можно выразить через реализацию принимаемого процесса
x(t) = A (t) cos t + C(t) sin “o-tq.1
Принимается решение, что присутствует сигнал частоты
соь если для наблюдаемой на интервале (— Ту Т) реали¬
зации х (t)
т т
( ^ x(t)cos&it dt^j + ( ^ х (t) sin (о^ dt} >
- т - т
т т
> ( ^ х(t)cosu>0t dt^2 + ( ^ x (t) sin (x)0t dt^2 • (5.199)
- T -T
Оптимальный приемник для различения двух гармо¬
нических сигналов, соответствующий правилу (5.199), со¬
стоит из фильтров, согласованных с этими сигналами
(конечной длительности, частот о>! и со0; см. задачу 4.6),
устройств возведения в квадрат, суммирования и срав¬
нения.
Заметим, что в (5.199) сравниваются квадраты значений
огибающих наблюдаемого процесса на выходах двух филь¬
тров, согласованных с сигналами. Поэтому оптимальный
приемник для различения двух сигналов можно интерпре¬
тировать при помощи двух согласованных с сигналами
фильтров, линейных детекторов, выделяющих огибающие
процессов, и схемы сравнения.
Найдем выражения для вероятностей ошибок. Для рас¬
сматриваемого примера из (5.195) — (5.196") находим
<2 sin 2Д7"* /г* л/\л\
тю = «01 = d*T —■2д f— , (5.200)
Шц = nioQ = M2i = М20 —dx, (5.201)
где
J2 2 AST
N «
(5.202)
т. e. равно отношению энергии сигнала к спектральной
плотности шума.
Если 2ТА = («>! — (о0) Т = ka, k — 1, 2, . . ., то сиг¬
налы ортогональны на интервале {—Т, Т). Из (5.200) сле¬
дует, что средние значения компонент нормальных слу-
386
чайных векторов обращаются при этом в нуль. Это означает,
что в соответствующих случаях распределения случайных
величин rTi и гг0 становятся релеевскими. При этом воз¬
можно получить выражения вероятностей ошибок в замкну¬
том виде. Действительно, условная вероятность принять
решение, что передавался сигнал Si (t), когда в действитель¬
ности передавался s0 (0> равна
а = Р {у41Н0} = Р {гГ1 > гто \Hq} =
оо оо у2
*2 -
=iSxexp(—£^r:)/o(x) lye 24
О х
“iSxexp
, 4f» 1/5 [ <’№+(-&)']
= Te 4$*V2exp 2—’ Jx
0
x/o (zV2^)d(zV2),
и так как последним интеграл равен единице, то
а=^е 4“. (5.203)
Нетрудно убедиться, что условные вероятности ошибок
первого и второго рода равны друг другу, так как
Р = Р {То \Hi} — Р {гто > rTi | Hi} =
« и+4
= Уе 2d?J' 1о(У) ^ хе 2dr dxdy = а.
dr о d
о и
Заметим, что алгоритм оптимального различения двух
узкополосных сигналов A cos (со0/ + ср0) и Л cos (СО1/ + Ф1)
с неизвестной амплитудой А и случайными равномерно
распределенными фазами не отличается от рассмотренного
[см. (5.197)]. От величины А будет зависеть только пара¬
метр йт [см. (5.202)], который определяет вероятность
ошибки.
25* 387
5.4.5. Различение многих сигналов. Дальнейшим обоб¬
щением *) является задача различения многих сигналов.
Пусть известно, что наблюдаемый процесс представляет
аддитивную смесь нормального стационарного шума и одно¬
го из т-\-1 детерминированных сигналов s0 (t), Si (t), . . .
. . ., sm (t). Теперь совокупность решений содержит не два,
а т + 1 решений у о, Yi* • • •> Ym. где yk — решение,
состоящее в том, что наблюдаемый процесс является сум¬
мой шума и сигнала (/). Примем байесовский критерий
качества при дополнительном предположении, что платы
за правильные решения равны нулю, а платы за ошибоч¬
ные решения одинаковы. Кроме того, допустим, что пере¬
дача каждого из сигналов равновероятна **). В соответ¬
ствии с § 1.4.8 оптимальное правило различения сигналов
может быть тогда сформулировано следующим образом:
присутствует сигнал sk (t), k = 1, . . т, если для наблю¬
даемой выборки хи . • xN
In 4 (*i, •. •, xN) > In lj (x{, ..., xN) (5.204)
при всех j Ф k и
ln lk (xu ..., xN) > 0 (5.204')
для данного k\ присутствует сигнал s0(t), если для всех
k(k = l, ..., т)
In lk {хи ..., xN) < 0. (5.204")
В приведенных неравенствах отношение правдоподобия
'*<*. ZITJ, ■k-1 <5-205>
Выбирая в качестве наблюдаемых координат величины
xif определенные согласно (5.149), и ограничиваясь пер-
*) Результаты предыдущих разделов этой главы получаются
из приводимых ниже при т— 1.
**) Если априорная вероятность сигнала s& (t) равна р&, то при¬
водимые ниже результаты оказываются верными после замены
lk(xi, ..., XN) на J, ...,xN), k=l, m.
388
выми N координатами, представим логарифм k-ro отноше¬
ния правдоподобия в виде [см. (5.151)]
N
In lk (-^1? • • • » Xn) == ~2 ifl'i0 &ik) +
i= 1
N
+ ^\(aih — ai0)xi9 k=l, ш, (5.206)
i=i
где
т
aik = Vh § sk{t)4i{t)dt, k = 0, 1, ..., m, (5.207)
—т
и Хг, фг (/) — собственные числа и собственные функции
интегрального уравнения (5.150), ядро которого совпадает
с корреляционной функцией шума.
Из (5.204) — (5.204") и (5.206) следует оптимальное
правило различения: присутствует сигнал Sk (0 (выби¬
рается решение у*)» если для всех / Ф k {j = 0, 1, . . ., m)
N N
2 (aik — aij)xi>Y'2i (aiк—ah)- (5.208)
i=l i=l
Если результаты наблюдений не дискретизируются,
а используется вся реализация х (t) на интервале наблю¬
дения, то при N -> оо из (5.208) следует правило [см.
(5.158)]: присутствует сигнал sft (t), если для всех } ф k
U = 0, 1, • • ., т)
Т т
^ Vkj(t)x(t)dt>Y ^ VkJ(t) [sk{t) + Sj{t)] dt, (5.209)
— т — т
где Vkj(t) — решение неоднородного линейного интеграль¬
ного уравнения
т
^ B(t — u)Vkj(u)du = sk(t) — Sj(t), |f|<7\ (5.210)
— т
При различении сигналов на фоне аддитивного белого
шума решение интегрального уравнения (5.210) имеет вид
Vkj(t).= -^lsk(1)-sj{t) ],
389
где N0 — спектральная плотность шума. В этом случае
(5.209) приводится к виду
т т ЕЕ
J sh(t)x(t)dt> J Sj(t)x(t)dt+ h~ J , }фк, (5.211)
- т - т
где и —энергии сигналов sft(0 и sj(t) на интервале
наблюдения. Неравенство (5.211) равносильно следующему
[см. (5.162')]:
т т
[s7(0 —-^(012^> ^ [МО — /¥=&, (5.212)
— т
которое можно трактовать так: принимается решение о на¬
личии того сигнала sk (t), для которого расстояние до на¬
блюдаемой реализации
меньшее по сравнению с
расстояниями до любого
другого сигнала.
Из (5.211) следует, что
оптимальный приемник,
предназначенный для раз¬
личения т+1 детермини¬
рованных сигналов на фоне
аддитивного нормального
белого шума, состоит из
т+1 согласованных филь¬
тров с импульсными пере¬
ходными функциями
h)(T) = Sj(T-т), |т|<7\
/ = 0, 1, ... т, (5.213)
и следующими за ними устройствами стробирования и срав¬
нения. Для сигналов равной энергии осуществляется
перебор значений на выходе согласованных фильтров и
принимается решение о наличии того сигнала, для кото¬
рого это значение максимально (рис. 28).
Рассмотрим также задачу различения на фоне аддитив¬
ного нормального шума т + 1 квазидетерминированных
узкополосных сигналов
Sk (0 = CLk (t) cos [сokt — (t) + фь] (5.214)
при условии, что ak{t) и tySk(t) известны точно, а началь¬
ные фазы ер** случайны, распределены равномерно на
интервале ( — я, я) и независимы.
390
Рис. 28. Блок-схема оптимально¬
го устройства различения т + 1
детерминированных сигналов.
Предположим, что со0 — наименьшая из совокупности
частот сигналов, и пусть
Л _ Wfc —(Dо // _
Aft. — 2 ^ о*
Выберем в качестве центральных частот
<0Л = 2
при представлении через огибающие и фазы узкополосных
процессов, содержащих сигналы Sk(t) и s0(/).
Аналогично (5.189) запишем выражение логарифма
k-ro отношения усредненных функции правдоподобия:
In Ль (г1т ..., ZN) = \nIo{rNk) — 1п/о(г^о) —
N
— [|si& I2—|siol2], k=\, ..., m, (5.215)
1=1
где для любого k от 0 до т
N
ГNk — | 2 ZiSik | J (5.216)
i=1
T
sik = Vh I zsk(t)eitAk^JT)dt; (5.217)
-T
2sft(0 = aft(0e_i,|’sft(') (5.218)
и фг (t), нак и раньше, — собственные числа и функ¬
ции однородного линейного интегрального уравнения
с ядром, совпадающим с корреляционной функцией Bz (т)
комплексной огибающей шума [см. (5.35')].
Из (5.204) — (5.204") и (5.215) следует правило выбора
решения: присутствует сигнал Sk (f) (решение уь)> если для
наблюдаемой выборки г1; . . ., zN и для всех j Ф k
1v
In Iо (Гт) - ln Iо (rNj) > 1 2 [| Sik |2-1 ■Sjk I2]• (5.219)
i=i
Если различение проводится по реализации г (/) комплекс¬
ной огибающей на интервале (—Г, Г), то при N оо
из (5.219) следует:
In /о (rTk) - In/о (rTJ) > -d'rk~dh , }фк, (5.220)
391
где для любого / от 0 до т
— т
(5.221)
dij= j Uj(t)zsJ(t)e~ilAJdt, (5.222)
— т
a Uj (/) — решение неоднородного линейного интегрального
уравнения
т
J В г (t — y) U j (у) dy = z$j (t) eUAJ, \t\<T. (5.223)
— T
При различении на фоне аддитивного белого шума
со спектральной плотностью N0 решение этого уравнения
имеет вид
а величины rTj и drj равны
dt
—т
т
d*Ti ~ N0 I I Zsi W I* dt ~ N0 ’
(5.224)
(5.225)
(5.226)
— T
где Ej — энергия /-го сигнала.
При различении сигналов равной энергии Ej = E пра¬
вило выбора решения с учетом монотонности функции
1п/0(г) может быть сформулировано так: присутствует
сигнал Sk (t), если для всех j Ф k
^Tk^^Tj (5.227)
или
т т
I ~Щ) Zsh (0 dt >1 J 7{F)zsj(t)eit&idt . (5.227')
— т
—т
Имея в виду, что квадратурные составляющие zsj (t)
и г (t) — медленно меняющиеся функции (см. § 6.2.2 в пер¬
вой книге), и пренебрегая в (5.227') интегралами от про¬
изведений этих функций на высокочастотное заполнение
392
вида cos соt при со>со0, можно указать следующее пра¬
вило различения сигналов (равной энергии) на фоне адди¬
тивного белого шума: принимается решение, что присут¬
ствует сигнал Sk (0» если для наблюдаемой реализации
х (t) при всех / Ф k
т
( ^ x{t) ah (t) cos [юkt — tyhs (01 dt) +
-т
т
+ ( § X{t)ah (t) sin [соkt — (01 dt) “ >
-T
T
> ( § x (t) dj (/) cos [&jt — i|Vs (01 dt) 2 +
-T
T
+ ( ^ л: (0 a, (0 sin [(0; t — lIVs (01 2 • (5.228)
-T
Оптимальный приемник, предназначенный для разли¬
чения, состоит из набора 2т+ 2 фильтров, согласованных
с сигналами Sk(t), |/|<7\ k — 0, 1, ..., т, и сигналами
st (t) = ah (t) sin [Wft t — o|)ft (01,
\t\<T, k = 0, 1, ..., m (5-229)
(которые являются преобразованиями Гильберта от s* (t);
см. приложение VII в первой книге), а также устройство
возведения в квадрат, суммирования и выбора наиболь¬
шего значения (рис. 29).
Заметим, что в (5.228) сравниваются квадраты значений
огибающих наблюдаемого процесса на выходах двух филь¬
тров, согласованных с сигналами Sk (t) и sj (t). Поэтому
оптимальный приемник, предназначенный для различе¬
ния т -|- 1 сигналов, может быть представлен набором
только т + 1 согласованных фильтров, выходные сигналы
которых детектируются и поступают далее на схему срав¬
нения, выделяющую наибольшее из т + 1 значений оги¬
бающих (рис. 30).
Нетрудно в рассматриваемом случае определить вероят¬
ности перепутывания сигналов, если потребовать, чтобы
выполнялись следующие условия ортогональности:
393
при j ф k Т
j sh(t)sj(t)dt = 0, (5.230)
-т
т
^st(t)sj(t)dt = 0. (5.230')
—т
Тогда распределение случайной величины rTk подчи-
няется релеевскому закону с параметром dr — -если
Рис. 29. Блок-схема оптимального устройства различения m + 1
квазидетерминированных узкополосных сигналов.
гипотеза Нк (присутствует сигнал sk) не верна, и обоб¬
щенному релеевскому распределению с параметрами
Рис. 30. Блок-схема оптимального устройства различения, экви¬
валентного изображенному на рис. 29.
(с$\ dj), если гипотеза Нк верна. Вероятность akj перепу¬
тать &-й сигнал с /-м, т. е. принять решение, что при¬
сутствует sj (/), когда в действительности послан сигнал
394
Sk(t), для всех k и j (k=£j) равна [см. (5.203)]
d\
ahj = ±e~—. (5.231)
Вероятность рош ошибки, т. е. вероятность назвать любой
/-й сигнал, когда в действительности присутствует k-и
сигнал (/ Ф k), находим, используя правило сложения для
совместимых событий (см. § 1.1.5 в первой книге):
d\
Рош=1-(1-уе'“)т. (5.232)
Задачи
5.1. Обобщить результаты § 5.2.2 на обнаружение квазидетер¬
минированного сигнала
s (0 = Аа (t) cos [0О* — tys (0 + Фо)
со случайными амплитудой А и фазой ф0. Исследовать случай, когда
фаза не зависит от амплитуды и распределена равномерно. Доказать,
что для широкого класса распределений (Л) оптимальное байесов¬
ское правило обнаружения s(t) на фоне аддитивного нормального
шума не зависит от до* (Л) и определяется неравенствами вида (5.44')
или (5.62'). Показать, в частности, что указанное свойство имеет
место для релеевского распределения амплитуды. Найти для этого
случая (при условии, что М2 {А} — 2) следующие выражения условной
вероятности пропуска сигнала (для критерия Наймана —Пирсона):
A2dr К хг
Р(Л) = е 2 ^ дсе 2 I0(xAdT)dx, (1)
о
где порог К определяется заданной вероятностью ложной тревоги а
K-jAin-jL, (1')
dT определяется согласно (5.61). Для дискретной выборки dT заме¬
няется на dN [см. (5.49)].
5.2. Для задачи 5.1 при условии, что амплитуда А распределена
по релеевскому закону с дисперсией УИ2{Л} = 2, найти логарифм
усредненного отношения правдоподобия
г2
lnA(zt> ..., zN)= -ln(l+dr)+ Г ■ ■ ■ (2)
2(1+dr)
Показать, что вероятность правильного обнаружения и вероятность
ложной тревоги в этом случае связаны соотношением
В формулах (2) и (3) велйчйны гт й dT определяются Согласно
(5.60) и (5.61) соответственно. При дискретных выборках гт и dT
заменяются на rN и dN [см. (5.42) и (5.49)].
5.3. Показать, что функция распределения суммы квадратов N
независимых случайных величин, каждая из которых распределена
по обобщенному релеевскому закону
г2-}-д2
а>1 (г) = ге 2 /0 (яг), г>0,
имеет следующий вид:
N — 1 _ y-f-Q2
^1(г/) = ^ (-^-) 2 е 2 Is-i(aVy)> У>0- (4)
Получить из (4) частный случай при а— 0 распределения суммы
квадратов N независимых релеевских случайных величин ^-распре¬
деление с 2N степенями свободы)
^1 (У)=-й— yN~le~y/2, у у 0. (4')
lvi" 2 (Л? — 1)!
5.4. Используя результаты задачи 5.2, найти вероятности лож¬
ной тревоги а и пропуска сигнала р при обнаружении по алгоритму
(5.101) синусоидального сигнала (отношение амплитуды сигнала
к среднеквадратичному значению шума мало). Показать, что при про¬
извольном N
-1 '-tWT1' <5>
где Г (N, г) —неполная гамма-функция [ср. с (5.90)],
2
a 3C2-J-Q2
Р=* § Х('7)ЛГ *е 2 /N-i(aJc)d* =
0
2
а _ x2-fq2 ^ / д2 .
«= ^ хе 2 /0 (ах) dx-\-e а X
0
х2 (2-^)ft/*(2y/Q, (5')
fe = l
причем последний интеграл представляет табулированное интеграль¬
ное обобщенное распределение Релея (см. ссылку [12] к гл. 3 пер¬
вой книги).
Исследовать критерий максимального правдоподобия, когда
к Ncfi
KN = —.
396
5.5. Получить следующие асимптотические формулы (при N > 1)
для вероятностей ложных тревог и пропусков сигнала при обнару¬
жении слабого синусоидального сигнала с известной начальной фазой
(отношение а амплитуды сигнала к среднеквадратическому значению
шума мало):
5.6. Показать, что для синусоидального сигнала постоянной
зующее фазовый метод обнаружения, состоит из идеального ограни¬
чителя и интегратора, выход которого сравнивается с заранее уста¬
новленным порогом:
Получить следующие формулы для вероятностей ложных тревог
и пропусков сигнала:
5.7. Показать, что для синусоидального сигнала постоянной
амплитуды Aq с известной начальной фазой при » 1 оптималь¬
ное приемное устройство, использующее фазовый метод обнаруже¬
ния, состоит из фазового детектора, выделяющего квадрат фазы
и интегратора. Доказать, что правило выбора решения (критерий
максимального правдоподобия) определяется неравенствами: сигнал
присутствует, если
(в)
амплитуды А0 при < 1 оптимальное приемное устройство, исполь-
k=i
k=i
или приближенно при Д71 > 1
(10)
(9)
или приближенно при ДТ » 1
т
§ #*(/)
-т
‘"<-Щ24Пп
(-Ф)
(12)
Получить следующие асимптотические формулы для вероятностей
ложных тревог и пропусков сигнала
a~F VN
2 In
(у2л -J»)
дМ§/а2
ТПГг 1 /т /7Г- Л о
}•
Р - 1-F [l/2/Vln (У2я J .
(13)
(14)
5.8. Показать, что вероятность обнаружения синусоидального
А 1
сигнала постоянной амплитуды А0 при ~^г » 1» когда используется
алгоритм (5.128') и критерий Неймана — Пирсона, может быть опре¬
делена по формуле
/яЫт)’'»-*>] • ('5)
где Г (ш, X) — неполная гамма-функция и порог К определяется
вероятностью ложных тревог.
5.9. Проверяется гипотеза Я0 о том, что реализация х (t),
|/|<7\ принадлежит стохастическому сигналу с корреляционной
функцией В0 (и, и), против альтернативы что эта реализация
принадлежит стохастическому сигналу с корреляционной функцией
Вх(и, v). Распределения сигналов нормальные. Показать, что опти¬
мальное устройство различения двух указанных стохастических
сигналов не отличается от изображенного на рис. 27, а импульсная
переходная функция h (и, v) линейного фильтра с переменными пара¬
метрами определяется из интегрального уравнения (см. § 3.5.7,
а также [21])
т т
^ ^ B0(t, u)Bi(v, y)h(u, v) du dv = Bi(t, y) — B0(t, y), (16)
\t\<T, \y\<T.
-T -T
5.10. Показать, что вероятность ошибки при различении т+1
детерминированных ортогональных сигналов (t), /г = 0, ..., m,
равной энергии Е на фоне аддитивного нормального белого шума
с интенсивностью Лг0 равна
Y 2 л
к Ir?f" (* V£)
dx.
(17)
398
5.11. Заменить в задаче 5.10 условие ортогональности условием
т
^ sk(t) Sj(t)dt--=XE, Я<1, (18)
— 7’
и показать, что при этом
оо Л-2
,|9)
— оо
Доказать, что в (18) временной коэффициент взаимной корреля¬
ции сигналов X не может быть меньше чем (и, следовательно,
m V
минимально возможное значение А,, соответствующее наименьшей
вероятности ошибки, равно —— j .
ЛИТЕРАТУРА
МОНОГРАФИИ
1. Вайнштейн Л. А., Зубаков В. Д. Выделение сигна¬
лов на фоне случайных помех. Изд-во «Советское радио», 1960,
гл. I—III.
2. Давенпорт Г. В., Рут Б. Л. Введение в теорию слу¬
чайных сигналов и шумов. Пер. с англ., под ред. Р. Л. Добру-
шина. Изд-во иностранной литературы, 1960, гл. 14.
3. Г у т к и н Л. С. Теория оптимальных методов радиоприема
при флуктуационных помехах. Госэнергоиздат, 1961, гл. 9, 10.
4. Котельников В. А. Теория потенциальной помехо¬
устойчивости. Госэнергоиздат, 1956.
5. Л е в и н Б. Р. Теория случайных процессов и ее применение
в радиотехнике, изд. 2-е. Изд-во «Советское радио», 1960, гл. 11.
6. Миддлтон Д. Введение в статистическую теорию связи.
Пер. с англ., под ред. Б. Р. Левина, т. II, Изд-во «Советское
радио», 1962, гл. 19, 20.
7. Миддлтон Д. Очерки теории связи. Пер. с англ., под ред.
Б. Р. Левина. Изд-во «Советское радио», 1966, гл. 2.
8. Финк Л.М. Теория передачи дискретных сообщений. Изд-во
«Советское радио», 1963, гл. 4.
9. X а р к е в и ч А. А. Борьба с помехами. Физматгиз, 1964,
§ 8-14.
10. Тихонов В. И. Статистическая радиотехника. Изд-во
«Советское радио», 1966, гл. 11.
11. Хелстром К. Статистическая теория обнаружения сигна¬
лов. Пер. с англ., под ред. Ю. Б. Кобзарева. Изд-во иностран¬
ной литературы, 1963, гл. 5.
12. Ш и р м а н Я. Д., Голиков В. Н. Основы теории обна¬
ружения радиолокационных сигналов и измерения их парамет¬
ров. Изд-во «Советское радио», гл. 4—6.
13. Schwartz М., Bennett W. R., Stein S. Communi¬
cation system and techniques. Me Graw Hill, 1966, pt. 1.
399
14. S е 1 i n I. Detection theory. New Jersey, Princeton Univ.
Press, 1965.
15. W a 1 d A. Statistical Decision functions, N.Y., 1950.
16. V i t e r b i J. V., Principles of coherent communication. Me
Graw Hill, N.Y., 1966.
СТАТЬИ
17. JI e в и н Б. P. Оптимальные фазовые методы обнаружения
сигналов. «Радиотехника и электроника», 1960, N° 4.
18. Питерсон У., Бердсал Т., Фокс У. Теория
обнаружения .сигналов. В сборнике «Теория информации и ее
приложения». Пер. с англ., под ред. А. А. Харкевича. Физ¬
матгиз, 1959.
19. Esposito R., Middleton D., Mullen J. A.
Advantages of signals subject to slow Reyleigh Fading. IEEE
Trans., 1965, IT-11, № 4.
20. К e 1 1 у E. J., Reed I. S. Root W. L. The detection of
radar echoes in noise I. J. Sos. Ind. Appl., Math., 1960, v. 8, № 2.
21. К a d о t a Т. T. Optimum reception of binary gaussian signals.
BSTJ, 1964, Nov., v. 43.
22. К a d о t a Т. T. Simultaneously orthogonal expansion of two
stationary gaussian processes. BSTJ, 1966, Sept., v. 45.
23. Черняк Ю. Б. О линейных свойствах системы широко¬
полосный ограничитель — фильтр. «Радиотехника и электро¬
ника», 1962, № 7.
6.1. ОЦЕНКИ МАКСИМАЛЬНОГО
ПРАВДОПОДОБИЯ НЕИЗВЕСТНЫХ
ПАРАМЕТРОВ СИГНАЛА
6.1.1. Постановка задачи. Переходим к изложению
некоторых вопросов, относящихся к проблеме выделения
сигналов на фоне помех. Как уже отмечалось в начале
пятой главы, эта проблема возникает в ситуации, когда
априори известно, что сигнал содержится в наблюдаемом
случайном процессе, представляющем комбинацию сигнала
и помехи, но неизвестны некоторые характеристики сигна¬
ла, которые в закодированном виде содержат полезную
информацию. Эти характеристики могут быть неизвестными
числами или функциями времени, случайными величинами
или случайными процессами. Задача выделения сигнала
состоит в определении оптимальных (в смысле принятых
критериев качества) процедур построения оценок указан¬
ных характеристик по результатам наблюдения, которые
могут быть представлены в виде выборки конечного раз¬
мера или непрерывной реализации процесса на входе
приемника *).
Как и в предыдущей главе, изложение ограничивается
в основном случаем, когда помехи представляют аддитив¬
ный нормальный стационарный шум, статистически неза¬
висимый от сигнала. Вначале предполагается, что наблю¬
даемый процесс представляет сумму шума £ (t) с нулевым
средним и детерминированного сигнала s (/; Л, ф, ...
. . Фм), зависящего от неизвестных параметров Л, ф,
'fl’i, . . Фм- Затем рассматриваются байесовские оценки
случайных параметров квазидетерминированного сигнала
при известном их совместном априорном распределении.
*) Заметим, что процесс оценки характеристик сигнала может
быть совмещен с обнаружением сигнала (подробнее см. в [11]).
26- 197
401
ГЛАВА
ШЕСТАЯ
ВЫДЕЛЕНИЕ СИГНАЛОВ НА ФОНЕ
ПОМЕХ
Содержание § 6.1 и 6.2 является детализацией и радиотех¬
нической интерпретацией общих математических резуль¬
татов, указанных в § 3.6.
6.1.2. Совместные оценки амплитуды и фазы гармониче¬
ского сигнала. Оценка неизвестной амплитуды а детер¬
минированного сигнала as (t) в аддитивном нормальном
шуме была подробно рассмотрена в § 3.6.2.
Так, было показано, что несмещенная эффективная
оценка неизвестной амплитуды получается интегрирова¬
нием реализации процесса х (t) с весом, определяемым кор¬
реляционной функцией шума. В случае белого шума эта
оценка получается на выходе фильтра, согласованного
с сигналом s (/), а отношение дисперсии оценки (минималь¬
но возможной) к квадрату оцениваемой амплитуды равно
при этом отношению спектральной плотности шума к энер¬
гии сигнала [см. (3.177)].
Теперь исследуем простейший случай совместной оцен¬
ки двух неизвестных параметров — амплитуды А и фазы ф
детерминированного гармонического сигнала s (t) =
= A cos (сo0t — ф) известной частоты со0 в аддитивном
узкополосном нормальном шуме с известной корреляцион¬
ной функцией В (т). Воспользовавшись комплексными
представлениями наблюдаемой реализации и сигнала
х (t) = Re z (t) eic°o^ (6.1)
s(t; A, ф) = Re Л e-i(PeiG)o^ (6.1')
запишем систему уравнений максимального правдоподобия,
из которой получается соответствующие этому критерию
оценки. В соответствии с (3.16Г) при V (t; Л, ф) =
= Ле“*ф U (t) имеем
т т
e~i(p § U (t) z (t) e~i(!do/dt — A ^ U (t) e-'^dt +
-T -T
т т
-fei(P ^ U (t) z (t) eia)«f dt — A ^ U (t) eia)°' dt = 0, (6.2)
-T -T
т т
e~i(P ^ U (t) z (t) e-^ dt — ei(P ^ U (t) x
402
X z(t) ei0)o* ф = 0f
(6,2')
где U (i) определяется из интегрального уравнения
т
^ Bz(t — y)U(y)dy = eiao', |*|<7\ (6.3)
-т
Складывая (6.2) и (6.2'), получаем уравнение, связываю¬
щее оценки А и ср:
т
\ и (t) г (t) e~i(0°f dt
A ei(p = . (6.4)
Re J U (t) e-i(a»‘ dt
-T
Из (6.4) непосредственно следуют формулы для оценки
неизвестных амплитуды и фазы:
т
| J U (t) г (t) e“i0)°' dt |
A = , (6.5)
Re I U (t) e~ia>aldt
-T
Ф = arctg » (6.5')
где
Y= § U (t) z (t) e-io>o( dt. (6.5")
-T
Если аддитивный шум белый со спектральной плот¬
ностью N0, то U (t) = ei0)o* и из (6.4) получаем
т
Ле*<Р=2^- ^ z(t)dt. (6.6)
-т
Из (6.6) находим следующую оценку фазы:
г т
Im J г (0 d/ ^ с (0 с?/
Ф = arctg — = arctg -=£ , (6.7)
Re J z (/) d/ J A (t) dt
-T -T
где A (t) и С (t) — квадратурные составляющие наблюдае¬
мой реализации (см. § 5.2.2). Учитывая, что эти состав-
26* 403
ляющие представляют медленно меняющиеся по сравнению
с cos со0 t процессы, можно пренебречь интегралами
от произведений A (t) и С (t) на высокочастотные функции
cos wt при со>со0. Тогда оценка (6.7) в зависимости
от наблюдаемой реализации х (t) представляется следую¬
щим образом:
т
J х (t) sin со0/ dt
tp = arctg . (6.8)
J x (t) cos со t dt
-T
Оценка амплитуды в этом случае равна
т
4г \ z^dt
-т
= 4rY( \ Л(0*)2+( \ C(t)dt)2 (6.9)
— Т -т
или с учетом замечания, сделанного при выводе (6.8),
т
Л=[(-^г ^ х (t) cos (i)0t dt)2 +
-т
T _1_
+ (-7j^ § x(t)s[n(o0tdty^2 . (6.10)
-т
Сравнивая (6.9), (6.10) с (5.67), (5.67'), приходим к вы¬
воду, что устройство обнаружения квазидетерминирован¬
ного гармонического сигнала в белом шуме может быть
непосредственно использовано для получения оценки ам¬
плитуды сигнала, а его отдельные элементы (интеграторы
квадратур) — для оценки фазы [см. (6.7) и (6.8)].
Рассмотрим основные свойства оценок амплитуды и фазы
гармонического сигнала, принимаемого на фоне аддитивного
белого шума. Прежде всего отметим, что интегралы
т т
-yjr ^ А (t) dt и “27^ § С (0 dt представляют независимые
-т -т
случайные величины, подчиняющиеся нормальному закону
распределения с параметрами ^cos ф, и (A sir^, ^
404
соответстБенно. Таким образом, из (6.7) и (6.9) сле¬
дует, что оценки А и ср представляют модуль и фазу
плоского вектора с независимыми нормально распре¬
деленными компонентами, имеющими одинаковые диспер¬
сии. Отсюда следует, что оценка А амплитуды А [см. (6.9)]
имеет обобщенное релеевское распределение с параметрами
(Л, ^ , причем при dT-+oo это распределение асимпто¬
тически нормальное. Среднее значение оценки Л равно
(см. (3.74) в первой книге)
iKO +_f)!° (~г) +
dji
d% / d%, \ -| —
+ -F/*(-r)]e *• <6II)
где dr — отношение энергии сигнала к спектральной плот¬
ности шума, т. е.
12 2ТА2 /а !! ,ч
яг- <6-и>
Таким образом, оценка максимального правдоподобия
амплитуды оказывается смещенной.
Если dr > 1, то (см. (3.77) в первой книге)
т1{Д}~л(1+^-) , (6.12)
и, следовательно, Л при dT —» оо — асимптотически несме¬
щенная оценка амплитуды сигнала.
Дисперсия оценки Л равна (см. (3.75) в первой книге)
М2{А) = А*(\+^-т\{А). (6.13)
Если d\ > 1, то (см. (3.78) в первой книге)
«*(-«)--^(1-^). (6.14)
Нетрудно определить функцию распределения оценки
максимального правдоподобия фазы ф (так как эта оценка,
405
как указывалось выше, представляет фазу вектора с неза¬
висимыми нормальными компонентами)
т
I С (t) dt
Ф = arctg . (6.15)
J A(t)dt
-T
Тогда в соответствии с (3.81) из первой книги плотность
вероятности ф равна
d\ соз2(ф-ф)
Wi = 2ji е 2 -\-dT У2п cos (О — ф) е 2 х
X F[dTcos(d — ф)]}, I# — ф|<я. (6.16)
Так как функция w\ (О) четная относительно О — ф, то
указанное распределение свидетельствует о том, что оценка
максимального правдоподобия представляет несмещенную
оценку неизвестной фазы гармонического сигнала в адди¬
тивном нормальном шуме.
Дисперсия оценки ф равна (см. (3.93) в первой книге)
ап=-
М2{ф} = ^ + 4я2 (-!)п-ЙГ, (6-17)
(1 + у )
п=1
где
лп\ 2П/2
•Л (|, л+1, —f) • (6.17')
Если dr > 1, то из (6.16) следует, что распределение ф
асимптотически нормальное с нулевым средним и диспер¬
сией (см. (3.88) в первой книге)
М2М~-^. (6.18)
Определив информационную матрицу относительно оце¬
ниваемых параметров А и ф, можно показать, что оценки
А и ф максимального правдоподобия асимптотически сов¬
местно эффективны (см. задачу 6.3).
Таким образом, в соответствии с общей теорией (см.
§ 2.3.1) рассмотренные оценки максимального правдоподо¬
бия амплитуды и фазы сигнала в аддитивном нормальном
белом шуме асимптотически несмещенны, совместно эффек¬
тов
тивны и нормальны, причем оценка фазы несмещенная
(при любом конечном dT), а оценка амплитуды смещенная.
6.1.3. Оценки параметров узкополосного сигнала на фоне
аддитивного белого шума. Рассмотрим узкополосный сигнал
s(t; А, ср, $1, ..., 0М) = A Rea(t\ ..., Фм)
(6.19)
который кроме амплитуды Л >0 и фазы ф содержит еще
М неизвестных параметров комплексной огибающей.
Требуется определить оценки максимального правдоподо¬
бия этих параметров по реализации процесса jt (/) =
= Re z (t) ei(0ot, представляющего аддитивную смесь ука¬
занного сигнала и нормального белого шума со спектраль¬
ной интенсивностью N0.
Используя (5.54) (с очевидным изменением некоторых
обозначений), запишем логарифм функционала отношения
правдоподобия, учитывая, что для рассматриваемого случая
V(t) = -^a (t; fy,..., дм) e-i(P,
в виде
ln/[z(/)| А, <р, ..., Ом] =
т
= -|r-Ree-i,i) ^ a(t; ftM) z(t)dt —
-T
т
—^ I \a(t\$u ...,$M)\2dt. (6.20)
-т
Пусть сигналы нормированы таким образом, что при
любых ■0'1, ...,
т
-±г J |а(/;<>!, ...,0М)|2Л=1. (6.21)
-т
Условие (6.21) означает постоянство энергии сигнала
на интервале наблюдения, так как
т
Е = ^ s2 (t; А, ф, ®м) dt =
-т
т
= А2 ^ I a(t; di, ..., ftM) I2 cos2 [оу +
-т
-f-arga(t-, .. .,flM) —ф]dt>*A2T,
407
где, как обычно, пренебрегается интегралом от произведе¬
ния медленно меняющейся функции и высокочастотного
заполнения.
Учитывая (6.21), перепишем (6.20) в виде
In / [Z (/) | Л, ф, #!, .. .,Ом] =
г
= 2ЩI § а (*; fti* • • •. ®м) г (t) dt 2 —
0 -Г
т
у) dt
-т
(6.22)
Пусть Л, ф, — оценки максимального прав¬
доподобия. Так как первый член (6.22) положительный
и не зависит от Л и ф, то максимальное значение логариф¬
ма функционала отношения правдоподобия по парамет¬
рам Л и ф достигается при условии обращения в нуль
второго (отрицательного) члена. Отсюда находим соотно¬
шение между оценками
т
Ае$ = gf $ £ (*;#!,..., $м) г (t) dt, (6.23)
-т
откуда
^ J a(t;bu ...,6M)z(t)dt, (6.23')
-т
т
Im $ а (/; fy, ..., $м) г (0 dt
ф = arctg — . (6.23")
Re J a(t\ bi Ьм) z (t) dt
-т
Заметим, что при a(t) = 1 формула (6.23), как и следует
ожидать, переходит в (6.6).
Теперь задача состоит в определении максимума макси-
морума первого слагаемого (6.22), т. е. следующей функции
параметров flj, . . .Фм:
т
Q(ft 1, ..., $м)= 2т^| § a(t\$u ...,$M)z(t)dt 2. (6.24)
-т
408
В рассматриваемой задаче выделения сигнала известно,
что наблюдаемая реализация представляет сумму сигнала
и шума. Комплексная огибающая этой реализации равна
г (0 - А0а (/; О®, ..., Щ е-**» + Zi (t), (6.25)
где Zi (t) — комплексный нормальный стационарный слу¬
чайный процесс с равномерным спектром, а величины
А о, Фо» ‘O'J, • • •, % представляют истинные значения
параметров сигнала, которые необходимо оценить по на¬
блюдаемой реализации х (t) = Re z (t) ei0)°*.
Подставляя (6.25) в (6.24), представим функцию
Q (*0*1, . . ., Фм) в виде
Q(#i, ..., $м) = - дг °- [h С®1!* •••»'®м) +
+ 2 Re Ч1* (01? ..., #м) X (#i, • • -, $м) е*ф0 +
+ |Х(*1. ...,<>м) |2], (6.26)
где обозначено
Л(#1, ...,Ом) = |т. ...,^м)|2 =
-т
т
%...,®м)= 27^- § а(^; ^1. • • •» ^м)Zi(0dt, (6.26")
-т
причем функции /г и ¥ — детерминированные, а х (Фь • • •
..., 'O’jyf) — нормальная случайная величина с нулевым
средним и дисперсией, равной обратной величине
2 ТА2
dx = -д^2 отношения энергии сигнала к спектральной
плотности шума.
При фиксированных значениях OJ, . . ., функцию
т
Ч (Фц ..., Ъм) = — ^ a (t; ■d'J, ..., tfSf) а (/; dls ..., ftM) dt,
—T
(6.27)
зависящую только от формы комплексной огибающей
сигнала и ее параметров, называют функцией неопределен-
409
посты. Согласно неравенству Буняковского — Шварца
(см. стр. 84 в первой книге)
т
im I |a(*;#S, ...,0Ы*Лх
- т
т
X "27^ S 1а(',; К дм) 1*Л]1Л
- т
или с учетом (6.21)
|Y(#if 0М)|<1- (6.27')
Максимальное значение, равное единице, функция | Y |
достигает при Of = О?, /= 1, М [см. (6.27)]. Это
соответствует тому случаю, когда шумовое слагаемое
в (6.25) исчезает, т. е. когда dr—»оо. Таким образом,
Y(Oif ...,<«,) = |4T(#ief Ojf)|=l. (6.27")
Так как среднее по множеству реализаций функции Q
равно
{Q (Oi» ..., Ом)} = dr £h (Oi, ..., Ом) +
и первый член в квадратных скобках в силу (6.27") бли¬
зок к единице при условии
(6.28)
то, ограничивая дальнейшие исследования условием (6.28),
будем отыскивать максимум максиморум функции Q, пре¬
небрегая в (6.26) последним членом. Вообще говоря, эта
функция может иметь много максимумов в УИ-мерном про¬
странстве неизвестных параметров О*. Если шумовое сла¬
гаемое в реализации отсутствует, то, как отмечалось выше,
эта функция достигает абсолютного максимума при ft* =
= Ф?, i = 1, . . ., М. Наличие шума вызывает смещение
этого максимума, но при выполнении условия (6.28) можно
считать, что это смещение невелико, так что оценки Ф*,
соответствующие абсолютному максимуму функции прав¬
доподобия, близки к истинным величинам оцениваемых
параметров Фг- Учитывая это обстоятельство, разложим
функцию Q (0Х, . . ., ftM) от М переменных в ряд Тейлора
около точки . . ., #°м- Ограничимся членами второго
410
порядка малости, опуская последнее слагаемое в (6.26)
Далее имеем:
dh
d$k
= 0
в точке (ftj, . . . , $м), так как в этой точке функция
h (Фь . . ., Фм) имеет максимум. С учетом сделанных
замечаний получим из (6.26)
Q(Oi, ...,oM) = Q(o;, ...,й°м) +
м
k=i
м м
+
А=1 }= 1
<h=
-- **=<&
где
Q(OJ, ..., dX,) = d*T[l+2ReX(#;f OSt)е*ф•];
aQ(dlt..., ом)
'ЭХ (Oi, ..flM)
-ло * 0=2^Reei(oox
X
+ X (#1, • • •, Gjf) x
am.
Joi=oo oM=^u‘
Дифференцируя полученное разложение функции Q
по Oh и приравнивая результат нулю, находим систему
уравнений правдоподобия
м
hQhiib-<>?) = £*, k=l, (6.29)
3=1
где обозначено
dQ (■0'1, ..., Ом)
Cfc=-
Qkj =
dbh
o2Q (#i, ....О*)
... *м=*у
*!=*?■ • . «M=#V
(6.29')
(6.29")
Если детерминант матрицы Q, составленной из элементов
Qkjy отличен от нуля, то существует обратная матрица
Q"1 с элементами, равными отношению алгебраических
дополнений к детерминанту матрицы Q. Обозначив эле¬
менты обратной матрицы через qkj, запишем решение
411
системы линейных уравнений (6.29) относительно ошибки
в виде
м
h - о? =-■= 2 Zk4kj, j = i, • • •, м, (б.зо)
i=l
где в соответствии с принятым приближением [см. (6.26)
и (6.28)]
т
Sfc = 2d5- Rele^Po-^ § [a(f;0;, ..., <&):
X
X
М Р „ /4. АО АО \ да (*; Ф}, ..., Ом) ,
(гг j ■•■•<>*) ~д¥к dt) +
-Т
да (*; Ф?» ..., Mf) -|
+ ■ щ —]г4(0Л. (6.30')
Величины ^ и qkj случайные, зависящие от шумового
слагаемого реализации. Однако, сохраняя степень при¬
ближения, связанную с пренебрежением последним (ква¬
дратичным относительно %) членом в (6.26), следует в выра¬
жении (6.29") для Qkj сохранить вклад лишь от детерми¬
нированного слагаемого (6.26). Тогда нужно положить
при d\ > 1
Qkj = d\дЧ (*1’ • V йм) „ (6.31)
ЧА-7 dtikdtij ^1=^0,ьм=ъ0м v '
т. е. элементы матрицы Q равны произведению величины
dr и смешанной второй производной квадрата модуля
функции неопределенности в точке, соответствующей истин¬
ным значениям оцениваемых параметров.
Учитывая (6.31), приходим к выводу, что ошибки
О/ — 0° [см. (6.30)] представляют взвешенные (с весами,
равными элементам матрицы, обратной Q) суммы нормаль¬
ных случайных величин с нулевыми средними и кова¬
риациями
Щ {ЫА = 2dr Re mi { [а* ’ °м) +
+ Х(Ъи [
, ГТТл dY (О, вм)11 /С ооч
При выводе формулы (6.32) учитываем, что для ком¬
плексной огибающей тi {z4 (t) г4 (/')} = 0 для любых /
и Г [см. (5.37')1.
Отсюда следует, во-первых, что оценки Ф; в соответствии
с общей теорией асимптотически (при d\ > 1) нормальны.
Средние значения этих оценок равны [см. (6.30)]
mi ФА = У, (6.33)
т. е. оценки максимального правдоподобия (асимптотически
при dr > 1) несмещенные. Далее, элементы корреляцион¬
ной матрицы ошибок равны
м м
mi {(bk — &%)фп — K)} = S S ЧыЯзпЩ{£,&]}- (6.34)
г=1 ;=1
Найдем ковариацию /П! {£;£;} из (6.32). Так как
т Г Y/#o - Абч ах (д, ЬмП . . 1 ат (#, дм)
и mi {! х I2) = 1/^т, то
mi = 2d*T Re { »*м)
X
т
X
N/ av(«j,...,дм) , av(#„ ...,дм)этг
адг + ад; адг
, ачг(д, дм)avдм) , i w
"r ад, ад; 2T
P aa(<; dj дм) да (<; д), .... дм) df\ j
д®'1 d®j -*#!=<»? «М=Ъ°М J
(6.35)
Кроме того, из (6.21) и (6.27) дифференцированием
по 0; и i)j находим (следует иметь в виду, что
ал
ад,-
= о)
<h=«? ’
Re{[
Re гау(д1,_...,дм)| i Q
I ад7- I #1=®“ *лг=*лг J ’
а*У (dt, • ■ ■, дм) X_L f аа(<; dt, ...,дм)_ „
адгад,- 1 2г ^ адг
-Т
X da (I; fy, .... Ом)
-1д,=0У
Л1 « Л=0, (6.36')
t, / — 1,
413
Из (6.26') следует:
дЧ (О), _ <
а*¥ (0„ . . . , ддг)
dbidbj
, dY(dlt ...,4и)дЧ(Ъ ОмП
ад; dfl/ J ’
откуда, учитывая (6.36'), получаем
дЧ (д,, Ом) _
*>&} *,=*?
(6.37)
on. Ггат(д„ ...,«„)
2ReiL ао, щ
■irl
-Т
d$i
X
X
да (/; фм)
Если использовать (6.36'), то (6.35) можно переписать
в виде
dV (di,
m
{£,£;} = 2# Re {[•
ad;
X
4,aV(0lf...,0M) , 1 e da(t; 04, s,
X dfy h 2Г J 55 X
X
ftM)
]«l=Ol ' (6-37 )
ad; Jdi=d5f
Сравнивая (6.37') с (6.37"), получаем
/я. №}=-<& a,A(a£.^:— „ „ (6-38)
^ «1=«1 ^M=^A/
или, учитывая (6.31), имеем
(6.38')
Подставляя (6.38') в (6.34), находим
m, {(Oft-Ofc) (#,-С)} -
м м
— — S .2 QhiQjnQij• (6.39)
i= 1 ;=1
414
Но так как qij — Элементы матрйцы О-1, обратной Q, то
из элементарного матричного равенства Q_1Q = I следует:
м Г1 i = n
.Jj ^Qiy = |0t 1фПш С6-39')
Соединяя (6.39) и (6.39'), приходим к окончательной фор¬
муле, определяющей любой из элементов корреляционной
матрицы ошибок:
mi {(Ьк - Ой) (Ьп - О®)} = - q/ш. (6.40)
Итак, с точностью до знака элементы корреляционной
матрицы ошибок совпадают с элементами матрицы, обрат¬
ной матрице, составленной из смешанных вторых произ¬
водных логарифма отношения правдоподобия (которые
лишь множителем d\ отличаются от смешанных производ¬
ных квадрата модуля функций неопределенности) в точке,
соответствующей истинным значениям . . ., Ьм оцени¬
ваемых параметров. Отсюда следует, что корреляционная
матрица ошибок совпадает с матрицей, обратной информа¬
ционной матрице Фишера [см. (2.98)], т. е. оценки (6.30)
совместно эффективные (при d\ > 1).
6.1.4. Измерение времени прихода сигнала. В качестве
первого примера, иллюстрирующего методику § 6.1.3 полу¬
чения асимптотических (при dj- ->■ оо) оценок максималь¬
ного правдоподобия, рассмотрим узкополосный сигнал
вида *)
s(t; А, ф, т) — A Rea(t — т) e~i(v , (6.41)
в котором параметр т может быть (следуя радиолокацион¬
ной терминологии) назван временем прихода сигнала.
Функция неопределенности такого сигнала согласно
(6.27) равна
т
ЧЧт — То) = 2^- § a(t — x0)a(t — x)dt, (6.42)
-т
где т0 — истинное значение параметра т. Переписывая
(6.42) в виде
т-то
ЧЧ* —т0) = 2уг § a(t) a(t—T+T0)dt,
-Т—То
*) a(t)=u (t) егф^\ где и (t) и Ф (t) —действительные функции,
представляющие амплитудную и фазовую модуляцию сигнала.
415
замечаем, что функция неопределенности в этом случае
совпадает с временной корреляционной функцией комплекс¬
ной огибающей сигнала (см. § 4.2 в первой книге). Матри¬
ца Q теперь состоит из одного элемента, равного [см. (6.31)
и (6.36)]
£ | Y (х - т0) |U0 = 2 Re {¥".(0) - [ЧГ (0)]*}. (6.43)
Введем энергетический спектр огибающей сигнала (см. (4.86)
в первой книге)
т
Fa(») = ±\ § a(t)e~iti)tdt 2. (6.44)
-т
Тогда
оо
4я (т — т0) = ^ Fa (w) e{“(T-To) da>, (6.45)
— oo
откуда находим
oo
— 2i4f' (0) = ^ (oFa (©) da> = a»*, (6.46)
— oo
oo
-2¥"(0) = ^ § (&Fa (©) da = <&, (6.47)
где со* и со* — средняя частота и второй момент энергети¬
ческого спектра огибающей сигнала с учетом нормиров¬
ки (6.21) (обозначения соответствуют § 8.6.1 первой книги).
Подставляя (6.46) и (6.47) в (6.43), получаем
г di '¥(т-т0)|2]т=т() = а4-(о*2=р2, (6.48)
dx2
где р2 — среднеквадратическая девиация (отклонение от
среднего) частоты спектра огибающей. Величину р иногда
принимают в качестве количественной меры полосы спектра
огибающей.
Так как в рассматриваемом случае обратная матрица
Q"1 содержит только один элемент, равный ^— > то
dr$2
из (6.30), (6.30') и (6.46) находим следующее асимптотиче-
416
ское выражение (при d\ > 1) оценки т максимального
правдоподобия времени прихода сигнала:
■т0 =
т
-Х-А I
-Т
— i(o*a (t — т0) J z(t)dt}.
(6.49)
А =
Эта оценка несмещенная, а ее дисперсия согласно (6.40)
равна
(6.50)
При симметричном спектре огибающей со* - 0 выраже¬
ние (6.49) можно переписать в виде
T-to-^Re^0^- I x^(t)dt]. (6.49')
* -т
Из (6.23') и (6.23") находим также оценки амплитуды
и фазы:
т
^ a(t — T)z(t)dt
-т
т
Im J a (t — x) z (t) dt
Ф = arctg —
Re a(t — x)z (t) dt
-T
в которых т подставляется из (6.49).
6.1.5. Совместное измерение времени прихода и доппле¬
ровского смещения частот. В качестве второй иллюстрации
материала § 6.1.3 рассмотрим узкополосный сигнал более
сложного вида, чем (6.41):
s(t; А, ф, т, Q) = A Rea(t — т)е“{<Реш<*-~т>е{а)о(<-*)в (6.52)
Здесь, как и в (6.41), параметр т —время прихода сигнала, а
Q — (Oj — (Do
— смещение частоты, которое назовем допплеровским. За¬
дача состоит в совместной оценке параметров т и Q.
27-197 417
(6.51)
(6.51')
Функция неопределенности *) сигнала (6.52) равна
в соответствии с (6.27)
т
¥(т — То, Q — Q0) = 2f- I a(t —т0) a (t — r)
X
-Т
X 0—i£2o(<—то) 0iQ(<—t) dt = 0гй(т—То)
Т-то
1
-T-to
Вводя спектр огибающей сигнала
.1—10
§ a(t)a(t — т + т0) е**2-®»)' dt. (6.53)
/т(ю)= § a(t)e~iatdt,
-т
можно функцию неопределенности переписать в виде
¥ (т —т0, й —Q0) =
оо
= eio(t-t0)_l_ ^ fT (О)) /т ((о — Q + Q0) е»®(т-то) dw. (6.54)
— оо
Элементы матрицы Q размером 2x2 равны:
Qu = # -33-1V (т ■- т0, fi — fi0) |2T=t0. q=q0- (6-55)
Q12 = Q21 = dr IY (t — t0, fi - fi0) |2t=t0, Q=a0. (6.55')
Qn = d*T IV (t - To, fi- fi0) \Uo, а-о,- (6.55")
Из (6.54) и (6.48) следует, что
Qu = dr-Jj-r | ¥ (t —t0, 0) |U. = - dW- (6-56)
Величину Q22 находим из (6.53):
= * ж IY (0, Q - Qo) |b=Q. =
T
= d^[[w I t\a(t-4)\2dt)2-
-T
T
1
2T
-T
J f*|a(f-To)|*tf]. (6.57)
*) Функция Y (t, Q) двух переменных (времени и частоты)
была впервые введена Вудвордом как функция неопределенности [2].
418
Вводя по аналогии с со* и со* среднее время t* и второй
момент t\ сигнала и обозначая среднеквадратическую дли¬
тельность сигнала
т
а2 = ^-(П2=2Г I **И*-то)12di-
-Т
т
— (if § *la(*—то)|2^)2' (6-58)
-г
перепишем (6.57) в виде
(?22= —dW2-
Из (6.53) и (6.54) находим также
оо т
Qi2 = dr{—^ § (oF„(®)d(o-§ t\a(t — T0)\2dt +
-оо -Г
Т
~jr J [а (/ — То) a' (t — т0) —
-Т
■a(t — x0)a' — т0)] tdt j
или
Q12 =-dr (®*f - **). (6.59)
где через к* обозначена безразмерная величина, характе¬
ризующая частотную модуляцию сигнала *),
Я,* = 1т-^- ^ ta(t — T0)a'(t — т0) dt. (6.60)
-т
Таким образом, матрица Q имеет следующий вид:
Р2 — а>Ч* + К*\
■ + %* —о? ) '
( -В2 -и>*1* + %*\
Q=dH-^ - - )■ (6-61)
1
*) Действительно, если a (t) = и (t) егф^\ то X* = "у“ ^ (0
. . X
-т
27* 419
Нетрудно найти обратную матрицу. Вычисляя детерми¬
нант матрицы
det Q = d\ [а2Р2 - (со*/* - X*)2], (6.62)
находим корреляционную матрицу ошибок измерения вре¬
мени прихода и допплерового сдвига частоты
1 ( ~а* —
Q = —р2 J- (6.63)
На главной диагонали матрицы Q"1 находятся дисперсии
оценок времени прихода и допплерова сдвига частоты,
а на побочной — ковариация этих оценок (с точностью до
знака; см. (6.40)).
Можно несколько упростить формулу (6.63), если над¬
лежащим выбором начала координат в плоскости вре¬
мя — частота обратить в нуль величины t* и со*. Тогда
\ (-t\ -Х*\
= (6‘64)
Используя (6.30), (6.30'), (6.64), находим следующее
асимптотическое выражение (при dr > 1) совместных оце¬
нок времени прихода сигнала и допплерова сдвига частоты:
т~т°-СRe {е‘Ф0 1tWx
X
-Т
I да {lx Т) L-^fl(f-To)] e~ia°('~To) *(0dt} ,
(6.65)
т
х Ня’(,—")1х
е-шо«-то)г (*)<#]- . (6.65')
-т
X
420
В том случае, когда частотная модуляция сигнала
отсутствует (X* = 0), оценка времени прихода и оценка
допплеровского сдвига частоты становятся некоррелиро¬
ванными, а их дисперсии равны [см. (6.40), а также (6.48)]
(6.65")
6.2. БАЙЕСОВСКИЕ ОЦЕНКИ СЛУЧАЙНЫХ
ПАРАМЕТРОВ СИГНАЛА
6.2.1. Совместные оценки амплитуды и фазы. Переходим
к совместным оценкам случайных параметров квазидетер¬
минированного сигнала по наблюдаемой реализации адди¬
тивной смеси этого сигнала с нормальным стационарным
шумом, среднее значение которого равно нулю, а корре¬
ляционная функция равна В (т).
Из общей теории следует, что при квадратичной функ¬
ции потерь (а иногда и при более общих условиях; см.
§ 3.6.4) байесовские оценки совокупности зависимых пара¬
метров случайного процесса представляют условные сред¬
ние этих параметров, когда наблюдается реализация х (t)
процесса на некотором интервале времени [см.
(3.186)].
Байесовская оценка случайной амплитуды а квазиде¬
терминированного сигнала as (t) в аддитивном нормальном
шуме была подробно рассмотрена в § 3.6.3. Там было
показано, что при нормальном распределении параметра
указанная оценка представляет среднее взвешенное двух
величин: априорного среднего и оценки максимального
правдоподобия (исследованной в § 3.6.2).
Предположим теперь, что сигнал представляет узкопо¬
лосный квазидетерминированный случайный процесс s (t) =
= a cos ((d0t —• ф) известной частоты <ю0, амплитуда а
и фаза ф которого случайны с известным априорным рас¬
пределением w2 (а, ф). Нормальный шум также узкополос¬
ный. Воспользовавшись комплексными представлениями
реализации х (t) и сигнала s (t)
x(t) = 'Rez(t)ei(**t, s(t; a, ф) = Reae-i(Peia)0*, (6.66)
421
запишем выражение функционала правдоподобия в виде
[см. (3.78) и (5.54)]
т
I [z(t) | а, ф] =ехр [^Re ^ V (t; а, ф) z (t) e~i(0^ dt~^ x
-T
т
X
exp £—|-Re ^ У(/; a, ф) e~i(0o'ei(P d/J , (6.67)
-T
где 1/ (/; а, ф) — решение интегрального уравнения
т
^ Bz(t — u)V (и; а, ф)с(и = ае-!сРейоо*, (6.67')
Ш<7\
Вводя функцию (J (t) = V (t\ а, ф)ае!(Р, перепишем (6.67)
и (6.67') следующим образом:
х
где
I [z (01 а, ф] = ехр |~а Re e_i* ^ U (t)z (t) e~ia)o# Л J
-т
т
хехр£ — -у-Re § t/ (0'e-iWo#d/J =
-т
т
= ехр |^а | ^ U (t) z (t) e~i(0^ dt соб(ф — \|)r)J
-т
т
ехр [--у-Re \ U (t) e-^ot dt^ , (6.68)
-т
т
Im I U (t) z (0 e"ia)0# df
X
X <
-T
г|)г = arctg T
Re J U (t) zjt) e~i<0ot dt
-T
a U (t) — решение интегрального уравнения
(6.68')
J Bz(t-y)U(y)dy = eW, \ t\<T, (6.69)
-T
422
где Bz (х) — комплексная огибающая корреляционной функ¬
ции шума [см. (5.35')].
Введем по аналогии с § 5.2.2 обозначения:
т т
гт = о2а § § U (t)UJy)J{i)z(y)e-imo(i-v)dt dy, (6.70)
-т -т
d*T = o% j и (0 eift)o' dt =
-т
т т
= о2а § § Bz (t — y)U (у) U (t) dy dt > 0, (6.71)
— Т -т
где ад —средний квадрат амплитуды.
Используя (6.68) и] введенные обозначения, находим
байесовские оценки амплитуды и фазы узкополосного
сигнала в аддитивном нормальном узкополосном шуме:
a = ml {a\z(t)} =
оо Я
J J aw2 (а, ф) / [г (t) | а, ф] dtp da
J \ w2 (a, ф) / [z (t) | а, ф] dq> da
^ ^ aw2 (а, ф) e 2°a exp [“^cos (ф —'Фт)] dy da
— oo —Я
a*d%
oo Я
§ ^ш)2(а,ф)е 2a° exp cos (ф-\))Г)] йф da
— oo —я
4> = mj {ф|г(0} =
аЫ%
oo я _L
^ ^ yw2(a, ф) e 2a° exp cos (ф — tyT) J dy da
(6.72)
a^dj>
^ ^ w2(a, ф) e 2°a exp [^"cos (ф — г|?т) J d(p da
(6.73)
423
Если аддитивный шум белый с интенсивностью N0,
то решение интегрального уравнения (6.69) равно U(t) =
= Y~ei(dot и тогда величины гт и dT в приведенных фор¬
мулах равны [см. (6.70) и (6.71)]
Гт=~ж\ 12{t)dt =
-т
=-^[(^Л(,)Л)г+($с<'>Л)Т- <6-74>
где A(t) и С (t) — квадратурные составляющие наблюдаемой
реализации (см. § 5.2.3);
Если фаза распределена равномерно и независима
от амплитуды, то
d joc2
GO х
J xwt (oax) I0 (rTx) e 2 dx
a = oa— -У—, (6.75)
| Wf (oax) I0 (rTx) e 2 dx
— OO
oo x2 dj> я
2л ^ u>i(<*ax)e 2 ( § Ф exp[rTjc cos (<p—tr)] d<p)dx
ф =
x2d
T
\ Щ (Gax) Iq (rT*) e 2 dx
где Wi (x) — функция распределения амплитуды.
Для сильного сигнала байесовская оценка (6.75) ампли¬
туды сигнала может быть преобразована путем использова¬
ния асимптотической формулы для бесселевой функции
424
(см., например, стр. 123 в первой книге) к виду
d%x2
а~оа
гэ / а?гх* ч
\ ~\/х Wi(Gaxlexp у——2 YrTx\dx
— оо
Р 1 / djiX2 \
^ "Гу=" Wi (оах) ехр у——2 VrTxjdx
— оо
^ Yxwt (оах) ехр [ — -у- (х —]<Ь:
— ОО
= (Та —
S 175 ю1(а«х)ехр [-Т1 ^
— оо
При dx > 1 функция г^г-ехр £ (л:_’"^')2] ^лиз~
ка к дельта-функции. Поэтому при условии, что плот¬
ность Wi(oax) непрерывна в окрестности точки х —
= ~рг и не равна нулю в этой точке, получаем, используя
фильтрующее свойство дельта-функции (см. приложение III
в первой книге), следующую асимптотическую формулу:
т
| I U (t) z (0 e"ia)°' dt |
“~Jr = -^-rzl = • (6-76)
T I I Bz (t — y) U (у) U (t) dy dt
-T -T
Аналогично получаем асимптотическую формулу для
оценки фазы при dr > 1:
т
Im J U (t) z (t) ei(0ot dt
ф — = arctg . (6.76')
Re J ЩГ) z (t) eiw°' dt
-T
Таким образом, байесовские оценки амплитуды и фазы
совпадают с оценками максимального правдоподобия этих
425
параметров [см. (6.5) и (6.5')]
т
а~ ~W I 2 V)dt ' (6.76")
-т
т
Im j z (t) dt
Ф — arctg ^ , (6.76"')
Re \ z (t) dt
-T
как и в формулах (6.9) и (6.7).
6.2.2. Совместные оценки конечного числа параметров
квазидетерминированного сигнала. Рассмотрим задачу об
определении совместных байесовских оценок параметров
квазидетерминированного сигнала в более общей, чем
в предыдущем разделе, форме (см. § 3.6.6). Пусть сигнал
заданной формы зависит от m случайных параметров,
и предположим, что он может быть представлен в виде
m
s (t; ..., flm) = S ®JSJ (0< (6-77)
/=i
где sj (t) — известные функции, a — случайные пара¬
метры, совместное распределение которых задано распре¬
делением wm (дь . . ., ft™). Наблюдается на интервале
(—Г, Т) реализация х (t) суммы s (t\ . . ., 0m) и нор¬
мального случайного процесса с нулевым средним и извест¬
ной корреляционной функцией В (и, v). Необходимо найти
байесовские оценки параметров 0lf . . ., ft™.
Логарифм функционала отношения правдоподобия при
фиксированных -О1!, . . в рассматриваемом случае
в соответствии с (3.157) равен
1п/[х(0|#1, . . .,#т] =
т
= J К (t; 0lt ..., От) [х (() -1 s (/; #„ ..., От)] dt, (6.78)
-Т
где V (t\ Ф^) — решение интегрального уравнения
т
^ B(t, u)V (и; dm) du =
-т
= s(f; 01э ...,Om), | /1 <Г. (6.78')
426
Подставляя (6.77) в (6.78'), заменим (6.78') системой урав¬
нений
т
^ В (/, a) Vi (и) du = Si (t), 111 < 7\ i = 1, ..., m,
(6.79)
причем
m
V(/; 0lf ...,Om)= 2 <W(0- (6-80)
Выражение (6.78) может быть теперь переписано в виде
т Т
In / [X (t) 1 ■&!, ...,ftm] = 2 ^ S JC (0 X
j=l -T
mm T
Vj (t) dt - -i- 2 2 ^ (0s; (0 dt
x
1=1 j=l -T
или в обозначениях (3.206), (3.206')
m
ln7[jr(/)|0lf ...,Om]= 2
J=1
m m
2~ (6.81)
2
i=l j=l
Теперь, используя (3.186), можно записать общее выра¬
жение байесовских оценок параметров при квадратичной
функции потерь:
&к = mt {ftk | х (t)} =
oo oo
= [ § • • • § ®hWm ^1’ • • • ’ ^ exp ( 2
— oo — oo j= 1
m m
— T 2 2 1M.7sTi.?) ] X
m (6.82)
^ ^ *' *f ^^
OO OO
X r
— oo — OO j—1
m m
" 2 2l j d$i ... cf,0’m J »
i— 1 j=i
k — 1, . . .,m,
427
или в векторной форме
^ ftw (О) ехр ^0'хг—у dft
*=% 1 i ; • (6-82')
\ w (О) ехр I f>'xr — y tf'sr<H dft
Если аддитивный шум белый, то Vt (t) ="д^“ si (О и
хТ] = -щ- § x(t)Sj(t)dt, (6.83)
-т
т
Stu = -щ § si (t) Sj (t) dt. (6.84)
-T
В том случае, когда функции Sj (t), / = 1, ..., tn,
в (6.77) ортогональны на интервале (— Т, Т),
sri;={^,1 = /; (6.85)
*• 0, i^=/,
где Ei — энергия сигнала S; (t) на интервале наблюдения,
г
Et= \ s\{t)dt. (6.86)
е)
-Т
Для этого частного случая формула (6.82) значительно
упрощается:
оо оо
ftk £ ^ ••• ^ $к’^т (“^l» •• • >^m) X
— оо —оо
X е,р [-^ i Е, (^-^) V. • ■ • <] *
;=1
оо оо
X ^ ... ^ Wm (dj, ..., Фт) X
(6.87)
— оо
Х ехр [~ 2^ 2 Е) Т^)2] ]
3=1 3
428
Ej
При -jj-—> oo, j — 1, ..., m (сильный сигнал),
m
Ei''' Em exp Г — У E-(#-~NoXt1V\
(2лЫ0)т'2 P L 2.v0 ^ Ej ) J
;=1
n«(»r
Д/0^Г7 \
J=1
Тогда, используя фильтрующее свойство дельта-функ¬
ции, из (6.87) находим при Ej/N0-+oо асимптотические
байесовские оценки параметров сильного сигнала:
т
$ * (0 5ft (0 cf/
= ’ k=\, .. . ,m. (6.88)
S A(t)dt
-T
Полученная оценка совпадает с оценкой максимального
правдоподобия параметра сигнала ftkSk (0 [см. (3.168)].
Можно показать [13], что и в общем случае из (6.82)
при сильном сигнале имеет место формула *)
(6.89)
т. е. байесовская оценка сходится к оценке максимального
правдоподобия [см. (3.208)]. Конечно, формула (6.88)
является частным случаем (6.89), когда шум белый и функ¬
ции Sj (t) ортогональны.
6.2.3. Оценка стационарного случайного сигнала на фоне
шума. Рассмотрим узкополосный сигнал, представляющий
нормальный стационарный случайный процесс с нулевым
средним и корреляционной функцией Bs (т). Запишем выра¬
жение этого сигнала через комплексную огибающую (см.
§ 5.2.2)
s (t) = Re zs (t) ei0)°f (6.90)
и воспользуемся ортогональным разложением этой огибаю¬
щей [см. (3.36)]
оо
Z.(0=2d*^’ \t\<T, (6.91)
fe=l
*) Аналогичными асимптотическими свойствами байесовские
оценки обладают не только для квадратичной функции потерь,
но и для функций потерь более общего вида [14].
429
где Xk и фь (t) — собственные числа и собственные функ¬
ции линейного однородного интегрального уравнения
т
Ф (t) = X § Bzs{t — y)(f(y)dy, (6.92)
-т
и Bz (т) — комплексная огибающая корреляционной функ¬
ции сигнала. Координаты ft* комплексной огибающей сигнала
т
Gfc = V%t § zs(t)yh(t)dt, £=1,2,..., (6.92')
-т
некоррелированны. В силу нормального распределения
действительная ak и мнимая р к части О* = а* + также
и нормальны, причем [см. (5.38) — (5.38")]
mj {сед} = /п4 {pft} = m, {ctftP;} == 0 (6.93)
для любых k и I,
mt {акщ} = mi {pftpz} = 0, k ф I, (6.93')
m1{a|} = /n1{p2h} = i-. (6.93")
Задача состоит в определении байесовских оценок коор¬
динат ftk (или ак и pft), когда наблюдается на интервале
(—7\ Т) реализация х (t) суммы сигнала s (t) и стационар¬
ного узкополосного нормального шума с корреляционной
функцией В (т).
Ограничиваясь m первыми членами разложения (6.91)
и вводя комплексную огибающую реализации х (t) =
= Re2 (t) eia)0*, запишем функционал отношения правдо¬
подобия для реализации z (t) при фиксированных 0lf . . .
. ■ Om [см. (5.54)]:
т
I [z (t) I ..., Фт] = ехр [Re § V (/; ^, ..., ftm):
. X
-Т
т Т
—гтт . Г 1 ~ v-i 1%
X
г(/)Л]ехр[—yRe2 § V (/; Gt, ...,Фт)Х
k=i * h -т
X фл (t) Л J , (6.94)
430
где V (/; , Om) определяется из неоднородного линей¬
ного интегрального уравнения
т
^ Bz(t — u)V (и; А*!, . .., От) da =
-т
= <6-94')
fe=i ^ k
Уравнение (6.94) можно заменить системой уравнений
[см. (6.79)]
т
§ = М<7\ (6.95)
причем
771
У (и; 0t, ...,dm) = S bjVj(f). (6.96)
i=i
Подставляя (6.96) в (6.94), перепишем функционал отно¬
шения правдоподобия в виде
/[z(0|Olf ...,0т] =
т Т
= ехр [Re 2 &j ^ Vj (0 z (t)dt} X
;= 1 -Т
m тп Т
х ехр [ -1 Re 2 2 J vi W Ф‘ (0 Л] • <6-97)
i=l ;=1 " ‘ -Т
Введем следующие обозначения:
т
хГ7- = Re ^ Vj (t) z (t) dt,
-T
T
(6.98)
yTj= Im J Vj{t)W)dt,
-T
T
(6.98')
sTij = Re ^ Vj(t)ffi(t)dt,
-T
T
(6.99)
tTiJ = Im ^ Vj(t)(fi(t)dt.
-T
(6.99')
431
Используя указанные обозначения, из (6.97) получим
771
I [z (t) I ait ptl ..., ат, pm] -= ехр 12 (ajxTj — PjyTj) —
3=1
2 2 ^ i ri~T^ {(akr-£j -h PftPy) srbj
*=, i=i
— (phar-aAP;)/TA;]| , (6.100)
где as + t’Pft = 'б'й, k=\, ..m.
Из (6.93) —(6.93") следует, что 2m координат сигнала
аи pt, ..., am, pm представляют совокупность 2т незави¬
симых нормальных случайных величин, для каждой из ко¬
торых среднее равно нулю, а дисперсия равна 1/2. Таким
образом,
т
. - 2 «4+Ф
Щт (ali Pi* ■ ■ ■ ■> am> Рт) “ (л)т ® * • (6.101)
Подставляя (6.100) и (6.101) в (6.82), получим байесов¬
ские оценки координат сигнала s(t) [см. (6.90)] при квад¬
ратичной функции потерь
«ft = ^ § • • • § «fe ехр | — ^ (а? + Рз) +
— оо — оо j— 1
771 771 771
+ 2l (aJXTj— РуУгуО-у 2 TT^Kaia7 + PiPy)Sr/7 —
j— i i j— i *
— (Р/«у — a;P;) /ти]} d<xld$l . .. dam d$m, (6.102)
00 oo 771
1 S р*exp{~2(a* i-$)+
j=i
771 771
+ 2 (aJXTj РЛ/ту) 0*2 1j т/ГГ Kaia.7 P*P./) STij
j=t i=l j= 1 ^ *
(P*a7 — a,-P;) /г/j]} da^Pi . ..,damdpm, (6.102')
432
где
Кт ^ § ... § ехр | — У} (а) + Pj) + 2 (aixrj ~ §}Ут)) ~
— оо — оо j=i i= 1
m m
— "2*2 (Рга7 aiPj)^riylj' X
i= i j~ i 1
X da^d^i ... damd$m. (6.103)
Если аддитивный шум белый, то из (6.95) следует, что
Vi(t)= д. ‘/^Ф1(0, (6.104)
N0yXi
где Л^о— спектральная плотность шума. Тогда из (6.98)
и (6.98') находим
1
XTj —
No Ук _т
т
Утз = тЛт^1т (6.105')
Noy%j JT
а из (6.99), (6.99') в силу ортогональности и нормировки
собственных функций на интервале наблюдения (— Т9 Т)
(6Л06>
sTij = ®, i¥=l\ lTij = 0 для любых i и /. (6.106')
В этом случае выражения (6.102) —(6.103) значительно
упрощаются, причем переменные интегрирования разде¬
ляются. Вычислим сначала интеграл Кт-
т оо 2
Кт = П I ехр ( - aj + a jXTj - ^ ) daJ х
S'rii N.. . ... _т
j= 1 — ОО
т оо
х2 I ехр(-РНМг, -2х5к)#г
j=i — оо
ХТз + УТз
771 Г 2
2я г
Пzя
7ГТехр
*=* 2 + х]Щ
(2+я^У-
(6.107)
Легко видеть, что в рассматриваемом частном случае белого
шума в силу разделения переменных интегрирования
28-197 433
в (6.102) выражение оценки ah может быть представлено
в виде
1
Г- о w V _1_
Кт— i
ak--
Krr
ехр
2
оо
— ХТк
^ «й ехр
— оо
2 +
X
V +un0/
doch,
(6.108)
где K'm.i получается из (6.107), если в этой формуле опустить
один сомножитель /2я (2 + ~Va ехр [2 (2~+Т/1^о)] *
Наконец, вычисляя интеграл в (6.108), после очевидных
сокращений получим
*Тк
Аналогично
ак■-
h-
2 +
1
Утк
2 + ;
1
k = \, ..., m.
(6.109)
(6.109')
Из (6.109) и (6.109'), учитывая (6.98), (6.98') и (6.104),
находим
т
h = Ц- I V}(t)W)dt =
2+Wo ~т
=тй&г I (6.П0)
-г
и далее, подставляя (6.110) в (6.91), получаем оценку
комплексной огибающей сигнала
771 Т
zs(t)= lim I 4h{u)z{u)du. (6.111)
h=i
-Т
Вводя функцию
h(t, и) — 2
Й=1
щ (0 фд (и)
4-2N.M ’
(6.112)
434
запишем (6.111) в виде
т
z8(t)= ^ h(t, u)z(u)du, (6.113)
~т
откуда находим байесовскую оценку сигнала
s (t) = Re zs (t) eiG)of =
т
= Reeifi)°* ^ h (t, u) z (u) du, |/|<7\ (6.114)
-T
В выражении (6.114) функция h (t, и) определяется
априорными сведениями о корреляционной функции сигна¬
ла и спектральной плотности шума, a z (и) — комплексная
огибающая реализации на интервале наблюдения.
6.2.4. Оценки случайных процессов, модулирующих высо¬
кочастотную несущую, на фоне аддитивного белого шума.
Предположим теперь, что сигнал s (t) представляет гармо¬
ническую несущую частоты со0> модулированную по ампли¬
туде и по фазе (или по частоте) случайными процессами
a (t) и г|э (/)• Задача состоит в том, чтобы оценить значения
этих модулирующих процессов по реализации суммы сиг¬
нала и аддитивного нормального шума, наблюдаемой
на интервале (—Т, Т). Чтобы не делать изложение слиш¬
ком громоздким, ограничимся исследованием двух частных
случаев, когда сигнал представляет амплитудно-модули-
рованную или фазомодулированную несущую, хотя исполь¬
зуемый метод решения задачи может быть использован
и в более общих случаях.
Случай амплитудно-модулированного сигнала сводится
к задаче, рассмотренной в § 6.2.2. Действительно, пусть
s(t) = a (t) cos (u>0t + фо). (6.115)
Воспользовавшись ортогональным разложением модулирую¬
щей функции
оо
<.</>-2
k=l
где kk и фь (t) — собственные числа и собственные функции
линейного интегрального уравнения
т
Ф(0 = А- § Ва (t — y)(f (у) dy, |*|<7\
-т
28* 435
представим s (t) в виде суммы, не отличающейся по виду
Задача сводится теперь к совместной оценке координат ак
по методике, указанной в § 6.2.2.
Рассмотрим более подробно тот случай, когда несущая
А.о cos (D0t модулирована по фазе стационарным нормаль¬
ным случайным процессом г|э (t) с нулевым средним и кор¬
реляционной функцией (т), медленно меняющейся
по сравнению с cos coq't, а аддитивный нормальный шум —
белый со спектральной интенсивностью N0 (и не зависит
от сигнала).
Если воспользоваться ортогональным разложением мо¬
дулирующей функции на интервале наблюдения
где Хк и фь (t) — собственные числа и собственные функции
линейного интегрального уравнения
то сигнал, представляющий модулированную по фазе несу¬
щую, можно представить в виде
где — независимые нормальные случайные величины
с нулевыми средними и единичными дисперсиями. Кон¬
станта &ф определяет наклон линейной характеристики
фазового модулятора. Используя предположение, что адди¬
тивный нормальный шум белый, запишем для рассматри¬
ваемого случая логарифм функционала отношения правдо-
436
от (6.77),
оо
(6.116)
причем
(6.116')
оо
(6.117)
«р (/) = ?* § B^{t — y)(f(y)dy, |/|<7\ (6.117')
-т
оо
s(t) = А0cos [«* + кф 2 tft ■уц’] > (6-118)
подобия [см. (6.78) и (6.78') ], когда наблюдается реализа¬
ция х (t) на интервале (—7\ Т)\
т
In I [X (t) I t|)i, . . ., . . . ] = Щ § S (t) X
-T
T
X
X [*(0-ys(0] dt = Q I x(t)
-T
oo '
cos[(o0^ + ^2 2^r I s2(t)dt,
T
Г cnu(f\-} 1
X i
L T " ’ \/l h J .
-T
и, пренебрегая в последнем слагаемом интегралом от быстро
изменяющейся функции cos [2со0^ + 2г|) (0]» получим
т
In I [X (t) | t|)j, l|)m, x(t) X
-т
оо
Г ^К-1 ГГ)и (f\~\
х<
:соэ[(Оо^ + ^ф dt~ 1^- (6.119)
Тогда байесовские оценки координат г|э* модулирующей
функции при квадратичной функции потерь могут быть
записаны следующим образом *):
оо
°° °° 4 т
^а=[ I ••• I **е i=1 exp{4ir \X{t)x
— ОО —оо — т
X COS Гй>0( + *ф У Ф; "7=1 d'j " ■ d’i’m ■- 1 Х
1 ri Vl‘J 1 (6.120)
оо
хГ \ ... 5=1 ехр (\ x(t) х
X cos
[ I - ‘ ”f {-& I *m
-oo —oo — T
[o)0< +*ф 2dt] d^1 ••• d^m' • •] ■
*) В (6.120) и далее следовало бы брать конечное число N
переменных интегрирования г|и после интегрирования вычислять
пределы при N-+- оо. Использованная сокращенная запись не
влияет на окончательный результат.
437
Аналитическое исследование выражения (6.120) в общем
виде не представляется возможным. Рассмотрим сначала
2 ТА2
случай, когда < 1 (слабый сигнал). В этом случае
(2ТА2\ 2
-дг-2) и выше. Тогда,
А2т °
разлагая экспоненты в ряд по и сохраняя только пер¬
вые два члена, получим
оо
я I
— оо —оо —т
оо
xcos[co0< + fe$s . -]х
j= 1 v J
OO OO —i У] ^ T
— OO — OO —T
X cos [ a>0t + кф 2 T7^="] dt} • • • «tym]
S'vr,.
Так как при малом х
ri-= 1-х + 0(л:2)
оо оо
а п “1 S +3
^ ... ^ J-1 difj ... ... = 0,
— оо — оо
<лт\
(А*Т‘\
-цТ-)
♦*-&Re (j ••• I *»й
— Т — оо —оо ;=1
ехр | -у — dipt... dtym ...) dt,
X
438
и, вычисляя интеграл по переменным получим
т
A0k* р ф 2j т-
= ——7= \ ф*(0*(0е 3=1 1 cosa>0t dt. (6.121)
NoVU Ут
Далее, так как [см. (3.24')]
°° ? /А
2-^ = ^*(0) = <4, (6.122)
j=l
где а| —дисперсия модулирующего процесса, то из (6.121)
находим
т
■ik = —° * ^ qh (t) х (t) cos <£>0t dt. (6.123)
N0V\h JT
Подставляя (6.123) в (6.117) и используя (3.24), получаем
байесовскую оценку модулирующего процесса
т
^ (0 = е>{фа* ^ By{t — u)x (и) cos щи du, 111 < Т.
~Т (6.124)
Из (6.124) следует, что
rtii ('ф (t)} = 0. (6.125)
Найдем корреляционную функцию оценки if (/). Так как
в силу независимости сигнала и шума
Вх (и, v) = Bs (и, v) + N0b (v — и),
то
В^(и, v) = щ {$(и)ф(о)} =
= ^е244 I ^ By(u — x)Bq(v — y) х
0 -т-т
X [Bs (х, у) + N0b (х — у)] cos (Do* cos щу dx dy.
Если пренебречь интегралами от слагаемых, содержа¬
щих cos со/ при (о>(о0 (как это уже было сделано выше),
то, учитывая, что корреляционная функция Bs (х, у) моду¬
лированной несущей пропорциональна указанным быстро-
меняющимся функциям .(см- § 12.1.2 в первой книге),
439
получим
т
2 2 г)
Bb(u,v) = -^e2h*a* lB*(u-y)B*(v-y)dy. (6.126)
-т
Дисперсия оценки
т
2 2л
<4(0 = ^(^,0 = -Jf e2ft^ ^ («-*/)</</ (6.127)
0 -г
или
(6-127-)
-т
где /?Ч1 (т) — коэффициент корреляции модулирующего про¬
цесса.
При Т —> оо
[•^-]2~-^^e2h*a4^(T)dT- (6Л28)
Задачи
6.1. Показать, что если распределение амплитуды узкополосного
сигнала — релеевское
q2
2а а2
“»i(a)=-5re а, а>0,
и распределение независимой от амплитуды фазы равномерное, то
при квадратичной функции потерь байесовская оценка амплитуды
в аддитивном нормальном шуме равна
«(4+£)
(1)
где i/7* — гипергеометрическая функция (см. приложение V в первой
книге), а величины г\ и d\ определены согласно (6.70) и (6.71).
6.2. Решить задачу § 6.2.2 в предположении, что результаты
наблюдений представлены не реализацией x(t) = s(t\ ...,Om) +
+ 6(0» а дискретной выборкой х= (х^, ..., хп), где Xi = x(ti),
f* —моменты времени, принадлежащие интервалу наблюдения ( — Г, Г).
Показать, что байесовские оценки параметров могут быть пред-
440
ставлены в векторной форме
^ Фа (Ф) ехр | — 2JTK ^х — S1^’ } d^
Ga
*=“ё 7 N T ’ (2)
^ w (#) ехр ^ —2 tr К (x — s^’ k)j
где G^—область пространства параметров, в которой задано распре¬
деление оу('О); s — матрица размером Nxm с линейно-независимыми
(в алгебраическом смысле) столбцами, причем /-й столбец матрицы
представляет вектор с компонентами Sj (/j), ..., Sj (/jv)> j = 1» . •., m;
k — нормированная корреляционная матрица случайного слагаемого
6(0;
k-Ж (2')
К trK’ ( ’
trK —след корреляционной матрицы К,
Qn (х — sO, к) = (х — stf)' к-1 (х — s-О). (3)
6.3. Получить следующие формулы для элементов информацион¬
ной матрицы оценок амплитуды и фазы узкополосного сигнала
в аддитивном белом шуме:
<p)=ml {(-^j-ln/[*(0M, Ф])2} =
т т
= mi { Vjj [(iTr ^ А (^) dt) cosf+ (_27Т' \| с (0 Sin ф —
_Т _т
-.21 8 Т Щ
J ) ~ N0~ А* ' <4>
/у2) ф) = mi { 1п 1 1Х (0 I А< ф]) } =
= щ{ ^г- [ (4т I А dt) sin
-т
— [w § собф]2| =^- = 44, (5)
-т
(А, ф) = /«! [*(0 И- ф]Х
х-^1п/[*(0М,Ф]} =о, (6)
где
2ГЛ2
^=~Ж' (6)
441
Из (4) —(6) найти элементы матрицы, обратной информационной:
тм- (?)
YT2> и- ф) = -ЩГ - (8)
УГ>(А, Ф) = 0, (9)
и доказать асимптотическую эффективность при dT со совмест¬
ных оценок максимального правдоподобия амплитуды и фазы.
6.4. Доказать, что для узкополосного сигнала с гауссовой оги¬
бающей u(t) = е“а2*2 и линейной частотной модуляцией со (t) =
= со0 + АЛ, т. е. для сигнала с нормированной комплексной огибаю¬
щей вида
а (<) = аГ>1' (10)
модуль функции неопределенности равен
*т*т*
|ЧГ(т)| = е 2 , (11)
где т —так называемый коэффициент сжатия, определяемый по фор¬
муле
-i/i Ь2
х-У
(12)
(при отсутствии частотной модуляции т= 1).
Используя (11), показать, что дисперсия оценки времени при¬
хода сигнала, смешанного с аддитивным нормальным белым шумом,
когда отношение dr энергии сигнала к спектральной плотности шума
велико, равна
(13)
6.5, Доказать, что при совместном измерении времени прихода
и допплеровского смещения частот модуль двумерной функции
неопределенности для сигнала вида (10) задачи 6.4 равен
—I (<х2т2т2 Ь-
| ^ (х, Q)|=e 2 “ *“* . (14)
Используя (14), показать, что дисперсии оценок времени при¬
хода и допплеровского смещения частот и коэффициент корреляции
этих оценок, когда отношение энергии сигнала к спектральной
плотности белого шума dr > 1, определяются по формулам
M2{9} = -i— , (15)
ат а2
442
-ч 4a2m2
M2{Q}=-^-P~, (16)
ат
-V
где
а величины г\ и (№р определяются по формулам (6.70) и (6.71).
Показать, что при йт—>со.
ЛИТЕРАТУРА
МОНОГРАФИИ
1. В а к м а н Д. Е. Сложные сигналы и принцип неопределен¬
ности в радиолокации. Изд-во «Советское радио», 1965, гл. 2, 3.
2. Вудворд Ф. М. Теория вероятностей и теория информации
с применениями в радиолокации. Пер. с англ., под ред. Г. С. Го¬
релика. Изд-во «Советское радио», 1955, гл. 5, 6, 7.
3. Вопросы статистической теории радиолокации. Под ред.
Г. П. Тартаковского, т. II. Изд-во «Советское радио», 1964.
4. Г у т к и н Л. С. Теория оптимальных методов радиоприема
при флуктуационных помехах. Госэнергоиздат, 1961, гл. 13, 16.
5. Миддлтон Д. Введение в статистическую теорию связи,
т. II. Пер. с англ., под ред. Б. Р. Левина. Изд-во «Советское
радио», 1962, гл. 21.
6. Миддлтон Д. Очерки теории связи. Пер. с англ., под
ред. Б. Р. Левина. Изд-во «Советское радио», 1966, гл. 3.
7. Фалькович С. Е. Прием радиолокационных сигналов на
фоне флюктуационных помех. Изд-во «Советское радио»,
1961, гл. 4, 5.
443
6.6. Предположим, что амплитуда и фаза узкополосного квази-
детерминированного сигнала [вида (6.66)] независимы, причем апри¬
орное распределение амплитуды релеевское, а фазы—равномерное.
Доказать, что байесовская оценка амплитуды равна
Убедиться, что для белого шума оценка (20) совпадает с оценкой,
определяемой по формуле (6.76).
8. X а р к е в и ч А. А. Борьба с помехами. Изд-во «Наука»,
1965, § 15, 16.
9. Хелстром К. Статистическая теория обнаружения сигна¬
лов. Пер. с англ., под ред. Ю. В. Кобзарева. Изд-во иностран¬
ной литературы, 1963, гл. 8.
10. Ш и р м а н Я. Д., Голиков В. Н. Основы теории обна¬
ружения радиолокационных сигналов и измерения их пара¬
метров. Изд-во «Советское радио», 1963, гл. 6, 7.
11. Большаков И. А. Статистические проблемы многих
сигналов в радиотехнике и радиолокации. Изд-во «Советское
радио», 1968.
СТАТЬИ
12. К е л л и Е. Радиолокационное измерение дальности, ско¬
рости и ускорения. «Зарубежная радиоэлектроника», 1962,
№ 2, стр. 35—47.
13. Л е в и н Б. Р., Ш и н а к о в Ю. С. Предельная форма байе¬
совской оценки коэффициентов регрессии при нормальном неста¬
ционарном шуме. «Проблемы передачи информации», 1967, № 1.
14. Л е в и н Б. Р., Ш и н а к о в Б. С. Некоторые асимптоти¬
ческие свойства байесовской оценки коэффициента регрессии
в присутствии нестационарного шума. «Проблемы передачи
информации», 1967, № 3.
15. A b b a t е J. V., Schilling D. L. Estimation of random
Phase — and Frequency Modulating Signals using a Bayes
Estimator. IEEE Trans., 1965, IT-11, №3.
16. К e 1 1 у E. J., R e e d I. S., Root W. L. The detection of
radar echoes in noise, II. J. Soc. Ind. Appl. Math., 1960, v. 8,
№3.
17. S i b e r t W. M. A radar detection philosophy. IRE Trans.,
1965, Sept. IT-2.
ГЛАВА
СЕДЬМАЯ
ЭЛЕМЕНТЫ ТЕОРИИ КЛАССИФИКАЦИИ
С ОБУЧЕНИЕМ
7.1. ХАРАКТЕРИСТИКА ПРОБЛЕМЫ
КЛАССИФИКАЦИИ С ОБУЧЕНИЕМ
Проблема классификации результатов наблюдений была
сформулирована в самом начале книги как проблема выбо¬
ра из набора решений у0, . . ут решения ук о принад¬
лежности совокупности результатов наблюдений хи ...
. . хп одному из т + 1 заданных распределений
Wn (-^i, . . хп | Sk) j k 0, . . ., т.
Использование тех или иных критериев качества для
получения оптимального алгоритма классификации обус¬
лавливалось знанием априорных вероятностей принадлеж¬
ности каждому из распределений и заданием функции
потерь. При этом апостериорные (условные) функции рас¬
пределения выборочных значений — функции правдопо¬
добия Wn (хи . . хп | Sk) предполагались полностью из¬
вестными. В том случае, когда параметры этих функций
оказывались случайными, предполагалось, что точно из¬
вестны функции распределения этих параметров.
Рассмотренные в пятой главе задачи обнаружения и
различения сигналов на фоне шума служат примерами
задач синтеза оптимальных алгоритмов классификации
по выборочным значениям наблюдаемого процесса или
по непрерывной реализации этого процесса, для решения
которых использовались байесовские критерии качества.
Далеко не всегда байесовский подход к проблеме син¬
теза оптимальных алгоритмов классификации может быть
практически реализован из-за возникающих чисто матема¬
тических трудностей, связанных с нахождением экстрему¬
мов достаточно сложных функционалов. Но даже, если
оставить в стороне ограниченные возможности аппарата
математического программирования, указанный подход
встречается иногда с принципиальными трудностями. Это
относится, прежде всего, к вероятностному описанию
445
изучаемого явления, которым исследователь может не рас¬
полагать вовсе или которое может быть неполным. Так
часто неизвестны параметры функции правдоподобия вы¬
борочных значений или априорное распределение этих
параметров, а в других случаях — и сама функция правдо¬
подобия. Произвол в выборе вида функции потерь является
другой причиной критического отношения к байесовскому
подходу.
Одним из путей, выводящих из тупика априорной недо¬
статочности, является поиск алгоритмов, устойчивых к из¬
менению вероятностных характеристик изучаемых слу¬
чайных процессов. Некоторые возможности, частично уже
реализованные, открываются при исследовании асимптоти¬
ческого поведения оптимальных байесовских алгоритмов,
когда какой-либо параметр, например соответствующим
образом определенное отношение сигнал /шум, мал или
неограниченно возрастает. Эти предельные алгоритмы при
определенных условиях оказываются инвариантными по от¬
ношению к априорным данным.
Более широкий горизонт открывается с вершин непара¬
метрических методов. Некоторые из этих методов были
упомянуты в первых главах книги. Таковы методы про¬
верки гипотезы, базирующиеся на использовании упорядо¬
ченности выборочных значений (см. § 1.5.3) или критериев
согласия (§ 2.6), при использовании которых сохраняется
постоянным уровень значимости, каково бы ни было рас¬
пределение, соответствующее проверяемой гипотезе. В част¬
ности, в задачах обнаружения сигналов в помехах непара¬
метрические методы позволяют найти алгоритмы, обеспечи¬
вающие постоянство вероятности ложных тревог при изме¬
нении распределения вероятностей помех.
Другой путь преодоления трудностей, вызванных
отсутствием априорной информации, указывает теория
игр. Задачи классификации рассматриваются при этом как
«игра» с противником (природой), стратегия которого,
вообще говоря, неизвестна. Стратегия исследователя часто
строится на предположении, что природа выбирает всегда
наименее благоприятное для него распределение вероят¬
ностей исследуемого случайного процесса. Такая страте¬
гия приводит к минимаксному правилу выбора решения
(см. § 1.1.5). Байесовскую теорию решений можно рас¬
сматривать как специальный раздел теории игр для тех
случаев, когда «игра» ведется против «слабого» противника,
446
стратегия которого в вероятностном смысле заранее извест¬
на исследователю.
Методы непараметрической статистики и теории игр
здесь не рассматриваются. Настоящая глава посвящена
третьему возможному пути решения задач классификации
для тех ситуаций, когда функции распределения выбороч¬
ных значений частично или полностью неизвестны. В этом
случае классификации предшествует период обучения, т. е.
формирования на основании наблюдений оценок неизвест¬
ных функций распределения или оценок параметров, если
вид функций распределения задан. Эти оценки исполь¬
зуются затем для классификации последующих результа¬
тов наблюдений вместо неизвестных истинных вероятно¬
стных характеристик исследуемых процессов.
Различают обучение с учителем, в результате которого
получают последовательность эталонных наблюдений, при¬
чем относительно каждого из ее элементов известно какому
из распределений он принадлежит (классифицированная
обучающая выборка), и обучение без учителя (самообуче¬
ние), при котором указанные выше оценки формируются
по неклассифицированным обучающим выборкам. Иногда
заранее ограничивают класс допустимых алгоритмов клас¬
сификации, параметры которых оцениваются по выбран¬
ному критерию качества в процессе обучения или самообу¬
чения.
В приемном устройстве, предназначенном для класси¬
фикации (например, для обнаружения или различения
сигналов на фоне шума), когда условные функции распре¬
деления результатов наблюдения не определены, в период
обучения или самообучения происходит изменение пара¬
метров или структуры алгоритма классификации с целью
приближения их к оптимальным с точки зрения задан¬
ного критерия качества. Подобные приемные устройства
принято называть адаптивными (или самоорганизующи¬
мися).
Часто при_ решении задач классификации используются
не сами наблюдения, а некоторые функции (или функцио¬
налы) от этих наблюдений, называемые информативными
признаками класса (или]признаками образа). В указанных
терминах рассматриваемая проблема относится к проблеме
распознавания образов ^ по выбранным информативным
признакам. Выбор информативных признаков зависит от
характера решаемой задачи. Общие подходы в этом на¬
447
правлении еще только намечаются. Естественным является
стремление решить задачу, имея по возможности меньшее
число информативных признаков. В некоторых случаях
в качестве информативных признаков могут быть выбраны
достаточные статисти ки.
Таким образом, в наиболее общем виде система, реали¬
зующая алгоритм классификации, включает два устрой¬
ства: приемное, преобразующее результаты наблюдений
в информативные признаки, характеризующие образ, и ре¬
шающее, которое относит сформированную на выходе
совокупность признаков к одному из классов (образов).
Выборочные значения хи . . ., хр могут рассматри¬
ваться или как результаты непосредственных наблюдений,
или как информативные признаки.
7.2. КЛАССИФИКАЦИЯ В СЛУЧАЕ
НОРМАЛЬНЫХ РАСПРЕДЕЛЕНИЙ
7.2.1. Неизвестные средние. Рассмотрим сначала простей¬
ший случай, когда в результате обучения с учителем
получена классифицированная обучающая выборка, причем
*(i°\ • • Хщ принадлежит классу s0, характеризуемому
одномерным нормальным распределением Wi (х | s0), а
х('\ . . ., Хп{ — классу su характеризуемому одномерным
нормальным распределением (х | Si). Предположим сна¬
чала, что неизвестны только средние значения нормальных
распределений, а дисперсии известны и имеют одинаковую
величину а2. Примем в качестве оценок неизвестных сред¬
них оценки максимального правдоподобия по классифици¬
рованной обучающей выборке, т. е.
n0 ni
"о =7^-2 4°\ = (7Л)
г=1 г= 1
Тогда, используя эти оценки вместо неизвестных средних,
можно согласно § 1.3 сформулировать следующее оптималь¬
ное по критерию максимального правдоподобия правило
классификации наблюдений xlf . . ., хп: наблюдения отно¬
сятся к классу si, если
(т 2*г-^Ц^)(“1-Яо)>° (7.2)
1=1
448
и к классу s0, если выполняется неравенство, противопо¬
ложное (7.2).
Формулу (7.2) можно переписать в виде системы нера¬
венств
а,>а0 (7.3)
1=1
ИЛИ
at<a0. (7.3')
1=1
Таким образом, алгоритм классификации сводится к вы¬
числению среднего арифметического наблюдаемых значений
и сравнению его с порогом, зависящим от обучающих вы¬
борок.
Левая часть выражения (7.2) представляет произведение
коррелированных нормальных случайных величин
У = а1 — а0, (7.4)
*=42*—(7.4')
1=1
Средние и дисперсии этих величин равны
Щ {y} = Oi — a0, M2{£/|sj, Sj} = a2 + , (7.5)
mt{z|s,} = -2i^-= — mjlzlso}, (7.6)
M2 {z |st, s0) = a2 (i + ^L-i-J-) , (7.6')
а коэффициент корреляции
J 1_
p _ mi {yz}—ml {у} m{ {г} tij n0
VZ~ VM2{y}M2{z} ft 1,1, 1 W 1 i 1 \ ’
V U ^4п0 4nt ) V n0 nj
(7.7)
причем at и a0 — неизвестные средние нормальных рас¬
пределений Wi (х | at) и Wt (x I a0). Заметим, что при n0 =
= «j случайные величины г/ и г не коррелированы.
1/2 29-197 449
Когда размеры обучающих выборок п0 и п4 неограничен¬
но возрастают, оценки а0 и ai сходятся по вероятности
к средним значениям а0 и ах соответственно (так как выбо¬
рочное среднее является состоятельной оценкой среднего).
Учитывая, кроме того, что пределы по вероятности сумм,
разностей и произведений случайных величин равны
суммам, разностям и произведениям пределов, находим
из (7.3), что при неограниченном увеличении размеров
обучающих выборок (и фиксированном размере п выборки,
которую необходимо отнести к одному из двух указанных
выше нормальных распределений) оптимальное правило
классификации асимптотически сходится по вероятности
к байесовскому правилу проверки простой гипотезы о сред¬
нем значении нормальной случайной величины [см. (1.67)].
Вероятности ошибок классификации стремятся при этом
асимптотически к величинам аир, определяемым по фор¬
мулам (1.71) и (1.72).
Алгоритм классификации (7.3) обобщается на много¬
мерный случай, когда решается задача о принадлежности
наблюдаемой выборки X одному из двух р-мерных нормаль¬
ных распределений с неизвестными векторами средних
и заданными корреляционными матрицами М4 = М2 = М.
Пусть в результате обучения с учителем получена классифи¬
цированная обучающая выборка: из первого распределе¬
ния х^, ..., хй*о и из второго х|1}, ..., х^. Каждый элемент
указанных выборок представляет р-мерный вектор. Ана¬
логично (7.1) в качестве оценок неизвестных векторов сред¬
них принимаются средние арифметические
П0 П1
= — (7.8)
i= 1 г=1
Алгоритм классификации, обобщающий (7.2), сводится
к сравнению с порогом величины V, равной
v= М-Ц'ъ-ao). (7.9)
Распределение статистики V изучалось в работах [24, 45].
Было показано [32], в частности, что статистика
7 = 4«0ft1 V
У («o + «i)(,lo + «i + 4n0«i)
450
может быть приведена к линейной комбинации двух неза¬
висимых случайных величин хМ^ДО и Х^Дг)
2 = (1 + Р) X2 (Р ДО- (1 - Р) X2 (Р, Л2), (7.10)
где %2(Pj к) имеет нецентральное х2-Р^спределение с р сте¬
пенями свободы и параметром нецентральности Я, а вели¬
чина р определяется по формуле
«1 — п0
п/ = . (7.10')
У ("о + tii) (П0 -i- п{ -f 4n0^i)
Параметры нецентральности определяются из соотношений
= 1 . 1 —Vd, (7.11)
Я,.= ■ "oWl - Г- 1 I 1 -~|2rf, (7.11')
4 (1 — р) L ~]/п0-\-п1 — *]/ n0-f ni + 4n0A21 J
где
d* = (а4 — а0)' М-1 (а4 — а0)- (7.12)
Верхний знак в квадратных скобках соответствует случаю,
когда т1{Х} = а0, а нижний —когда т{ {X} =
При По —> оо и п1—> оо распределение V приближается
к нормальному с параметрами (у d2, d2j , если m!{X} = a0,
и с параметрами d2, d2j , если m1{X} = a1.
7.2.2. Неизвестные средние (обучение без учителя).
Вернемся к постановке задачи, изложенной в начале § 7.2.1,
с той лишь разницей, что обучающая выборка х1у . . ., хп
не классифицирована. Предполагая, что появление любого
из двух классов и s0 в каждом наблюдении априори
равновероятно, можно каждый элемент обучающей выборки
рассматривать как принадлежащий общему бимодальному
распределению [27] (см. задачу 1.5)
(x—ai)2 (х-а0) 2
wi(x\ai,a0) = - ' [е +е 2о* j. (7ЛЗ)
2 у 2л а
Среднее значение случайной величины, подчиняющейся
распределению (7.13), равно
а = 21+ао_ (7 И)
Так как ai и а0 неизвестны, то неизвестна и величина а.
В качестве оценки среднего значения а распределения (7.13)
29* 451
можно принять выборочное среднее, полученное из всей
обучающей выборки
Используя оценку (7.15) вместо неизвестного среднего а
и принимая критерий минимума вероятности ошибочных
классификаций (максимального правдоподобия), можно
сформулировать следующее оптимальное правило классифи¬
кации. Наблюдение X относится к классу sb если
и к классу s0, если выполняется неравенство, противополож¬
ное (7.16).
При неограниченном увеличении п сформулированное
правило классификации асимптотически стремится к байе¬
совскому правилу проверки простой гипотезы о среднем
значении нормальной случайной величины.
Алгоритм классификации (7.16) обобщается на много¬
мерный случай при сохранении сферической симметрии
плотностей вероятности, когда решается задача о принад¬
лежности наблюдаемой выборки X одному из двух р-мерных
нормальных распределений с неизвестными векторами сред¬
них ai и а0 и заданными корреляционными матрицами М4 =
= М2 = о21, где I — единичная матрица. В этом случае
общее многомерное распределение двух классов имеет
следующий вид:
Wp (X I at, а0) = — |ехр [ - 2^2 (X - at)' (X - а*)] +
П
а=
(7.15)
Х>а,
(7.16)
2 (2я) 2 аР
Р
+ ехР [ — 2^2 (X — aoУ (X — ао)] | —
еХр [ — 25* Ь Ь] 6ХР [ —25»(Х ~ _ Х
(2я) 2 аР
(7.17)
где
(7.17')
452
Вектор а является вектором средних значений распре¬
деления (7.17), а элементы корреляционной матрицы М
этого распределения равны
оо
М-1}=^ ... ^(xi — ai)(xj — aj)wp{x\a,b)dxi ... dxp =
— оо
= bibj + o* 6и, (7.18)
где 6^=1 при i = j и 6и = О при 1ф'],
di, i= 1, ..., р — компоненты вектора а,
Ьу, /=1, ..., р — компоненты вектора Ь.
Если векторы средних а4 и а0 известны, то оптимальное
байесовское правило разбиения выборочного пространства
производит гиперплоскость, которая перпендикулярна ли¬
нии, соединяющей точки X = а4 и X = а0, и делит эту линию
пополам (см. задачу 1.6). Наблюдение X относится к одному
или другому классу в зависимости от знака величины
b' (X - а) [ср. с (7.9)].
В том случае, когда векторы средних для обоих классов
неизвестны, а и b следует заменить оценками, полученными
при обучении. При самообучении по неклассифицирован¬
ной выборке хь . . ., хп эти оценки получаются из выбо¬
рочного среднего и выборочной корреляционной матрицы.
Оценка вектора средних распределения (7.17) равна
п
а = {2хь (7.19)
1=1
а оценки компонент вектора b могут быть найдены из системы
уравнений, получающейся путем сравнения величин MtJ
из (7.18) с соответствующими элементами выборочной кор¬
реляционной матрицы
п
м=!2(х*-а)(х*~а)'- (7-2°)
i=i
Заметим, что число уравнений в такой системе будет,
вообще говоря, больше числа неизвестных. Для решения
может быть привлечен метод наименьших квадратов.
Определение оценки вектора b может быть упрощено,
если воспользоваться тем обстоятельством, что этот вектор
является наибольшим собственным вектором корреляцион¬
30-197 453
ной матрицы распределения (7.17), причем для рассматри¬
ваемого случая сферической симметрии все характеристи¬
ческие числа корреляционной матрицы, за исключением
наибольшего, равны между собой *).
Задача существенно упрощается, когда вектор среднего
для одного из классов, например а0, известен (как в задаче
обнаружения неизвестного сигнала на фоне шума, когда
а0 = 0). Тогда
п
Ь = а — а0= ^ 2 х;— ао- (7-21)
2=1
7.2.3. Неизвестные средние и корреляционные матрицы.
Предположим сначала, что векторы средних двух р-мерных
нормальных распределений известны и равны друг другу
а0 = а! = а. Корреляционные матрицы этих распределе¬
ний М0 и Mi неизвестны (М0 ф М^. Имея классифицирован¬
ную обучающую выборку х<0), . . ., Хп<5 из первого распреде¬
ления и . . ., х(п> — из второго, можно записать оценки
максимального правдоподобия неизвестных матриц М0
и Mi [см. (2.203)]:
п0
Мо = ^ 2 (ХГ - a) (Xi°> - а)', (7.22)
г=1
П1
= (xl15 —3) (х^ —а)'. (7.22')
i=l
Для того чтобы классифицировать наблюдение X, можно
воспользоваться оптимальным алгоритмом проверки гипо¬
тез о корреляционной матрице нормального распределения
(см. задачу 1.7), заменив неизвестные корреляционные
матрицы М0 и Mi их оценками (7.22) и (7.22'). Тогда полу¬
чаем следующее правило классификации: наблюдение X
относится ко второму распределению, если
/ч *
(X — а)' (М4 — М0) (X — а) > 2 In с + In . (7.23)
det Mj
Совершая замену
V = f' (X — а), Г = (уи...,ур),
*) О собственных векторах и собственных числах матриц см.,
например, в книге: А. Л. Мишиной и И. В. Проскурякова «Высшая
алгебра». Физматгиз 1962, гл. II, § 1.
454
где матрица f определяется из соотношения
М4! =M0fA
и А — диагональная матрица, элементы Я1? . .., Хр которой
являются корнями уравнения
det [Mj— Ш0] = 0,
можно неравенство (7.23) привести к виду
V V
2 t1--г) </?>21nc + 2 In Л,. (7.24)
1=1 * 1=1
Распределение статистики в левой части (7.24), а также
вероятности ошибок, соответствующие правилу (7.24), изу¬
чались в [39]. Там, в частности, доказано, что при п0-+ оо
и rii ->• оо правило (7.24) стремится по вероятности к прави¬
лу оптимальной проверки гипотез при известных М0 и М4
(см. задачу 1.7).
Если векторы средних двух нормальных распределений
равны друг другу и неизвестны, то в (7.23) вместо а следует
подставить его оценку по обучающим выборкам
** ~ ftoao~j-rtiai (7 25)
где а0 и а! определяются согласно (7.8).
В случае, когда векторы средних двух нормальных рас¬
пределений не равны друг другу (а0 ф и неизвестны,
а неизвестные корреляционные матрицы одинаковы (М0 =
= Mi = М), используется классифицирующая статистика
(7.9), в которой вместо М следует подставить ее оценку ПО'
обучающим выборкам, т. е. [см. (2.207)]
(7.26),
где
^ по + щ-2 Х
ПО П1
X
г=1 г=1
'*1
[2 (х^-аоНхГ —а0)' + 2 (хр-к1)(х?>-а1)'] (7.27)
и а0, aj определяются согласно (7.8). Распределение ста¬
тистики (7.26) изучалось в [24, 34, 45].
30* 455
7.2.4. Произвольное число распределений. Приведем соо¬
бражения, позволяющие использовать обучение с учителем,
в том случае, когда имеется т + 1 классов s0, . . ., sm, харак¬
теризуемых р-мерными распределениями (необязательно
нормальными): wp (х | s0), . . ., wp (х | sm). Вид каждого
из распределений известен, а все или часть их параметров
неизвестны. Если получена классифицированная обучаю¬
щая выборка, т. е. т + 1 наборов р-мерных векторов,
причем x[k\ . . ., x<V принадлежит классу sA, k = 0, . . .
. . ., m, то можно по обучающим выборкам построить
оценки неизвестных параметров распределений и, подстав¬
ляя эти оценки в wp (х | sA), найти оценки функций рас¬
пределения wp(x | Sk) (см. §2.6.6). Далее, используя мини¬
мум среднего риска (при известных априорных вероятно¬
стях рь, k = О, . . ., m, принадлежности каждому из рас¬
пределений и величинах потерь П^) как критерий качества
классификации, можно, заменяя в байесовском правиле
(1.144) функции распределения wp (х | sh) их оценками,
получить следующее правило классификации: наблюдаемая
выборка X принадлежит классу Sk, если
т
2 (П^* Hife) Pi Wp (X | Si) ^ 0, j = 0, tTl] j =7^= k.
i=0
(7.28)
Пусть, например, имеется m + 1 классов, характеризуе¬
мых многомерными нормальными распределениями с неиз¬
вестными средними ak и корреляционными матрицами МА =
= М (k = 0, . . ., т), и пусть в результате обучения полу¬
чены выборки из каждого распределения. Если выборка
:х[к\. . ., Хп1 принадлежит нормальному распределению с па¬
раметрами а&, М (k = 0, . . ., т), то можно построить
оценки максимального правдоподобия неизвестных пара¬
метров:
пк
a* = 7£-2xJk). (7-29)
г=1
т nk
М = 1 2 2 (x<ife) - a*) (xift) ~ **)'» (7-3°)
2 «,-(/»+ I) h=0i=i
г=0
456
и найти оценки распределений [см. (2.201)]:
<х 1 s,)" еч> [ - т <* - *•>' <х -**>]•
ЬО т. (7.31)
Полагая niy = Il(i^=/), П^ = 0, находим из (7.28) пра¬
вило классификации: наблюдаемая выборка X принадлежит
классу Sk, если
= |п = Гх _ I. (aft + а,)]' М-1 (aft - а,) > In %,
Wp (х I Sj) L л J Рк
/ = 0, ..., т; j^=k. (7.32)
Когда все оо, совместное распределение стати¬
стик Vhj становится нормальным (см. [1, стр. 208]).
Если вид функций распределения wp (х | Sk) неизвестен,,
то можно воспользоваться обучающими выборками для
оценки этих функций по методике, указанной в § 2.7.4.
Тогда в соответствии с (2.211)
nk V (k)
^<*Ы=^2П^к[тр^]. (7'33>
г=1 j=l
X = (хи хр), х<.*> = (л$\ х<Ы), (7.34)
где ядро аппроксимации К (у) и величина h (п) удовлет-
воряют условиям (2.211').
7.2.5. Связь с геометрическим подходом. Предположение
о том, что классы характеризуются нормальными распре¬
делениями, имеет смысл и в тех случаях, когда в действи¬
тельности эти распределения отличаются от нормального.
Рассмотренные выше правила классификации, основанные
на нормальных распределениях с неизвестными параметра¬
ми, являются оптимальными и для случаев, когда распреде¬
ления на самом деле не нормальны, если критерием каче¬
ства служит наименьшее «расстояние» от вектора наблюде¬
ний до вектора обучающих выборок [4]. Расстоянием векто¬
ра наблюдений X до вектора обучающей выборки х^>, . . „
. . ., Хп] называется величина
•srSP-^MP.
h= 1
457
(где || X — || — норма вектора X — х^), т. е. сумма квад¬
ратов компонент этого вектора.
Естественно до классификации применить линейное
преобразование для того, чтобы максимально уплотнить
обучающие выборки данного класса. Точнее говоря, необ¬
ходимо найти такое линейное преобразование А* с сохра¬
нением объема (т. е. с якобианом преобразования, равным
единице), при котором величина
ni ni
" = 2 2II А< <4" - 11" <7-35>
k=i j=i
минимальна. В [4] было доказано, что таким преобразова¬
нием является вращение с последующим диагональным
преобразованием D*. Столбцами матрицы С* служат собст¬
венные векторы *) выборочной корреляционной матрицы М*
[см. (7.22)], а элементами диагональной матрицы D; явля¬
ются величины
V J-
^■=4г(Г1оР)Рб^ (7-36)
°k i=1
где cfW — среднеквадратическое отклонение векторов х(^>
в направлении /-го собственного вектора матрицы С*; р —
размерность векторов и bkj^ 1 при k — /; = 0 при кф /.
Правило классификации может быть сформулировано
теперь следующим образом: по обучающим выборкам
и наблюдению X вычисляются величины
ni
Pi ='Т7 2 II D,CJ (X - х£>) ||2, i = 0, 1, т, (7.37)
1 /г=1
определяется наименьшее из них р7- = min pf, наблюдение
г
относится к /-му классу.
В [4 ] доказано также, что указанное правило эквивалент¬
но правилу, основанному на определении логарифма отно¬
шения правдоподобия, вычисленного в предположении нор¬
мальности распределений с выборочными векторами средних
и корреляционных матриц (при равенстве априорных вероят¬
ностей Pi = р — и плат = П).
*) См. подстрочное примечание на стр. 454.
458
7.3. БАЙЕСОВСКИЕ ПРОЦЕДУРЫ ОБУЧЕНИЯ
7.3.1. Метод апостериорных вероятностей. Другой подход
к проблеме классификации с учителем связан с допущением,
что параметры 0Ь . . ., 0„, определяющие распределения
классов wp (х | Of, sO, ..., wp (х 10m; sm), представляют неза¬
висимые случайные конечномерные векторы с известными
априорными распределениями к=\, ..., т. Если
имеется набор обучающих выборок Х0б = (х4, ..., хт), где эле¬
мент хь представляет вектор-строку xk = (х(^, ..., х^)), клас¬
сифицированных выборок, принадлежащих классу sk, и наблю¬
дение X, то, используя формулу Байеса, можно определить
апостериорную вероятность класса Sk при заданных Х0б, X:
(Хоб, X | Sh)
P{sk \\0б,\} = -гр V 06. (7.38)
2 phW (X0g, X I Sk)
h= 1
где pk — априорная вероятность принадлежности классу sh.
Имея величины Р {sk | Х0б, X}, к = 1, ..., m, относим наблю¬
дение X к тому классу sj, для которого апостериорная
вероятность максимальна, т. е.
P{sj\X06, X}>P{sfe|Xo6, X} (7.39)
для всех кф'].
Так как
W (Хоб, X | sh) = W (X | Хоб, sk) W (Х0б | s*). (7.40)
причем второй сомножитель в (7.40) зависит только от обу¬
чающих выборок, то из (7.38) и (7.39) следует, что алго¬
ритм классификации сводится к вычислению величин
pkW (X | Хоб, Sk), к = 1, . . ., т, и отнесению наблюде¬
ния X к тому классу Sj, которому соответствует максималь¬
ная из полученных величин. Если априорные вероятно¬
сти pk одинаковы, то классификация при заданном
наборе Х0б сводится к определению того класса sj, для
которого наблюдаемая выборка X максимизирует функцию
правдоподобия W (X | Х0б, s*). Последнюю можно рас¬
сматривать в качестве оценки неизвестных распределений
классов при заданном наборе обучающих выборок Х0б-
459
Функцию W (X | Xo6, Sk) вычисляем, используя фор¬
мулу полной вероятности:
W (X I Хоб, Sfc) = (X I Хоб, 0ft, Sh) W (0* I Xo6, sh) deh =
Oft
= Jr(X|0h, sk)W(Qk\xk, Sk)dQk, 0fee^ft, (7.41)
так как очевидно, что W7 (0fe | Xo6, sk) = U?(0fe | xft, s*),
a U?(X | Х0б» 0/n Sft) вовсе не зависит от обучающих выборок.
Апостериорную плотность вероятности параметра 0*
для заданной обучающей выборки находим по формуле
Байеса
W (х^ | Sk) /у
J Ю (0ft) 117 (Xft I 0ft, sk) d0ft ‘
Oft
В формуле (7.42) второй сомножитель указывает, каким
образом в процессе обучения с учителем изменяется пер¬
воначальное априорное распределение параметров 0&.
Заметим, что в том случае, когда параметры 0А известны
и равны 0*, их условные плотности представляют дельта¬
функции
№ (0ft | Xft, Sft) = 6(0ft — 0J)
и из (7.41) следует
И7(Х|Хоб, sk) = W(X\Ql,sh),
как и должно быть. В этом случае задача классификации
полностью совпадает с многоальтернативной проверкой
гипотез, рассмотренной кратко в первой главе.
7.3.2. Обнаружение неизвестного сигнала в нормальном
шуме. В качестве простейшей *) иллюстрации указанной
выше методики классификации рассмотрим задачу об обна¬
ружении неизвестного сигнала в аддитивном нормальном
некоррелированном шуме с нулевым средним и диспер¬
сией а2. Сигнал представляет независимую от шума нор¬
мальную случайную величину а, априорное распределение
которой определяется параметрами (а0, aj). Проблема обна¬
ружения сигнала состоит в этом случае в отнесении наблю¬
*) Более общая задача распознавания неизвестных сигналов
(т > 2) в шумах рассмотрена в [2].
460
H?(0Jxfc, Sk) = w(0k)
дения X к распределению смеси сигнала и шума (х | s4)
или к распределению шума (х | s0).
Если априорное распределение сигнала не изменяется
в процессе обучения, т. е.
_ (а—ар)2
W (а\хи ..., хп\ Sj) = —тт= е 2о° .
а0 У 2я
то в соответствии с (7.41) функции правдоподобия Wi (X | s4),
(X | s0) равны *)
— оо
~ У2л {<!}, еХр [ ~ 2 4-] ’ ^7'43^
(7'43')
Правило выбора решения (классификации) по критерию
максимума апостериорной вероятности является в этом
случае частным случаем рассмотренных в гл. 1 и 5 байесов¬
ских правил проверки гипотез (обнаружения сигнала).
Принимается решение о наличии сигнала, если
Wi(X\si)>Wi(X\s0), (7.44)
и о том, что присутствует только шум, если выполняется
неравенство, противоположное (7.44). Из (7.43), (7.43')
и (7.44) следует, что алгоритм классификации может быть
записан следующим образом: наблюдение X относится к сме¬
си сигнала и шума, если
ао Х + ±.^гХ*>с, (7.45)
и оно относится к шуму, если
аоХ + ±^Х*<с, (7.45')
где
c = flj + £i+£lln(l-{--£*-). (7.45")
*) Формула (7.43) следует непосредственно из того, что сумма
сигнала и шума в рассматриваемом случае распределена нормально
со средним, равным а0} и дисперсией erg + а2.
461
Если необходимо классифицировать не одно наблюдение,
а выборку (Хь . . ., XN), то при сохранении предположе¬
ний о независимых значениях сигнала и шума следует
в (7.45) и (7.45') заменить X и X2 суммами наблюдаемых
выборочных значений и квадратов этих значений [см. (1.127)
и (5.182)]. Оптимальное устройство обнаружения сигнала
состоит из двух блоков: согласованного фильтра и энерге¬
тического приемника [см. (5.87)]. Выходные значения сум¬
мируются, а сумма затем сравнивается с порогом.
Рассмотрим теперь ситуацию, когда априорные сведения
о сигнале уточняются в процессе обучения с учителем.
Пусть имеется выборка xlf . . ., хПУ о которой известно,
что она принадлежит смеси сигнала и шума. Апостериорное
распределение сигнала определяется по формуле (2.168)
Wi(a\xl, jfc-.sj)- (l+ n(yJ)
v2
X
X
1
1+Л
na§
(12*.
h= 1
nal )
21
}
J
(7.46)
т. e. так же, как и априорное распределение, является нор¬
мальным. Отличие состоит в том, что параметры апосте¬
риорного распределения зависят от обучающей выборки
«„ = т, <а> _ - ■ (I | + ж!) , (7.47)
l+~^2 k=i
М2{а}-
(7.48)
Отсюда следует, что функция правдоподобия
Wi(X\xif . . ., хп\ Si) — нормальная с параметрами ап
и Оп и что правило классификации наблюдения X при нали¬
чии обучающей выборки хи . . ., хп получается из (7.45)
и (7.45') заменой а0 величиной условного среднего ап
из (7.47) и а;; — величиной условной дисперсии из (7.48).
Иначе говоря, структура оптимального устройства обна-
462
ружения остается неизменной, а изменяются при обучении
лишь параметры блоков, входящих в это устройство.
При /г—> оо из (7.47) и (7.48) следует, что
(Хп ^ ^ %i > Gn ^ 0»
i=i
и, следовательно, при неограниченном увеличении размера
обучающей выборки оптимальное устройство обнаружения
приближается к линейному согласованному фильтру (вто¬
рое слагаемое в левой части (7.45) будет стремиться к нулю).
Рассмотренный пример можно обобщить на случай кор¬
релированных значений сигнала и коррелированного шума
при сохранении предположения об аддитивности шума
и независимости его от сигнала. Пусть вектор средних
значений шума нулевой, а его корреляционная матрица
равна М. Априорное многомерное нормальное распределе¬
ние сигнала характеризуется вектором средних а0 и кор¬
реляционной матрицей М0. Априорное распределение ад¬
дитивной смеси независимых сигнала и шума также нор¬
мальное с вектором средних а0 и корреляционной матри¬
цей М + М0. Имеется векторная обучающая выборка
хь . . ., хп, принадлежащая смеси сигнала и шума. Тогда
апостериорное распределение сигнала после обучения также
нормальное, но с измененными (условными) вектором сред¬
них и корреляционной матрицей. Они определяются из
следующего рекуррентного соотношения, справедливого
для условных вектора средних ад и корреляционной матри¬
цы Мп нормального распределения [1]:
an = М (М^-! -f- М)-1 ап-1 -f- Мд-i (Mn-A -f- М)"1 хд, (7.49)
Мп = М(МЛ-1 + М)-1Мд-1. (7.50)
Из (7.49) и (7.50) следует:
ап = -^-(м0 + -^-) +Мо (Мо-f--^-) (7-51)
1=1
Мп = -£-(Мо + -£-)'1Мо. (7.52)
Особенно простой вид формулы (7.51) и (7.52) приобре¬
тают в том случае, когда .М = ЯМ0, где X — положительное
463
число. Тогда
а»=тЬга»+тЬ-42*<. (7-53)
г— 1
м"=-гЬгм- <7'54>
В одномерном случае (7.53) переходит в (7.47), а (7.54) —
в (7.48), причем К = a2/aj.
Функция правдоподобия W (Х|Хоб; Si) в общем случае
является многомерной нормальной функцией распределе¬
ния, характеризуемой вектором средних ап и корреляцион¬
ной функцией M„, определяемыми по формулам (7.51)
и (7.52). Следует подчеркнуть, что только условные средние
зависят от обучающих выборок (точнее, от выборочного
среднего), а условная корреляционная матрица зависит
лишь от размера п обучающей выборки.
7.3.3. Простой перебор и метод угадывания. Рассмотрим
теперь задачу обнаружения неизвестного сигнала в шумах
при обучении без учителя, когда обучающая выборка
не классифицирована. Это означает, что заранее неизвестно,
принадлежит ли данное выборочное значение xt смеси сиг¬
нала и шума или только шуму. При этом на пути построения
правила классификации наблюдения X по критерию макси¬
мальной апостериорной вероятности сразу же возникает
трудность в определении апостериорной плотности пара¬
метра Wi(a\X0Q]sl) для неклассифицированной выборки
Хоб С^1> • • •» Хп).
Самый простой выход из этого затруднения состоит,
как кажется, в переборе всех возможных последовательно¬
стей хи • • •> лгп, любой член*г которой может принадлежать
либо смеси сигнала и шума (состояние Si), либо только шуму
(состояние s0). Для любой частной последовательности ■)
состояний при обучении
n^)==(s(1>, • • •, S<n>),
где каждый из элементов s^‘\ / = 1, . . ., п может совпа¬
дать либо с Si, либо с s0, апостериорная плотность
W (а | Х0б; П„}) вычисляется по методике, указанной
в § 7.3.2, т. е. как при обучении с учителем. Число раз¬
личных последовательностей для обучающей выборки раз-
464
мером п равно 2п. Тогда
W'l (а I Хоб) = 2 wi (fl I Хоб! №) Р {П(п*> I Хоб}, (7.55)
k=i
где Р (П1Ь) | Х0б} — вероятность того, что в обучающей
выборке реализуется последовательность состояний П^.
(Эта вероятность может быть легко вычислена, если пред-
I P{Soi$o}
Ц зп |—*
х
P{s0,s,}
P{si
—у, (а | Ы.),Д
~**ф*1
i'So} |
Рис. 31. Блок-схема адаптивного устройства обнару¬
жения неизвестного сигнала при обучении без
учителя.
положить, например, что появление или непоявление сигна¬
ла при обучении независимо и известна априорная вероят¬
ность появления сигнала в любом данном наблюдении.)
Из (7.55) следует, что оптимальное устройство обнаруже¬
ния при самообучении на выборке размером п должно
содержать 2П устройств, каждое из которых такое же, как
и при обучении с учителем (согласованный фильтр и энер¬
гетический приемник). Выходы указанных устройств умно¬
жаются на весовые коэффициенты Р {П^ | Х0б} и затем
суммируются. Блок-схема такого устройства для простого
случая обучающей выборки из двух элементов показана
на рис. 31. При п = 3 устройство стало бы примерно вдвое
сложнее. Для размера обучающей выборки порядка несколь¬
ких десятков реализуемость устройства, основанного на
переборе, становится по меньшей мере проблематичной.
465
Естественно, что при малом размере п обучающей выборки
рабочие характеристики классификации оказываются пло¬
хими, а по мере увеличения п они приближаются к характе¬
ристикам алгоритмов с полностью известной статистикой
распознаваемых классов. При этом, однако, сложность
оптимального устройства при обучении без учителя растет
Было показано [44], что для определения апостериорной
плотности неизвестного параметра класса, можно указать
конечный вычислительный алгоритм классификации, не
зависящий от размера обучающей выборки, тогда и только
тогда, когда обучающие наблюдения xlf . . ., хп характе¬
ризуются достаточной статистикой конечной размерности.
Для рассматриваемой здесь задачи обнаружения неизвест¬
ного сигнала плотность вероятности любого элемента обу¬
чающей выборки (без учителя) имеет вид [см. (7.13)]
где р — вероятность наличия сигнала. Но, как доказано
в работе [11], для плотностей вероятностей вида (7.56)
не существует достаточной статистики конечной размер¬
ности. Отсюда следует, что сложность любого оптимального
устройства обнаружения при обучении без учителя должна
неограниченно возрастать при увеличении размера обучаю¬
щей выборки.
Рассмотрим одну из возможностей упрощения правила
классификации при обучении без учителя ценой потери
оптимальности этого правила. Так как оптимальное устрой¬
ство обнаружения неизвестного сигнала при обучении с учи¬
телем имеет приемлемо простую структру, а аналогичное
устройство при самообучении необозримо усложняется,
то в последнем случае естественной представляется про¬
цедура, состоящая в угадывании последовательности состоя¬
ний (Si — смесь сигнала и шума, s0 — только шум) при
переходе от одного элемента обучающей выборки к другому
и в использовании этой отгадки так, как будто бы она
правильна (как если бы она была «учителем») *). Структура
*) По этой причине метод угадывания иногда называют обуче¬
нием с реальным учителем, т. е. с таким учителем, который может
ошибаться.
как 2п.
(7.56)
466
устройства обнаружения становится при этом тождест¬
венной структуре оптимального устройства обнаружения
с учителем, причем результаты отгадок при самообучении
используются для изменения параметров этого устройства
по формулам, указанным в § 7.3.2. Но так как при угады¬
вании неизбежны ошибки, устройство обнаружения теряет
свойство оптимальности. Однако, как отмечено в [44],
для удовлетворительной работы такого устройства обнару¬
жения нет необходимости, чтобы угаданная последователь¬
ность состояний была в точности правильной. Было дока¬
зано, что при больших размерах п обучающей выборки
существует подмножество множества 2П всех возможных
последовательностей состояний, обладающее двумя свойст¬
вами: 1) вероятность присутствия истинной последователь¬
ности состояний в этом подмножестве близка к единице,
2) если отгаданная последовательность является элементом
этого подмножества,, то устройство обнаружения, исполь¬
зующее метод отгадывания, при п-^оо стремится к опти¬
мальному. К сожалению, пока не найдены эффективные
методы отыскания подмножеств, обладающих указанными
свойствами.
Видоизменение метода угадывания последовательности
состояний в обучающей выборке представляет подход,
который базируется на предположении, что последователь¬
ность решений в процессе самообучения является серией
догадок [41]. При таком подходе параметрам устройства
обнаружения неизвестного сигнала вначале приписываются
произвольные значения. Каждый раз, когда устройство
выдает решение о наличии сигнала, параметры устройства
изменяются в соответствии с принятым в этот момент сигна¬
лом. Аналогичный подход с небольшими изменениями ис¬
пользовался в [29].
7.3.4. Адаптивный байесовский подход. Обычный байесов¬
ский подход, который использовался во всех предыдущих
главах книги, требует знания априорных распределений
неизвестных параметров. В § 7.3.1 этой главы начальное
априорное распределение параметра класса видоизменялось
при обучении с учителем. Нельзя ли в задачах клас¬
сификации воспользоваться обучением с учителем для того,
чтобы использовать байесовский подход без какого-либо
начального априорного распределения? Утвердительный
ответ на поставленный вопрос базируется на одной теореме,
установленной С. Н. Бернштейном и Р. Мизесом [14].
467
Сущность ее состоит в следующем. Пусть xt — выборочное
значение из распределения с неизвестным (случайным)
параметром 0. Апостериорное распределение этого парамет¬
ра равно
Wri(0ki) = o'1(0)-s , (7.57)
I wt (0) Г, (*! | 0) dQ
— ОО
где Wi (0) — априорная плотность вероятности парамет¬
ра 0. Если извлекается следующее выборочное значение х2,
то Wi (0 | Xi) может быть использовано в качестве нового
априорного распределения для вычисления апостериорного
wt (01 *t, х2) = име | х,) — =
J Wl(Q\xi)Wl(x2\Q)dQ
— ОО
= т, (8) . »-■(«■ I 9) г, (,г 10) _ (7 58)
J Ш) (8) Wl(x[\&)Wi (ЛГ2 19) d& ■
— ОО
Аналогично, когда имеется выборка п независимых эле¬
ментов хи ..., хП1
Wi(Q\xi,...,xn) = wl(Q)~ wn(xlt...,xn 1°) ( (759)
J «01 (0) lFn (х4 хп | 0) dQ
— ОО
где
Wn(xi,...,xn |0)= fj flM*,|0).
k= 1
Упомянутая выше теорема утверждает, что если априор¬
ная плотность Wt (0) параметра 0 непрерывна, то по мере
возрастания объема выборки апостериорное распределе¬
ние Wi (0 | хи . . ., хп) перестает зависеть от априорного
распределения. Таким образом, если только существует
непрерывная априорная плотность параметра, то при доста¬
точно большом п более или менее безразлично, какую функ¬
цию aui(0) подставить в формулу (7.59). Эта предельная
теорема послужила, по-видимому, идейной основой адаптив¬
ного байесовского подхода *) к проблеме классификации,
предложенного Роббинсом [14, 16].
*) Часто рассматриваемый метод называют эмпирическим
байесовским подходом.
468
Пусть (xlf 0i), . . (xn, вп) — последовательность не¬
зависимых пар случайных величин, причем все 0*, i =
= 1, . . л, подчиняются одному и тому же априорному
(неизвестному) распределению Wi (0), а все xt — распреде¬
лению
оо
Wt(x)= J Wi (х 10) Wi (0) dQ.
— оо
Для дискретных Xi
оо
P{xt = x}= ^ Р {xi = х 10} wt (0) dQ.
— оо
Если принимается решение у о том, что наблюдение X
принадлежит распределению W{ (х | 0), то возникают поте¬
ри, определяемые неотрицательной функцией П (у, 0).
Так как (0) неизвестно, то правило выбора решения
строится по обучающей выборке xlf . . . , хп (вели¬
чины 0i, . . . , 0П остаются всегда неизвестными). Жела¬
тельно, чтобы это правило при неограниченном увеличении
размера обучающей выборки приближалось к байесовскому
правилу выбора решения, когда wt (0) известно. Правило,
удовлетворяющее этому требованию, назовем асимптоти¬
чески оптимальным. В работе [17] указан способ построе¬
ния асимптотически оптимальных правил. Ограничимся
изложением этого способа применительно к двухальтерна¬
тивной задаче теории статистических решений с неизвестным
априорным распределением параметра 0, определяющего
статистику наблюдений (работа [17] содержит общую
постановку).
Обозначим
оо
Д(*) = I [П (VI, 0) - П (То, 0)] Wi (х 10) Wi (0) dQ (7.60)
— оо
и предположим, что функция Ап (X) от наблюдения X,
вид которой зависит от обучающей выборки хи . . ., хп>
сходится по вероятности к Д (X) при п оо. Тогда асимп¬
тотически оптимальным правилом выбора решения будет
следующее: принимается решение уо, если
Ап (Х)>0,
(7.61)
469
и принимается решение yit если выполняется неравенство,
противоположное (7.61). (Для дискретных распределе¬
ний Wi (а: | 0) в (7.60) следует заменить на Р {xt = х | 0}.)
Рассмотрим пример, иллюстрирующий возможность фак¬
тического построения последовательности функций Дп (х),
сходящихся по вероятности к Д (х). Проверяется одно¬
сторонняя гипотеза Я0 о том, что параметр 0 пуассоновского
распределения дискретной случайной величины х не пре¬
восходит заданной величины 0О, т. е. 0<0О. Пусть у0 —
решение, состоящее в принятии гипотезы Я0, a yt — в откло¬
нении этой гипотезы. Зададим функцию потерь П (у*, 0)
в виде
"<*•«-{ еХ Itl: (7'62)
п(*-И V !>£ <7-6Г)
Так как для пуассоновского распределения дискретной слу¬
чайной величины
Р{х=хь |0} = -^ге-®, 0>О, *=0,1,2,..., (7.63)
то, подставляя (7.63) в (7.60) [вместо №i(x|0)], получим
с учетом (7.62), (7.62')
оо
Д (*) = С (0О — 0) -^г e~*Wi (0) dQ = 0ОFt (х) — (х-г 1) Л (*+1),
о (7.64)
где
оо
F1 (X) = e-e^j (0) dQ = Р {xt = х). (7.65)
о
Введем счетчик совпадений
v (*,*/)={ Х у (7-66)
10, хфу
и рассмотрим следующую функцию от х, зависящую от
обучающей выборки хи ..., хп\
u„(jv) = -2 v(*> xi)- (7-67)
i=l
470
Сумма в правой части (7.67) равна числу тех обучающих
выборочных значений, которые в точности равны х, и, сле¬
довательно, ип (лс) представляет эмпирическое распределе¬
ние х, сходящееся при п оо по вероятности к Fi (х)
[см. (7.65)]. Тогда функция
Дд (х) = %ип (х)-(х+1)ип(х+1) (7.68)
сходится по вероятности к А (х), определенной согласно
(7.64). Отсюда следует асимптотически оптимальное пра¬
вило: при наличии обучающей выборки хи . . хп прини¬
мается решение у0 (справедлива гипотеза Я0), если
п п
hr2jv(X,xi)-Z±±'2iv(X+l,xi)>0, (7.69)
i= 1 i=i
и решение yi (гипотеза Я0 неверна), если имеет место нера¬
венство, противоположное (7.69).
7.4. СТОХАСТИЧЕСКАЯ] АППРОКСИМАЦИЯ
7.4.1. Нули и экстремумы функции регрессии. Пусть
каждому значению параметра 0 соответствует случайная
величина х с функцией распределения Ft (х | 0), причем
*П\ {х I 0} = т (0). Требуется найти решение уравнения
регрессии
т(0) = О (7.70)
в предположении, что оно имеет единственный корень и что
функции Fi (х | 0) и т (0) неизвестны. Роббинс и Монро
предложили [13] итерационную процедуру так называемой
стохастической аппроксимации для построения оценок
указанного корня при помощи обучающей выборки
•• -у хП9 для каждого элемента хи которой
mi {*A|0fc}=m(0fc).
Оценка 0д+1 искомого корня находится из оценки 0Д
по обучающему выборочному значению хп из соотношения
0^+1= &п + апхп, п> 1, (7.71)
причем 0± = 0± — произвольное постоянное число. Если коэф¬
фициенты ап удовлетворяют условиям
оо оо
2 а’<оо, (7.72)
1 п=1
471
то при неограниченном увеличении размера п обучающей
выборки оценка 0д+1 стремится по вероятности к корню
уравнения (7.70). Заметим, что условиям (7.72) удовле¬
творяет, например, гармонический ряд .
Аналогичная итерационная процедура может быть
использована для определения экстремума унимодальной
функции регрессии т (0). Такая процедура, предложенная
Кифером и Вольфовицем [13], позволяет определить оцен¬
ку 071+1 экстремального значения функции регрессии в зави¬
симости от предыдущей оценки 0Л и обучающих выборочных
значений х2п и х2п-\ из соотношения
вп+1 = к + апХ2п~Х2п-1, п> 1, (7.73)
СП
причем выборки х2п и x2n-i независимы и соответствуют
значениям параметра 0д + сп и 0Д — сп. Начальная величи¬
на 0Ь как и в предыдущем случае, произвольная. Если
коэффициенты ап и сп удовлетворяют условиям
ап>0, сл>0, сп—>0 при п ^ оо, (7.74)
оо оо оо
2ал=°°> %апсп<оо, 2 (-^)2<°°’ (7.74')
п=1 п=1 П=1
то при неограниченном увеличении размера обучающей
выборки оценка 0n+i, определенная согласно (7.73), стре¬
мится по вероятности к экстремальному значению функции
регрессии.
При некоторых дополнительных требованиях к функ¬
ции т (0) оценки 0t+1, определяемые согласно (7.71) и (7.73),
могут сходиться в среднеквадратическом к нулю и экстре¬
муму функции регресссии соответственно. Имеются также
обобщения указанных процедур на многомерный случай
(см. [13]).
Рассмотренные алгоритмы могут быть использованы
и для оценки нуля или экстремума функции тi {/ (х) | 0},
где / (х) — заданная функция случайной величины х с рас¬
пределением Fi (х | 0). В этом случае в формулах (7.71)
и (7.73) вместо обучающих выборочных значений хи следует
подставить f{xk).
Недостатком методов стохастической аппроксимации
является пока отсутствие каких-либо систематических ука-
472
заний на способы выбора коэффициентов cin и сп в (7.71)
и (7.73), обеспечивающих достаточно быструю сходимость
итерационных процессов, а также способов вычисления
точности оценок, которые позволяли бы на каком-то шаге
остановить этот процесс. Однако достоинством рассмотрен¬
ных алгоритмов оценки является их простота, позволяющая
относительно легко реализовать итерационный процесс.
7.4.2. Оценка параметров и функций распределения.
Стохастическая аппроксимация может быть использова¬
на для оценки неизвестных параметров и функций распре¬
деления классов [20]. В качестве простейшего примера
рассмотрим сначала оценку неизвестного среднего значе¬
ния. Пусть параметр в (7.70) представляет неизвестное
среднее. Тогда, полагая / (х) = х — 0О, получим уравне*
ние регрессии
mi {* — 0019} = 0,
и из (7.71) находим рекуррентное соотношение для оценки
неизвестного среднего (корня уравнения регрессии):
0Д+1 = 071 + #71 (*71 07l) = 071 (1 #71) + #71*71* (7-75)
При #71=^ из (7.75) следует, что
п
0п+1=!2*м (7-75')
i=i
т. е. оценка среднего значения равна среднему арифметиче¬
скому обучающих выборочных значений.
Если о2 — неизвестная дисперсия случайной величины х
с нулевым средним, то, полагая / (х) = х2 — о„, получим
уравнение регрессии
mi {хг — oj | о2} = 0
и соответствующий ему алгоритм оценки дисперсии
^+1 = ^ (*» - ^) = ^ (1 - «») + (7-76)
При 0/» = -^- из (7.76) следует:
П
= Р-76')
i=i
Можно применить стохастическую аппроксимацию и для
оценки неизвестной плотности Wi (х) по обучающим выбор¬
31-197 473
кам, принадлежащим этой плотности, если воспользоваться
разложением в ряд по ортогональным функциям Qk (х)
[см. (2.120) в первой книге]. Тогда оценка неизвестной
плотности сводится к оценке коэффициентов разложения
7.4.3. Различение двух неизвестных сигналов. Для ил¬
люстрации итерационной процедуры (7.73) рассмотрим зада¬
чу о различении двух сигналов s0 и sit функции распределе¬
ния которых Wi (х\ s0) и Wi (х\ Si) неизвестны. Правило выбо¬
ра решения состоит в сравнении наблюдения X с порогом 0.
Если X < 0, то наблюдение относится к сигналу so,
а если Х>0, то — к сигналу s4. Необходимо, используя
обучающие выборки, выбрать порог 0 таким образом, чтобы
минимизировать средний риск.
Согласно (1.18) средний риск в рассматриваемом случае
равен
где р и <7 —априорные вероятности появления сигналов s4
и s0, a Ilij, (i, j — 0, 1) —элементы платежной матрицы.
Вводя решающую функцию (см. § 1.2.1)
можно выражение среднего риска записать в виде
+ [ 1 — Ф (л:, 0)] [^Поо^! (л: I So) + рП-юЩ (х | st)]} dx. (7.81)
(7.77)
из соотношения
= ty + aW [Qk (xn) - CW], *=1,2,... (7.78)
При a<ft> = —
e n n
П
П
(7.78')
(7.78')
oo
# (9) = § mom (x I So) + рПцЩ (XI st)] dx +
0
0
+ § [^ПооШ! (л: I So) + pUl0Wi (x | s4)] dx, (7.79)
— oo
*<0,
*>0,
(7.80)
oo
Я(0)= § {Ф (x, 0) [^П01г^! (x | s0) + pTiHWi (x | Sj)]
— oo
474
Из (7.81) следует, что средний риск R (0) представляет
функцию регрессии для дискретной случайной величины
с четырьмя возможными значениями
y = f(x) = f, / = 0, 1, (7.82)
когда х — выборочное значение из распределения сигнала s* и
Ф(х, 0) = /. (7.82')
Таким образом,
/?(0) = т1{/(д:)|0}, (7.83)
и задача об определении оптимального порога 0* для клас¬
сификации наблюдения сводится к вычислению минимума
функции регрессии (7.83) при неизвестных распределениях
сигналов.
Оставляя в стороне исследование функции регрессии,
имеющей несколько экстремумов, ограничимся случаем
единственного минимума, как показано на рис. 32
Рис. 32. Функция среднего риска.
(при П10 = П01 = 1 и П0о = Пи = 0). Для оценки опти¬
мального порога 0* может быть использован итерационный
алгоритм (7.73)
Ьп+1=% + апУ2п~У2п-\ (7.84)
СП
где yzn = Uij, когда ^ — выборочное значение из сигнала
Si и Ф (x2n,Qn + cn) = j, #27.-1 = П,7, когда x2n-t — выбороч¬
ное значение из сигнала Si и Ф(х2п-и 0„ — cn) = j.
Оценка 0j на первом шаге представляет произвольную
постоянную, а коэффициенты On и сп подчинены условиям
(7.74), (7.74').
При неограниченном увеличении размера п обучающих
выборок оценка 0n+i стремится по вероятности к оптималь¬
31* 475
ному порогу 0*, для которого средний риск R (0*) имеет
минимально возможную величину. При дополнительных
предположениях о функции R (0) сходимость может обеспе¬
чиваться и в среднеквадратическом (см. [26]).
ЛИТЕРАТУРА
МОНОГРАФИИ
1. Андерсон Т. Введение в многомерный статистический
анализ. Пер. с англ., под ред. Б. В. Гнеденко. Физматгиз, 1961.
2. Браверман Д. Теория опознавания образов. В сб.
«Статистическая теория связи». Пер. с англ., под ред. А. В. Ба-
лакришнана. Изд-во «Мир», 1967.
3. Куликовский Р. Оптимальные и адаптивные процессы
в системах автоматического регулирования. Пер. с польского,
под ред. А. Г. Бутковского. Изд-во «Наука», 1967.
4. Себастьян Г. С. Процессы принятия решений при распо¬
знавании образов. Пер. с англ., под ред. В. И. Иваненко. Изд-во
«Техника», Киев, 1965.
СТАТЬИ
5. Айзерман М. А., Браверман Э. М., Р о з о н о-
э р Л. И. Теоретические основы метода потенциальных функ¬
ций в задаче обучения автоматов разделению входных ситуаций
на классы. «Автоматика и телемеханика», 1964, № 6.
6. Айзерман М. А., Браверман Э. М., Г л у ш-
ков В. М., Ковалевский В. А., Л е т и ч е в-
с к и й А. А. Теория опознавания образов и обучающихся
систем. «Известия АН СССР», Техническая кибернетика,
1963, № 5.
7. Айзерман М. А., Браверман Э. М., Розоно-
э р Л. И. Метод потенциальных функций в задаче о восста¬
новлении характеристики функционального преобразователя по
случайно наблюдаемым точкам. «Автоматика и телемеханика»,
1964, № 12.
8. Айзерман М. А., Браверман Э. М., Р о з о н о-
эр Л. И. Процесс Роббинса — Монро и метод потенциальных
функций. «Автоматика и телемеханика», 1965, № И.
9. Б а ш а р и н о в А. Е. Об асимптотических экстремальных
процедурах параметрического распознавания образов. «Радио¬
техника и электроника», 1965, № 5.
10. Б е р н ш т е й н С. Н. О доверительных вероятностях Фише¬
ра. «Известия АН СССР», сер. математическая, 1941, № 5.
И. Д ы н к и н Е. Б. Необходимые и достаточные статистики для
семейства распределений вероятностей. «Успехи математических
наук», 1951.
12. Л и х а р е в В. А., Т е б я к и н В. П. Методы обучения
систем, решающих задачи распознавания образов и обнаруже¬
ния сигналов на фоне шумов (обзор). «Зарубежная радиоэлек¬
троника», 1967, № 11.
476
3. Логинов Н. В. Методы стохастической аппроксимации.
«Автоматика и телемеханика», 1966, № 4.
14. Нейман Дж. Два прорыва в теории выбора статистических
решений. Пер. с англ. «Математика», 1964, 8 : 2.
15. П у г а ч е в В. С. Оптимальные алгоритмы обучения авто¬
матических систем в случае неидеального учителя. Докл.
АН СССР, 1967, т. 172, 5.
16. Р о б б и н с Г. Эмпирический байесовский подход к статисти¬
ке. Пер. с англ. «Математика», 1964, 8 : 2.
17. Р о б б и н с Г. Эмпирический байесовский подход к задачам
теории статистических решений. Пер. с англ. «Математика»,
1966, 10 : 5.
18. X а р к е в и ч А. А. О выборе признаков при машинном опо¬
знавании. «Техническая кибернетика», 1963, № 2.
19. Ц ы п к и н Я. 3. О восстановлении характеристики функцио¬
нального преобразователя по случайно наблюдаемым точкам.
«Автоматика и телемеханика», 1965, № И.
20. Цыпкин Я. 3. Адаптация, обучение и самообучение в авто¬
матических системах. «Автоматика и телемеханика», 1966, № 1.
21. Ч ж о у С. К. Оптимальная система распознавания знаков
с помощью решающих функций. Пер. с англ. «Математика»,
1959, 3 : 1.
22. Abramson N., Braverman D. Learning to recognize
patterns in a random environment. IRE Trans., 1962, IT-8, № 5.
23. Abramson N., Braverman D., Sebastyen G.
Pattern recognition and machine learning. IEEE Trans., 1963,
IT-9, No 4.
24. A n d e r s о n T. W. Classification by multivariate analysis.
Psychometrika, 1951, v. 16.
25. A n d e r s о n T. W., Bachadur R. R. Classification into
two multivariate normal distribution with different covariance
matrices. Annals of mathem stat., 1962, № 2.
26. С о о p e r D. B. Adaptiv pattern recognition and signal detec¬
tion using stochastic aprochimation. IEEE Trans, 1964, EC-13, №3.
27. С о о p e r D. B., Cooper P. W. Adaptiv pattern recogni¬
tion and signal detection without supervision. IEEE Int. Conv.
Rec., 1964, p. 1.
28. F r a 1 i с k S. C. Learning to recognize pattern without a tea¬
cher. IEEE Trans., 1967, IT-13, № 1.
29. G 1 a s e r E. M. Signal detection by adaptive filters. IRE
Trans., 1961, IT-7, №2.
30. H i g h 1 e у m a n W. H. Linear dicision function with appli¬
cation to pattern recognition. Proc. IRE, 1962, № 6.
31. H i n i с h M. J. A model tor a self— adapting filter. Inform,
and Control, 1962, Sept.
32. J о h n S. On some classification statistics. Jndian journ. of
statistics, 1960, v. 22, p. 3—4.
33. J о h n S. Errors in discrimination. Annals ot mathem. statistics,
1961, № 4.
34. К a b e D. G. Some results on the distribution ot two random
matrices used in classification procedures. Annals ot math, sta¬
tistics, 1963, No 1.
35. К а с M. A note on learning signal detection. IRE Trans.,
1962, IT-8, No 2.
477
36. К a s h у a p R. L., В 1 а у d о п С. С. Recovery of function
from noisy measurements taken at randomly selected points and
its application to pattern classification. Proc. IEEE, 1966, N° 8.
37. К e e h n D. G. A note on learning for gaussian properties.
IEEE Trans., 1965, IT-11, № 1.
38. M a r i 1 1 Т., Green D. Effectiveness of receptors in reco¬
gnition system. IEEE Trans., 1963, IT-9, № 1.
39. О k a t о m о M. Discrimination for varience matrices. Annals
of mathem. statistics, 1961, № 1—2.
40. Patrick E. A., Hancock J. C. The non — supervised
learning of probability spaces and recognition of patterns. IEEE
Int. Conv. Rec., 1965, p. VII.
41. S с u d d e r H. J. Adaptive communication receviers. IEEE
Trans., 1965, IT-11, № 2.
42. S e b a s t у e n G. Pattern recognition by an adaptive process
of sample set construction. IRE Trans., 1962, IT-8, № 3.
43. S p r a g i n s J. A note on the iterative application of Bayes
rule. IEEE Trans., 1965, IT-11, № 4.
44. S p r a g i n s J. Learning without a teacher. IEEE Trans,
1966, IT-12, № 2.
45. W a 1 d A. On a statistical problem arising in the classification
of an individual in one of two groups. Annals of mathem. statist.,
1944, v. 15.
ПРИЛОЖЕНИЯ
Процентные точки нормального распределения
480
Приложение I
Процентные точки хи-квадрат распределения
481
Приложение II
482
Продолжение при лож. II
Продолжение пр и лож. II
483
Продолжение при лож. II
Примечание. При п 1
434
где ха — процентная точка нормального распределения (см. приложение I).
ПРОЦЕНТНЫЕ ТОЧКИ РАСПРЕДЕЛЕНИЯ СТЬЮДЕНТА
485
Приложение III
Значения ta, удовлетворяющие равенству
Приложение IV
Корреляционный эллипсоид
Рассмотрим совокупность п случайных величин . . .
. . £п. Обозначим среднее значение случайной вели¬
чины It через a,i, а ковариацию случайных величин I*
и — через г и = тА {(^ — af) (lj — aj)}. Матрица М,
составленная из элементов (i, / = 1, . . п), представ¬
ляет корреляционную матрицу совокупности случайных
величин.
Эллипсоид, уравнение которого имеет вид
называется корреляционным. В уравнении (1) Dtj — алгеб¬
раические дополнения элемента а^* в матрице М, а fl¬
ee детерминант. Линейным (ортогональным) преобразовани¬
ем переменных квадратичная форма в левой части (1)
приводится к сумме квадратов
Здесь %k — характеристические числа корреляционной
матрицы, являющиеся корнями уравнения
| М — XII = О,
где I —единичная матрица. .
Уравнение (2) представляет я-мерный эллипсоид с полу¬
осями, равными |/ХА, к которому приводится эллипсоид (1)
вращением (ортогональным преобразованием). Объем рас¬
сматриваемого эллипсоида равен
Таким образом, квадрат объема эллипсоида пропорционален
величине детерминанта D, которую иногда называют обоб¬
щенной дисперсией. При п = 1 эта величина равна
D>°- 0)
i= 1 j=1
(2)
П
2
(3)
D = ml {(£ — a)2} = o2,
486
т. е. совпадает с обычной дисперсией случайной величины,
а при п = 2
D--
о;
г а±а2
/т2
:<i—о,
где CTj, с’ и г - дисперсии и коэффициент корреляции
двух случайных величин.
Если корреляционный эллипсоид (1) растянуть в
VJHГ2 раз, то получаем эллипсоид рассеяния. Для совокуп¬
ности нормальных случайных величин плотность вероятнос¬
ти на эллипсоиде рассеяния постоянна (см. первую книгу,
стр. 59 и 66). Для произвольного распределения корреля¬
ционный эллипсоид обладает тем свойством, что совокуп¬
ность случайных величин, распределенных равномерно
по области n-мерного пространства, ограниченного этим
эллипсоидом, имеет те же первые и вторые моменты (кова¬
риации), как и заданная совокупность случайных величин.
Приложение V
Регрессия
Пусть 5 и г] — зависимые случайные величины, характе¬
ризуемые совместной плотностью вероятностей w2 (х, у).
Условное среднее значение ц при | = х (см. (2.108) в пер¬
вой книге), рассматриваемое как функция переменного х,
задает кривую регрессии
оо
$ УЩ (■*> у) dy ОО
z = mi{ri\x} = -=£ = J yw(y\x)dy. (1)
| а»2 (х< У) аУ
— ОО
Нетрудно доказать (см. для аналогии задачу 2.6 в пер¬
вой книге), что среди всех возможных функций g (х) мини¬
мум среднеквадратического отклонения mt {[rj — g (£)]2}
достигается при
g(x) = mi{r\\x}. (2)
В некоторых случаях рассматривают аппроксимацию т]
посредством £ по критерию минимума среднего квадрата
отклонения ц от / (£ )для заданного класса^функций g (х),
определенных с точностью до неизвестных параметров.
487
Например, если g (х) = аiX + а2, то ищут такие значения
ai, аг, для которых {(п — — а2)2} минимальны.
Прямая г = а^х + а2 в этом случае называется прямой
средней квадратической регрессии. Более общим является
случай полиномиальной средней квадратической регрес¬
сии, когда
g (х) = diXn + а2лгп_1 + ... + ап+1.
В случае линейной средней квадратической регрессии мини¬
мум mi {(tj — ail — а2)2} достигается при
°i = r ’ а2 = mi {л} -ai^i Ш> (3)
где г — коэффициент корреляции случайных величин £ и т).
Прямая средней квадратической регрессии при этом за¬
дается уравнением
z = m1{r]} + [x-m1{i}]^^. (4)
Еслии г] — зависимые нормальные случайные вели¬
чины, то правая часть (4) в точности совпадает с условным
средним т] при £ = х (см. стр. 87 в первой книге). Отсюда
следует, что прямая средней квадратической регрессии
для нормальных случайных величин совпадает с кривой
регрессии. Иначе говоря, линейная аппроксимация г] посред¬
ством £ по критерию минимума среднего квадрата ошибки
является наилучшей.
Приведенные понятия обобщаются на произвольную
конечную совокупность взаимозависимых случайных вели¬
чин . . ., 1п. Условное среднее значение £i при =
= Xt, i = 2 я, равно
оо
К *1 wn (*!, хп) dxi
т 1 {ii\х2, ха} = . (5)
J wn (Xi, ..., х„) dXi
— ОО
Геометрическое место точек (mi {.}, х2, . . хп) при все¬
возможных значениях a:2, . . хп есть гиперповерхность
регрессии. Может быть определена гиперплоскость средней
квадратической регрессии
п
zi = mi{h} + 2 Pi. lXi — ^i{5i>]- (6)
i=2
488
Величины р1г определяются из системы линейных уравнений
п
2 bijPu = biu i = 2, ..., л, (7)
j=2
где
Ьц = т1{Ш> (7')
так что, обозначая через Dtj алгебраические дополнения
в матрице ||&о’И» имеем
Р.. = ^7' <8>
Можно показать, что гиперповерхность регрессии для сово¬
купности нормальных случайных величин совпадает с гипер¬
плоскостью средней квадратической регрессии.
32-197
НАИБОЛЕЕ УПОТРЕБИТЕЛЬНЫЕ ОБОЗНАЧЕНИЯ
Л, Л о — амплитуда сигнала,
Л (со) — амплитудный спектр,
A (t) — квадратурная составляющая про¬
цесса,
а — среднее значение нормальной слу¬
чайной величины, амплитуда детер¬
минированного сигнала,
B(t, у) — корреляционная функция случай¬
ного процесса,
В(т) — корреляционная функция стационар¬
ного в широком смысле процесса,
Въч (t, у) — взаимная корреляционная функция
случайных процессов £ (/) и г) (/),
Въг\ (т) — взаимная корреляционная функция
стационарно связанных в широком
смысле случайных процессов £ (t)
И Т) (О,
Ьп — смещение оценки,
С (t) — квадратурная составляющая про¬
цесса,
с, с* — пороги,
С (со) — частотная характеристика линейной
системы,
D — детерминант корреляционной мат¬
рицы,
dN, dT — параметры рабочих характеристик
обнаружения сигнала,
Е (t) — огибающая случайного процесса,
Е — энергия сигнала,
е — относительная эффективность оцен¬
ки,
Fn(xi, ..Хх) — -/V-мерная интегральная функция
распределения,
F (х) — интеграл Лапласа,
F (со) — энергетический спектр стационарно¬
го (в широком смысле) случайного
процесса,
F^ (со) — взаимный энергетический спектр ста-
490
ционарно связанных (в широком
смысле) случайных процессов i (i)
и Т) (О,
/ {П} — критерий качества,
G — область пространства выборок,
Н — гипотеза,
Н (s) — энтропия,
Н (s I У) ~ условная энтропия,
h (t, у, и) — резольвента,
h (и, v) — импульсная переходная функция
линейной системы, весовая функция
h* (и, v) — импульсная переходная функция
оптимальной линейной системы,
1п — информация по Фишеру,
/ — количество информации,
Jv — бесселева функция 1-го рода v-ro
порядка,
Iv — бесселева функция 1-го рода v-ro
порядка от чисто мнимого аргу¬
мента,
К (и, v) — ядро квадратичной интегральной
формы, характеристики фильтра
второго порядка,
k* (ио) — передаточная функция оптимальной
линейной системы,
k (ко) — передаточная функция линейной
системы,
к (г) — функция распределения Колмого¬
рова,
К — порог,
L — функция правдоподобия,
I — отношение правдоподобия,
т2 — второй момент случайной амплиту¬
ды сигнала,
Mh — k-н центральный момент,
М2 — дисперсия,
М% — выборочная дисперсия,
Ши — k-й момент,
mi — среднее,
т* — выборочное среднее,
т — число состояний, число непересекаю-
щихся областей пространства выбо¬
рок,
32* 491
N — размерность многомерного априор¬
ного распределения,
N о — спектральная плотность белого шу¬
ма,
п — размер выборки,
Р — вероятность события,
р — априорная вероятность,
П — функция потерь,
Qn (х) — полином из совокупности ортого¬
нальных полиномов,
q — априорная вероятность,
г (t) — реализация огибающей,
r W условная функция риска,
R — средний риск,
R* — байесовский риск,
R (т) — коэффициент корреляции,
S — пространство параметров,
s (t) — детерминированный процесс (сиг¬
нал),
s — параметр распределения,
Sk — возможные состояния,
sn (х) — плотность вероятности Стьюдента,
Т — время наблюдения,
t — текущее время, нормированная
ошибка оценки,
U — число инверсий,
и (t) — квадратурная составляющая детер¬
минированного сигнала,
V (,t) — решение неоднородного линейного
интегрального уравнения,
v (t) — квадратурная составляющая детер¬
минированного сигнала,
Wi(jc), Wi(x), Wi(x) — одномерные функции распределения
случайной величины,
wN(xi, ..., xN) — многомерная функция распределе¬
ния совокупности случайных вели¬
чин,
WN(xu ..xN) — функция правдоподобия выборки
размером пу
X — вектор выборочных значений,
ха — процентное отклонение случайной
величины,
Xi — выборочное значение,
x(t) — реализация случайного процесса,
z\t) — комплексная огибающая,
ZT (/со) — спектр усеченной реализации слу¬
чайного процесса,
г — комплексная переменная,
г — величина, комплексно сопряженная
с z,
а — условная вероятность ошибки пер¬
вого рода, условная вероятность
ложной тревоги,
Р — условная вероятность ошибки вто¬
рого рода, условная вероятность
пропуска сигнала,
Г (х) — полная гамма-функция,
Г (*» У) “ неполная гамма-функция,
у — решение; коэффициент доверия,
б (л:) — дельта-функция,
6 (у | х) — правило выбора решения,
А — ширина полосы частот,
е — относительная длина доверительно¬
го интервала,
е2 — среднеквадратическая ошибка,
Л — усредненная функция правдоподо¬
бия,
— собственное число линейного ин¬
тегрального уравнения,
(я — отношение априорных вероятностей;
параметр марковского процесса,
Y — функция неопределенности,
г|э (0 — реализация фазы,
i — случайная величина,
£ (t) — случайный процесс,
г) — случайная величина,
т] (/) — случайный процесс,
X2 — случайная величина, распределен¬
ная по закону хи-квадрат,
Im — мнимая часть,
Re — действительная часть,
— число сочетаний из п элементов по k,
6 — символ, обозначающий принадлеж¬
ность множеству.
ПРЕДМЕТНЫЙ
УКАЗАТЕЛЬ
А
Адаптация 447
Адаптивный байесовский под¬
ход 456
Альтернатива 15
— сложная 215, 335
Апостериорное распределение
выборочных значений
И
Априорные вероятности при¬
нятия решений 27
— — состояний 11
Б
Байеса формула 23
Байесовская оценка 127,
141
параметра экспоненци¬
ального распределения
146
— — параметров нормально¬
го распределения 148
— процедура обучения
459
— функция потерь квадратич¬
ная 128, 131
— простая 128, 130
— — — прямоугольная 128,
133
— — — равная модулю
ошибки 128, 132
— — — симметричная 129,
134
Белый шум 196, 208, 227
Бета-функция 91, 95
494
В
Вариационный ряд 100
Вероятность состояния 11
— ложной тревоги 328
— ошибки первого рода 26, 37
— — второго рода 26, 37
— перепутывания 372, 394
— правильного обнаружения
328
— пропуска сигнала 328
Выборка 11, 16, 100
— дискретная 200
— коррелированная 330
— многомерного распределе¬
ния 87, 172
— нормального процесса 202
— огибающей 325, 353
— размер 16
средний при последова¬
тельном анализе 44
— разности фаз 367
— упорядоченная 100
— фазы 325, 360
Выборочные значения 11
— моменты 102
Выделение сигнала 324
Г
Гамма-функция 96
— неполная 96
Гипотезы 15
— простые 15
— сложные 15, 74
Гистограмма 102
Группирование 101
д
Детектор квадратичный 357
— линейный 359
Дисперсия 105
— выборочная 103, 149
— нижняя граница 117
Доверительный интервал 120
— предел 120
— — верхний 120
— — нижний 120
Допплерово смещение частоты
417
— оценка 420
— — дисперсия 421
Достаточность 111
3
Закон больших чисел 105
И
Инверсия 169
Интеграл Вольтерра 307
— Лапласа 38, 49
— стохастический 192, 279,
308
Информационная матрица 137,
173
— — нормального распреде¬
ления 149
Информация (по Фишеру) 116,
235, 241
— экспоненциального распре¬
деления 145
К
Квадратурные составляющие
335
Классификация 445
— нормальных распределе¬
ний 448
Количество информации 23
— о неизвестном параметре
112
Комплексная огибающая 335
Координаты случайного про¬
цесса 181
— — — белого шума 197
Координаты случайного про¬
цесса комплексные 196
независимые 204
— — — некоррелированные
192
Коррелометр 304
Корреляционный эллипсоид
138, 486
Коэффициент доверия 120
Критерий Вилькоксона 169
— — байесовский 20, 28
двухпороговый 170
— — информационный 24
— — качества 11, 19
— Колмогорова 166
— — максимального правдо¬
подобия 23, 32
— — максимума апостериор¬
ной вероятности 23, 31, 69
минимаксный 21, 72
— Мизеса 168
— — минимума среднего квад¬
рата ошибки 278
— — Неймана — Пирсона 33,
70
— Смирнова 169
— согласия 163
— хи-квадрат 165
Л
Линейная система 279
— — оптимальная 279
— — физически реализуемая
286
Линейные интегральные урав¬
нения 191, 203
— собственные функции 191
— числа 191
Ложная тревога 328
М
Марковский случайный про¬
цесс 220
— — — компонента 219
Матрица информационная 137,
173
— корреляционная 88, 173,
253
— обратная информационной
137
495
Матрица платежная 28
Метод моментов 138
— наименьших квадратов 157
— обнаружения амплитуд¬
ный 326
— — фазовый 326
— угадывания 464
Многоальтернативные задачи
выбора решения 80
Моменты априорные 102
— выборочные 102
Н
Непараметрические методы
90, 446
Нижняя граница дисперсии
117, 151, 259
О
Область допустимая 25
— критическая 25
Обработка оптимальная 325
— — додетекторная 326
— — последетекторная 326
Обнаружение сигнала 324
— — гармонического 398
— — детерминированного 326
— — квазидетерминированно-
го 334
— когерентное 326
— неизвестного 460
— некогерентное 334
последетекторное 352
сильного 359, 363
слабого 355, 362
— — рабочая характеристи¬
ка 334
— — стохастического 346, 366
Обучение 447
— без учителя 447, 448
— с учителем 447, 451
Огибающая сигнала 325
— — комплексная 335
— — энергетический спектр
416
Ортогональное разложение
корреляционной функции190
— — случайного процесса 192
— — — — комплексного 195
Отношение правдоподобия 33,
200
— — выборки из нормального
процесса 202
— — — огибающей 355
— — — фазы 361
— — логарифм 36, 88
— мощности сигнала к сред¬
ней мощности шума 333
— — обобщенное 30
— сигнал/шум 298
усредненное 67
— энергии сигнала к спек¬
тральной плотности шума 333
Оценка 107
— амплитуды 239
— байесовская 127, 134, 146,
158, 236
условная 129
— безусловная 108
— вектора средних 174
асимптотические свой¬
ства 249
— векторного параметра 252
— времени прихода 417, 420
— допплерова сдвига частоты
420
— достаточная 111
— интервальная 120, 241
— корреляционной матрицы
175
— корреляционной функции
262
нормального случай¬
ного процесса 265
— линейная 240
— максимального правдопо¬
добия 122
— — — асимптотическое рас¬
пределение 124.
— максимальной апостериор¬
ной плотности 126
— минимаксная 135, 161, 249
— нелинейная 260
— несмещенная 109, 145
— — асимптотически 110
— параметра экспоненциаль¬
ного распределения 144
— параметров детерминиро¬
ванного сигнала 236
— — корреляционной функ¬
ции 254
— случайных процессов, мо¬
дулирующих несущую 435
496
Оценка смещенная 110
— состоятельная 108
— средняя арифметическая
240
— стационарного случайного
сигнала 429
— точечная 107
— точность 119
— — потенциальная 119
— условная 108
— функции распределения
163
— многомерной 175
— одномерной 163
— энергетического спектра
266
— — — нормального слу¬
чайного процесса 267
— эффективная 113, 145, 235,
241
Оценки совместные 136, 236
амплитуда и фазы 421
асимптотически эффек¬
тивные 138
байесовские 141, 244
— условные 142
времени прихода и доп¬
плеровского смещения 420
— — достаточные 137
— — минимаксные 144
— — параметров нормально¬
го распределения 148
квазидетерминирован-
ного сигнала 407
эффективные 137, 150
Ошибка 127, 280
— второго рода 26
— первого рода 26
— среднеквадратическая 280
П
Порог 40, 49, 62
Последовательный анализ 40,
73
— — усеченный 46
Потери 19
Правило выбора решения 18
— — — байесовское 20, 48,
62, 65, 83
двухстороннее 93
— детерминированное
18
Правило выбора решения
минимаксное 21, 38, 52,
72, 84
— — — мощность 27, 77
— — — несмещенное 71, 87,
91
Неймана — Пирсона
33, 51, 70
последовательное 40,
54, 63, 73, 77
равномерно наиболее
мощное 70, 218
состоятельное 39, 213
Проверка гипотезы 15
— — байесовское решение 20,
65
— — о корреляционной функ¬
ции 222
о симметрии распреде¬
ления 90
— — о среднем значении слу¬
чайного процесса 210
— — простой 15, 25
— дисперсия нормаль¬
ной случайной величины 56
параметр экспонен¬
циального распределения 61
— среднее нормальной
случайной величины 47
сложной 15, 64, 215
случай нескольких
параметров 83
— — — среднее нормальной
случайной величины 85
Пропуск сигнала 328
Процентное отклонение слу¬
чайной величины 51
— — — —, имеющей рас¬
пределение Стьюдента 485
— — нормальной 51,
94, 152, 481
— — — — хи-квадрат 58, 63,
156, 481
Р
Рабочая характеристика 334
Различение сигналов 324
двух детерминирован¬
ных 371
— неизвестных 475
— — — с неизвестными ам¬
плитудами 374
497
Различение сигналов квази-
детерминированных 381
— — многих 388
Рао — Крамера неравенство
117, 151, 235, 241
Распределение нормальное
48, 88, 480
— равномерное 161
— Стьюдента 154, 485
— хи-квадрат 58, 481
— экспоненциальное 61
Расстояние между сигналами
373
Реализация случайного про¬
цесса 180
Регрессия 291, 487
— среднеквадратическая 291,
488
эмпирическая 158
Резольвента 229, 350
Решение 18
— байесовское 20, 29, 65
— минимаксное 21, 38, 72
Риск средний 20,*53
С
Сигнал 324
— сильный 359, 363
— слабый 355, 362
— стохастический 346, 366
Сигналы ортогональные
393
Сингулярность 201, 214, 227,
233, 259
Смещение 110, 235
Совокупность функций
— — ортогональных 319
Лагерра 319
полная 191 1
— — собственных 191 а
Сообщение 12
Среднее значение 47, 102
выборочное 102, 145,149,
160
— условное 131
Средний риск 20, 129
Статистики 100
— достаточные 112
— порядковые 100
Стохастическая аппроксимация
471
Счетчик знаков 90
Т
Теорема Вейерштрасса 307
— Котельникова 181
— — обратная 186
— — приложение к случай¬
ным процессам 188
прямая 182
— Фреше 306
У
Уравнение Винера — Хопфа
283
— интегральное линейное
однородное 191
— — — неоднородное 203,
208, 216, 233, 239, 349
— — — комплексное 341
— правдоподобия 122
— — решение 124
Уровень значимости 27
Условная вероятность ошибки
26, 37
— второго рода 26, 37
— первого рода 26, 37
Ф
Фильтр 280, 304
— активный 304
— второго порядка 308
— линейный 280
— нелинейный 307
— пассивный 304
— произвольного порядка 307
— согласованный 297
Фильтрация 278
— квазидетерминированного
сигнала 291
— линейная по минимуму
среднего квадрата ошибки
279
— — по максимуму отноше¬
ний сигнал/шум 297
— линейно преобразованного
процесса 287
— последовательности им¬
пульсов 302
— связь с задачей регрессии
291
— случайного процесса 295
498
Функционал нелинейный 306
— — интерпретация 307
— отношения правдоподобия
201, 235
— — — логарифм 201, 224
— — — нормального про¬
цесса 205, 341
— — — огибающей 340, 342
— характеристический 180
Функция потерь 128
— — квадратичная 128, 131,
160, 246
простая 128, 130
— — прямоугольная 128,
133
— — равная модулю ошибки
128, 132
— — симметричная 134
— — экспоненциальная 128
— правдоподобия 104
— — наблюдаемых коорди¬
нат 199
— — — — нормального про¬
цесса 202, 204
— регрессии 471
— — нули 471
— — экстремумы 472
— риска средняя 20
— — условная 19
Функция неопределенности
409
— потерь 11, 19
— правдоподобия 17, 104, 123
— распределения 11, 16, 25
— — эмпирическая 101
— решающая 27
— с ограниченным спектром
181
— финитная 181
Ч
Чебышева неравенство 106
Э
Эстраполяция случайного
процесса 295
— средний квадрат ошибки
296
Энергетический приемник 351
Энтропия 24
— условная 24
Эффективность 113
— относительная 114
— совместная 137
ОГЛАВЛЕНИЕ
Предисловие 3
Введение 5
Глава первая. Проверка статистических гипотез 11
1.1. Проблема выбора решения 11
Исходные данные и формулировка проблемы (11). Пример*
передача сообщений при наличии помех (12). Простые и
сложные гипотезы (15). Выборка (16). Набор решений
и правило выбора решения (18). Функция потерь и кри¬
терий качества выбора решения (19)
1.2. Проверка простой гипотезы против простой альтер¬
нативы 25
Вероятности правильных и ошибочных решений (25). Байе¬
совское решение (28). Максимум апостериорной вероятности
и максимальное правдоподобие (31). Критерий Неймана —
Пирсона (33). Способ вычисления условных вероятностей
ошибок (36). Минимаксное правило (38). Последовательный
анализ (40)
1.3. Проверка простой гипотезы о параметре распреде¬
ления 47
Среднее значение нормальной случайной величины (47).
Дисперсия нормальной случайной величины (56). Пара¬
метр экспоненциального распределения (61)
1.4. Сложные гипотезы 64
Классификация задач двоичного выбора (64). Байесовское ре¬
шение (65). Максимум апостериорной вероятности и макси¬
мальное правдоподобие (69). Критерий Неймана — Пирсона
(70). Минимаксное правило (72). Последовательный ана¬
лиз (73). Проверка сложных гипотез о среднем нормальной
случайной величины (74). Замечание относительно многоаль¬
тернативных задач выбора решения (80)
1.5. Более общие случаи выбора одного из двух ре¬
шений 83
Случай нескольких неизвестных параметров (83). Выборка
из многомерного распределения (87). Непараметрические
методы проверки гипотез о симметрии распределения (90)
Задачи 94
Литература 98
Глава вторая. Статистика случайных величин 100
2.1. Выборка и ее характеристики 100
Эмпирическая функция распределения (100). Выборочные
моменты (102). Функция правдоподобия (104). Закон боль¬
ших чисел (105)
2.2. Оценка параметров одномерной функции рас¬
пределения 107
Точечные оценки (107). Состоятельность (108). Несмещенность
(109). Достаточность (111). Эффективность (113). Интер¬
вальные оценки (120)
500
2.3. Методы получения оценок по определенным кри¬
териям 122
Оценка максимального правдоподобия (122). Приближен¬
ное решение уравнения правдоподобия (124). Максимум
апостериорной плотности вероятности оцениваемого пара¬
метра (126). Байесовские оценки (127). Простая функция
потерь (130). Квадратичная функция потерь (131). Функция
потерь, равная модулю ошибки (132). Прямоугольная функ¬
ция потерь (133). Симметричная функция потерь (134).
Минимаксные оценки (135)
2.4. Совместные оценки совокупности параметров . . 136
Основные свойства (136). Метод моментов (138). Оценки
максимального правдоподобия (139). Максимум апостериор¬
ной плотности вероятности оцениваемых параметров (НО).
Байесовские оценки (141)
2.5. Оценки параметров некоторых одномерных функ¬
ций распределений 144
Условная оценка параметра экспоненциального распределе¬
ния (144). Байесовские оценки параметра экспоненциального
распределения (146). Условные оценки параметров нормаль¬
ного распределения (148). Метод наименьших квадратов (157).
Байесовские оценки параметров нормального распреде¬
ления (158)
2.6. Оценка одномерной функции распределения . . 163
Критерии согласия (163). Критерий дгм-квадрат (165). Кри¬
терий Колмогорова (166). Критерий Мизеса (168). Принадлеж¬
ность двух выборок одному и тому же распределению (169).
Оценка функции распределения (170)
2.7. Оценки параметров многомерной функции рас¬
пределения 171
Обобщение основных определений на многомерные рас¬
пределения (171). Оценки вектора средних и корреляцион¬
ной матрицы многомерного нормального распределения
(173). Байесовские оценки параметров многомерного рас¬
пределения (175). Замечания относительно оценки многомер¬
ной функции распределения (175)
Задачи 176
Литература 179
Глава третья. Статистика случайных процессов 180
3.1. Два способа представления случайного процес¬
са 180
3.2. Отсчет в дискретные моменты времени .... 181
Теорема Котельникова (прямая) (181). Теорема Котельни¬
кова (обратная) (186). Распространение теоремы Котельни¬
кова на случайные процессы (188)
3.3. Ортогональное разложение случайного процес¬
са 190
Ортогональное разложение корреляционной функции (190).
Некоррелированные координаты случайного процесса (192).
Ортогональное разложение комплексного случайного про¬
цесса (195). Случай белого шума, прошедшего идеальный
фильтр (196)
3.4. Характеристики наблюдаемых координат слу¬
чайного процесса 197
Функция правдоподобия наблюдаемых координат (197)»
Распределение наблюдаемых координат нормального слу¬
чайного процесса (198). Отношение правдоподобия и его
предельная форма (200). Функционал отношения правдоподо¬
бия нормального случайного процесса (201). Обобщение
на комплексный случайный процесс (206). Нормальный белый
шум (208)
3.5. Проверка статистических гипотез о нормальном
случайном процессе 209
Предварительное* замечание (209). Проверка гипотез о сред¬
нем значении нормального случайного процесса (210), Сдож-
ная альтернатива (215). Процессы с дробно-рациональными
энергетическими спектрами (219). Проверка гипотез о кор¬
реляционной функции (222). Случай, когда проверяемая ги¬
потеза — белый шум (227). Обобщение для процессов с
дробно-рациональными энергетическими спектрами (230)
3.6. Оценки характеристик случайного процесса . . . 234
Оценка параметров распределения случайного процесса
по его реализации (234). Оценки максимального правдоподо¬
бия параметров детерминированного слагаемого (236). Оцен¬
ка амплитуды (239). Байесовские оценки (244). Асимптоти¬
ческие свойства байесовской оценки (249). Обобщение резуль¬
татов (250). Оценка параметров корреляционной функции
(254). Оценка корреляционной функции (262). Оценка
энергетического спектра (266)
Задачи 272
Литература 276
Глава четвертая. Фильтрация случайных процессов . . . 278
4.1. Вводные замечания 278
4.2. Линейная фильтрация по критерию минимума
среднего квадрата ошибки 279
Импульсная переходная функция оптимальной линейной
системы (279). Физически реализуемая оптимальная ли¬
нейная система; конечное время наблюдения (286). Оцен¬
ка линейно преобразованного случайного процесса (287).
Фильтрация как задача регрессии (290). Фильтрация квазиде-
терминированного сигнала (291). Чистая экстраполяция (295)
4.3. Согласованные фильтры 297
Линейная фильтрация по критерию максимума отноше¬
ния сигнал/шум (297). Импульсная переходная и передаточ¬
ная функции согласованного фильтра (298). Оптимальная
фильтрация периодической последовательности импульсов
из аддитивной смеси с белым шумом (302). Активный и пас¬
сивный фильтры (304)
4.4. Нелинейная фильтрация по критерию миниму¬
ма среднего квадрата ошибки 305
Общий метод характеризации нелинейных систем (305).
Фильтры второго порядка (308). Фильтры произвольного
порядка (313). Фильтрация нормального случайного про¬
цесса (316). Интерпретация нелинейных фильтров (317)
Задачи 320
Литература 322
Глава пятая. Обнаружение сигналов на фоне помех . . . 324
5.1. Характеристика проблемы 324
5.2. Оптимальные алгоритмы обнаружения сигнала
в аддитивном нормальном шуме 326
Детерминированный сигнал (326). Квазидетерминирован-
ный сигнал (334). Стохастический сигнал (346)
5.3. Поел едете кто рное обнаружение 352
Амплитудный метод (35 2). Фазовый метод (360). Стоха¬
стический сигнал (366)
5.4. Различение сигналов 370
Вводные замечания (370). Два детерминированных сигнала
(371). Два сигнала с неизвестными амплитудами (374). Два
узкополосных сигнала со случайными фазами (381). Раз¬
личение многих сигналов (388)
Задачи 395
Литература 399
Г лава шестая. Выделение сигналов на фоне помех .... 401
6.1. Оценки максимального правдоподобия неиз¬
вестных параметров сигнала 401
Постановка задачи (401). Совместные оценки амплитуды
и фазы гармонического сигнала (402). Оценки параметров
узкополосного сигнала на фоне аддитивного белого шума
502
(407). Измерение времени прихода сигнала (415). Совместное
измерение времени прихода и допплеровского смещения
частот (417)
6.2. Байесовские оценки случайных параметров сиг¬
нала 421
Совместные оценки амплитуды и фазы (421). Совместные
оценки конечного числа параметров квазидетерминирован-
ного сигнала (426). Оценка стационарного случайного сиг¬
нала на фоне шума (429). Оценки случайных процессов,
модулирующих высокочастотную несущую, на фоне аддитив¬
ного белого шума (435)
Задачи 440
Литература 443
Глава седьмая. Элементы теории классификации с обучением . 445
7.1. Характеристика проблемы классификации с обу¬
чением 445
7.2. Классификация в случае нормальных распре¬
делений 448
Неизвестные средние (448). Неизвестные средние (обучение
без учителя) (451). Неизвестные средние и корреляционные
матрицы (454). Произвольное число распределений (456).
Связь с геометрическим подходом (457)
7.3. Байесовские процедуры обучения 459
Метод апостериорных вероятностей (459). Обнаружение
неизвестного сигнала в нормальном шуме (460). Простой
перебор и метод угадывания (464). Адаптивный байесовский
подход (467)
7.4. Стохастическая аппроксимация 471
Нули и экстремумы функции регрессии (471). Оценка пара¬
метров и функций распределения (473). Различение двух
неизвестных сигналов (474)
Литература 476
Приложения 479
I. Процентные точки нормального распределения 480
II. Процентные точки хи-квадрат распределения 481
III. Процентные точки распределения Стьюдента 485
IV. Корреляционный эллипсоид 486
V. Регрессия 487
Наиболее употребительные обозначения 490
Предметный указатель 494
БОРИС РУВИМОВИЧ ЛЕВИН
ТЕОРЕТИЧЕСКИЕ ОСНОВЫ СТАТИСТИЧЕСКОЙ
РАДИОТЕХНИКИ
Редактор А. А. Александрова
Художественный редактор В. Т. Сидоренко
Технический редактор 3. Н. Ратникова
Корректоры Л. И. К и р и л ь ч е н к о, Л. Г. Кучина
Сдано в набор 9/1—68 г. Подписано к печати 18/VI—68 г.
Т-08464 Формат 84 X 108/32 Бумага типографская № 1
Объем 26,46 п. л. Уч.-изд. л. 26,321. Тираж 35 ООО экз.
Издательство «Советское радио», Москва, Главпочтамт, п/я 693
Зак. 197.
Московская типография № 16 Главполиграфпрома
Комитета по печати при Совете Министров СССР.
Трехпрудный пер., 9.
Цена в переплете №7 — 1 р. 96 к.