А.В. Балакришнан
Теория
фильтрации
ЗЕ
Калмана
Издательство «Мир»
Теория фильтрации Калмана
A. V. Balakrishnan
Kalman Filtering Theory
Optimization Software, Ino.,
Publications Division, New York
А.В. Балакришнан
Теория фильтрации
Калмана
Перевод с английского
С. М. Зуева
под редакцией
А. А. Новикова
Москва «Мир» 1988
ББК 22.172
Б20
УДК 519.2
Балакришнан А.
Б20 Теория фильтрации Калмана: Пер. с англ.— М.:Мир,
1988. — 168 с., ил.
ISBN 5-03-000971-Х
Книга известного американского математика, содержащая введение в
теорию и методы стохастической фильтрации. В ней дан обзор линейных
систем, изложены основы теории случайных процессов и стохастического оце-
нивания, что упрощает усвоение материала. Книга оригинальна и по струк-
туре изложения, которое строится на рассмотрении фильтра Калмана как ли-
нейной системы. Приведено много задач и примеров, иллюстрирующих теорию.
Для математиков — прикладников, инженеров исследователей, аспиран-
тов и студентов вузов.
1702060000-414
Б----041(01)—88----26~881 Ч‘ 1
ББК 22.172
ped'Q-щия литературы по математическим наукам
ISBN 5-03-000971-Х (русск.)
ISBN 0-911575-26-Х (англ.)
© 1984 by Optimization Software,
Inc., Publications Division, New
York
© перевод на русский язык, с до-
бавлениями, «Мир», 1988
ОТ РЕДАКТОРА ПЕРЕВОДА
А. Балакришнан — профессор Калифорнийского университета в Лос-
Анджелесе, крупный специалист в области теории статистического оцени-
вания и управления динамическими системами. В настоящей книге содер-
жится сжатое и ясное изложение основ теории рекуррентного оптималь-
ного оценивания линейных динамических систем, известной специалистам
как теория калмановскои фильтрации. Она написана весьма неформально
и иллюстрируется рядом наглядных инженерных примеров, которые демон-
стрируют возможности и ограничения этого метода (являющегося, на са-
мом деле, одним из вариантов метода наименьших квадратов).
Основополагающая работа Р. Е. Калмана «О новом подходе к зада-
чам линейной фильтрации и предсказания», появившаяся в журнале
J. of Basic Engineering 27 лет назад, породила огромный поток теоре-
тических обобщений и еще более интенсивный поток прикладных работ
по применению идеи рекуррентного оценивания в различных областях
науки и техники — от космических программ до математических моделей
в медицине. Наиболее полное изложение теоретических основ теории ли-
нейной и нелинейной фильтрации имеется в монографии Р. Ш. Липцера
и А. Н. Ширяева «Статистика случайных процессов» (Наука, 1974).
Из недавних отечественных монографий более прикладного характера от-
метим книгу И. А. Богуславского «Прикладные задачи фильтрации и
управления» (Наука, 1983).
Автор принял активное участие в подготовке русского издания: он
прислал список исправлений и уточнений, а также значительно увеличил
число задач и примеров, позволяющих читателю проверить усвоение ма-
териала и научиться использовать метод на практике.
Книга несомненно будет интересна для читателей, занимающихся
вопросами приложений теории вероятностей и математической статистики.
По уровню применяемого математического аппарата она вполне доступна
студентам технических вузов.
А. А. Новиков
ПРЕДИСЛОВИЕ
Эта книга содержит материал курса лекций половины семестра (или
одного семестра, в зависимости от нагрузки) для студентов старших
курсов инженерных специальностей Предполагается, что читатель знаком
с элементарной теорией пространства состояний систем и элементарной
теорией стохастических процессов (гауссовских второго порядка). Будучи
учебником, книга не претендует на изложение всех известных работ по
данному предмету. Не является она также и справочной книгой. Скорее
она представляет собой цельное изложение ряда логически связанных
лекций, подчеркивающих роль теории и не лишенных практического
смысла. Структура изложения материала основана на более чем деся-
тилетнем опыте преподавания. Развиваются те аспекты теории фильтра-
ции Калмана, которым можно придать строгую математическую основу;
мы стремились избежать подхода, который часто встречается в посо-
биях для профессионалов: «Вот рецепт. Используйте его, он будет рабо-
тать».
Первые две главы содержат обзорный материал по теории простран-
ства состояний и теории сигналов (случайные процессы) — необходимый
здесь, но не достаточный для дальнейшего изучения. Третья глава посвя-
щена статистической теории оценивания; именно на эту теорию опирается
теория фильтрации Калмана. Основной главой является четвертая, в ко-
торой излагается собственно предмет курса. Она начинается с основ теории
и формул (разд. 4.1); мы стремились сделать изложение достаточно об-
щим, чтобы подробности не затемняли смысла, и в то же время достаточно
конкретным, чтобы этот материал имел прикладное значение. Так, мы рас-
сматриваем только случай, когда шум наблюдений является белым и не
зависит от сигнала, но допускаем, что система может зависеть от вре-
мени. Из-за неопределенности начальных значений ковариаций фильтр
Калмана не может быть оптимальным, за исключением случая стационар-
ного состояния — а это наиболее важное его применение. Поэтому
в разд. 4.2 изучаются системы, инвариантные по времени, и рассматри-
вается асимптотическое поведение фильтра. В разд. 4.3 результаты для
стационарного состояния исследуются с точки зрения спектральной теории,
что связывает их с более классическим подходом передаточных функций.
В разд. 4.4 изучается традиционное приложение фильтра Калмана: иден-
тификация систем. В разд. 4.5 рассматривается сглаживающий фильтр
Калмана, т. е. последовательный вариант двухсторонней интерполяции.
В разд. 4.6 и 4.7 сделаны обобщения теории, изложенной в разд. 4.11
в разд. 4.6 сигнал и шум могут быть коррелированными, а в разд. 4.7
шум наблюдений может быть не белым. В разд. 4.8 описан простой при-
мер, который иллюстрирует некоторые аспекты теории и методов, изло-
женных в главе.
Книга завершается главой, посвященной отношению правдоподобия,
где подход с позиции фильтра Калмана играет основополагающую
роль.
Предисловие	7
Во всем изложении мы рассматриваем только модели с дискретным
временем, поскольку все реализации фильтра Калмана предполагают при-
менение цифровых компьютеров
Задачи, помещенные после каждой главы, играют традиционную роль
проверки понимания студентами материала и иногда вторгаются в смеж-
йы& Области.
Рассмотрение моделей с непрерывным временем требует привлече-
ния существенно более сложного математического аппарата (включая тео-
рию стохастического интегрирования и т. п.), но их анализ (получение
явных или асимптотических формул) часто оказывается проще и интуи-
тивно нагляднее, чем для моделей с дискретным временем. См., напри-
мер, [9]. — Прим. ред.
ОБОЗНАЧЕНИЯ
Квадратные матрицы
/	—единичная матрица;
Тг — след;
|Л | —определитель матрицы 4.
Прямоугольные матрицы
4*—матрица, сопряженная и транспортированная к
матрице 4;
[Л, В] = ТгЛВ*
II л 11 = Ум, л]
{аи} — матрица с элементами atj\
Вектор-столбец v: v*v — матрица размера 1X1-
Вектор-строка с: сс* — матрица размерностью 1 X 1-
Самосопряженные матрицы
4 — самосопряженная: А = 4*;
4 — неотрицательно определенная: [Ах, х] О для лю-
бого х
4 В (4 — В) — неотрицательно определенная.
Градиент функции
Если g(0)— скалярная функция 6, то:
градиент g(0) = V0g(0), где
(Veg(9)M = -^g(0 + M) 1х=о>
V0g (бт) — вектор размера 1 X если 0 — вектор раз-
мера tn X 1.
Случайные переменные
Е(-) —математическое ожидание (среднее);
Е(• | •) — условное математическое ожидание (условное
среднее);
Р(-) —функция плотности распределения.
Глава 1
Обзор теории линейных систем
Фильтр Калмана является линейной системой. Данная
глава представляет собой краткий обзор теории линейных
систем с точки зрения «пространства состояний», поскольку
фильтр Калмана лучше всего описывается с этих позиций.
В качестве начального курса теории пространства состояний
читателю рекомендуется монография [2] (см. также [1]*.—
Ред.). Более расширенные курсы можно найти в моногра-
фиях [7], [12], [20], [2]* и других.
Система характеризуется своим «входом», своим «состоя-
нием» и «выходом». Это функции времени. Время может
быть непрерывным или дискретным — в последнем случае
оно указывается целочисленными индексами. В этой книге
мы будем иметь дело только с дискретным случаем.
Пусть {ип} обозначает входную последовательность, а
{vn}—выходную. Тогда для наших целей линейную систему
можно полностью охарактеризовать уравнением «состояние —
вход»
*п+1 = АпХп “Ь BnUn	(1’1)
и уравнением «выход—состояние — вход»
~ "Ь Впип,	(\1.2)
где Ап— квадратная матрица, а Вп, Сп, Dn — прямоугольные
матрицы. Если размерность пространства состояний равна
р, то Ап имеет размер рХр- Если входная последователь-
ность такова, что каждое ип имеет размерность </Х 1, то раз-
мер Вп будет py^q. Если выходная последовательность та-
кова, что каждое vn является вектором размера mX 1, то Сп
будет иметь размер тХр, a Dn — m\q. Мы можем «ре-
шить» (1.1), (1.2), т. е. выразить значения на выходе через
значение состояния в некоторый начальный момент времени
и значения на входе. Таким образом, считая k начальным
моментом времени, имеем
п-1
i=*k
10
Гл. 1. Обзор теории линейных систем
где k называется переходной матрицей состояний и опре-
деляется следующим образом:
Фп, k = Дг-1 • • •	П И
ФЛ, п = 7 (единичная матрица)1).	(1.4)
Отметим, что она обладает свойством «переходности»:
К Л, щ = к m,	(1.5)
Из уравнения (1.3), которое задает состояние в произволь-
ный момент времени и, п £, легко находится явное выра-
жение для выхода в зависимости от начального состояния и
текущих значений на входе:
п — 1
Vn == ^*пФп, k^k "4“ ^пФп, “И DnUn, (1.6)
i=k
Здесь первый член — отклик на начальное состояние (или
начальное условие) и второй член — отклик на входную по-
следовательность. Функция
I == ^пФ/г, i + \В}, 1<П,	(17)
= Dn,	i = n,	’ Л
называется «весовой матрицей» или «весовой моделью» си-
стемы.
Инвариантные системы
Нас в основном интересует случай, когда система инва-
риантна относительно времени, т. е. когда все матрицы си-
стемы не зависят от времени:
Л = Л, Вп = В, Сп = С, Dn — D.
Тогда (1.1) и (1.2) принимают вид
•^п+1 == “Ь Вип,
vn = Cxn + Dun.
В этом случае переходная матрица состояния есть
ж!	л^—&
*Фм, £ =
Поэтому
xn = An~kxk + Ё	(1.9),
i=k
9 Здесь и далее I всегда будет обозначать единичную матрицу не-
зависимо от размера.
Гл. 1. Обзор теории линейных систем
11
•и выражение для выхода принимает следующий вид:
п— 1
vn = CAn~kxk+ S СА'-'-'Вщ + Dun. (1.10)
i=k
Отметим свойство «временной инвариантности»: отклик (со-
стояние или выход) инвариантен относительно любого сдвига
по времени. В частности, начальный момент времени поэтому
обычно принимают равным нулю, т. е. £ = 0 в (1.9), (1.10).
Весовая матрица системы зависит только от разницы времен:
rrtiZ = CA'l-1“fS, n>i;
= D,	п = i.
Теперь удобнее записать
Wk = CAkB, 6>0.
Тогда для (1.10) получаем
п— 1
= САпх0 + £ ^п-1-iUt + Dun,
о
Можно объединить второй и третий члены и записать
vn = CAnx0+ Е ю&п-ь	(1.10а)
о
полагая = W/^1; wt — D, i = 0.
Из многих свойств, характеризующих инвариантные си-
стемы, определенные равенством (1.8), наибольший интерес
для нас представляют три:
(1)	устойчивость;
(2)	управляемость;
(3)	наблюдаемость.
Рассмотрим последовательно каждое из них.
Устойчивость
Будем говорить, что состояние х (хе Rp — линейное про-
странство (рX 1)-матриц) устойчиво (или «Л-устойчиво»),
если
ИтДЛх = 0.	(1.12)
п
По отношению к (1.9) это означает, что член, соответ-
ствующий начальным условиям в этом выражении, будет
асимптотически обращаться в нуль. То же верно и для (1.10).
12
Гл. 1. Обзор теории линейных систем
Класс всех устойчивых состояний является линейным подпро-
странством. Назовем его устойчивым подпространством. Си-
стема является устойчивой, если все ее состояния устойчивы.
Для устойчивости системы необходимо и достаточно, чтобы
все собственные числа матрицы А были по модулю строго
меньше 1. В этом случае говорят также, что матрица А устой-
чива. Отметим, что А является устойчивой, если А*А устой-
чива; при этом обратное неверно.
Для устойчивой системы весовую матрицу системы мож-
но охарактеризовать преобразованием Фурье, называемым
«передаточной функцией» входа — выхода:
iHM = Е = D + е2лас £ Ake2nlkKB, —1/2 < Л < 1/2.
О	о
Пусть z — комплексная переменная. Тогда ряд
Е wkzk
О
сходится для |z|^ 1 и называется ^-преобразованием. Из
(1.11) сразу получаем, что
Yiwkzk = zC(,I-zA)~i B + D, И<1.	(1.14)
О
Все свойства z-преобразования могут быть получены из пе-
редаточной функции:
•ф(Л) = С(7 —е2ягМ)_1Ве2"(Х + £>, —1/2 < Я, <1/2. (1.15)
Заметим, что ^-преобразование (1.14) остается определен-
ным даже для неустойчивых А при | z | <Z г, где г — некото-
рое число г, 0 < г 1.
Управляемость
Скажем, что состояние х управляемо (лучше было бы
сказать достижимо), если оно может быть достигнуто из на-
чального состояния за некоторое конечное число шагов по
времени при соответствующем входе. Более точно, состояние
х управляемо, если для некоторого п и некоторой последова-
тельности {щ}
хо = О,
= Axk + Buk, О k п — 1,
ля = х.
Гл. 1. Обзор теории линейных систем
13
Это эквивалентно тому, что выражение (1.9) для произволь-
ного момента времени имеет вид
п— 1
х = £ Ап~1~кВик.	(1.16)
£=0
Управляемые состояния образуют линейное подпростран-
ство, которое назовем «управляемым подпространством».
Когда оно совпадает со всем пространством состояний, гово-
рят, что пространство состояний управляемо. Будем обозна-
чать это сокращенно: «(Л — В) управляемо».
Необходимым и достаточным условием управляемости яв-
ляется то, что (составная) матрица управляемости
\В АВ ... Л₽~’в|	(1.17)
имеет полный ранг. Или, что эквивалентно, матрица размера
рХр
Rc^'L А1 ВВ*А*1
О
невырожденная. (Напомним, что А имеет размер рХр) Бо-
лее того, подпространство управляемых состояний в точности
есть область изменения /?с.
Если пространство состояний управляемо, мы можем вы-
разить выход vn единственным образом через предшествую-
щую входную последовательность. Действительно, для неко-
торого k имеем
£-1
хо — S ^BUk^i-p
о
и можем переписать это, обратив время, как
-1
*о= S A~x4Buh
i=-k
где
un = uk+h —	1.
Другими словами, мы можем найти начальное состояние Хот
которое можно рассматривать как результат воздействия на
систему подходящей входной последовательности в предыду-
щие моменты времени. Более того, мы можем записать теку-
щее состояние хп в	следующем	виде:
—1	п-1	п-1
хп —Ап £ Л~1-/ВЫ/+Е	Лп-1-/Ви/ = Л Лп-1"‘Вй,,
i--k	i-0	i-.-k
14
Гл. 1. Обзор теории линейных систем
где
щ = uh 0 < i < п — I;
щ — Щ, — k < i --1.
Далее можно переписать это в «типичной» форме
п — 1
хп = У, Ап~х~‘Ви{,
i= — оо
где входная последовательность Ui является нулевой для
—оо < i —2V. В свою очередь вход можно выразить в виде
П— 1	оо	оо
22 ^-i-л "Ь вип 22 w ]Un_1—/	оип 22	-j'•
— оо	О	О
(1.18)
Другими словами, вследствие управляемости выход пол-
ностью выражается через вход, без введения в рассмотрение
состояния. Кроме того, можно получить, отправляясь от
(1.18) (хотя это выходит за рамки данного рассмотрения),
такое описание в терминах пространства состояний, при ко-
тором пространство состояний является управляемым.
Замечание. Из (1.10а) видно, что если система устойчива,
то первый член в (1.10а) стремится к нулю при больших п,
так что представление (1.18) асимптотически справедливо
для устойчивых систем.
Наблюдаемость
Чтобы ввести понятия наблюдаемости, начнем с рассмот-
рения задачи, имеющей определенное практическое значение.
Предположим, что система известна, т. е. 4, В, С и D за-
даны. Будем также считать заданной последовательность пар
(Ui,Vi), i = 1, ..., п, где щ — вход и Vi — выход. Можем ли
мы определить состояния Xi, хп, соответствующие этим
данным? Чтобы ответить на этот вопрос, можно поступить
следующим образом.
Поскольку
Z-1
vl — CAi~lx1 + Е СА{~х~кВик, 1=1,..., п,
1
то, вычитая отклик на известный вход и полагая
vt = vt —	СА1~х~кBuk,
1
имеем
щ = СА1~ххь г = 1......п.	(1.19)
Гл. 1. Обзор теории линейных систем
15
Если отсюда мы можем найти хь тогда, конечно,
i-1
x-i = А1~ххх + X Al~x kBuk
1
будет определять последующие состояния. Мы можем счи-
тать (1.19) системой из п уравнений для определения хь За-
метим, что уравнения являются линейными и поэтому (1.19)
имеет единственное решение, если только однородное уравне-
ние (относительно з)
0==СЛг-1г, Z=l,	(1.20)
не имеет ненулевого решения. Учитывая, что пространство
состояний имеет размерность р, а матрица А — размер р X Р,
то из равенства
0 = CXf-Iz, t==l, .р,	(1.21)
при р следует (1.20).
Теперь дадим определение: состояние х ненаблюдаемо,
если
CAkx = Q, /г>0.	(1.22)
Понятно, что класс ненаблюдаемых состояний является ли-
нейным подпространством. Его ортогональное дополнение на-
зывается наблюдаемым подпространством. Говорят, что про-
странство состояний наблюдаемо, если подпространство не-
наблюдаемых состояний содержит только нулевое состояние.
Пусть р — размерность пространства состояний. Тогда
пространство состояний наблюдаемо тогда и только тогда,
когда матрица
—	А*‘с* С А1
о
невырождена. Или, что »квивалентно, когда составная мат-
рица
G
СА
САР"'
является невырожденной. Кроме того, если пространство со-
стояний наблюдаемо, можно, возвращаясь к (1.10), опреде*
лить xi формулой
*1 = Яо-1£	(1.23>
16
Гл. 1. Обзор теории линейных систем
Мы также воспользуемся записью «(С ~ Л) наблюдаемо»
для обозначения того, что пространство состояний наблю-
даемо. Заметим, в частности, что (С ~ А)-наблюдаемость
эквивалентна (А* ~ С*)-управляемости.
Задачи
Задача 1.1
Предположим, что (С ~ А) наблюдаемо. Если матрица К
такова, что (/ — СК) невырождена, то (С ~ (7 — КС) А) так-
же наблюдаемо.
Указание:
С(1 — КС) Ах = 0=>(1 — СК) С Ах = О,
=>САх = 0.
Поэтому
С (/ - КС) А(1 — КС) Ах = 0
=>С(1-КС) А2х = 0,
=>(/ -СК) СА2х = 0,
=>СА2х = 0.
Задача 1.2
Пусть А невырождена. Покажите, что (С ~ А-1) наблю-
даемо, если наблюдаемо (С ~ А).
Задача 1.3
Покажите, что (С ~ А)-наблюдаемость эквивалентна:
(а)	(С*С ~ А)-наблюдаемости;
(б)	(д/С*С ~ А)-наблюдаемости.
Задача 1.4
Постройте (квадратную) матрицу А, такую что для некото-
рого х последовательность ||Алх|| не сходится при м->оо не-
смотря на ограниченность.
Задача 1.5
Покажите, что формулу (1.23) можно модифицировать сле-
дующим образом. Пусть R будет любой невырожденной (ко-
вариационной) матрицей размера рХр« Определим теперь
формулой
Ro= i A*lt~lC,R~'CAk~l.
1
Задачи
17
Тогда получим представление
1
Задача 1.6
Заданы
_ Г 0.1108 0.1389 0.3347 000]
C=L 0.3355 0.2674	0	0 0 oj’
”1 0 0—0.15 ХЮ-5 —0.53 ХЮ-5 0.7129 ХЮ-6
0 1 0 0.5672 ХЮ-5 0.2646 ХЮ-4 0.1572 ХЮ-3
= 00 1 0.416 ХЮ-6	0.40 ХЮ-4	0.223 ХЮ~2 3
— 1 0 0	1.074	—0.2749 X Ю~4—0.1609 X Ю“3
0 1 0—0.275 ХЮ-4 1.071	-0.15 ХЮ-1
_0 0 1—0.161 ХЮ-3 —0.15 ХЮ-1 0.9890
наблюдаемости; вычислите матрицу
Убедитесь в (С ~ Д)-наблюдаемости; вычислите матрицу
2 А'~кССА~к.
о
Глава 2
Обзор теории сигналов
В этой главе мы приведем краткий обзор основных фак-
тов, касающихся понятия сигнала, которые потребуются в
дальнейшем. Для более детального изучения, включая под-
робности доказательств, можно рекомендовать работы [13],
[14], [17], [18], [19].
Как и в случае систем гл. 1, будем рассматривать только
дискретное время, т. е. случай, когда независимая перемен-
ная может принимать лишь целые значения. Таким образом,
мы будем использовать обозначение sn для п-го выборочного
значения, считая от некоторого (произвольного) начального
измерения (времени). (Выборочные значения не обязательно
должны браться через равные промежутки времени, хотя это
наиболее распространенная ситуация.) Будем считать sn век-
тором-столбцом размера т\1. Поскольку начальный мо-
мент времени произволен, мы допускаем, если потребуется,
как положительные, так и отрицательные значения п. Хотя и
невозможно в каком-либо физическом устройстве обработать
неограниченное число выборочных значений, но было бы
столь же нереалистично ограничивать число выборочных зна-
чений неким раз и навсегда фиксированным числом. По-
этому мы идеализируем наши сигналы, рассматривая их как
необрывающиеся последовательности вида {srt}> где л = L
2, ... пробегает все целые положительные значения (или,
если необходимо, то и целые отрицательные).
Спектральная теория сигналов с конечной
энергией
Скажем, что последовательность сигнала1) {$л} имеет ко-
нечную энергию, если
lim Е ||sn ||2 < оо.
2V->oo — N
Это понятие и связанная с ним теория нам почти не потре-
буются. Будем говорить, что сигнал {sn} имеет конечную
В дальнейшем будем писать просто «сигнал», опуская слово «по-
следовательность».
Гл. 2. Обзор теории сигналов
19
мощность, если
N
Нт У SnSn = Ps<oo.
2N st
(2.1)
Фактически мы будем требовать несколько больше, чем (2.1).
Приведенное ниже предположение в технической литературе
обычно подразумевается выполненным. Так, следуя фунда-
ментальной работе Винера [18], мы будем предполагать, что
предел
w
Нт 9л/ У $п$п+т == Rm
—N
существует и конечен для каждого m 0. Это утверждение
не следует с необходимостью из (2.1)1 Отметим, что
= 2¥ £	= >7 2F Е $Л-т = R-m- (2-2)
-W	— N
Конечно,
RO = PS (ковариация сигнала).
Типичным примером сигнала с конечной мощностью является
sn = a cos (2лпХ0 + 6),
который является периодическим, если %0 рациональное число.
В этом случае
N
Rm = аа* lim У cos (2лпЛ0 + 0) cos (2л (п + пг) Ло + 0) =
-N
= (аа*) ~ cos 2лтЛ0, Ло =/= 0.
Заметим, что
1/2
Rm = J e2«am(^.)(d(A_M + d(x + xo))dx>
-1/2
и для Хо =# 0 это выражение не зависит от «фазового угла» 0.
Этот результат можно обобщить. В действительности имеет
место теорема Бохнера — Хинчина — Винера о спектральном
представлении:
1/2
Rm= J e^ps(tydk,	(2.3)
-1/2
20
Гл. 2. Обзор теории сигналов
где р$(Х)— самосопряженная, неотрицательно определенная
функция, известная как спектральная плотность сигнала (ко-
торая, конечно, может содержать дельта-функции). Действи-
тельно, ее можно получить разложением в ряд Фурье:
PsW=te-2niKmRm,	(2.4)
— оо
где {Rm} есть коэффициенты Фурье для р$(Х). Из (2.4) по-
лучаем, что
PsW* = Ps(+ V-
Пусть такой сигнал {sn} является входом линейной системы
с передаточной функцией ф(Х). Пусть {ип} обозначает соот-
ветствующий выход, так что
оо	п
= Е Wksn_k = X wn_ksk,
0	—оо
Ф W = S wke2nikK, £ II wk II2 < оо.
о	о
Тогда
N	оо оо . N	.
TTTF /	= /	/ Wb I 77TF /	ь$* w , IW*.
2N / 1 п п+т / 1 / 1 й I 2/v / n—k n+m—j I i*
— N	0	0	\ -W	/
и, переходя к пределу при Af->oo, получаем
N	оо оо
Rv= lim тит V = V V wbR.b ,w* =
tn	2N l—i n n+tn / j 2—j « 'm+fe—/ ]
2V‘>O°	_/v	0	0
_ e2ni\mf^^ wke2niKkps (A) e~~2jlZA,^A dk =
-1/2	\ о о	/
1/2
= e2niKm^ ps	«ф* (h) dK
-\/2
'(где * означает сопряжение и транспонирование). Другими
словами, выход {ип} имеет «усредненные по времени» свой-
ства, аналогичные свойствам входа {$л}, и спектральная
плотность выхода имеет вид
=	(2.5)
В частном случае, когда система имеет структуру
vn = Схп,
х -Ах +Fs	(2-6)
Лп+1	“Г Гдп,
Гл. 2. Обзор теории сигналов
21
мы видим (предполагая, что А — устойчивая матрица), что'
о
где теперь
а|) (Л) = J CAke2niKkF = С(1 — Ае2ла)~1 F.
О
Следует отметить, что в отличие от (1.13) теперь D = 0.
Именно эту форму мы будем использовать в дальнейшем.
Таким образом, для спектральной плотности имеем сле-
дующее представление:
ро (Л) = С(1- Ле2яЛ)-1 Fps (Л) F* (I - А*е~2л‘^)~1 С*. (2.7)
Стохастические сигналы: теория процессов
второго порядка
В своей основополагающей работе [18] Винер использо-
вал для описания сигналов теорию, кратко изложенную в пре-
дыдущем разделе этой главы. Эта теория является «стацио-
нарной». Можно построить более общую теорию, которая поз-
волит включить анализ «переходных» или «неустановившихся
состояний» и в то же самое время сделает более простым
анализ стационарных состояний. Это достигается введением
в рассмотрение стохастических сигналов, включая теорию
«генерации сигнала», которая позволяет построить сигнал с.
заданной спектральной плотностью.
Стохастический сигнал представляет собой случайный про
цесс (или временной ряд) в виде последовательности случай*
ных переменных, для которых совместное распределение лю-
бого порядка задано (или в принципе может быть вычисле-
но). Гауссовский случайный сигнал — это такой сигнал, для
которого все совместные распределения являются гауссовски-
ми. В теории фильтрации Калмана достаточно рассматривать
только гауссовские сигналы. Вообще говоря, в линейной тео-
рии фильтрации мы будем иметь дело лишь с моментами до>
второго порядка включительно (средние и ковариации), и по-
этому для нас будет представлять интерес лишь теория вто-
рого порядка. С другой стороны, можно заменить любой дан-
ный процесс гауссовским с теми же значениями средних и
ковариаций и, следовательно, можно ограничиться только
гауссовскими процессами 9.
° Имеются в виду, конечно, только линейные задачи теории случай-
ных процессов. — Прим, ред.
22
Гл. 2. Обзор теории сигналов
Скажем, что стохастический сигнал {s„} является стацио-
нарным (во втором порядке), если E[sn] не зависит от п (где
здесь и далее £[•] обозначает математическое ожидание, или
среднее по ансамблю) и если ковариация
£ [К - £ IW £
Другими словами, «сдвиг по времени» не приводит к каким-
либо изменениям. В частности, если процесс гауссовский, то
функции плотности распределения также инвариантны отно-
сительно «сдвига по времени», т. е.
P(sn> ^л + 1» •••> ^п + р) = Р	+	^n + zn+b •••>	+ р +
для всех п, т, р. Для процессов, стационарных во втором по-
рядке, мы вновь имеем теорему Винера — Хинчина — Бохнера
[И]:
1/2
Rm = J e2^p(K)dK
-1/2
где р(Х)—спектральная функция плотности процесса. (Она
может содержать 6-функции, т. е., более строго,
1/2
Rm = J e2nimK dP (к),
-1/2
где Р(Х) называется спектральным распределением.) В слу-
чае, когда
dP (Х) = р(Л) dk
(т. е. процесс имеет спектральную плотность), она может
быть определена рядом Фурье:
— оо
Отметим, что р(Х) является самосопряженной и неотрица-
тельно определенной. Кроме того,
р(- Л) = Е e~2nimKR'n
так что
Ра (М = Ра ( О,
где Ри(Х) обозначает диагональные элементы. Задача оцени-
вания р(Х) по одной «длинной» реализации процесса из-
вестна как «задача спектрального оценивания» и имеет важ-
ное значение, но выходит за рамки данной книги.
Гл. 2. Обзор теории сигнал^,
2»
Заметим теперь, что спектральная теория сигналов с ко-
пий энергией, с которой мы начали, сильно похожа на
Не₽ктоальную теорию стохастических сигйалов. ды уточним
СПе гнязь обратясь к центральному резуЛьтату эрГодической
8Т\иИ Он СОСТОИТ В ТОМ, ЧТО ДЛЯ стациойарного ГауССОВСКОГО
Тпппесса с непрерывной спектральной Функцией распределе-
ния среднее по ансамблю реализации м<)Жет быть заменено
апрпним по времени.
Р Таким образом, если спектральное распределение не имеет
„пв (или на техническом языке, сп^Тральная плотность
не содержит дельта-функций), то1)
ДО
E[f(sn)] = Km
До->°о -N
И, В частности,	N
E[sn]= V™
N-*°° _N
Кроме того,	#
Rn = £ [SnSn+m] 2У ХМм-т’
Таким образом, мы можем считать сигн^ эргодическим гаус.
совским процессом, т. е. «среднее по врейени> понимать как
среднее по ансамблю или среднее статиоъ!{еское
Пусть стационарный (с нулевым ^ним)’ гауссовский
сигнал {s„} со спектральной плотностью явл/ется вхо.
дом инвариантной по времени линеиноийсте^ы и п , ।
является выходом, так что	* J 1 п>
•оо
Vn = Е WK-fe.
О
Тогда выход {ц„}-также гауссовский с^0она ный с.
со спектральной плотностью pv (X):	г г
Pv W “ Ф W Ps W Ф* ft
где
-ф (%) = wke2nikK (предполагается,	||Шл||««< оо).
о Здесь и далее мы будем опускать термин^ верОЯТНостью едини*
Ца» для всех равенств, включающих в себя	переменные.
24
Гл. 2. Обзор теории сигналов
Это можно доказать по существу так же, как и в детермини-
рованном случае, но только с использованием среднего (ста-
тистического) по ансамблю:
оо оо
Е М+J = £ £ wkE k-X+m-/] =
о о
= У У wk e2niK (Л)	=
О О -1/2
1/2
= J е2ШтК^ (Л)р5(Л)1|)*(Х)ЙХ.
-1/2
В частности, (2.7) справедливо, когда система имеет вид (2.6) .
Модели генератора сигнала
Гауссовский сигнал {Nn}, такой что
ЖМ,
Е [Л/’пЛ^ш] = 0, п #= /п,
= /, п = т,
называется белым шумом с единичной ковариацией. Пусть
Sn	ПХ'ПУ
х -Ax+FN п>0	(2-8)
хп + 1 — Лпхп \ Г П[У1 ПУ
Эта система является моделью генерации сигнала {sn}»
я такой способ генерации известен как «прохождение белого
шума через линейную динамическую систему». Оказывается,
что для всех практических целей лишь этот класс сигналов
представляет интерес в теории фильтрации.
Теперь изучим некоторые свойства процесса {srt}, генери-
руемого таким образом. Предположим, что х0 является гаус-
совским и не зависит от шума {Nn} п 0. Тогда процесс
{хЛ}, процесс изменения состояния, является гауссовским и
марковским. Поэтому мы без труда можем установить, что
В [хЛ | Хр, Xp_j, . . ., Xq] == Е [хп I хр1*
Действительно, достаточно заметить, что в решении (2.8)
-Хд = Ап- 1 ... Архр -f- Fn^Nn—i	+
+ An^An^2Fп-зМп-з + ... + At-iAi-2 • • • ApFpNp,
Гл. 2. Обзор теории сигналов
25
причем члены с шумом в правой части не зависят от хр. Это
вновь означает, что вся память о процессе сосредоточена в
состоянии, отстоящем от данного на один шаг назад.
Теперь вычислим средние и ковариацию {$л}. Имеем
Е [$/г] = СпЕ [Хп],
Е 1Л/г] ==	[%п—1] = ^п-1 • • • AyE [*<)].
В частности, sn имеет нулевое среднее, если начальное состоя-
ние х0 имеет среднее, равное нулю.
Исследуем структуру ковариаций. Для простоты будем
предполагать, что
Е [х0] = О,
так что
£ [хп] = 0, п 0.
(В противном случае мы можем ввести центрированный про-
цесс
= Е »
который будет удовлетворять той же динамике и иметь нуле-
вое среднее.)
Полагая
R(m, n) = £[xm<],
имеем
R(n + p, ri) = An+p_l ... AnR(n, n),
и R(n, n) удовлетворяет равенству
R (n 4- 1, n + 1) = AnR (n, ti) An + FnFn,
R(0, 0) = £[V;j.	(2-9>
Для ковариации сигнала таким образом получаем
Для нас особо интересен случай системы, инвариантной по»
времени, когда
Л = Л, Fn = F, Сп = С.
Тогда имеем
(тг, п) = R(m — п) = Am~nR (п, п)9 т^п,
при этом
/?(п, п) = Л£(п-1, п- 1) А* + FF\ (2.Ю)
26	Гл. 2. Обзор теории сигналов
Конечно, мы можем «решить» это разностное уравнение и
лолучить
R(n, n) = AnR(Q, 0)А’п+ Ё AkFF*A*h.
О
Особый интерес представляет случай, когда А устойчива.
В этом случае AnR (0, 0) А*п -> 0, и ряд
£ AkFF'A*k
о
сходится. Поэтому
lim R (п, п)=^4 AkFF*A*k.
П->оо	0
Обозначим этот предел через /?оо. Тогда
ПтЧ*Х+Р] = /М‘₽, Р>0.	(2.11)
П оо
Другими словами, гауссовский процесс {хл} и, следовательно»
сигнал {sn = Схп} являются асимптотически стационарными.
Заметим, что Roo удовлетворяет равенству
ROO = AROOA* + FF\	(2.12)
Спектральная плотность, соответствующая асимптотически
стационарному процессу, имеет следующий вид:
Ps W = СРх (X) С ,
где
рх (-*) = S e~2niKnAnRa> + RM f e2"iXnA*п - Rx =
о	о
= (Z - Ae~2ntK)~l R” + Roo U - А'е^Г* - RM -
= (/ — Ae~2™T‘ [Roo (Z ~ A*e2niK) + (Z - Ае~2л1К) Rx —
- (Z - Ае~2ла) RM (I - A*e2n/K)] (I - A*e2nlK)~',
где выражение в квадратных скобках можно вычислить с ис-
пользованием (2.12). Произведя преобразования, получим
рх (X) =ш= (z — Ae2JlU)-1 FF* (Z -	= -ф (Л) ф’ (Л), (2.18)
где ф(Л)—передаточная функция системы:
Гл. 2. Обзор теории сигналов
27
В частности, имеем следующее «разложение» для спектраль-
ной плотности сигнала:
psW4^(WW,
где является передаточной функцией «физически реа-
лизуемой взвешенной модели».
В заключение отметим, что для устойчивой системы (т. е.
когда матрица А устойчива) можно показать, что среднее по
времени равно среднему по ансамблю (в стационарном со-
стоянии):
N
lim 4- У s.s* = CAPRC*.
п = 1
Пример 2.1
Проиллюстрируем наши рассуждения простым примером.
Предположим, что наш стохастический сигнал возникает в
результате периодических измерений ответа линейного осцил-
лятора на шум, т. е.
sn = s(nA),	(2.14)
+ 2& -g- + (0^ (t) = (0,	(2.15)
где N(t) — шум на входе колебательной системы, а Л — интер-
вал, через который производятся последовательные измере-
ния. Мы предположим, что (о0Л < л. Нашим первым шагом
будет построение модели генератора сигнала для (2.14) с ис-
пользованием (2.15). Для этой цели прежде всего перепишем
(2.15) в форме «пространства состояний»:
(s(t)-Cx(t),
1 х (/) = Ях (/) 4-GAT (/),	(2,16):
где
г 0 l-i	Г01
Н =	2	0. .	С=[1, 0], G= u .
L - <°о ~2b J	L i J
Пусть xn = х(пД). Тогда из (2.16) можно получить
xn = e^xn_l + ^-l,	(2.17).
где
д
ен ^GN (п- 1Д + a) da. (2.18)
28
Гл. 2. Обзор теории сигналов
Предположим, что N(t)— гауссовский процесс с нулевым
средним. Тогда имеет те же свойства и, кроме того,
д д
= $ J еН (т^~пЛ + а - $)	do ds,
о о
где
R(t2-Q = E{N^N'(t2)}.
Предположим, что шум является белым шумом с ограничен-
ной полосой, ширина которой больше, чем (1/А), и доста-
точно широка, чтобы двойной интеграл можно было хорошо
аппроксимировать выражением
AqpFF* при т = п,
О при т Ф п,
Ф— спектральная плотность шума. Отсюда получаем
£п = УЛф GNn,
где Nn — гауссовский белый шум с единичной дисперсией. Та-
ким образом, мы имеем следующее представление в канони-
ческой форме:
( sn = Схп
1	(2.19)
L %п+1	Nп>
ТДе	____
А = ен\ F = VA<p G.
Отметим, что (2.19) получено не в результате прямой дискре-
тизации дифференциального уравнения (2.15).
Продолжим рассмотрение этого примера. Предположим,
что выполнено неравенство
ь
С00
< 1
(это означает, что (2.15) действительно описывает колеба-
тельную систему). Полагая
— = £ (отношение демпфирования),
COq
= соо V1 — &2 >
получаем
А = ен& =
—	t	1
coscosA Н-.	- sin cosA	— sin cosA
ал	V1—E2
-- Q-ЬЬ.
~ <B°— s i n asA	cos to.A--,	— s i n co. A
Vi-g2	Vi-i2
Задачи
29
Отметим, что система (С ~ 4)-наблюдаема. Из этого сле-
дует, что мы можем получить «разностное уравнение» для sn.
Учитывая тот факт, что
А2 + (2е-ь д cos cosA) А + е~ьЧ = О
(теорема Кэли — Гамильтона [1]), находим
sn+2 + (2е-6Д cos <в5Д) s„+, + е"6Д«„ = (е"6Д —n^A ) Va/?(O)JV„.
Кроме того, если А устойчива, сигнал {sn} является асимпто-
тически стационарным и эргодическим. Его спектральная
плотность имеет вид
Р (X) = С (/ - е2я‘М)-1 FF* (1 - е-2л‘М*)-1 С* =
__А/? (0) е~26д sin2<BsA | -ьд -2л/(A-t-f Д)|-2| -ьл. -2nllK-f Д) |~2
~	<Bq(1 —g2) |в	1	16	1	’
где 2л/0 = со0, 2rcfs = a)s.
Отметим, что р(Л) достигает максимума при
Z = + fsA ^zb f0A
для малых g. Кроме того,
дД — (2лДЛ) £	|
в предположении, что g мало. Окончательно для logp(X)
имеем
log р (К) = const — log (1 + e~2b^ — 2e~b& cos (A, — fsA)) —
— log (1 + e-26A — 2e-dA cos (X + fsA)),
где второй член является симметричным относительно fsA с
максимумом в fsA, в то время как третий член симметричен
относительно —fsA с максимумом в —/$Д. Чем меньше &, тем
острее пики.
Задачи
Задача 2,1
Пусть {sn}—стационарный гауссовский сигнал со спектраль-
ной плотностью р(Х). Определим (при фиксированном В)
стохастический процесс с непрерывным временем равенством
с /А _ V с Sin Л <2gZ ~ »)
S W Д sn л (2В/ _	.
30
Гл. 2. Обзор теории сигналов
где сходимость бесконечного ряда понимается в смысле схо-
димости в среднем квадратичном. Найти ковариацию про-
цесса
s(kb), -оо<&< оо,
для фиксированного Д, 2ВД 1. Рассмотреть случай, когда
спектральная плотность сигнала {sn} такова, что
р(Х)=1,
Указание:
Е [$ (/) s’ (/ + АД)] = S RP Е ап (t) ап+р (t + АД),
р	п
где
Яр = -Ерп5„+р],
__ sin л ““ п)
~ я (2В/ - п) •
Отсюда
е [»w ? v + ед = £ "" " St;,'0- -
р
1/2	1/2
= j Хе2яар	5я(2В^~р)Р)	5	^M(2BAWW
-1/2 р	-1/2
Поэтому спектральная плотность равна
2ВД” Р ("255") для — В\ < К < Вк,
0	в противном случае.
Задача 2.2
Для следующей модели сигнала:
sn =
xn+{=^Axn + FNnt n^Q,
где А является устойчивой, а х0 не зависит от дискретного
белого шума с единичной дисперсией, вычислить среднее
и дисперсию «выборочной» ковариации
(	N	\
I N snsn+p I
\ n = l	/
для каждого N. Показать, что дисперсия стремится к нулю
при N -> оо.
Задачи
31
Задача 2.3
Доказать неравенство Шварца для случайных векторов х, yt
£•(1 [х, у] |2)<£[||х||2]Е[1И12].
Доказать неравенство Гёльдера
Vf in х+у и < v«+vwm
Задача 2.4
Рассмотрим следующий численный пример для системы
(2.16):
со0 = 2б; А ==0.01; & = 0.5со0-
Показать, что
Г 0.9714 0.00881
А “1-5.4723 0.7525]
Проверить, что собственные значения А равны ехр(—6Д zt
it 1(о$Д).
Сравнить ковариации стационарного состояния для моде-
лей с непрерывным и дискретным временем.
Задача 2.5
Пусть в модели (2.15)
v{^~dF
является выходом. Построить соответствующую модель е дис-
кретным временем, аналогичную (2.19).
Задача 2.6
Показать, что рх(Х), определенная выражением (2.13), яв-
ляется невырожденной для каждого X, если система [А ~ F)*
управляема, а А — простая матрица.
Глава 3
Теория статистического оценивания
Назначение всякого фильтра, как можно предположить
из самого названия, состоит в исключении шума, или, что эк-
вивалентно,— в выделении полезного сигнала из принимае-
мого, искаженного шумом. Другими словами, фильтр являет-
ся «оценивателем» сигнала. Для этого используются хорошо
известные в статистике или, точнее, в статистической теории
оценивания приемы. Они составляют основное содержание
данной главы. Эти приемы важны не только потому, что ло-
гично развивать теорию фильтрации Калмана, отправляясь
от них, но также потому, что их изучение представляет само-
стоятельный интерес.
3.1. Оценивание параметров: неравенство
Рао—Крамера; принцип максимального
правдоподобия
Пусть «наблюдается» n-мерный вектор v. Например, v мо-
жет представлять собой выборку из п значений (организован-
ную как вектор-столбец) непрерывного во времени сигнала,
измерения которого произведены через некоторые дискретные
промежутки времени. Располагая вектором v, мы должны
оценить m-мерный вектор параметров 0 (см. примеры ниже).
Мы рассматриваем ситуацию, в которой ничего не известно
о векторе 0: это всего лишь «неизвестный» параметр, a v
представляет собой реализацию случайной переменной, рас-
пределение которой известно для каждого 0. Таким образом,
мы рассматриваем задачу, которая называется «оценивание
параметров»; в классической статистике она связана с име-
нами Крамера и Фишера [3].
Конечно, как вскоре увидим, возможны и другие подходы
к определению вектора 0, однако мы не можем обсудить их
все в этой книге. Какой подход принять — это определяется
тем, насколько он полезен при решении нашей задачи. Мы со-
храняем эту модель, если наш опыт ее использования являет-
ся положительным, и отказываемся от нее в противном
случае.
3.1. Оценивание параметров
33
Неизвестным вектором параметров 0 может быть любая
точка в m-мерном евклидовом пространстве, обозначаемом
Rm, и, конечно, v представляет собой точку в R". Для наших
целей в этой книге нам необходимо рассмотреть только слу-
чай, когда распределение v может быть представлено функ-
цией плотности, или, в чисто математических терминах, когда
распределение v абсолютно непрерывно относительно меры
Лебега. Это означает, что мы располагаем семейством (в за-
висимости от параметра 0) плотностей распределения:
р (о 10) О, р (v | 0) d | v | = 1.
Обозначение p(v|0) специально введено для того, чтобы
можно было рассматривать p(v|0) как условную плотность
распределения v при заданном 0, хотя 0 не является случай-
ной величиной.
Любая «оценка» 0 будет (фактически должна быть>
функцией v. Поэтому, обозначая «крышкой» оценку, мы мо-
жем записать
0 = /(у),
где функция f(*) полностью определяет оценку. Как мы бу-
дем измерять качество нашей оценки? Заметим, что f(u) яв-
ляется случайной величиной. Поэтому любая такая мера
должна использовать «статистические средние». Начнем с пер-
вого момента:
£e(0)= J/(v)p(o|0)rf|v|,
где индекс 0 означает, что 0 — фиксированный параметр. Раз-
ность
Ее (0) —- 0
называется «смещением оценки». Ясно, что смещение есть
функция от 0:
6(0) = Ее(0)-0.
Оценка называется «несмещенной», если ее смещение равно-
нулю.
Пусть 0О обозначает «истинное» значение параметра 0Г
которое, конечно, неизвестно и в действительности не может
быть известным. Тем не менее мы можем говорить о «погреш-
ности»
2 Балакришнан А.
/(«) —00-
34
Гл. 3. Теория статистического оценивания
Поскольку ©о неизвестно, мы рассматриваем для каждого 0
«среднеквадратичную погрешность»
(II f (v) - © II)2 = $ II f (у) - © II2 Р (v 10) d | v I,
r"
•или, в более общем виде, — матрицу вторых моментов по-
грешности
R (©) =	((/ (v) - ©) (f (v) - ©)*) =
= J (/(V) — @)(/(v) — ©)*p(v|@)rf| v |	(3.1.1)
как функцию 0.
Замечательное открытие, связанное с именами Крамера и
Рао [3], [16], заключается в том, что можно вычислить «ми-
нимальную» матрицу вторых моментов /?(©), т. е. минимум
(3.1.1) для каждого 0 на классе всех возможных оценок /(•),
не зная соответствующих оценок (за исключением их смеще-
ния). Точнее, мы можем получить нижнюю границу для /?(0)
в следующем виде:
R (0) >(/ + Ve6 (©)) Л (0)"1 (/ + VeZ> (©))’,	(3.1.2)
где
Л (0) = Eq [(Ve log р (о 10))* (Ve log р (v | 0))] =
= (Velogp(v |0))’(V0logp(t> |0))p(o |0)d| v |,
r"
з Ve обозначает градиент (m-компонентный вектор-столбец)
по переменной 01). Чтобы использовать (3.1.2), мы должны
знать смещение оценки, которое в общем случае вычислить
трудно. Фактически неравенство особенно полезно в тех слу-
чаях, когда смещение равно нулю. Итак, для несмещенной
оценки матрица вторых моментов /?(©) (которая также яв-
ляется дисперсионной матрицей погрешности (0 — 0)) имеет
нижнюю границу (границу Рао — Крамера):
R (0) > {Eq [(V0 log р (v 10))* (Ve log p (v |0))]}-1.	(3.1.3)
Другими словами, ковариационная матрица любой несме-
щенной оценки не может быть меньше, чем правая часть, ко-
торая, конечно, может зависить от 0. Неравенство наиболее
эффективно, когда граница не зависит от 0; следует быть
осторожным, используя его в других случаях.
!) Неравенство (3.1.2) справедливо при определенных условиях глад-
кости семейства {р(и|0)}, которые заведомо выполнены в гауссовском
случае. — Прим, ред.
3.1. Оценивание параметров
35
Доказательство формулы для границы Рао — Крамера
Покажем, как доказать (3.1.2). Прежде всего нам необ-
ходимо предположить, что
Ve р (и 10) d | v | = VeP (v 10) d | о |.
r"	r"
Или, другими словами, «дифференцирование по параметру 0
допускается под знаком интеграла». Существуют нетриви-
альные случаи, когда это не выполняется (см. [3]), но, к
счастью, нет необходимости рассматривать их в этой книге.
Отметим, в частности, что так как
p(u|0)d| v |— 1,
r"
то
VeP (и 10) d | v | = О,
Rn
или, поскольку
Velogp(o |0) =
1е)
Р (о I в)
(где мы исключаем те значения и, для которых знаменатель
равен нулю), то можно записать эквивалентное равенство:
J (Ve log р (v 10)) р (а | 0) d | v | = 0,	(3.1.4>
R"
ИЛИ
(Ve log р (ц 10)) — О
для всех 0 s Rm. Как мы видели, смещение
b (0) = Е [0] — 0 = f (и) р (v 10) d | v | — 0
является функцией 0. Поскольку можно дифференцировать
под знаком интеграла, то
Ve6(0)= $ Vep(v|0)d| v |— I,
где / — единичная матрица размера отХш, и мы можем пе-
реписать это выражение в следующем виде:
/ + ?е&(0) = ф(0),	(3.1.5)
где, с учетом (3.1.4), окончательно можно записать
Ф(®)= $ (f(o)-0)(Velogp(u|0))p(u|0)d| у|. (3.1.6)
r"
2*
36	Гл. 3. Теория статистического оценивания
Неравенство Рао — Крамера является в сущности прямым
следствием хорошо известного неравенства Шварца. Чтобы
это увидеть, введем следующие обозначения:
Л = /(и) —0,
В = Ve log р {v |0).
Отметим, что А имеет размер тХ1, а В — размер 1 Х^, так
что размер В* есть т\1. Пусть Л — какая-либо матрица
размера т\т. Напомним, что
((А - АВ*) (А - АВУ) > О,
а поэтому
J (А - АВ*) (А - АВ*)* р (v | 0) d | v | > 0.	(3.1.7)
Раскроем в (3.1.7) скобки. Получаем
Ее (АА*) - АЕе (В*А') - В0(АВ) Л* + АВ0 (В’В) Л* > 0. (3.1.8)
Теперь предположим, что (т X w)-матрица
Ее (В*В) = J (Ve log р (v | 0))* (Ve log р (v | 0)) р (v | 0) d | v |
Rn
невырождена для всех 0. Тогда для каждого 0 в (3.1.8) мож-
но выбрать
Л = Ев(АВ)-(Ев(В*В))-1.
После преобразований получаем неравенство
Ее(ЛЛ’) - Ев(АВ) (Ее(В’В))-1 Ее(В'А')^0,
которое без труда преобразуется в неравенство (3.1.2).
Возникает важный вопрос: когда мы можем найти такую
оценку, у которой матрица вторых моментов действительно
достигает минимума? Другими словами, когда в (3.1.2) вы-
полняется равенство? Оценка, для которой в (3.1.2) имеет
место равенство, называется эффективной. Итак, равенство
в (3.1.2) имеет место, если имеет место равенство в (3.1.7),
или
А - АВ* = 0,
т. е. f (•) удовлетворяет равенству
f (v) - 0 = Л (V0 log р (v |0)Г	(3.1.9)
(исключая значения v, д.ля которых p(v|0) = O). Но из (3.1.9)
.видно, что
Be (/ (и) — 0) = АЕе (Ve log р (v | 0))* = 0,
3.1. Оценивание параметров
37
т. е. оценка f(v) является несмещенной. Кроме того, матрица
вторых моментов погрешности (которая теперь является так-
же ее дисперсионной матрицей) имеет вид
£е((/(»)-©) (/(»)-©)’) =
= Л£0 [(Ve log р (о 10))* (Ve log р (о 10))] Л*
или
= [Ее ((Ve log р (v 10))’ Ve log р (и 10))]"*.	(3.1.10)
Таким образом, для того, чтобы оценка f (v) была эффек-
тивной, Velogp(y|0) должен выражаться в виде
Ve log р (v | ©)* = М (©) (/ (V) - 0)	(3.1.11)
для некоторой функции Л1(0) и всех и и 0. Наиболее важным
является случай, когда в (3.1.10) f(v) линейно зависит от и.
В заключение мы приведем другое выражение для вычис-
ления правой части в (3.1.10) (величины, обратная к которой
есть граница Рао — Крамера для несмещенной оценки). Пусть
0 = Col (01, ..., 0m). Тогда
Е [(Ve log р (v 10))* (Ve log p (v | ©))] =
“-{£(т5в71°е'’<,'10>)}- I3-1-12)
Это следует из того, что
°=Ж- (pf’iewi-
Rn
= $^((wlogp(vl0))p(o|0))d,v|=
Rn
= J (-^-logp(o|0)) (-^-logp(p|0))p(o|0)d|v| +
Rn
4- 5 (-asSey loep(» P(f I®)»I-
Принцип максимального правдоподобия
До сих пор мы обсуждали только меру качества оценок,
но не рассмотрели задачу нахождения оценки, которая яв-
ляется оптимальной, т. е., другими словами, минимизирует
матрицу моментов погрешности (для всех 0). К сожалению.
38
Гл. 3. Теория статистического оценивания
не существует систематического метода отыскания оптималь-
ной оценки, даже если такая существует. Не всегда удается
показать, что эффективная оценка существует. Тем не менее
мы выберем один способ нахождения оценок, который имеет
некоторые особенности, позволяющие рекомендовать именно
его, и фактически только он один используется для всех прак-
тических целей. Это принцип максимального правдоподобия.
Оценкой максимального правдоподобия (ОМП для кратко-
сти) является оценка, которая максимизирует р(у|0) отно-
сительно 0 для каждого v. Поскольку в точке максимума
функции (обладающей необходимыми свойствами дифферен-
цируемости) ее градиент должен равняться нулю, то ОМП
удовлетворяет равенству
Velogp(y |0) = О.
Можно указать одно замечательное свойство ОМП: эф-
фективная оценка, если она существует, является оценкой
максимального правдоподобия. Чтобы это увидеть, вернемся
к равенству (3.1.11), которое характеризует эффективную
оценку f(v). Зафиксируем в нем v. Тогда ОМП является та-
кая величина 0, которая обращает левую часть равенства
в нуль. Поскольку Л4(0) невырождена, то мы получаем, что
f(v)_© = 0,
или f(v), т. е. эффективная оценка, является к тому же ОМП.
В общем случае оценка максимального правдоподобия не
обязательно является несмещенной, и к тому же вычисление
соответствующей матрицы ковариаций погрешности также
может быть нетривиальным. К счастью, нас чаще интересует
лишь «асимптотический» случай, когда 0 имеет фиксирован-
ную размерность, в то время как размерность вектора v воз-
растает. Это означает, например, что мы получаем все больше
и больше данных наблюдений. Таким образом, мы можем го-
ворить об оценке, являющейся «асимптотически» несмещен-
ной и «асимптотически» эффективной. Как правило, ОМП
имеет эти замечательные асимптотические свойства, но, ко-
нечно, они требуют доказательства в каждой конкретной за-
даче. Для дальнейшего изучения из статистической литера-
туры рекомендуется [3] и [16].
Задача 3.1.1
Определить класс оценок, которые являются смещенными
и для которых граница Рао — Крамера минимальна, т. е.
правая часть в выражении (3.1.2) равна нулю для любого
p(v|0).
Примеры
39
Указание: положить
Veft(0) + Z = O.
Примеры
Пример 3.1.1
Наш первый пример является, возможно, наиболее ста-
рым из примеров такого рода. Пусть
Р (v I = (^‘i ^p/2 ехР { ~ Т[Я"’ (о - L&), (.v - £0)]},
где матрица L имеет размер п\т. Это означает, что v —
гауссовский случайный вектор со средним L0 и дисперсион-
ной матрицей R. Очень просто проверить, что
(Velog р (v |©))* = L*R~l (v - LQ).
Предположим, что равенство L® = 0 влечет за собой 0 = 0,
или, что эквивалентно, L*L невырождена. Тогда матрица
Е [(Ve log р (о 10))* (Ve log р (о 10))] =
= £ [Г/?-1 (и - £0) (v - £0)’ £-1L] =
= L'R-'L
также является невырожденной. Таким образом, матрица
границы Рао — Крамера имеет вид
(L'R-'L)-1,
и граница не зависит от 0. Оценка максимального правдопо-
добия задается выражением
LR~l (о —£0) = О,
или
q = (l:r-'l)-1l*r-1v.
Эта оценка является несмещенной, поскольку
£ [0] = (£>-1£)-1 L*R~XE [о] = 0.
Оценка является эффективной, поскольку
(Cr-'L)-' LR~lv — @ =
= (£>-1£)-1 L’R-1 [о - £0] =
= (CR-'L)-1 (Velogp(o |0))‘.
40
Гл. 3. Теория статистического оценивания
Пример 3.1.2
Наш второй пример является одним из немногих случаев,
когда эффективная оценка может быть вычислена в явном
виде и является нелинейной. Он также иллюстрирует тот
факт, что даже эффективная оценка может не вполне нас
удовлетворять. Так, пусть
v = aS + Af,
где S и N — независимые гауссовские величины с нулевым
средним и единичными ковариационными матрицами. Нам
нужно оценить а2 (что соответствует энергии сигнала). Ясно,
что
р (v | а2) = , 1 —
V(l + a2)rt
Поэтому
-^-logp(o|a2) =
1	(	1 [э, и]
(V2ST еХр1	2 1 + а2
п 1	. 1	[о, и]
2 1 + а2 2 (1 + а2)2 *
Таким образом, оценка максимального правдоподобия удов-
летворяет соотношению
Отсюда
п , 1 [и, и] _ 0
2	2 1+9
Эта оценка является эффективной, поскольку
[и,	1	Л2_ 2(1 +a2)2 z п 1	, 1	[о, о] \
п	п к 2 1+ а2 Т 2 (1+ а2)2)
В частности, погрешность
Е [(9 - а2)2] = 2(1
Тем не менее эта оценка, хотя она и эффективная, имеет тот
недостаток, что существует ненулевая вероятность события
а2 < 0,
что нежелательно, поскольку мы оцениваем положительную
величину. Мы можем определить новую оценку, которая сво-
бодна от этого дефекта, взяв, например, в качестве оценки
П (tQ + lfo (и)|
2
Эта оценка является смещенной, но имеет меньшую средне-
квадратичную погрешность!
Примеры
41
Пример 3.1.3
Наш третий пример — нелинейный вариант примера 3.1.1,
в котором мы допускаем нелинейную зависимость от неиз-
вестного параметра.
Итак,
Р (V I 0) = №)п|/?|,/-2- ехр { - 4- [Я-1 (V - А (©)), (V-L (0))]} ,
где £(•) отображает R"1 в Rn. Мы полагаем отображение
настолько гладким, что существуют частные производные лю-
бого порядка. В частности, мы имеем разложение по скаляр-
ному параметру X для любого h е Rm:
L(0 + U) = L(0) + W (0)/г +[tf (0) Л, h] +
+ члены более высокого порядка по X,
где функции G (0), Н (0) являются гладкими функциями 0.
Отметим, что G (0) — градиент (n X т-матрица):
G(0) = VeL (0).
В частности, возможно дифференцирование плотности под
знаком интеграла (см. с. 30), и поэтому
(Velog р(v 10))* = G* (0) R~l (v — L(0)),
а значит, для минимальной матрицы Рао — Крамера имеем
выражение
£ [(Ve log р (о 10))’ (Ve log р (v 10))] ==
= £[G* (0) R"1 (v — L (0)) (о - L (0))’ R~'G (0)] =
= G* (0)/?-iG(0).
Таким образом, минимальная матрица Рао — Крамера зави-
сит от 0. Конечно, вопрос о том, существует ли несмещенная
оценка, является спорным. Поэтому в большинстве приложе-
ний мы, так сказать, «жульничаем», или, точнее, «локали-
зуем» задачу. Другими словами, мы предполагаем, что имеем
известную «номинальную» величину (скажем, 0О) и затем
фактически ищем возмущения относительно этой величины.
Строго говоря, мы предполагаем, что
L (0) = Л (0О) + G (0О) (0 —0О).
Определив
V = v — L (0О),
42
Гл. 3. Теория статистического оценивания
возвращаемся к примеру 3.1.1, где матрица L определена ра-
венством L==G(0o). Затем мы можем изучать границу
Рао — Крамера как функцию номинального значения 0О-
Приложение в навигации
Укажем на одно специальное приложение предыдущих
рассуждений, которое иллюстрирует ранее изложенные
идеи, — решение навигационной задачи с использованием
спутниковой системы глобального ориентирования (Global
Positioning System Satellite Constellation). Более детальное
изложение вопроса приведено в [21, т. II]. Пусть г обозна-
чает трехмерный вектор положения наблюдателя (обычно из-
меряется в ортогональной системе координат относительно-
центра Земли). Пусть п, i= 1, ..., 4, обозначает вектор из-
вестного положения каждого из четырех спутников. Наблю-
датель измеряет запаздывание т/ момента поступления сиг-
нала от каждого из спутников. Это измерение содержит по-
грешность, которую мы будем считать гауссовской случайной
величиной со средним Т («смещение» синхронизации). Тогда<
мы имеем:
Цг-ПН = С(т/ + ^), /=1,	4,
Е&] = Т,
и С — известная скорость света, которую мы для удобства
примем равной 1 (путем соответствующего масштабирова-
ния). Мы хотим оценить вектор г. В самом грубом приближе-
нии нам нужно решить систему
lk-rz|| = Tf + T, Z = 1,	4,
которая состоит из четырех уравнений для четырех неизвест-
ных: три компоненты вектора г и Т. Но нам необходимо из-
мерить, насколько хорошим является решение. Для этой цели
воспользуемся нашей теорией, рассматривая данную задачу
как задачу оценивания параметров. Тогда в обозначениях
Примеры
43
имеем
Пусть
v = L(Q) + N.
©о =
Го
TQ
обозначает номинальную величину (мы всегда имеем некую
оценку, с которой начинаем оценивание). Затем, переходя
к «локализованной» модели
y = L(0o) + G(0o)(0-0o) + Af,
можно использовать границу Рао — Крамера, которая дости-
гается несмещенной оценкой максимального правдоподобия
ё = 00 + (G* (0о) R~'G (©o))~’G* (<W* (v-L (0o))
с соответствующей матрицей погрешности
(g\&0)r-1g(q0)Y1.
Все, что теперь осталось сделать, — это вычислить указанную
матрицу. Элементарные преобразования дают
G(0o) = U//; i, j=l> .... 4}-
coscq COS Pi COSY! 1
__._cosa2 cos p2 cos y2 1
' COS Оз COS 03 COS Уз 1
cos a4 cos 04 cos y4 1
где
cosa^i^, cosp^^j-,
2/ Zq
ko — ri ||’
cos yz
k
yt
Zl
Отсюда сразу можно заметить, что матрица G(0O) вы-
рожденная тогда и только тогда, когда для некоторого не-
нулевого трехкомпонентного вектора-столбца е выполняются
равенства
[е, Г1 —г2] = [е, И —г3] = [е, г,— г4].
Это значит, что четыре точки г/ (концы векторов положения
спутников) компланарны. Ясно, что мы можем вычислить
границу Рао — Крамера для различных положений наблю-
дателя и спутников.
44
Гл. 3. Теория статистического оценивания
Замечание. Этот пример иллюстрирует трудности, связан-
ные с включением приложений. Описание физики проблемы
обычно бывает очень длинным — на практике слишком длин-
ным, чтобы оправдать расплывчатые теоретические соображе-
ния, которые удается из нее извлечь! Но почему-то примене-
ния в реальной жизни считаются привлекательными для но-
вичков. Хотя, вероятно, они действительно помогают достичь
некоторого понимания теории и даже ее ограничений.
3.2.	Байесовская теория оценивания:
оптимальные среднеквадратичные оценки
и условное среднее
Следующим мы рассмотрим байесовский подход, в кото-
ром предполагается, что 0 также является случайным. Итак,
мы имеем совместную плотность р(0, и). Нашим критерием
качества какой-либо оценки f(v) опять будет матрица вторых
моментов:
£[(f(v)-0)(f(v)-в)*].	(8.2.1)
Оптимальной среднеквадратичной является оценка, которая
минимизирует (3.2.1). Пусть
fo(o) = £[0|v].	(3.2.2)
Мы покажем, что (3.2.2) — «условное среднее 0 при фиксиро-
ванном V» — минимизирует (3.2.1). Для наших целей можно
определить условное среднее формулой
£[0|»] = J 0р(0|v)d|01,	(3.2.3)
где р (0 | о) — условная плотность:
=	(3-2.4)
Важнейшее свойство условного среднего, которое нам потре-
буется, состоит в том, что для всякой m-компонентной век-
тор-функции Л (и), измеримой по Борелю, справедливо ра-
венство
Е [0Л* (и)] = Е [Е [0 | и] й* (о)].	(3.2.5)
Это просто доказать с помощью (3.2.3). Действительно, для
правой части (3.2.5) имеем
М 0р (0 | a) d | 0 й* (о) р (v) d | v | =
= J J @h*(v)p(@\v)p(v)d\Q |rf| v U
3.2. Байесовская теория оценивания
45
Это выражение с учетом (3.2.4) дает левую часть равенства
(3.2.5).
Перепишем теперь (3.2.1) в виде
Е [((fo (v) - 0) + / (») - fo (»)) «/о (о) - Р) + f (v) - /о (»))*] =
= Е [(/о (v) - 0) (Zo (v) - 0)1 + Е [(f (v) - f0 (v)) (f (о) - /о («))1;
последнее справедливо, поскольку из (3.2.5) получаем
Е [(/о (») - 0) (f (V) - f0 (v))1 = О,
взяв h(v) = f(v)— fo(v). Заметим, что из (3.2.5) (или непо-
средственно) можно видеть, что
E[fo(v)] = £[0],	(3.2.6}
поэтому
(3.2.7}
является (минимальной) ковариационной матрицей погреш-
ности. Мы можем «разложить» (3.2.7):
= £[(©- /о (о))0*]=	(3.2.8}
= £(00l-£(fo(w)/o(v)).	(3.2.9)
Оба равенства следуют из (3.2.5). Из (3.2.8) получаем нера-
венство
E(f0(v)rQ(v))^E(&&r	(3.2.10}
Замечание. Условное среднее Е [01 у] определено как бо-
релевская функция от v для любых двух случайных величин
0, v, если 0 имеет конечный первый момент, т. е.
£[|0|]<оо, 0 = Со1(0ь 0J.
Определение основано на (3.2.5), а не на (3.2.3) и, в частно-
сти, не требует существования совместной плотности. Для
более глубокого изучения смотри, например, [9]. Для нашей
цели, поскольку мы в основном имеем дело с гауссовским
распределением, достаточно (3.2.3).
Пусть А— какая-либо матрица размера k\m. Тогда мы
можем рассмотреть наилучшую среднеквадратичную оценку
не вектора 0, а вектора 40, другими словами, линейной ком-
бинации компонент 0.
Пусть h(v)—произвольная оценка. Тогда
Е [(40 - АЕ (0 | и)) й* (у)] = АЕ [(0 - Е (0 | v)) й* (у)] = 0
согласно (3.2.5). В соответствии с предыдущим изложением
следует, что АЕ [0| у] является наилучшей среднеквадратич-
ной оценкой 40.
46
Гл. 3. Теория статистического оценивания
Важное свойство условного среднего, которое нам потре-
буется в дальнейшем, состоит в том, что
E{E[Q\v{, ^]|v2} = £[0|^],	(3.2.11)
в чем несложно убедиться.
Формула Байеса
Используя классическую формулу Байеса для условных
вероятностей, т. е.
и записывая р (v) = р (v | 0) р (0) d | 0 |, где р (v 10) — услов-
ная вероятность v при заданном 0, а р (0) — плотность рас-
пределения 0, мы можем выразить условное среднее в виде
0р (и 10) р (0) d 101
Е [© | v] =	.	(3.2.12)
p(v|0)p(0)d|0|
Rm
Это выражение также известно как формула Байеса для ус-
ловного среднего. Эта формула редко используется в гаус-
совском случае, и мы не будем к ней обращаться.
3.3.	Распределение Гаусса: условная плотность;
безусловный максимум правдоподобия; взаимная
информация
Теперь рассмотрим подробно случай, когда распределение
©, v (совместное) является гауссовским. Посмотрим, как в
этом случае вычислить условное среднее Е [01 v]. -Пусть
0 = 0 — £[0],
v = v — £[у],
7?е = £[00*],
R0 = E[vv*],
Rev = Е [0иж],
я пусть Л — блочная матрица размера (m + n)X(m + Л):
Re Rev
Л== R&v R„ •
3.3. Распределение Гаусса
47
Тогда, предполагая, что Л невырождена, и представляя
где теперь Z (п + /покомпонентная гауссовская величина
получаем
р(е’ °)= tvsr ехр{-т[Л~'г' 	<331>
где можно представить матрицу А-1 в таком же виде, как
это сделано с матрицей Л.
Чтобы вычислить условное среднее Е [01 и], нет необхо-
димости использовать (3.2.3). Можно сделать это непрямым
способом.
Теорема 3.1. Пусть совместная плотность Q и v является
гауссовской. Тогда
£[0|и] = £[0] + Av.	(3.3.2}
где А удовлетворяет линейному уравнению
Е[0й*] = А£[бГ].	(3.3.3}
Замечание. Уравнение (3.3.3) является дискретным анало-
гом более общего уравнения, известного как уравнение Ви-
нера— Хопфа.
Доказательство. Нам потребуется следующий факт, ко-
торый справедлив только для гауссовских случайных вели-
чин: некоррелированные гауссовские случайные величины не-
зависимы. Более конкретно, предположим, что случайные
векторы-строки X и У длиной соответственно тип являются
гауссовскими. Кроме того, предположим, что корреляционная
матрица
Е[(Х-£[Х])(У-£[У])’] = 0.
Тогда X и У независимы:
р(Х, У) = р(Х)р(У).	(3.3.4)
Это легко увидеть, предполагая, что ковариационные матри-
цы переменных
Rx == Е [(X - Е [X]) (X - Е [X])’],
Ry = Е [(У - Е [У]) (У - Е [У])*]
48
Гл. 3. Теория статистического оценивания
являются невырожденными. В этом случае ковариационная
X
Y
матрица переменной
имеет вид
Rx О
о RY
а обратная к ней есть
Rx' О
О Ry'
Поэтому мы можем записать, используя (3.3.1):
р(Х, Y) = 1	exp{-±X] + [flF'r, ?])} =
= (' (-Mr  ехр { “ т [Ях1X, х]})х
x(^L^exp{-4-[/?F'r, У]}) = Р(*)Р(П.
так что X и У действительно независимы. Если Rx или Ry
вырождены, мы, конечно, не можем выписать плотности ве-
роятностей. Однако если Rx вырождена, мы можем работать
С невырожденной подматрицей, ранг которой совпадает с ран-
гом Rx', то же самое верно для матрицы Ry. Результат (3.3.4)
применим к переменным, соответствующим подматрицам. По-
скольку исходные переменные могут быть выражены как ли-
нейные комбинации этих переменных, независимость имеет
место, даже если мы не можем записать (3.3.4) (см. также
задачу 3.3.1).
Далее заметим, что
©-(£(©) + Av),
будучи линейной формой относительно 0 и о, является гаус-
совской совместно с v и с учетом (3.3.3) не коррелирует с v,
поскольку
Е [(0 - Е (0) - AS) v} = Е [0S*] — АЕ [S5*] = 0, (8.3.5)
а значит, 0—Av не зависит от v. Поэтому, в частности,
для любой (m X 1)-вектор-функции h (v) (с конечным вторым
моментом) справедливо равенство
Е [(0 - Av) /г’ (у)] = (£[©- AS]) Е [h (у)]* = 0,	(3.3.6)
3.3. Распределение Гаусса
49
эквивалентное равенству
Е [(0 - (£ [О] + A (v - Е М))) /Г (о)] = 0.
Теперь из определения (3.2.5) для условного среднего сле-
дует утверждение нашей теоремы.
Замечание. Гауссовский случай характеризуется тем, что
наилучшая среднеквадратичная оценка линейна относительно
v и остаточный член не зависит от данных.
Теперь вычислим соответствующую дисперсионную мат-
рицу погрешности:
р = Е [(© - Е [01 ц]) (0 - Е [0 | ц])*] =
= Е [(0 - Е [0 | v]) (0 - Е [0 | v])*] =
= Е [(0 - Е [01 о]) 0*] =	(3.3.7)
= /?0-Л£[50*] =
=	— AR®?.
Используя также (3.2.9), имеем:
Р = /?0 - Е [Е [01 v] Е [01 и]*] =	(3.3.8)
= Rq — ARvA\	(3.3.9)
Кроме того, если Rv является невырожденной, мы получаем,
что
Д = ^0о/?71.	(3.3.10)
и в этом случае
Р = /?в-7?ео2?о->ео	(3.3.11)
В частности, всегда
(3.3.12)
Вычисление условной плотности р(0| и)
Интересно отметить, что (3.3.2) можно использовать для
вычисления условной плотности р(0|4- Мы знаем, что сред-
нее задано выражением (3.3.2), а дисперсия Р определена
в (3.3.7). Предположим, что Р невырождена. Тогда 7?0 также
будет невырожденной. Предположим, также, что Rv невы-
рождена. Если предположить, что плотность р(0| v) гауссов-
ская, то, как мы знаем,
р (0 | U) =
= (У2л )m I Р11/2 еХР {	2”^ Av)’ (® ^)]}« (3.3.13)
50
Гл. 3. Теория статистического оценивания
Чтобы показать, что это действительно правильный ответ, мы
должны лишь умножить правую часть выражения (3.3.13) на
p(v) и показать, что результат на самом деле есть р(0, v).
Для этого сначала докажем один результат, интересный
сам по себе:
I Л | = | Rv | |Р|,	(3.3.14)
где | | обозначает определитель. Для этого вспомним, что
прибавление к каким-либо строкам матрицы линейной ком-
бинации других ее строк не изменяет определителя. Поэтому
Rqv ___jet Г ARev Rqv
Rv - L Rev Rv
и, применяя правила вычисления определителя блочной мат-
рицы, находим
|Л| = |Р||/?С |,
что и требовалось. Таким образом, мы видим, что при умно-
жении правой части (3.3.13) на p(v) постоянные множители
совпадают. Дальше мы должны показать, что
[p-1(0-4s), ё-лб] + [/г7*б, б]=[л-12, 2],
где
0
v
Z =
Другими словами, нам необходимо показать, что мы можем
представить Л-1 в виде
Л-1=	Р~1 ~Р~гА
~ -A'p~l R;1 + A*P~iA
т. е. осталось показать, что произведение матриц
Re Rev .	Р~'	-Р~'А
Rev Rv ' -А'Р~Х RvX + A'P~'A
равно единичной матрице размера (п-|-/п). Но это следует
из того, что, согласно правилам умножения блочных матриц,
рассматриваемое произведение есть
(Re - RevA’) Р~' -ReP~lA + Re0A'P~lА + RevRv'
(Rev-R0A*)P~l -RevP~'A +RvA'P~lA +RvPv1
3.3. Распределение Гаусса
51
и мы получаем необходимый результат, поскольку матрица Р
•самосопряженная:
Р =	^^00 = ^0	^0V^ ~ W = О»
-ReP~'A + RevA'P~l А = (~Re + Rv Л*) Р~1А = —А
И
RqvRv == Л.
Замечание. Формула (3.3.14) мало что говорит о Р, по-
скольку в нее входит только определитель. Тем не менее, если
О — скаляр, то Р = | Р |. Таким образом, мы имеем:
Дисперсия погрешности = J ,	(3.3.14а)
I Kv I
•и, конечно, v может быть произвольной размерности. Отме-
тим, что | Rv | в таком случае является алгебраическим до-
полнением элемента, стоящего в верхнем левом углу, по-
скольку мы можем записать
Л = ае ле»
Aev Rv ’
где
ае = £[00‘],
Ле» =£'[06*],
и имеет размер 1 X т-
Безусловный максимум правдоподобия
Теперь мы укажем другой путь получения (3.3.2) — с ис-
пользованием принципа безусловного максимума правдопо-
добия. Термин «безусловный» подчеркивает некоторое отли-
чие от принципа максимального правдоподобия, рассмотрен-
ного нами в разд. 3.1. Здесь мы максимизируем безусловную
или совместную функцию плотности р(^,0), которая пред-
ставляет собой основные исходные данные в байесовской по-
становке задачи. С этой целью будем искать то значение 0,
для которого
V0logp(t>, 0) = О	(3.3.2а)
для каждого и. Но
р(и, 0) = p(0|v)p(v),
и поэтому нам достаточно вычислить лишь корень уравнения
для градиента
Ve log р (0 | и) = 0.
52
Гл. 3. Теория статистического оценивания
Далее, мы видели, что р(0|у) является гауссовской плот-
ностью со средним Е [01 и], а гауссовская функция плотности
достигает своего максимума в точке, являющейся средним.
Следовательно, безусловно максимально правдоподобная
оценка (БМПО) совпадает с условным средним. Мы проде-
монстрировали это, поскольку работать с формулой (3.3.2а)
проще для важного класса приложений, с которым нам пред-
стоит иметь дело (см. разд. 3.5). Еще важнее то, что байесов-
ская задача оценивания снова сводится к задаче численной
оптимизации — минимизации функционала.
Взаимная информация
Перейдем к вычислению взаимной информации /(0; у), ко-
торая представляет собой «информацию о 0, содержащуюся
в и», и которая по определению (в нашем контексте) есть
Мы можем показать, что
7(0; 0) = Ilog(3.3.15)
Сделаем набросок доказательства этого факта. Во-первых,
log pPiS'p(v) = log Р (0 1 “ log Р (0)>
поэтому
/ (0; v) = Е [log р (0 | и)] - Е [log р (0)],
Отметим, что р(0|у) и р(0) являются гауссовскими. Теперь
легко видеть, что если X—произвольный случайный гауссов-
ский ли-компонентный вектор с дисперсией /?х, то
- log р (X) = у log I Rx I + log	4-
+ 4W (*-£[*]), (X-£[X])J.
Так как
E 1 (X - E [X]), (X - E (X))] =
= Tr E [Ях1 (X - E [X] )(X - E[X] )*] =
= Tr Rx 'E [(X - E [X]) (X - E [X] )*] =
= Tr Rx'Rx = m,
TO
E = [- log p (X)] = 4 log I Rx I + log (W + 4- •	(3.3.16)
3.4. Ортогонализация Грамма—Шмидта
55
Поскольку р(0| у) имеет дисперсионную матрицу Р, а р(0)-
имеет дисперсионную матрицу /?©, и обе они размера т X
то, используя (3.3.16) и производя упрощения, получаем
(3.3.15).
Задача 3.3.1
Используя метод характеристических функций, докажите,
что некоррелированные гауссовские величины независимы.
Заметьте, что если даже ковариационные матрицы вырож-
дены, то это не изменяет доказательства.
Задача 3.3.2
Уравнение Винера — Хопфа (3.3.3) представляет собой
линейное уравнение. Покажите, что оно всегда имеет реше-
ние, которое является единственным тогда и только тогда,
когда матрица Е [££*] невырождена.
3.4.	Ортогонализация Грамма—Шмидта и разложение
ковариационной матрицы
Пусть X представляет собой /n-компонентный гауссовский
вектор-столбец с нулевым средним, который обозначим
Х=Со1(хь хт).
Пусть Rx обозначает ковариационную матрицу X. Тогда
Rx = {^7/}»	1
где
= Е [xfx7].
Построим новое множество гауссовских величин {yi}, i =
= 1,	/и, следующим образом:
#1 = *Ь
Г/2 = х2 — £ [х21 xj.
Г/7 = ХУ —ffxjxj, ...» Xy-J,
-ElXmlXb •••> %т—11*
Заметьте, что {у^}—гауссовские величины, которые имеют ну-
левое среднее. Кроме того,
E[yiyj] = 09 i^j.	(3.4.1}
Действительно, для любого I по построению
Е[У}Х1\ = ®> 1= К 2, ...» Z— 1,
54
Гл. 3. Теория статистического оценивания
и поскольку yt представляет собой линейную комбинацию
Xj, . . Ху_ь Ху, то
£[^/1 = 0. /=1, .... I—1.
Для / > i мы воспользуемся тем фактом, что
Е [у{У}] = Е [у^],
чтобы получить (3.4.1). Скажем, что величина yi ортого-
нальна к yh если
Е lyiyj} = 0.
Следовательно, величины {у} взаимно ортогональны. Анало-
гично ковариационная матрица переменной
Г = Со1[^.....ут]
является диагональной:
E[YY*] = D,
где
D = {di/}, dt! = 0, f =/= /.
Заметим, что {у/} можно выразить в следующем виде:
yi = ch\X\ + ai2x2+ ... +а,цхь
где аи=1. Определим матрицу L:
1
где
hi =	i < /;
= 0,	i > /.
Определенная таким образом матрица L представляет собой
нижнюю треугольную матрицу, и тогда мы получаем
Y = LX.
Определитель нижней треугольной матрицы есть произведе-
ние диагональных элементов, а поэтому в нашем случае
|£|=1.
Поскольку L невырожденная, то
X — L~lY,
где Л-1 — также нижняя треугольная матрица с диагональ-
ными элементами, равными 1. Кроме того, для любой мат-
рицы А размерности рУ^т
ax = (al~})y,
3.4. Ортогонализация Грамма—Шмидта
55
так что любая линейная комбинация {%/} также может быть
выражена как линейная комбинация {yi}. Более того, мы
имеем, что
Rx = Е [XX] = L~'E [ГУ*] L’-1 =
= L-1Z>L*-1 = (L-1 VD) (L-1 Vd)*.	(3.4.2)
Поэтому мы можем разложить ковариационную матрицу
в виде
RX = S?S?\	(3.4.3)
где & — нижняя треугольная матрица. Наконец, рассмотрим
гауссовскую величину Z размера т X 1 с нулевым средним
и единичной ковариационной матрицей. Тогда
S?Z	(3.4.4)
является гауссовской и имеет Rx в качестве корреляционной
матрицы. Отметим, что (3.4.4) дает метод «моделирования»
для построения гауссовского вектора с заранее заданной ко-
вариационной матрицей с помощью датчика случайных чисел.
Так, пусть gi, £2, • • • > представляют собой взаимно неза-
висимые случайные величины, равномерно распределенные на
отрезке [0, 1]. Определим
2< = ф-*&),
где Ф(-)—гауссовская функция распределения:
zi
ф^=='^ S exp (- у2/2) dy.
— 00
Тогда
Z = Col[zb .... zm]
является гауссовским вектором с единичной ковариационной
матрицей. Используя разложение (3.4.3) и учитывая, что
S’ = L“1V^> X = £Z,
получаем, что X — гауссовская величина с ковариацией Rx.
Заметим также, что
|/?х1 = |Р| = П^».	(3.4.5)
i
Замечание 1, Даже если X имеет не нулевое среднее, мож-
но положить
yt = Xi — E[x{\Xi_i, .... xj,
i = 1, ..., m,
56
Гл. 3. Теория статистического оценивания
и {yi} опять будут гауссовскими с нулевым средним и ортого-
нальными для i =£ j. Также
yi = Xt — E[xt |xz_i. .... xj,
или в матричной форме
X = Col {yt} = LX = LX — LE [X],
и
X — L~{Y + Е[Х].
Замечание 2. Мы можем распространитть процедуру орто-
гонализации на случай, когда величины х, являются много-
мерными. Пусть каждый Xi представляет собой вектор раз-
мера nX 1 с нулевым средним. В этом случае опять имеем
У\ = *ь
рг 1	1	(3.4.6)
yi = xi — Е[х{\хь
Переменные {yi} опять имеют нулевое среднее и являются
ортогональными гауссовскими:
Е [&£&/] = °> г /•
Пусть
У1=Еа1/х/,	(3.4.7)
где ati теперь матрицы размера n X я, а
аа = I
{I — единичная матрица размера «Х«)- Определим блочную
матрицу L формулами
L = ltl = ai/t i /;
= 0, I > /.
Тогда мы получаем блочную нижнюю треугольную матрицу,
причем
|£|=1.
Пусть D теперь обозначает блочную матрицу
D = diag(Dn.....Dmm),
где каждая Du является неотрицательно определенной, и
тогда опять
где	_
£ = L-'^/D, |/?л| = П1ДЛ (3.4.5а)
3.5, Оценивание параметров сигнала в аддитивном шуме 57
Более того, если ни одна из матриц Da не является вырож-
денной, мы можем записать функцию плотности для X =
= Col [%1, ...» хп] как произведение:
р(Х) = ЦрМ	(3-4.8)
i
где
a {yi}, конечно, задана в (3.4.7). Формула (3.4.7) справед-
лива в общем случае, когда {xj могут иметь ненулевые сред-
ние. Чтобы это учесть, мы должны использовать (3.4.6) вме-
сто (3.4.7).
Задача 3.4.1
Пусть /? — матрица размера п X п:
Я = {г£/}> гц = — п _ J ’ z =/= Л
= 1, * = /.
Показать, что R является ковариационной матрицей, и найти
разложение
R = ТТ\
где Т — нижняя треугольная матрица.
3.5.	Оценивание параметров сигнала
в аддитивном шуме
Теперь приблизим нашу модель оценивания к практиче-
ским задачам. Мы рассмотрим канал связи с аддитивным шу-
мом, где vn представляет собой принимаемый сигнал на п-м
выборочном интервале, так что мы можем записать
vn = sn + Nni	(3.5.1)
где {Л^} представляет шум канала, a {sn}—переданный сиг-
нал на n-м выборочном интервале. Традиционная задача со-
стоит в том, чтобы оценить сигнал sn по принятым выбороч-
ным значениям сигнала Режим «реального времени» или
«на линии» (on-line) означает, что сигнал sn должен быть
оценен по Vk, k п. Кроме того, нам хотелось бы некоторым
образом конкретизировать класс передаваемых сигналов.
В соответствии с нашими двумя возможными подходами рас-
смотрим два случая. Первый — когда мы имеем «истинный
сигнал» или «детерминированный сигнал» — случай, когда
58
Гл. 3. Теория статистического оценивания
предполагается, что параметры сигнала неизвестны, но сиг-
нал определяем, как только определены его параметры. Дру-
гой случай — когда сигнал представляет собой случайный
процесс; это «стохастический сигнал». Эти точки зрения, ко-
нечно, не исключают друг друга, и различные промежуточ-
ные варианты также часто используются.
В этой главе мы обсудим только первый случай. Предпо-
ложим, что параметры сигнала входят линейно, и рассмотрим
следующую модель (соответствующую обработке на фикси-
рованном интервале времени):
т
+	(3.5.2)
1
где V, 5^, N — векторы размера рХ1- Величины {£*} из-
вестны приемнику, но параметры {0*}, k = 1, ..., m, неиз-
вестны, и их величины определяют вид передаваемого сиг-
нала. Предположим, что N— гауссовская величина с нулевым
средним и дисперсией RN. Хотя мы сформулировали задачу
для систем передачи сигналов, такая же модель может воз-
никать и во многих других приложениях. Во всяком случае,
модель (3.5.2) можно рассматривать независимо от каких-
либо конкретных приложений.
Приступая к задаче оценивания, обозначим для удобства
e=coi[0b.... ej
и запишем
т
1
где L — матрица размера р\т, определенная следующим
образом:
1	о го !	(3.5.3)
Zz/ = z-n компонента вектора S; = [Sp et\,
где {ez} — единичные базисные векторы:
== Col [#д, eZ2, ...» &1т]г
i=i>
= 0, i =т^=
Предполагая, что 0 — неизвестный параметр, мы видим, что
V — гауссовская величина со средним L0 и дисперсией
Тогда, обозначая через p(V|0) плотность распределения ве-
личины V, имеем
Ve 1Qg Р (V |0) = - у Ve К	“ ^)], (3.5.4)
3.5. Оценивание параметров сигнала в аддитивном шуме 59
где предполагается, что RN невырождена. Мы знаем, что эф-
фективная оценка существует и задается тем значением 0^
для которого (3.5.4) равняется нулю.
Можно также использовать байесовский подход и предпо-
лагать, что 0 гауссовская величина с нулевым средним и дис-
персионной матрицей Л. Тогда, конечно, сигнал является «сто-
хастическим» в обычном смысле. Естественно предположить,,
что 0 статистически не зависит от N (случай независимых
сигнала и шума). Мы можем вычислить совместную плот-
ность р(0, V) и в свою очередь вычислить условное среднее
Е[0| 17], дающее наилучшую среднеквадратическую оценку
для 0. Фактически даже без явного вычисления р(0, V) мы
знаем, что
Е[в\ V] = AV9
поскольку как 0, так и V имеют нулевое среднее, причем А
задана уравнением
E[QV*] = AE[VV*].
Но
Е [017*] = Е [0 (L0 + NГ] = ЛГ,
Е [VJ7*] = Е [(L0 + N) (L0 + АО*] = LAL* + RN.
Эта матрица вырождена только тогда, когда обе матрицы
LAL* и Rn являются вырожденными. Предполагая, что хотя
бы одна из них невырождена, имеем
А = АГ (LAL* + RN)~',	(3.5.5)
и, таким образом, наша оценка есть
AL* (£ЛГ + RnT'V.	(3.5.6)
Ясно, что дисперсионная матрица для (3.5.6) имеет вид
AL* (LAL’ + Z?^"1 LA,
а поэтому для дисперсионной матрицы погрешности Р имеем
выражение
Р = Л - АГ (LAL* + RN)~l LA.	(3.5.7)
Если мы предполагаем, что RN невырождена, то можно ис-
пользовать принцип безусловного максимума правдоподобия.
Поскольку 0 и N независимы, для условной плотности имеем
p(V|0) = pJV(y-L0),
60
Гл. 3. Теория статистического оценивания
где pw(-)—плотность шума N. Таким образом.
Ve log р (V, 0) = Ve log р (0) + Ve log pN (V — LQ
= - I Ve ([A-1©, 0] + [/?;’ (V - L0), (V - L0)J). (3.5.8)
Для оценки по методу безусловного максимума правдоподо-
бия (ОБМП) это выражение равно нулю. Но, сравнивая его
с (3.5.4), мы видим, что разница между ОМП и ОБМП со-
стоит в наличии дополнительного члена [А-1®, 0] в выраже-
нии для ОБМП. Можно также рассматривать (3.5.2) как слу-
чай, соответствующий
А = 4- оо,
что можно интерпретировать как «максимум незнания», или,
другими словами, ОБМП, в которой априорная дисперсия
.равна бесконечности, в этой модели совпадает с ОМП.
Теперь вычислим градиент в (3.5.8). Имеем
44- Ил"1 (0 + U), (0 + U)] + [/^‘ (7 - L(0 + U)),
V-L& + Kh)\}K_ =
= [Л-10, h\ -	(7 - L0), Lh] =
= [Л-|0 — L'Rn' (У — L0), h\.
Для того, чтобы градиент равнялся нулю, это выражение
должно быть равным нулю для каждого h из Rm, что эквива-
лентно равенству
Л~’0 — L'RnX (7 - L0) = 0,
или
(Л-1 + ^1Л)0 = Г^17.
Таким образом, ОБМП задается выражением
(л-1 + L*RnXL)~1 L'Rn'V.
Следовательно,
Е [0 17] = (Л-1 + L’Rn'lY1 L*RnXV, (3.5.9)
что в предположении о невырожденности RN должно совпа«
дать с (3.5.6). Полагая в (3.5.9) Л = оо, получаем ОМП
(L*Rn'L)~' L*RnXV,	(3.5.10)
если только L*Rn'L невырождена, или, поскольку RN пред-
полагается невырожденной, если только отображение, зада-
ваемое матрицей L, является взаимнооднозначным (другими
3.5. Оценивание параметров сигнала в аддитивном шуме 61
словами, из равенства L0 = О следует равенство 0=0, или,
что эквивалентно, L*L является невырожденной).
В терминах {S/J, невырожденность матрицы L с очевид-
ностью означает, что {SJ линейно независимы. Это есте-
ственное условие в теории передачи сигнала. Более того,
чтобы оценка была эффективной, ковариационная матрица
погрешности должна равняться матрице Рао — Крамера, ко-
торая есть
(r/?w'Z.)-1.	(3.5.11)
Вычислим ковариационную матрицу погрешности, соответ-
ствующую (3.5.9). Из (3.3.7) получаем, что она равна
Л - (Л-1 + L'Rn'L)~' L'Rn'E (V0*) =
= Л - (Л-1 + CRn'CT' L’Rn'LA =
= (Л-1 4- L'Rn'l)~1 ((Л"‘ + L'Rn'L) Л - L'Rn'LA.) =
= (Л“‘ 4-r^'L)"1.	(3.5.12)
Конечно, без труда видно, что (3.5.12) меньше, чем (3.5.11),
как это и должно быть, поскольку последнее соответствует
максимуму незнания; (3.5.12) совпадает с (3.5.11) при
Л = оо. Если Р обозначает ковариационную матрицу погреш-
ности, мы можем записать (3.5.10) и (3.5.9) как
@ = PL'Rn1V.	(3.5.13)
Заметим, что в обозначениях {S^}
L'Rn1V = Col ( [Si, /?wV], ...» [Sm, PwV]).
В большинстве приложений мы можем выбирать Rx как ска-
ляр, умноженный на единичную матрицу:
RN = dI.
В этом случае
(3.5.14)
где
L*L = {[SZ, SJ}, 1 <Z, /</п.
Замечание 1. Если мы не заботимся об оптимальности и
оценка 0 есть просто (Л*Д)-1Д*1/, что дает правильный ответ
в отсутствие шума, то соответствующая погрешность имеет
вид
0 - (L'L)-1 L’V = (L’L)-' L'AI,
62
Гл. 3. Теория статистического оценивания
так что ковариация погрешности есть
(£*£)"1 £* RNL (£* £)-*,
что, конечно, всегда ^(L*Rn1L) '. Этот результат является
непосредственным следствием нашей теории, хотя его прямое
доказательство утомительно. Тем не менее он непосредственна
следует в важном случае, когда RN = di.
Замечание 2. Подобно предыдущему, доказательство экви*
валентности (3.5.6) и (3.5.9) в случае, когда /?дг невырож-
дена, является алгебраическим упражнением. Мы выведем
(3.5.9), начав с (3.5.5). Перепишем последнее в виде
Л(£ЛГ + ^) = ЛГ.
Умножая обе части справа на'/^1, имеем
ALAL'Rn1 + А = AL'Rn',	(3.5.15>
или
A — (L — AL) AL'Rn'.
Отсюда, записывая
А = HAL'Rn'
и подставляя в (3.5.5), получаем
ЯЛГ^'ЛЛГ/?^1 + HAL'Rn1 = AL'Rn'.
Следовательно, этого достаточно, если
HAL'Rn'L + H =1.
Но матрица (/ + AL’Rn'l) невырожденная (см. задачу 4.1.1,
если это необходимо), и поэтому
н=(/ + ЛГ^1/,)-1 = (л -1 + £*/?w £)"* л-1,
поскольку невырождена Л. Таким образом,
Л = (Л"1 + Г^’£Г1Г^1,
что и требовалось.
3.6. Ухудшение качества оценивания,
вызванное неопределенностью параметров
Теперь мы сделаем паузу, прежде чем приступить к изу-
чению более общей задачи оценивания, чтобы подробнее
остановиться на одном соображении, важном для практиче-
ского использования нашей теории. Позднее мы встретимся
3.6. Ухудшение качества оценивания
63
с ним в более общей ситуации, но поучительно рассмотреть
его в настоящем контексте.
Как отмечалось, в байесовском подходе необходимо опре-
делить априорную плотность вероятности вектора неизвест-
ных параметров 0. В гауссовском случае мы конкретизиро-
вали задачу, т. е. задавали ковариационную матрицу Л. Эта
матрица в общем случае неизвестна, и можно утверждать, что
она не может быть известной; поэтому ее нужно заменить
«угаданной» приближенной оценкой, которую обозначим PQ.
Тогда возникает вопрос: что является хорошей приближенной
оценкой? Кратко остановимся на этом. Согласно изложенной
выше теории, наша оценка будет теперь определяться через
Ро вместо Л:
0 = (Ро-1 + L’Pw'L)-1 L'Rn'V.
Эта оценка, конечно, не обязана быть оптимальной. Вычис-
лим соответствующую ковариацию погрешности. Мы имеем
0 - 0 = (Ро-1 + L'Rn1L)~1 (L'Rn'V - (Ро-1 + L'Rh'L) 0).
Обозначим
Рс=(Ро_1 + Р*Р^А)~\
где индекс означает «вычисленная». Тогда, подставляя вы-
ражение для V, имеем
0 - 0 = рс (L*R„l (£0 + TV) - (Ро-1 + L'Rn'L) 0) =
= Pc[L'Rn'N-Po'&],
откуда следует, что матрица погрешности Р задана форму-
лой
Р = Ре (L*Rn1L + Ро-’ЛРо-1) Рс
которую мы можем переписать как
Р = Ре + Ре (Ро"1ЛРо“1 ~ Ро"1) Рс
Таким образом, несоответствие между действительной и вы-
численной матрицами есть
Р - Рс = Рс (Ро_1ЛРо-1 - Ро-1) Рс- (3.6.1)
Заметьте, что матрица
D = Po_I(A-Po)Po-1
является самосопряженной и неотрицательно или неположи-
тельно определенной в зависимости от того, какой является
Л — Ро. Таким образом, мы получаем, что
64	Гл. 3. Теория статистического оценивания
Действительная дисперсия погрешности
вычисленной дисперсии, если Л^Р0«	(3.6.2)
Действительная дисперсия погрешности
вычисленной дисперсии, если Л^Р0.	(3.6.3)
Ухудшение качества оценивания (хотя оно и не вычисляемо
поскольку Л неизвестна) есть
(Л-1 + L’Rn1L)~1 — Р' — Рс dpc =
= (Л-1 + L'Rn1L)~1 (Л"‘ - Ро"‘)Рс - PcDPc.
Матрицу
L'Rn'L	(3.6.4)
можно с полным основанием назвать матрицей отношения
сигнал — шум. Заметьте, что ухудшение качества оценивания
«мало», когда отношение сигнал — шум «велико». Последнее
означает, что
L'Rn'L > А-1.	(3.6.5)
Это верно и в более общей ситуации и, кстати, объясняет, по-
чему при большом отношении сигнал — шум оценивание пара-
метров не вызывает затруднений.
Заметим также, что здесь мы имеем дилемму, типичную
для теории оценивания: мы можем отказаться от чрезмерно
пессимистического подхода «максимум незнания» и исполь-
зовать подход Байеса. Но последний невыгоден тем, что не-
обходимые статистики, возможно, придется «угадывать». Вы-
ход из этого заключается в том, что обычно доказывают, что
по мере увеличения объема обрабатываемых данных (т. е.
асимптотически) оценка перестает зависеть от априорной ве-
роятности. Мы детально рассмотрим этот вопрос в следую-
щем разделе.
В заключение изучим зависимость от неопределенности в
ковариационной матрице шума RN. 1Лъ\ рассмотрим только
случай, когда
^ = <Т2/.
Пусть а2 —наша „оценка-догадка" для а2. Тогда нашей
оценкой в будет величина
3.6. Ухудшение качества оценивания
65
а соответствующая ковариация погрешности Р будет иметь
вид
£[(©-©)(©-©)*] =
= Рс + Ре	- О + (Ро-1ЛРо-1 - Ро-1 Л Ре. (3.6.6)
X ао \ ао /	/
Заметьте, что в это выражение входит только отношение о^/о^
Это объясняет, почему часто используется логарифмическая
мера (в децибелах) этого отношения 10 log (о2/о2) вместо са-
мого отношения. Заметьте также, что, как и прежде, чем
больше отношение сигнал — шум
тем меньше несоответствие (Р — Рс). К тому же обратите
внимание на взаимовлияние в (3.6.6) погрешности дисперсии
шума и априорной дисперсии погрешности. Мы также можем
определить «нормированное» несоответствие
(л/Ю’^Р-Рс)^)’*	(3-6.7)
и отметить, что оно также тем меньше, чем выше отношение
сигнал — шум.
Пример 3.6.1, Задача экстраполяции: линейная модель
Одним из важнейших приложений фильтрации Калмана
является экстраполяция траектории движущегося объекта —
сложная задача, являющаяся до сих пор предметом интен-
сивных исследований, которую мы теперь изучим в ее про-
стейшем варианте. Пусть r(t) (трехкомпонентный вектор-стол-
бец) обозначает вектор координат положения объекта в мо-
мент времени t по отношению к известной фиксированной или
движущейся системе координат. В простейшей модели мы
предполагаем, что ускорение известно, а поэтому (для ли-
нейной модели) достаточно рассмотреть случай, когда уско-
рение равно нулю:
F(t) = O.	(3.6.8)
Это наше основное «уравнение динамики». Тогда скорость
(относительная)
V (/) = Г (/),
конечно, постоянна. Мы предположим, опять-таки для про-
стоты, что вектор положения измеряется через фиксирован-
ные промежутки времени. Таким образом, из множества воз-
можных моделей телеметрической передачи информации^
3 Балакришнан А.
66
Гл. 3. Теория статистического оценивания
которые мы можем рассмотреть, выберем линейную «модель
наблюдений»:
y(nb) = r(nb) + Nn,	(3.6.9)
где А — интервал между измерениями, a {Nn} представляет
собой погрешность датчика, моделируемую как гауссовский
белый шум с нулевым средним, и
E[Nn, N'm] = 6nmRn,
где мы предполагаем, что Rn невырождена для каждого п.
Задача экстраполяции состоит в следующем: оценить г(пА4~
+ рА), v(nA + рА), т. е. положение и скорость для (п + р)Д,
где р—фиксированное неотрицательное целое число, распо-
лагая информацией от датчика до момента времени nA:
р(6А), k = 1, 2, ..п
(п выборочных данных). Чтобы сформулировать эту задачу
в рамках теории статистического оценивания, прежде всего
заметим, что мы можем переписать уравнение динамики для
дискретного времени:
rn+\ = rn + АиЛ,
Уп = rn Ч~
здесь мы использовали обозначения г(пА)=гл, v(nA)'= vn-
Записывая
где хп — шестикомпонентный вектор-столбец, мы можем вы-
разить (3.6.8), (3.6.9) в форме «фазового пространства» (про-
странства состояний):
xn+i = Ахп,
+ *	. м	(3.6.10)
Уп — С%п Ч" N п*
где
/з — единичная матрица 3X3, С — матрица размера 3X6,
С=[/3 0].
Поскольку хп = Апх0, то, подставляя в (3.6.10), имеем
yn^CAnxQ+Nn,	(3.6.11)
3.6. Ухудшение качества оценивания
67
и то, что мы хотим оценить, используя	уП) это, ко-
нечно,
хп+р = Ап+рх0.
Предположим, что х0 — гауссовский вектор с нулевым сред-
ним, ковариацией Л, и он не зависит от шума датчика. Тогда
мы можем использовать оптимальную среднеквадратичную
оценку:
•^n + p==^ly4	•••> Уп]>
Но
Е[Ап+рх01у1......уп\ = Ап+рЕ[х0\уъ .... уп},
и мы замечаем, что достаточно оценить х0— состояние в мо-
мент t = 0 (это, конечно, верно только когда матрица А не-
вырождена, что имеет место в нашем случае). Введем обозна'
чение
^о I п = I У If •••» Уп\*
Очевидно явное сходство с задачей оценивания параметров
сигнала, рассмотренной в разд. 3.5, и мы фактически можем
использовать (3.5.9). Поэтому получаем
К!„ = (/? + Л"1)’1 X A'kC'R~'yk,	(3.6.12)
где
A*kC’Rk'CAk.	(3.6.13}
1
Может быть вычислена соответствующая ковариация погреш-
ности. Замечая, что остаток есть
х0 - *01П = (Я + Л-1)”' (X A*kC*RklCAkx0 4-
+ X A' ^Rk'Nk'j - (R + Л"1)’’ (Я + Л’1) х0 =
= (R + Л’1) (- Л’Ч + X A*kC,Rk1Nk].
откуда, используя независимость х0 и шума {Nk}, мы
получаем (аналогично (3.5.12))
£ 1(Х0	^0|п) (хо |п) ] =
= (R + Л-1)-’ [Л-1 + 7?] [7? + Л-1]-1 = (я + Л-1)-*. (3.6.14)
3*
68
Гл. 3. Теория статистического оценивания
Матрица R может быть вырожденной при малых значениях
п. В случае инвариантности по времени видно, что невырож-
денность матрицы означает, что мы имеем (С ~ А)-наблю-
даемость. Фактически мы можем видеть, что в рассматривае-
мом случае С*С 4- А*С*СА невырождена, и поэтому
с*/?г‘с + Л’С*7?2_1СД
невырождена. Как мы отмечали, Л = оо соответствует оценке
максимального правдоподобия.
Конечно, можно рассмотреть другие оценки, используя
опыт или интуицию. В нашей задаче, например, мы можем
оценить скорость выражением
v = -^(yn— Уп-1),
тогда находим!
?п + р = Уп +
$п+р =
Если наша модель датчика правильна, то мы знаем, что эти
оценки будут иметь большую погрешность. Тем не менее они
имеют некоторые преимущества1): они проще и не требуют
знания Rk или Л. И, конечно, они дают правильный ответ,
если отсутствует шум! Это простые и очевидные факты в на-
шем конкретном (простейшем) случае, в то время как в ре-
альной задаче экстраполяции ситуация выглядит гораздо бо-
лее сложной.
Поставим следующий вопрос. Как можно на практике по-
казать, что наша оценка является наилучшей? Конечно, пу-
тем моделирования. Но наша оценка погрешности выражает-
ся через «ожидаемые» или «средние» величины, что затруд-
няет интерпретацию результатов моделирования. Нередко
приходится даже в научных статьях высокого уровня встре-
чать рекомендации проводить усреднение не менее чем по
100 испытаниям Монте-Карло, как будто в числе 100 есть не-
что магическое.
Возвращаясь пока к нашей линейной модели, мы можем
расширить наши результаты на случай системы, неинвариант-
ной по времени:
0 В связи с этим заметьте, что если Rk = рЛ то нам не надо знать,
каково значение р,» чтобы использовать (3.6.12) в качестве ОМП (Л =1 о°).
3.6. Ухудшение качества оценивания
69
Производя соответствующие выкладки, получаем:
я=Ё<р;ск'сА,
ф/г = Дг-1Фй-1> Фо = Л
$п+р = %г+рХо in-
Ковариационная матрица погрешности
Рп+р = Е [С^п+р	$п + р) (Xfi+p	%п + р) 1 =
z	п	\-1
= % + р	J ^п+р*
(3.6.16)
(3.6.17)
(3.6.18)
Отметим, что (3.6.17) является «групповой» формулой — в ней
в каждый выборочный момент времени используются все
имевшиеся до этого момента входные данные, и поэтому пред-
полагается, что предыстория запоминается. Если запомина-
ние трудно реализовать, то мы можем перейти к рекуррент-
ной или последовательной версии, которая предполагает, что
мы помним только предыдущую оценку. Другими словами,
мы должны выразить хп+р через £п+р-\ и ил+р. Это, конечно,
означает, что мы создаем фильтр — фактически фильтр Кал*
мана, который изучается в следующей главе.
Задача 3.6.1
Предположим, что мы экстраполируем положение движу-
щейся мишени, модель динамики которой имеет вид
/>0;
1.06
1.07 ,
0.98
где ускорение предполагается постоянным. Далее предполо-
жим, что датчик представлен моделью
уп = г(пД) + Nn,
где Д— промежуток времени между выборочными значе-
ниями, который мы берем равным 1 с. Нам необходимо оце-
нить исходное состояние и скорость по имеющимся данным:
{Ук}> А=1, 2, ..., 20 (см. ниже).
70
Гл. 3. Теория статистического оценивания
Предполагая, что {Nk}—белый шум, такой что
вычислите ОМП для г(1), а(1) для каждого /?, 3 п 20
и соответствующую погрешность.
Данные слежения: вектор положения
2.951772,	—5.071373,	2.920498
2.960404,	-7.134879,	3.725793
2.828831,	-9.469599,	5.041721
3.047156,	— 11.96892,	5.935488
2.937375,	-14.4342	6.870822
3.109112,	— 17.46032,	7.569645
2.82154,	—20.19826,	8.767309
2.83454,	-23.41106,	9.542934
3.183478.	—26.76985	10.22476
2.996941,	—30.83618,	11.02242
2.89051,	—34.5039,	12.0479
3.109591,	—38.68541,	12.80992
3.108552,	—43.21944,	13.55777
3.186007,	-48.06732,	14.1967
2.987977,	-53.3117,	15.02243
3.042861,	—56.61249,	15.74625
2.98315,	-64.57577,	16.548
3.012493,	—70.93364,	17.28644
3.062739,	—77.90631,	17.92293
2.963053,	—84.9471,	18.59045
Глава 4
Фильтр Калмана
Это основная глава книги, и организована она следующим
образом. Раздел 4.1 мы начинаем с рассмотрения основ тео-
рии и формул; мы стремились сделать изложение достаточно
общим, чтобы подробности не затемняли смысла, но в то же
время достаточно конкретным для связи с прикладными за-
дачами. Так, мы рассмотрим только случай, когда шум на-
блюдений является белым и не зависит от сигнала, однако
допускаем изменение системы во времени. Поскольку суще-
ствует неопределенность в начальных значениях ковариаций,
то на практике никакой фильтр Калмана не может быть
оптимальным, за исключением стационарного режима, являю-
щегося наиболее важным его приложением. Поэтому разд. 4.2
посвящен системам, инвариантным во времени, и в нем рас-
сматривается поведение фильтра в стационарном режиме.
В разд. 4.3 эти результаты изучаются с точки зрения частот-
ного анализа, что связывает их с более классическим подхо-
дом, основанным на передаточных функциях. В разд. 4.4 мы
изучим традиционное приложение фильтрации Калмана —
идентификацию систем. В разд. 4.5 исследуем «сглаживаю-
щий фильтр Калмана» — рекуррентную версию двусторонней
интерполяции. В разд. 4.6 и 4.7 мы рассмотрим обобщения
основной теории разд. 4.1. Так, в разд. 4.6 мы допустим, чго
сигнал и шум коррелируют, а в разд. 4.7 — что шум наблю-
дений может быть не белым. Мы закончим изложение в
разд. 4.8 простым примером, который иллюстрирует некото-
рые аспекты теории и методов, рассмотренных в этой главе.
4.1.	Основы теории
Методы оценивания предыдущей главы основаны на «груп-
повой» обработке — обработке всех данных сразу. Теперь мы
хотим рассмотреть рекуррентную задачу, когда данные долж-
ны быть обработаны последовательно во времени по мере по-
ступления выборочных значений. Это значит, что мы должны
построить «фильтр». Рассмотрим это более подробно. Как и
прежде, мы имеем модель для описания данных:
Vn = Sn + N°nf п>1,	(4.1.1)
72
Гл. 4. Фильтр Калмана
где {sn} — сигнал, a {7Vn} — шум. Задача, которую мы теперь
ставим, заключается в оценивании sn по всем имеющимся
данным к моменту времени п. Нашим критерием оценивания
остается байесовская среднеквадратическая погрешность. Для
определения оптимальной оценки, как мы видели, необходимо
вычислить условное ожидание
§n = E[sn\vnf vn_if ..., у J.	(4.1.2)
Мы предлагаем это сделать с помощью фильтра (в общем
случае для неинвариантных во времени систем). В виде блок-
схемы это выглядит так:
Vri _	Фильтр	Sn.
		
Поскольку мы будем заниматься только гауссовским слу-
чаем, мы знаем, что фильтр будет «линейной системой» с
уравнением вход-выход:
=	+	(4.1.3)
1
где
6n = vn — E [»„],
= Б [$п]>
а матрица системы {Wn< 4 определяется как решение ура вне*
ния Винера — Хопфа:
/ = 1
Из (4.1.3) мы видим, что для каждого п нам необходимо
«накопить» выборочные данные Vk до k = п включительно.
Это может потребовать недопустимо больших объемов па-
мяти, а поэтому должен быть найден другой способ практи-
ческой реализации.
Ключ к решению заключается в выборе подходящей мо-
дели генератора сигнала {$л}> такой, какую мы изучали в
гл. 2. Поэтому теперь предположим, что мы имеем модель
«фазового пространства»
Sn ==СпХп’	s	(4.1.4)
Хд+1 = Апхп + Un NП,
где {Nsn} — белый шум с дискретным временем, {^7^} — из-
вестный детерминированный вход, и, конечно, матрицы Ап
4.1. Основы теории
73
и Сп известны. Далее мы предполагаем, что шум датчика
или „наблюдений" {Nn} является белым и что процессы {хп}
и {№п} взаимно независимы (т. е. что {Nsn} и {Nn} взаимно
независимы). Как мы видели в гл. 3 (разд. 3.4), используя
метод разложения ковариационной матрицы, мы можем вы-
разить Nsn как
N п == LnZn>
где {zn}—белый шум с единичной ковариацией, и тоже самое
для
Гп = МпУп,
где {Уп}—также белый шум с единичной ковариацией (ко-
нечно, не зависящий от {zn}). Теперь удобно ввести в рас-
смотрение вектор
который представляет собой белый шум с единичной ковариа-
ционной матрицей, так что мы имеем представление
и, конечно,
E[NsnNSn] = FnFn,
E[№nN°n] = GnGn,
FnG'=0.
Тогда мы можем записать нашу модель генератора сигнала
в виде
°П = Sn "Ь
sn = Cnxn,	(4.1.4а)
%п+1 == Лп.%п "Т Gп ~Т FnNn.
Другим важным предположением во всем изложении будет
то, что ковариационная матрица шума наблюдений является
невырожденной:
GnG* невырождена.	(4.1.6)
Замечательным достижением Калмана и Бьюси было то,
что им удалось показать, что при заданной модели генера-
74
Гл. 4. Фильтр Калмана
тора сигнала (4.1.4а) (и в предположении, что шум наблюде-
ний белый) можно описать оптимальный линейный фильтр
также в форме пространства состояний, аналогичной (4.1.4).
Это представление теперь общеизвестно как «фильтр Кал-
мана», к выводу которого мы сейчас приступим.
Прежде всего, пусть
хп = Е [х„ | vn, vj, n > 2,
что мы назовем «оценкой состояния». Мы предполагаем, что
х0 — гауссовская величина, не зависящая от последователь-
ности шума {Nn}, так что, в частности, можно определить
Л = Е [х0].
Фильтр Калмана основан на двух простых, но основопо-
лагающих понятиях. Это, во-первых,
(i) Обновляющая последовательность
Мы проведем ортогонализацию Грамма — Шмидта для по-
следовательности {уп}, т. е. определим
.... ViL	/Л ,
г г 1	1	(4.1.7)
Vi = Uj —	для n=l.	v '
Мы, конечно, знаем, что последовательность {vn}, которая
называется «обновляющей последовательностью» (название
указывает на тот факт, что vn для каждого п приносит «но-
вую информацию», доставляемую n-ми выборочными дан-
ными vn), представляет собой последовательность белого
шума. Мы можем упростить правую часть (4.1.7), учитывая,
что
vn = Спхп 4“ GnNn =
= Сп (А^х^ + ип_х + Fn-iNn~\) + GnNn. (4.1.8)
Таким образом, мы можем приступить к определению рекур-
рентной формулы для условного среднего. Однако прежде
всего заметим, что вследствие независимости сигнала и шума
E[Fn-iNn-1\vl,_i, .... u1] = 0,
и поскольку {Nn} является белым, а индексы различны, то
F[Nn |o„_i, ..., t>|] = 0.
Поэтому
Е [vn I • • • > yi] == Сп, (An_1Jcn_1 Ч- Gn_i),
4.1. Основы теории
75
и, таким образом, мы имеем представление
vn = vn Сп	“Ь ^n-i).	(4.1.9)
Как и во всякой процедуре ортогонализации Грамма —
Шмидта, мы знаем, что (см. гл. 3) £'[v/i] = 0 и что уп факти-
чески не зависит от среднего значения процесса {vn}- Уме-
стно это выразить в явном виде. Пусть
= vп Е [уп], хп = хп Е [хп].
Тогда, как мы знаем из гл. 3, можно записать
^n = E[xn] + E[xn\vn, ..., Uli,	(4.1.7а)
и поэтому, в частности,
vn = vn — E[v„lv„_t, vt]=*	(4.1.9а)
== СПЛП_]ХИ_1,	(4.1.9b)
где
= £ [хп I vn, .... Si],	(4.1.10)
и, следовательно,
Яп = Е[хп] + %п.	(4.1.10а)
Выражение (4.1.9а) явно показывает, что обновляющий
процесс vn остается неизменным, каким бы ни был детерми-
нированный вход {Un}, поскольку последний входит только
в определение среднего для {^4- Действительно, пусть тп =
= Е[хп]. Тогда, применяя операцию взятия среднего к урав-
нению состояния (4.1.4), получаем
тп = Л„_,/и„_1 + Un_{, п>1,
„г 1	(4.1.11)
т0 = Е [х0],
и, конечно,
E[vn] = Cnmn.	(4.1.12)
Второе понятие, на котором основан фильтр Калмана, — это
(ii) Процесс обновления состояния
Теперь мы ортогонализируем (по Грамму — Шмидту)
оценки состояния {хп}. Пусть
vs = £n-E\£\t о ...» Д1,
J	(4 1
Vf =	- тх = X, - (Лото + £/0).
Мы будем называть {v*} последовательностью обновления
состояния, отмечая это индексом $. Мы могли бы исключить
76
Гл. 4. Фильтр Калмана
средние, однако здесь будем продолжать действовать прямым
способом. В начале рассмотрим среднее
£lxJvn-i, •••> «iL
которое при подстановке выражения для с учетом (3.2.11}
равно
£[£[*„|v„, v„_lr .... О1]|о„_1, .... t»i] = £[x„|v„_1.с>1].
Затем, заменяя хп его выражением и используя (4.1.8а), мы
получаем
E[xn\vn_i, th] =
= Е	4~	1 “И |	, vj =
=	4” U п—\'
В частности, мы видим, что разность (остаток)
(An — l^n — l 4" ^n-l)
имеет нулевое среднее и не коррелирует с urt_b
а поэтому также и с	поскольку последние могут
быть линейно выражены через vn_i9
Из этого следует, что
£ [£п |	1, ... , ^i]==	4“ t/n_b
а также, что
Вычитая отсюда средние значения, получаем
= —Л„ .х„ ..
п п	п— 1 п— 1
Следовательно, процесс обновления состояния не зависит от
последовательности входа (и Е [х0]), и мы можем его полу*
чить, полагая последнюю равной нулю, если пожелаем.
Фильтр Калмана получится, если мы покажем, что
=	(4.1.16)
Это основано на важном свойстве обновляющей последова-
тельности {vrtJ, состоящем в том, что она содержит всю ин-
формацию, содержащуюся в последовательности наблюдений
{Vn}. Точнее говоря, для каждого п мы можем выразить vn
через Vn, Vn-i, .vi. Но эти величины получены в процессе
ортогонализации Грамма — Шмидта, который рассмотрен в
гл. 3. В свою очередь из этого следует, что vsn могут быть
линейно выражены через vn, vn_p ..., vr Более того, vsn не
4.1. Основы теории
77
коррелируют с vra_£, 1; это объясняется тем, что мы мо-
жем выразить vsn как
vsn = хп — Ап ,хп . =
Л Л л—1 Л —1
= %п %п~\~ %п ^n-l (хп^1	^п-1 "Ь *л-1) =
= (^л %п)	^п-1 (*л-1 %п—1) “F %п ^п—1*п-1 =
= С^л + %п) ^л-1 С^л-1	*п-1) + Еп-1^ п-1-	(4.1.17)
Первые два члена не коррелируют с vn-k> £L>1, в силу
оптимальности оценок хп и хп_{. Что же касается третьего
члена, то мы имеем
E\F lNn Л A=E\Fn Лл 1(Сп 1*п 1+°л Лл 1У1-
L л—1 л—1 л—ij L л—I л —1 \ л—1 л—1 1 л—1 л—1/ j
Далее, шум состояния Fn-iNn-i не зависит от хп_ь а поэтому
предыдущее выражение равно
F„ № i = 0
л—1 л—1
в соответствии с нашим предположением о независимости
сигнала и шума. Поэтому vsn не коррелирует с vn_k для
k 0, а значит, с vn-k для k 1. Таким образом, чтобы до-
казать (4.1.16), мы должны лишь определить матрицу Кп, та-
кую что
=	(4.1.18>
Используя Кп, определенную таким образом, и переписывая
(4.1.16) с учетом выражений (4.1.9) и (4.1.15) для v* и vn со-
ответственно, мы имеем
*л - (4-Л-1 + ип_ 1) = Kn(vn - Сп (Ап_^ 4- С/^)), (4.1.19)
или
*л = (4 - Кпсп) + (/ - Кпсп) ип^ + Knvn,
^0 = Е[х0],
а __р y	(4.1.19а)
^п ^плп*
Фильтр Калмана описывается выражением (4.1.19а). Заметь-
те, что оно представляет собой линейную систему, неинва-
риантную во времени, с тем же пространством состояний, что
и у процесса сигнала. «Вход» представляет собой члены
(1-КпСп)ип_{ + К^П9
и тем самым он содержит как последовательность наблюдае-
мых данных так и входную последовательность {Un}~
78
Гл. 4. Фильтр Калмана
Важно отметить, что (4.1.19) можно также выразить в виде
х0 = О,
с	с	(4.1.20)
%п =	^П-1‘^П — 1 Н" %п ^п
где
^п+1 == ^п^п Н- & п>
1Щ = Е [х0],
что легко проверить. Что мы сделали в (4.1.20), так это вы-
делили «средний» процесс {тп}. Важно также отметить, что
*П +	+ У п-1 + Knvn,	(4.1.21)
Это показывает, что {%«} является гауссовским марковским
процессом, как и {хп}.
Для того чтобы использовать уравнение фильтра (4.1.19),
нам лишь необходимо вычислить матрицу усиления Кп. Для
этой цели удобно ввести новое обозначение для ковариацион-
ной матрицы погрешности оценивания состояния. Так, пусть
Л, -£[v;i.	(4-1.22)
где
= х„ —	= х„ — х„,
^п ^п п П п*
Вначале получим разностное уравнение, которому удовлетво-
ряет процесс погрешности {еЛ}. Вычитая разностные уравне-
ния для {%«} и {хп}, получим
e„ = A^e^i +Fn_tNn_i — Knvn. (4.1.23)
Теперь Vn, определяемую выражением (4.1.9), можно выразить
через {еп} в виде
vn = GnNп -р Спхп — Сп (ЛЛ_1^П_| 4~ п—1)>
подставляя сюда xn из (4.1.4a), имеем
vn — GnNn 4- CnAn_xen_x + CnFn_xN(4.1.24)
так что после подстановки этого результата в выражение
(4.1.23) для еп получаем
en = (I КпСп) Ап-\еп-\ + (J КпС") Fn_{NKnGnNп.
(4.1.25)
Это показывает, что {еп} также является гауссовским мар-
ковским процессом, причем еп-\ не зависит от белого шума
(I-KnC^F^N^-KnGnN^
4.1. Основы теории
79
и поскольку каждый из этих членов также является незави-
симым, мы сразу можем записать, что
Рп = (I - КС J Н . (I - ГС Г + K„GG*K* (4,1.26)
п \ п nJ п—1 \ 'n nJ 1 п п П 'п*	' ’	7
где использовано обозначение
Н = АРА' + FF*	(4.1.27}
п п п п 1 п п	\	9	/
В дальнейшем мы увидим, что в действительности представ-
ляет собой эта матрица.
Теперь вычислим Кп из (4.1.18) путем нахождения необ-
ходимых ковариаций. Прежде всего заметим, что в (4.1.24)
еп-\ не зависит от CnFn-\Nn-\ в соответствии с нашим пред-
положением о независимости сигнала и шума. Действительно^
Е\(х„ }-хп AN* .F* 1 =	ДГ F* .1 = 0,
1\ п—1	п—\) п—1 п—1]	L п—1 п—1 п—1]	’
поскольку все величины vn-\, • ••> v\ не зависят от Fn-\Nn-u
Следовательно, каждый член в (4.1.24) является независи-
мым от двух других, так что матрица
E\vnv*] = GG*+Cn(An .Л* . + F .F* .)С* =
Inn] п п 1 п \ п—1 п — 1 п—1 1	п—1 n — lj п
= G„G'+CnHn .С*	(4.1.28}
и является невырожденной, поскольку невырождена матрица
GnG*. Теперь вычислим корреляционную матрицу
£[VX]-
Для этого прежде всего воспользуемся выражением (4.1.17).
Мы видим, что первый член и vn являются некоррелирован-
ными. Для второго и третьего членов мы привлечем (4.1.24),,
с учетом того, что en-i не коррелирует с Fn-\Nn-i в соответ-
ствии с нашим предположением о независимости сигнала и
шума. Из этого следует, что
е [’-л] = (Л-Л-Л_1 + с; - н^с;.
Таким образом, имеем
Нп-Рп = КпЕ [vX] = X m + СпНп_хСпу (4.1.29}
Теперь вернемся к (4.1.26) и заметим, что правую часть мож<
но переписать в виде
рп=(/ - W нп_х - Нп_хс*пгп + кп (Спнп_хс*п + g„g;) к*п.
Но, подставляя сюда (4.1.29), видим, что
РП = (7-/<„С„)Я„_1.	(4.1.30}
80
Гл. 4. Фильтр Калмана
Кроме того, переписывая (4.1,29) в виде
и используя (4.1.30), можно выразить Кп через Рп следую-
щим образом:
Р С = К G G*.
п п хп п п
Окончательно получаем
^=РЛ(с„с;)’’.	(4.1.31)
(GX)’’ С„) Я,.,.	(4.1.32)
После приведения подобных членов, содержащих Рп, имеем
PnU + C*(GG,\~xCnHn Л = Н ,.	(4.1.33)
Матрица в скобках (см., если необходимо, задачу 4.1.1) яв-
ляется невырожденной, и поэтому
Р=Н .(/ + C*(GG'YXCH	(4.1.34)
п	п — 1 \ 1 п \ п nj П П—lJ	\	'
Переходя к сопряженным матрицам, получаем
Р =(i + Hn ,Cn(GG*rlCn)~l Нп ,.	(4.1.35)
Таким образом, Рп выражается через Рп-\- Чтобы определить
Рл, мы лишь должны добавить, что
Ро = £ [(х. - *0) (х0 - V] = Р [Vo] = Л. (4.1.36)
Это завершает наш вывод фильтра Калмана, который мы те-
перь можем выразить в виде
%п = Ап-1%п-1 + Un-\ +
+рл (ад)” - сп (адад+ад».
^о = £[^о],	(4.1.37)
где Рп задана посредством (4.1.35) (это выражение служит
уравнением «распространения погрешности») с начальным
условием Ро, определенным в (4.1.36).
Одношаговый предиктор
Часто бывает полезным выразить формулу фильтра Кал»
мана (4.1.37) в другом виде — в обозначениях «одношагового
предиктора», Так, пусть
xn+l = £[xn+l |vb .... о„].
4.1. Основы теории
81
Заметьте, что хп+1 — наше предсказание «на шаг вперед»
состояния в момент (n+ 1) по данным до момента п вклю-
чительно. Мы можем выразить через хп как vft, так и vsn,
поскольку
- Е [vn | v„_b Vj] = vn - Cnxa,
vs =	—Elx I j? и .Jj.l =
n n L n I ti — 1’ •••’	1]
= xn E [xn | i, • • • 9 ^i] = xn» (4.1.38)
Используя (4.1.4), имеем
*n+! = Ai-£n + ^n-	(4.1.38a)
Соответствующая погрешность есть
Xfi+l %n+l = An (%n	$n) 4” F nN tv
и поэтому ковариация погрешности одношагового предиктора
имеет следующий вид:
Е [К+1	*п+1) (Хп+1	*л+1) ] = ^п^п^п 4“ ^п^п ~ Нп>
что, в частности, дает интерпретацию матрицы Нп, Более
того, мы можем выразить формулу фильтра Калмана (4.1.37)
через величины, определенные посредством одношагового пре-
диктора, с учетом (4.1.38) и (4.1.16), в следующей форме:
(£n-xn) = Kn(vn-Cnxn).	(4.1.38b)
Поэтому, объединяя (4.1.38) и (4.1.38а), (4.1.38b), мы полу-
чаем следующие рекуррентные уравнения для одношагового
предиктора:
*п = ^п-1^п-1 4“ ^п-1 = ^п-1 (V1 4" vn-l) 4" ^п-1 =
=	4" Кп-1 (®п-1	^ti-l^ti-1) 4“ ^Лг-1,	(4.1.39)
ИЛИ
*П == ^П-1 (I ^п—1^п-1) %п-1 4” Ап — 1^П—\^П — 1 4’ Uп — Ъ
xq = E[xq].
Кроме того,
%п = %п 4“ Кп (^п СпХп).
Вместо выражения Кп через Рп мы можем определить Кп че-
рез ковариационную матрицу погрешности одношагового пре-
диктора Нп-\. Так, по аналогии с (4.1.25) имеем
== хп хп
—Ап_{ (/ — Кп_\Сп_^^п-\ 4~ Ап_{Кп^}Сn^GFn_xN
82
Гл. 4. Фильтр Калмана
и поэтому, поскольку члены в правой части взаимно незави-
симы,
= A„_t (/ -	Нп_2 (Z - Кп_£п^ +
Конечно, £[ёоё*] = Л (ковариация х0), и равенство
К=Н„ ,С’(СНп ,C‘ + GnG’rl
п п—1 п\ п п—1 п 1 п nJ
выражает Кп через Нп_\. Таким образом, как Нп, так и Кп
можно определить рекурсивно. Конечно, можно воспользо-
ваться другим вариантом:
я = APA'+F„F* Кп = РпС*(ОпО*)~{.
р-шаговый предиктор
Пусть
*п+р = F 1%п + р I ®П9 •••> ^1]«
Тогда поскольку
%п + р == Ап + р — 1 ••• Ап%п 4"
+ Fn+p—iNn+p—i 4"
4~ Ап+р—1 • • • &n+\FnNп +
4” Uп+р-1 4" -4/г+р—\Uп+р_2 • • • -4/г+р—1Л+1^п>
то
%п+р = Ап+р_ 1 ••• Апхп 4" U п+р_ 1 4- ... + An+p_i ... Ап±1[7п>
где замечаем, что оценка не зависит от того, имеет место
или нет шум состояния. Соответствующая погрешность есть
ёп+р = %п + р	%п + р ==
~^п+р-1 ••• Апеп 4- FnJrp_\Nn+p_ i 4" Ап+р_ i ... An+^F nN n.
В ковариацию погрешности входит ковариация шума состоя-
ния:
[^п+р^п+р] = ^п+р-1 ••• An^n^n ••• Az+p-1 4”
4~ Fn+p-\Fn+p-1 4“ • • • 4" Ап+р_х ...	• • • An+p_v
4.1. Основы теории
83
Ковариация погрешности оценки сигнала
Ковариацию погрешности оценки сигнала можно выра-
зить через Рп следующим образом:
ЕJ (sn - s )*1 = СР С*
[Д /г nJ у п nJ J п п п
Теперь выведем уравнения, которым должна удовлетворять
матрица СпРпС*п. Из (4.1.33) умножением слева на Сп и справа
на С*п получаем
СЛ-Л =	+ с.р.с; (о,с;)-' спнп_,сп =
- (£№(' + М)-' СЛ-Л). (4.1.40)
или
СРС'=СН ,С* (/ + (G G’)-1C Н =
ппп п п—\ п\ 1 \ п nJ п п—\ п)
= (1 + СпНп ,С’ (Gс Нп ,С‘ (4.1.41)
Из (4.1.40) следует также, что
СРС*=СН ,С* (l — (G G*}"1 С Р С*\	(4.1.42)
п пп ^п п-\^п\	\ п п) п п nJ*
Погрешность аппроксимации
Сейчас мы рассмотрим то, что известно как «погрешность
аппроксимации». Это погрешность, которую мы можем на-
блюдать: разность между последовательностью данных {vn}
и нашим «наилучшим приближением» к данным {$„}
Нетрудно видеть, что она представляет собой последователь-
ность белого шума. Чтобы получить ковариацию погрешности
аппроксимации,заметим, что
GnNп == п $п Vn Sn “Ь Sn	sn = Zn,”F Спеп,
Поскольку (Sn — Sn) вследствие оптимальности sn не корре-
лирует с Vn-k, k 0, то отсюда следует, что zn и еп незави-
симы, а значит, в частности,
GA = £[V:] + Wn-	(4.1.43)
Отсюда следует, что
Elz z*] = G G* — С Р С\
L п п] п п ^п п п
84
Гл. 4. Фильтр Калмана
В частности,
L п nj п п*
= GnG*n, если и только если sn = sn. (4.1.44)
Из (4.1.44) мы видим, что дисперсия погрешности аппрок-
симации всегда меньше, чем дисперсия шума, но если эта
дисперсия много меньше дисперсии шума, то фильтр рабо-
тает плохо. Покажем, что дисперсионная матрица погреш-
ности аппроксимации является невырожденной. Для этого
выразим zn через уЛ. Имеем
%п = vn GnXn =
=	- с„ (4-,V, + 4-Л-, + Р.с. РЛГ' V,) =
= ('-CAC;(O.G;)_,)v.-	(4.1.45)
Отсюда мы также получаем, что
£[*.<]-
- - еле; (ОЛ)“)Е [’Z] (' - (W<W.)- (4.1.46)
Предположим, что
при х =/= 0.	(4.1.47)
Тогда с учетом (4.1.42) мы можем получить, что
С Р С*х = 0,
п п п 1
и тогда из (4.1.47) следует, что х = 0, т. е. мы получили
противоречие. Поэтому матрица (/ —	CnPnCfy и сопря-
женная к ней (7 — GnPnC*n (О/?*)"1) являются невырожден-
ными. Следовательно, матрица
Е tv:i=°л - спр„сп=(/ - с„р„с; (адг1) («л)
(4.1.28а)
также невырожденная.
Теперь
(7 + С„Я„ ,С’ (G G’)'1) (I - СР С* (G G*)~1} =
= I + СпНп .С’ (G GT1 - с Р С’ (GnQ*Y' —
1 п п—\ п X п nJ	п п п X п nJ
~СпНп fiUGG^CP^fGG*}^!,
п п—1 п X п nJ п п п \ п nJ •
поскольку, согласно (4.1.40),
Gntfn ,G*-C РС*-СЯ ,G* (G G*)-1 СПР„С* == 0.
п п— 1 п п п п п п—1 п X я nJ п п п
Задачи
85
Отсюда мы также получаем, что
(j+‘) =(/ - с„рл (<э„<э;). <4. i ,48>
Мы также можем переформулировать уравнения фильтра
Калмана (4.1.21) в терминах погрешности аппроксимации.
Так, мы имеем:
=	4" ^П-1^П-1 4" Jп^п>	(4« 1.49}
гп = vn Сп£п,
4 = ЛЛ («ЛГ' (' - <W„ (о„о;гТ‘ -
=< G.G;r' (1+с„я„.,с;(ад;)-')'1. <4. i,so>
Обновление
Обновляющая последовательность
= Сп%п ===	$п>
где
S„ = £[sn|U„_! Oj,
является также наблюдаемой погрешностью. Это последовав
тельность белого шума. Поскольку
Е [v v* 1 = GG* + CPC*
L п nJ n n 1 n n n’
то, в отличие от погрешности аппроксимации, ковариация об-
новления всегда больше, чем ковариация шума наблюдений,
и чем они ближе, тем лучше действие фильтра!
Замечание, Прежде чем закончить этот раздел, сделаем
важное наблюдение. Для того, чтобы построить оптимальный,
фильтр, нам необходимо вычислить Рп по формуле (4.1.32),.
в которую входит Р0 = А. Но эта (начальная) ковариация
неизвестна и даже, возможно, вообще не может быть извест-
ной. Следовательно, в действительности не существует опти-
мального фильтра Калмана, за исключением случая, когда
модель генератора сигнала является инвариантной по вре-
мени. В связи с этим мы можем показать, что при некоторых
условиях можно сделать наш фильтр асимптотически опти-
мальным, несмотря на приближенную оценку для Л.
Задачи
Задача 4.1.1
Пусть L, М — самосопряженные неотрицательно определен-
ные матрицы. Покажите, что (/ + LM) вырождена.
86
Гл. 4. Фильтр Калмана
Указание:
(/ + LM)x = O=H(/ + LM)x, Мх] = О=>Мх = О=> х = 0.
Задача 4.1.2
Зафиксируйте целое р и используйте обозначение
s„,p = £[s„|v„_p> .... oj, п>р>1,
для «p-шагового предиктора сигнала». Рассмотрите (наблю-
даемую!) погрешность
р v п sn, р.
Является ли она последовательностью белого шума? Что
представляет собой ее ковариация? Как можно использовать
последнюю в качестве показателя качества фильтрации?
Задача 4.1.3
Покажите, что z = v„ — С vj и что
’	п п п п
вдг1 е |’л] (w1 - (е w.
mf№<ir'=iE[’,xii.
где | • | обозначает определитель.
Задача 4.1.4
В классе оценок для sn вида anvn найдите оптимальную
матрицу ап, минимизирующую ковариацию погрешности
[(5п “ ал) (5п ~~ аА)*]- Обозначая минимальную ковариа-
цию погрешности через Тп, покажите, что
С Р С <G G\
п п П п п п
Покажите, что оптимальное ап задается выражением
+	i?e = £[V;].
Задача 4.1.5
Рассмотрите случай, когда «шум состояния» отсутствует;
Fn = 0. Покажите, что в этом случае для нулевого входа
№ = и £[хо] = О

4 =

Задачи
87
где
Ф£ = Ai_iAi_2 ... Ао,
Фо = /.
Покажите, что
^=фп(?
ф;сжс;г1с1Ф/+л-1) 'ф;
удовлетворяет (4.1.33) (и тем самым дает явную форму ре-
шения уравнения (4.1.32)). Смотрите также пример 3.6 гл. 3.
Рассматривая случай не зависящей от времени (С~Д)-на-
блюдаемой системы, когда А невырождена, а Д-1 устойчива,
покажите, что Рп при п->оо сходится и является невырож-
денной. Покажите, что если А устойчива, то Рп сходится7
к нулю.
Указание:
%п == [Хо I • • • > ^1]>
используйте формулу «групповой» обработки1) гл. 3.
Задача 4.1.6
Найдите оптимальную оценку состояния с «нулевой памятью»,,
т. е. найдите £[xni vn] и соответствующую матрицу погреш-
ности.
Задача 4.1.7
Пусть при фиксированном п
^ = Со1(иь ..., ип),
и мы хотим вычислить определитель ковариационной мат-
рицы
R = E[V, Р*],
гд®
Р = Со1(рь ..., рп)’
vt = vt — CtE [xj.
Для этой цели покажите прежде всего, что V = Lv, где
у = Со1(уь ..., vn), a L —- блочная нижняя треугольная
матрица. Затем покажите, используя (4.1.28), что
Л= 1
’) Имеется в виду формула для оценки, использующая все выбороч-
ные значения сразу. — Прим, перев.
88
Гл. 4. Фильтр Калмана
Покажите по аналогии, что V = MZ, где
2 = Со1(гь zn).
Отсюда, используя (4.1.28а), вычислите определитель по фор-
муле
I л I - ft I с.с; I ] (/ - (ОЛГ1 с,р,с;)I’1.
Указание: смотрите разд. 3.4.
Задача 4.1.8
Покажите, что
Рп.х < АРпА\ + FJn-
п+1 п п п 1 п п
Задача 4.1.9
Эта задача иллюстрирует зависимость решения от «угадан-
ной» оценки начальной ковариации. Предположим, что вход
нулевой и GnG* = /. Определим субоптимальный фильтр с по-
мощью следующих уравнений:
= (^ —-РпССп) А, ,х“ ,+Р“С*оя» ^п = 0»
п \ п п п/ п—1 п—1 1 п п п9 0	9
Е [х0] = О,
Р“ = (/ + Я“_1С*С„)"1/7“_1, Р? = Л,
На„ = АпРапА*п + FnF'n.
Пусть Тп обозначает соответствующую ковариационную мат-
рицу погрешности:
г„=£[(*„-АЖ-АО’]-
Покажите, что
Pi - Та = (/ - PiC'nCn) Ап-1 (Р“_! - T„_1) A'n-t (I - CiCnPi).
Отсюда, в частности, Tn^Pi, если Л = Ро > Ро = Е [хоХо].
Задача 4.1.10
Покажите, что2п = Е[№п | Vi, ..., Vn\ и что£[Л^ |vrt]=0.
4.2.	Фильтр Калмана:
теория стационарного состояния
Для нас наиболее важным является случай стационарного
(асимптотически стационарного) сигнала. Поэтому нам необ-
ходимо рассмотреть асимптотические характеристики в слу-
чае, когда модель генератора сигнала (4.1.4) инвариантна
4.2. Фильтр Калмана: теория стационарного состояния
89
во времени. Переформулируем задачу для инвариантной си-
стемы:
Vn == $п “Ь
S п GX™,
х -Ах +и +FN	(4.2.1)
ХП+1 - ЛХП ип г
FG* = 0.
Тогда формулы нашего фильтра имеют вид
*„ = (/- РпС* (GGT1 С) + Єё (GG-)"1 vn +
+ (7-P„C*(GGT1C)un_1,
Pn+l = (l + HnCt(GGT1Cy1Hn,
Hn = APnA* + FF\
P0 = E [(x0 - E [x0]) (x0 - E [x0])’].	(4.2.2}
Для краткости изложения здесь и далее будем считать,,
что
GG* = /.
Другими словами, мы должны лишь заменить
С на (VgG7)-1^
vn на (a/GG1')-1 vn.
Мы будем также считать, что Е [х0] = 0 и что вход ип равен
нулю, поскольку основной интерес для нас представляет ко-
вариация погрешности, которая не зависит от входа.
Поскольку система генератора сигнала инвариантна во
времени, то понятия наблюдаемости и управляемости могут
многое сказать о ее структуре. Вначале изучим возможную
роль этих понятий в анализе работы фильтра.
Теорема 4.2.1. Предположим, что система (Л ~ F)-управ-
ляема. Тогда если Рп невырождена, то невырождена матрица
Pn+k, определяемая выражением (4.2.2) для всех k 0.
Доказательство. Пусть Рп—невырожденная матрица.
Тогда матрица Нп также должна быть невырожденной. Чтобы
это показать, предположим, что для некоторого ненулевого-
вектора х мы имеем
Нпх = АРпА'х + FF'x = 0.
Тогда
[РпА*х, Л’х] + [Гх, F*x] = 0.
‘90
Гл. 4. Фильтр Калмана
Отсюда
F*x = 0 и РпА*х = 0.
Поскольку Рп невырождена, то Д*х = 0, а значит,
F*A'kx = 0, fe>l, х#=0,
что противоречит управляемости. Следовательно, Нп невы-
рождена. Но матрица
р^^а+ЯпС’с)-1^,
и поэтому она является невырожденной. Из этого по индук-
ции доказывается невырожденность Pn+k для каждого поло-
жительного целого k.
Теперь рассмотрим роль, которую играет понятие наблю-
даемости.
Теорема 4.2.2. Предположим, что вектор х ненаблюдаем,
т. е. САпх = 0 для каждого п^О, и пусть, кроме того,
sup||Xrtx|| = + oo.	(4.2.3)
п
Тогда можно выбрать Ро так, что
ИтТгРп = + о°-	(4.2.4)
п
Доказательство. Без потери общности мы можем предпо-
ложить, что ||х|| = 1. Выберем Ро так, что
Р^х = Хх, Л > 0.
.Для этого можно взять Ро = V. Определим
z = х0 — [х0, х] х.
Тогда [z, х] = 0. Теперь
xn = Anx0+£An-k-,Ftfli,
о
поэтому
vn = Схп + GNn = CAnz + С Е An-k~'FNk + GNn, (4.2.5)
о
-поскольку САпх = 0. Из (4.2.5) следует, что Е [[х0, х]у*]«=0
поскольку
£[[х0, x]z*4’"C’] = £[[x0, x]z']A*nC',
Е [[х0, х] х*] = Е [[х0) х] (х0 — [х0, х] х)‘] =
= Е [х’х0 (х0 — [х0, х] х)‘] =
—	х*Е [хох*] — х*Е [хох*] хх* =
—	кх* — Кх*хх* = 0.
4.2. Фильтр Калмана: теория стационарного состояния
91
Следовательно, {vn} не зависит от [х0, х], а значит, и хп не
зависит от [хо, х]. Таким образом,
хп — хп = [х0> х] Апх + Anz + S An~kFNk —
и
где второй, третий и четвертый члены не коррелируют с пер-
вым. Поэтому
Tr Рп = Tr Е [[х„ - *„] [хп - VI >
> Е Цх0, xj2] [Апх, Апх].
Поскольку Е [[х0, х]2] = [Р0х, х] = Л, имеем, что Тг Рп ^|| Лпх||2Лг
или
sup Tr Рп — 4- оо.
п
Замечание. Заметим, что даже если ТгРл = 4-оо, то
можно показать, что (сравните с упражнением 4.1.4)
СРпС < CRnC* (Z + CRnC*)~l < I.
Как мы уже отмечали, невозможно построить (в общем слу-
чае) фильтр Калмана (оптимальный), потому что для этого-
нам необходима Рп, а Рп зависит от Ро, которая неизвестна
и не может быть известной. Тем не менее в случае (4.2.1),
когда система не зависит от времени, мы можем показать,
что можно достичь «асимптотической» оптимальности. Так,
при некоторых условиях (приводимых ниже) можно пока-
зать, что Рп будет сходиться при п->оо к предельной мат-
рице Р независимо от начальной матрицы Ро, и, кроме того,
если мы определим
= (Z - РС*С) Ах“_х + PC*vn,
то соответствующая ковариация погрешности
при
Для этого определим функцию Ф(-) на множестве самосо-
пряженных неотрицательно определенных матриц формулой
Ф(Р) = (/ + Н(Р)СС)~1 Н(Р),	(4.2.6}
где Н (Р) определяется равенством Н (Р) = ЛРД* + РР*. Тогда
(4.2.2) принимает вид РП+1 = Ф(РП).
Предположим, что Рп сходитсг к Рто. Тогда РОО = Ф(РОО).
Уравнение
Р = Ф(Р)	(4.2,7)
92
Гл. 4. Фильтр Калмана
называется алгебраическим (стационарным) уравнением Рик-
кати, и мы видим, что Роо, если она существует, удовлетво-
ряет этому уравнению.
Теперь переформулируем некоторые определения теории
пространства состояний. Класс (С ~ А)-наблюдаемых состоя-
ний определяется так:
все х, такие что CAfex = 0 для каждого 6^0.
Класс A-устойчивых состояний определяется так:
все х, такие что || Akx || -> 0 при £->оо.
Класс устойчивых состояний является линейным подпростран-
ством. Пусть обозначает соответствующую проекцию.
Класс (С ~ А)-ненаблюдаемых состояний также является ли-
нейным подпространством. Пусть обозначает соответ-
ствующую проекцию, а — ее ортогональное дополнение.
Нашим основным результатом для стационарного состояния
фильтра Калмана является следующая теорема.
-Теорема 4.2.3. Предположим, что все (С А)-ненаблю-
даемые состояния A-устойчивы и все (Р* ~ А*)-ненаблюдае-
мые состояния А*-устойчивы. Тогда стационарное уравнение
Риккати имеет единственное самосопряженное неотрицательно
определенное решение. Обозначим его Р^:
ф(рж)=реа.
Кроме того, матрица
(I-P^CQA
устойчива, и фильтр
=	+	*5 = 0’
является асимптотически оптимальным.
Доказательство. Сформулируем отдельные результаты, ко-
торые нам потребуются, в виде лемм, поскольку они будут
представлять независимый интерес.
Лемма 4.2.1. Предположим, что матрицы Р и Q самосо-
пряженные и неотрицательно определенные. Тогда
Ф(Р + <д>Ф(Р).
Доказательство. Пусть функция
Н (Р) = АРА* + РР*
определена для самосопряженных неотрицательно определен-
ных матриц в некотором классе. Пусть Р, Q — самосопряжен-
4.2. Фильтр Калмана: теория стационарного состояния
93
ные неотрицательно определенные, и пусть X > 0. Тогда мы
можем выразить Ф(Рф- Q) — Ф(Р) формулой
Ф (Р + Q) - Ф (Р) = $ Ф (Р + &Q) db. (4.2.8)
о
Теперь
-^Ф(Р+Ц))=
= -—(1 + Н (Р + XQ)C’C) -1 Н {Р + XQ) =
= (/ + Н (Р + XQ) С*С)-1 4Q4’ -
—(J+H (P+KQ) С*С)-1 AQAtC'C(I+H(P+XQ)C,C)~lH(P+KQ)=>
= (I + H(P + &Q) С*С)-1 AQA’ (I - С'СФ(Р + AQ)).
Для любой самосопряженной неотрицательно определенной
матрица М
1-Ф(М)СгС = 1 — (1 + Н (Л4) С’С)-1 Н (М) с*с =
= (I + H (М) С’С)-1 [/ + Н (М) С*С - Н (Л4) С’С]=
= (I + Н (М) С*С)~1.
Следовательно,
i®(P + lQ) =
= (I - Ф (Р + XQ) С*С) XQX* (Z - С*СФ(Р 4- XQ)) > 0 -
Из (4.2.8) следует, что
Ф(Р + (?)-Ф(Р)>0, если Q>0.
Поэтому, в частности,
Ф(Р„+1)>Ф(Рп). если РП+1>Р„.
Лемма 4.2.2. Предположим, что (С ~ А)-ненаблюдаемые
состояния A-устойчивы. Тогда для любого выбора Ро
Рп^.М для всех п,	(4.2.9)
где М — самосопряженная неотрицательно определенная мат-
рица, которая может зависеть от PQ.
Доказательство. Прежде всего предположим, что мы имеем
(С ^ Д)-наблюдаемость. Предположим, что А есть матрица
94
Гл. 4. Фильтр Калмана
п X я- Определим
R = 2* А*кС’САк.
О
Тогда-7? должна быть невырожденной, как мы видели в гл. 1.
Для т > п определим субоптимальную оценку
хт = AnR~l Ё A*kC’vm+k-n-
О
То, что мы построили таким образом, является фильтром с
памятью объема п, но не оптимальным. Покажем, что соот-
ветствующая ковариация погрешности ограничена. Используя
свойство независимости системы (4.2.1) от времени, имеем:
k-\
Xm + k-n= А хт~п~\~' 22 A FNm—n — } + k — \>	fl.
О
Пусть
k-\
Zm—n + k== 22	n — m + k-\ +	ffl^^ fl.
о
Тогда мы можем выразить в виде
= AnR~l Ё А'кС'САкхт-п +
О
+ AnR~l £ А'кС*(С£п_т+к + GNm_.„+k) =
О
= Апхт_п + Л^"1 £ А,кС' {Clm_n+k + GNm_n^.
О
Следовательно, погрешность оценки есть
Xsm-xm = AnR-'Y. А*кС* (С£т_п+к + GNm_n+k) - £т.
и
Легко проверить, что ковариация случайного вектора в пра-
вой части не зависит от т. Поэтому
Е	Хт) {Хт Хт) ] =
где J — фиксированная матрица. Поскольку Рт — минималь-
ная матрица погрешности, то мы имеем
Pm^J,
4.2. Фильтр Калмана: теория стационарного состояния
95
Таким образом, полагая
М = max (J, тахРД
k о
получаем утверждение леммы.
Теперь предположим, что А— устойчивая матрица, т. е.
все ее собственные значения по модулю строго меньше еди-
ницы. В этом случае выполнены условия нашей леммы, и мы
можем очень просто доказать (4.2.9). Имеем
Рп = Е [ХпХп] - Е [АХ] < Е [ХХ]>
и мы знаем из гл. 2, что
п-1
Е [хпХп] = АпР0А*п + £ AkFF*A*k.
О
Теперь, поскольку А является устойчивой, то первый член
стремится к нулю при п->оо (независимо от выбора Ро),
а второй член сходится к величине
£ AkFF*A*k.
О
Из этого непосредственно следует (4.2.9). Другими словами,
если имеет место (С ~ Л)-наблюдаемость или Д-устойчи-
вость, то лемма справедлива. Теперь рассмотрим более об-
щую ситуацию, в которой А может быть неустойчивой, но все
(С ~ Л)-ненаблюдаемые состояния устойчивы.
Мы начнем рассмотрение, заметив, что
Схп = С^гХщ &гХп == &гАХп—1 *^rFNn—i,
Несложно убедиться в том, что А отображает подпро-
странство (С ~ Д)-ненаблюдаемых состояний в себя:
д ар v — &Р А &Р v
и поэтому также
PrAx = SPrA (&гх + 9\х) = ^'А^х.
Пусть
yn = ^rXn, п^О.	(4.2.10)
Тогда, «применяя оператор» слева к уравнению состояния
(4.2.1), мы получаем, что уп удовлетворяет уравнениям
уп = (#>№) уп_х + (ЭД Nn_x,
vn = Cyn + GNn.	(4<2Л1)
Пусть рп = Е [уп | vn, ..., vj. Тогда из (4.2.10) следует, что
уп = 2Р^сп. Но, поскольку имеет место (С^г ~ ^гД^г)-наблю-
96
Гл. 4. Фильтр Калмана
даемость, то мы видим, что
£* [(^гхп	3гхп) (3гХп	3гхп) ] = Е \(уп фп) (уп уп) ]
удовлетворяет (4.2.9). Другими словами,
Wr<Af<oo.	(4.2.12)
Далее, пусть
Zn = ^uA^uZn-i + SPuFNn-i, п>1,
(4.2.13)
Zq — uXg.
Посмотрим, как zn отличается от S?axn. Применяя оператор
слева к уравнению состояния (4.2.1), имеем:
&иХп == &u^4Xn— 1 Н- uFNп—1 ==
=	+ PuFNn-l + ФиА?гХп-\ =
= PuA&uXn-i + &uFNn-\ + ^aAyn_x. (4.2.14)
Отсюда, полагая
hn = ^aXn — zn
и вычитая (4.2.14) из (4.2.13), имеем
hn = (^iM^u) hn_x + ^^Ayn_x =
n-1
= S (3*^АЗ\x} 3*\iAyn-.i—j9
о
поскольку hQ = 3uXQ — zQ = 0. Теперь
%n $п=Уп ^n~\~	^n	(4.2.15)
где
4 = £[zjoi, ..., vn], fin = E[hn\vx, ..., vn].
В силу предположения о том, что ненаблюдаемые состоя-
ния устойчивы, имеем также, что матрица 3>{iA3n устойчива.
Следовательно,
Е 1(г„ — zn) (zn — f „)*]
ограничено. Далее, для любых двух случайных векторов х и
у имеем
Е [||х + г/1|2] <£ [Цх||а] + £[||г/1|2] + 2Е [||х|| • ||^||],
и из неравенства Шварца
Е [ II х || || у ||] < V£[||x||2] 7 WT
Следовательно,
Е [ II х + у ||2] < (V£ [||х||2] + УЖЛ?])2.
4.2. Фильтр Калмана: теория стационарного состояния 97
По индукции следует, что для любого конечного числа слу-
чайных векторов ...» Ьп
г II п ||2~| z п 
(4.2.16>
Отсюда, в частности,
zn—1	\2
ЕIII Л. - Й. П < (I	<

где
Аа = 0>аА&а,
М = sup Е {(yk - &) {ук — &)*].
k
Поскольку Ди устойчива, то
sup E[\\hn — hnII2] = sup Tr E [(й„ — fin)(hn — finY] <
n	n
Z oo	\ 2
II||||^иЛ||VtFaTJ <oo.
Из (4.2.15) и неравенства (4.2.16) в свою очередь следует, чта
sup Е [ II хп — II2] = sup Tr Рп < оо,
п	п
или
sup Рп < оо,
п
что и требовалось доказать.
Замечание. Следует отметить, что вектор hnt вообще го-
воря, не является нулевым.
Лемма 4.2.3. Пусть Р — любое самосопряженное неотри-
цательно определенное решение стационарного уравнения
Риккати (4.2.7). Если (F* ~ А*)-ненаблюдаемые состояния
А*-устойчивы, то матрица (I—РС*С)А устойчива и, кроме-
того, Р является единственным самосопряженным неотрица-
тельно определенным решением уравнения (4.2.7).
Доказательство. Пусть Р — какое-либо самосопряженное
неотрицательно определенное решение стационарного уравне-
ния Риккати (4.2.7). Тогда
(7 + Я(Р)С*С)Р = Я(Р),
4 Балакришнан А.
98
Гл. 4. Фильтр Калмана
откуда
Р 4- Н (Р) ССР = Н (Р), Р = Н(Р)(1-ССР),
так что
Р - РССР = (1- РСС) Р =
= (/ - РСС) Н (Р) (I - ССР)
и, значит,
Р = (/ - РСС) Н (Р) (Z - ССР) + РССР (4.2.17)
(это уравнение — не что иное, как стационарная версия
(4.1.26)). Пусть
Т = (/— РС’С) Л, J = I — PG*C.
Тогда мы можем переписать (4.2.17):
р = WPT* + JFF*J* + РССР.	(4.2.18)
Предположим, что Т неустойчива. Тогда неустойчива и Т'*.
Пусть х — неустойчивый собственный вектор Т*:
Т’х = ух, |у|>1, ||х||=1.
Тогда, подставляя в (4.2.18), имеем:
[Рх, х] = | у |2 [Рх, х] +1| Р7’х ||2 + II СРх ||2
или
(1 — IV I2) [Рх, х] = II Р7*х II2 + II СРх II2. (4.2.19)
Поскольку Р неотрицательно определена, то
[Рх, х] > О,
и поэтому правая часть (4.2.19) должна быть нулевой, если
|у|^1. Следовательно, СРх = 0 и F*J*x = 0. Поскольку
J*x = х + ССРх = х,
то Р*х==0 и Чг*х = Л*х = ух. Таким образом, для каждого
целого неотрицательного k
F* (Л‘)й х = yftP*x = О,
откуда следует, что вектор х является (F* ~ Л*)-ненаблюдае-
мым. Это ведет к противоречию, поскольку по предположе-
нию х должен быть Л*-устойчивым. Поэтому Т должна быть
устойчивой.
Теперь докажем единственность решения. Так, пусть
и Р2 — два самосопряженных неотрицательно определенных
решения стационарного уравнения Риккати (4.2.7). Пусть
^ = (/ - ЛС*С) Л, 4^2 = (/ - Р2С*С) А.
4.2. Фильтр Калмана: теория стационарного состояния 99;
Заметим, что как Ч^, так и Чг2 должны быть устойчи-
выми. Пусть Q = Pj — Р2. Как мы видели, если Р — какое-
либо решение уравнения Риккати, то
Н (Р) (/ - ССР) = Р = (1- РСС) Н (Р).
Следовательно, стационарное уравнение Риккати дает
Н(Р1) = Р1 а-С'СР^1,
h(p2) = (i-p2c,c)~1p2.
Вычитая, мы получаем слева AQA*, и поэтому
AQA' = РА1~ С’СЛ)-1 - (7 — Р2С*С)-1 Р2.
Следовательно,
(I - Р2С'С) AQA’ (I - C'CPJ =
= (I - Р2С*ОРг -Р2{1- C*CPJ = Р,-Р2 = Q',
откуда
q=t2qt;,
и, значит, для каждого целого положительного k
Поэтому
[Qx, x] = [Q4f:*x, Т2М.
Поскольку 4rJ, Чг* устойчивы, то, устремляя k к бесконечности,
получаем [Qx, х] = 0. Далее из самосопряженности Q сле-
дует, что Q = 0, т. е. Р{ = Р2.
Замечание. Заметим, что для единственности мы требуем
неотрицательной определенности решения. Из (4.2.18) сле-
дует, что любое самосопряженное решение неотрицательно
определено, если мы дополнительно потребуем устойчи-
вости Чг.
Теперь мы можем закончить доказательство теоремы 4.2.3
с помощью наших лемм. Прежде всего, из условия, что
(С ~ Д)-ненаблюдаемые состояния Д-устойчивы, следует, что
какой бы ни была Ро,
sup Рп М < оо,
п
где РП+1 = Ф(РП). Возьмем специальный случай, когда Ро,
нулевая. Тогда по лемме 4.2.1 решение
РЛ = Ф“(0)
4*
100
Гл. 4. Фильтр Калмана
является монотонно неубывающим и, являясь ограниченным,
сходится к конечному пределу. Обозначим этот предел через
Ps. Тогда Ps — решение стационарного уравнения Риккати:
Ф(Рз) = Л.
Исходя из условия, что (F* ~ Д*)-ненаблюдаемые состояния
Д*-устойчивы (лемма 4.2.3), получаем, что любое такое реше-
ние должно быть единственным. Кроме того, матрица
W = (/ - PSC*C) А
устойчива. Рассмотрим характеристики субоптимального
фильтра, используя Ps:
^=°.
(4.2.20)
Пусть еп = хп — а Тп обозначает соответствующую кова-
риацию погрешности
Л, = £[(*.-*3 (*. -<!)•).
Тогда Тп удовлетворяет уравнению
Т„+1 = ЧТпЧ* + (/ - Р£*С) FF* (/ - PsC’C)* 4- Р&ССР3.
(4.2.20а)
Но, используя стационарное уравнение Риккати в форме
(4.2.18), видим, что
(r„+I-Ps) = ^(rn-Ps)W*,
откуда
Тп-Р3 = Чп(А-Р&)Ч*'\	(4.2.21)
где A = E[xoxJ]. Из того, что Т устойчива, следует, что
ПтГп = Р8,
п
т. е. что фильтр асимптотически оптимален, причем скорость
сходимости к оптимальному решению задается выражением
(4.2.21). Ясно, что чем устойчивее Т, тем быстрее сходимость.
Далее заметим, что для любой начальной матрицы Ро
выполняется 0 Ро. Тогда по лемме 4.2.1
ф'1(О)<фп(ро)=рл<г„.
Но левая часть сходится к Ps, и правая часть сходится к Р8,
а поэтому и Рп сходится к Ps. Однако заметим, что сходи»
мость не обязана быть монотонной.
4.2. Фильтр Калмана: теория стационарного состояния Ю1
Замечание 1. Отметим, что (4.2.20) определяет гауссов-
ский процесс, асимптотически стационарный и эргодический.
В частности,
N
lim -ту- V ее* =Ра.
N-»"> N у п п 3
Замечание 2. Отметим, что если матрица А устойчивая, то
все условия теоремы 4.2.3 автоматически выполнены.
Одномерный пример
Условия теоремы 4.2.3 не только достаточны, но и необхо-
димы для выводов, которые в ней утверждаются. Рассмотрим
наиболее простой из возможных случаев. Так, пусть состоя-
ние и наблюдение будут оба одномерными, и пусть
V„ = s„ + g№„,
п п 1 ° n’
$п = схп,	(4.2. Ш)
хп = рхп-1 + fNSn,
где {Nn} и {Nsn} — взаимно независимые последовательности
белого шума, каждая с единичной дисперсией, а р может
быть любым вещественным числом; будем использовать р вме-
сто Р. Без потери общности мы можем и будем полагать g
равным единице. Тогда
Ф(р) = (I р 12р + П/(1 + с2(1 р 12р + П),
<р'(р) = 1р12/(1+^2(1р12р + /2))2,
(р)=-21 р г c2/(i + с2 (। р |2 р+m
Таким образом, ф(р) является выпуклой возрастающей
функцией р для 0^р<оо, вырождающейся в прямую ли-
нию при с = 0 (рис.4.1).
Заметим, что последовательность Рп+1=ф(рЛ) всегда мо-
нотонна, причем она является
возрастающей, если р{ pQ,
убывающей, если Pi^Pq.
Стационарное уравнение Риккати ф(р) = р представляет
собой квадратное уравнение относительно р и имеет два ве-
щественных решения — одно положительное, а другое отрица-
тельное. Положительное решение имеет вид
- (1 - I Р |2 + c2f2) + У'(1 - I Р I2 + С2/2)2 + 4| р Н с2?'
2 I р I2 с2
(4.2.2П)
102
Гл. 4. Фильтр Калмана
и эта формула, конечно, требует подходящей интерпретации,,
если с = 0 или f = 0.
Случай 1. с = 0, f У= 0 (система управляема, но ненаблю-
даема).
Рис. 4.1. Поведение <р(Р): одномерный случай. Для кривой f = 0, С =^= О,
р2 1 решение стационарного уравнения Риккати неединственно.
В этом случае график <р(р) вырождается в прямую линию,
и стационарное уравнение Риккати вырождается в линейное
уравнение
0 = f2-(l-|p|2)p
и поэтому имеет единственное неотрицательное решение
_ f2
Poo - 1 _ | р (2 .
4.2. Фильтр Калмана: теория стационарного состояния ЮЗ
если и только если |р|< 1 (система устойчива). Эти факты
также следуют из графиков, приведенных на рис. 4.1. Если
с = 0 и |р|> 1 (ненаблюдаемое состояние неустойчиво), то
мы видим, что рп уходит в бесконечность.
Случай 2. f = с =/= 0 (система наблюдаема, но неуправ-
ляема).
В этом случае стационарное уравнение Риккати всегда
имеет неотрицательное решение роо = 0, которое является
единственным, если |р|< 1; если, однако, |р|> 1 (неуправ-
ляемое состояние неустойчиво), то оно имеет дополнительное
решение
и только это решение будет делать устойчивой
(1 — рхС2)р.
Случай 3. f = 0, с = 0 (система и неуправляема, и не-
наблюдаема).
Стационарное уравнение Риккати принимает вид
р = I р 12р;
оно имеет только одно решение рте = 0 для | р | =/= 1. Уравне-
ния фильтра имеют вид
3 0, Ai = P-^rt+i> Л)3 о.
Фильтр неустойчив, если |р]> 1.
Разные замечания
Очевидно, что эти выводы согласуются с нашей общей
асимптотической теорией. Мы можем также изучать, что про-
исходит, когда одно или оба предположения теоремы 4.2.3
нарушены в многомерном случае. В частности, случай, когда
система (Л ~ F) -неуправляема, интересен для практической
реализации фильтра, в особенности когда А устойчива. Наш
первый результат в этой связи следующий.
Теорема 4.2.4. Предположим, что матрица А устойчива.
Тогда
р^х = 0	(4.2.22)
для всех (F* ~ А*) -ненаблюдаемых состояний, т. е. для всех
х, таких что
ЛГ\ = 0, /г>0,	(4.2.23)
и наоборот, из (4.2.22) следует (4.2.23).
104
Гл. 4. Фильтр Калмана
Доказательство. Поскольку А устойчива, то применима
теорема 4.2.3, так что матрица Роо хорошо обусловлена как
единственное решение стационарного уравнения Риккати.
Пусть
Тогда
Rn+i = ARnA* + FF,
и поскольку А — устойчивая матрица, то Rn сходится к
AkFF'A*k-
О
Теперь без труда видно, что ядром матрицы 7?^ явля-
ется класс (F* ~ Л*)-ненаблюдаемых состояний. С другой
стороны, РлЙ^Рл, и Рп сходится к Рто, так что
[РоЛ, х] <	х].
Следовательно, для х, удовлетворяющего (4.2.23), РооХ = 0.
Наоборот, предположим, что имеет место (4.2.22). Тогда
из уравнения Риккати следует, что
Н (Р J х = АР^А'х + FF'x = 0,
откуда F*x = 0 и РооЛ*х = 0.
Второе уравнение говорит о том, что А*х удовлетворяет
/4.2.22). Поэтому F*A*x = 0, и (4.2.23) следует по индукции.
Отметим, в частности, что если матрица А устойчива и шум
состояния отсутствует, то Роо = 0.
Субоптимальная фильтрация
Вырожденность матрицы Роо нежелательна с практической
точки зрения. Предположим, например, что мы используем
асимптотически оптимальный фильтр, определенный в (4.2.20) „
Тогда мы видим, что для х, удовлетворяющего (4.2.22),
[х£, х] = [£л_р А х],
поскольку
рсоС* к - САх^,], х] = 0.
Следовательно, для всех п [££, х] = 0, поскольку ££ = 0,
т. е. мы игнорируем любую информацию, содержащуюся в
наблюдениях и относящуюся к (F* ~ Д*)-ненаблюдаемым со-
стояниям. В этом случае мы можем построить фильтр, кото-
рый, хотя и является субоптимальным, но не игнорирует эту
4.2. Фильтр Калмана: теория стационарного состояния
105
информацию. Для этой цели мы поступим следующим обра-
зом. Определим новое стационарное уравнение Риккати
Р = (/ - РСС) {АРХ + а2/ + FF*),	(4.2.24)
соответствующее замене FF* на о*2/ + FF* или замене F на
д/g2I + PF*. Последняя матрица невырожденная, и поэтому
имеем (л ~ Vff2/ + РР* )-управляемость. Поскольку А явля-
ется устойчивой, то (4.2.24) имеет единственное неотрица-
тельно определенное решение. Обозначим его через Ра. Тогда
Ро невырождена и Ро сходится к Рто при <г —> 0. Поэтому мы
можем использовать Ро вместо Рто, и хотя фильтр будет суб-
оптимальным, различие в его действии будет малым для
достаточно малых а. Действительно, пусть
^=о.
(4.2.25)
Положим zn = xn — £ап, Тп = Е [znz’]. Тогда, как и ранее
{сравни с (4.2.20а)), имеем
Тп+1 =	+ Р^СРа + (7 - РаС*С) FF* (7 - С*СРа),
где = (7 — РаС'С) А. Поскольку устойчива, то Тл схо-
дится к Тм’, Тм =	-J- Qo, где
Qo = РаС*СРа + (7 - РаС*С) FF* (7 - С*СР0) -
=ра - VoK - О2 (I- РаСС) (7 - ссра),
поскольку мы можем переписать (4.2.24) ’(см. {4.2.17))
в виде
P.-VX+р<£*сра +
+ (7 - РаС’С) (о2/ + РР’) (7 - С*СР0).	(4.2.24а)
Следовательно,
- Ро ~	(Т« - PJ % -о\1~ РаС-С) (7 - Р„ССу,
откуда
Г - Р = - ст2 £	(7 - РаС'С) (7 - РОС’С)‘ (4.2.26)
о
Пусть Ро обозначает Ра при а = 0:
Ро = (/-РоС*С)(ЛРоД* + РГ).
Пусть также
Ф0 = (/-Р0СС)Л.
106
Гл. 4. Фильтр Калмана
Исследуем поведение Ро при 6->0. Имеем:
АРаА* + а2/ + FF" = Р0(1- ССРО)~\
АРйА* + FF* = (1- Р0С'С)~1 Ро.
Таким образом (как и при доказательстве единственности ре-
шения стационарного уравнения Риккати), имеем
То (Ро - Ро) т; = - а2 (/ - Р0С’С) (/ - С'СРа) + Ро - Ро.
Поскольку То и То устойчивы, то из этого следует, что
р0 - р0 = а2 £ ^* (/ - Р0С*С) (/ - С’СРо) Т^*. (4.2.27)
о
Следовательно, складывая (4.2.26) и (4.2.27), получаем
Тт - Ро = а Е (Т* (/ - Р0С’С) (Z - С*СРО) Та* -
- Та (Z - РаС*С) (/ - С*СРа) Та*).	(4.2.28)
Это показывает, в частности, что
(Z’oo — Ро) 0 при ст->0,
т. е. действие субоптимального фильтра может быть приемле-
мым для малых о.
В заключение перечислим различные эквивалентные фор-
мы стационарного уравнения Риккати:
Р = (/ - РС*С) АРА* (/ - РС*С)* +
+ (/ - РС*С) FF* (/ - РС*С)* + РС'СР. (4.2.29)
Р = (Z + Я (Р) С*С)-1 Н (Р),	(4.2.30)
Р-1 == (Я (Р)~*+С*С) (если Р невырождена), (4.2.30а)
Р = (Z - РС*С) Я (Р) = Я (Р) (I - С*СР),	(4.2.31)
Р = АРА" + РР* - PC* (Z 4- CH (Р) С’) СР	(4.2.32)
'((4.2.32) — это модификация (4.1.24) для стационарного слу-
чая). (Заметим, что
FF* - PC* (/ + CH (Р) С*) СР
не обязательно (положительно) определена.) Из (4.2.30)
можно вывести, что Р должна удовлетворять уравнению
CPC’ = (Z + сн (Р) СТ1СЯ (Р) С*	(4.2.33)
Задачи
107
следующим образом:
(/ + СН (Р) С*) СРС* = С(1 + Н(Р) С*С) PC* =
= СН (Р)С*
(в силу (4.2.30)). Однако из (4.2.33) мы можем лишь полу-
чить, что
0 = (/ + CH (Р) С’) СРС’ - CH (Р) С* =
= С ((/ + Н (Р) С*С) Р - Н (Р)) С* = 0,
т. е. что
(/ + Н (Р) С*С) Р - Н (Р) = Z,
где
czc* = o.
Другими словами, (4.2.33) не обязательно эквивалентно
(4.2.30). Так же просто можно вывести из (4.2.31), что
CPC* = (I - СРС’) CH (Р) С’,	(4.2.34)
следующим образом:
(/ - СРС’) CH (Р) С* = С (/ — РС’С) Н (Р) С* == СРС*
(в силу (4.2.31)). В частности, получаем также (см. (4.1.28)),
что
(/ + CH (Р) С’)-1 = I - СРС*.
Задачи
Задача 4.2.1
Пусть Р— ковариационная матрица, и матрица А устойчива.
Тогда ARA* Р, если и только если Р имеет вид
R=ZAnQA*n, Q>0.
о
Построить устойчивую матрицу Д, такую что
I — АА* не является ковариацией.
Указание: положить
ГО bl
А=\ п ’
L а 0 J
где b > 1, а < 1 и ab <Z 1.
108
Гл. 4. Фильтр Калмана
Задача 4.2.2
Покажите, что если система (Л ~ F) является управляемой,
то Н(Р) и Р невырождены, где Р является каким-либо само-
сопряженным неотрицательно определенным решением ста-
ционарного уравнения Риккати. Покажите, что если А устой-
чива, а Р вырождена, то система (Л ~ F) не может быть
управляемой. Пусть Л (С) обозначает ядро С. Покажите, что
матрица (/ — РС*С) имеет собственное значение, равное еди-
нице, если и только если Л (С) ненулевое.
Задача 4.2.3
Пусть Р — единственное решение стационарного уравнения
Риккати при условиях теоремы 4.2.3. Показать, что
Р >(/ - PC’C) Р (I - С'СР) + РССР.
Указание: воспользуйтесь задачей 4.1.8.
Задача 4.2.4
Покажите, что для самосопряженных и неотрицательно опре-
деленных матриц Р, Q
f(A) = (D(P + %Q)
является выпуклой функцией %, —оо < % < оо. Напомним»
что Ф(-) определена в (4.2.6).
Указание:
JL.fCk) = -h (X) AQA' (й* (X) С'С + C'Ch (X)) AQA'h' (X),
где
h (X) = (Z - Ф (Р 4- XQ) С*С) = (Z + Н (Р + XQ) СС)~\
и С*Сй(Х)—самосопряженная и неотрицательно опреде-
ленная.
Задача 4.2.5
В доказательстве леммы 4.2.2 мы построили субоптимальный
фильтр при условии (С — Л)-наблюдаемости. Здесь приводит-
ся другой такой субоптимальный фильтр.
Предположим, что А невырождена. Тогда матрица (оЛ)-1
устойчива для достаточно больших а. Пусть Р определяется
выражением
Р = £ (oA')~kCC(eA)~k.
О
4.3. Теория стационарного состояния: частотный анализ
109
Тогда R— единственное решение уравнения
R = (о Д’)-1 R (цД)-1 + С*С,
и 7? невырождена. Далее, если определить Р равенством
Р = 7?-1, то мы знаем из [2], что
ф = (/ - PC* С) А
является устойчивой. Зададим субоптимальный фильтр урав-
нением
+ (' - РС’С) В«Я-1 + PC'Vn'
Пусть zn = xn — Тогда гп удовлетворяет уравнению
гп =	— PCCFNn_v — PCGNn.
Покажите, что ковариационная матрица погрешности
R„ = E\z„, z*l
п L п rtj
сходится при п->оо. Вычислите предельную ковариационную
матрицу погрешности. Какое значение а вы бы выбрали для
минимизации погрешности?
4.3. Теория стационарного состояния:
частотный анализ
До появления цифровых компьютеров теория фильтрации
в большей степени представляла собой частотный анализ, не-
жели временной. Поэтому поучительно рассмотреть с этой
точки зрения построние фильтра Калмана, в частности свой-
ства фильтра для стационарного состояния.
Одномерный пример
Начнем рассмотрение с одномерного случая, используя
обозначения (4.2.1П) разд. 4.2.2:
(4.3.1)
х„+1 = рхп + М£,
. *го	(4.0.2)
Vn = Sn + Nn-
Для стационарного состояния мы можем решить (4.3.2) и по*
лучить представление
сю
Sn = cf s pkNn-k-i.
О
по
Гл. 4. Фильтр Калмана
Передаточной функцией сигнала (см. гл. 2), которую мы обо-
значаем i|)s(X), является в этом случае функция
"7<Л<Т'	(4-3-3)
а спектральная плотность сигнала есть
л2#2	>-.2р2
=	(4.3.4)
Фильтр Калмана для стационарного состояния имеет вид
*rt = (l — Р<?)9*п-\ +рсип,
S =с&	(4Л5)
''ЛП>
Следовательно, соответствующая «передаточная функция»
•есть
=	•	(4.3.6)
где pF = (l — рс2)р. Поскольку pF^p, то мы сразу получаем,
что для «нормированной» передаточной функции
О-Рр) >	_1<А<1	,437)
Это означает, что кривая «усиление — частота» фильтра Кал-
мана, определенная формулой
iOgk2^-Pf |,	(4.3.8)
всегда более пологая, чем та же кривая для фильтра сиг-
нала
logl^-pl,	(4.3.9)
Этот факт (следуя традиции) можно получить другим путем.
Частота «среза» для половинной мощности («точка 3 дБ»)
любой передаточной функции определяется как то значение
.%, при котором ее величина равна половине максимума. Сле-
довательно, для фильтра Калмана она определяется из ра-
венства
Р-Ppl2 _ 1
|^-pF|	2’
•откуда для К получаем выражение
1
— arcsin
л
‘-pf
2
l1Qgppl
2л
Pf 1
4.3. Теория стационарного состояния: частотный анализ 111
которое больше значения частоты «среза» для передаточной
функции сигнала:
1	. 1 — р / I log р I Л
— arcsin —I « -1—, р 1 ).
я 2 V Р \ 2л	/
Для нас особый интерес представляет зависимость переда-
точной функции фильтра Калмана от отношения сигнал —
шум (S/7V), определяемого формулой
мощность сигнала
(наблюдаемая) мощность шума ’
(4.3.10>
которое в одномерном случае есть
с2/7(1 - р2).
Большие значения cf (или, что эквивалентно, большие сг
f =Н=0) соответствуют сильному сигналу (или низкому уровню
шума), а малые с, f (=#0) соответствуют слабому сигналу
(или высокому уровню шума). Поэтому рассмотрим предель-
ные случаи: с->оо и (последний известен как «порого-
вый» случай). Из (4.2.2П) мы сразу получаем, что:
1) если с-> оо, f 0, р > 1, то рс->0, рс2-> 1, cpF —>0^
но нормированная погрешность
Е ((sn - sn)2)	.
E((Sn)2)	~U’
2) если с->0, то pc2->0, pf~>P, cpF->0,	(или
асимптотически хп = 0), §п ~ 0.
Таким образом, выразив эти результаты с использованием
передаточной функции фильтра Калмана, мы видим, что:
(а)	при низком уровне шума или сильном сигнале фильтр
пропускает без ослабления все частоты, т. е. просто прекра-
щает фильтрацию: р^ « 0(sn ~ vn)-
(б)	в пороговом случае, при высоком уровне шума, пере-
даточная функция фильтра Калмана «отфильтровывает» шум
настолько, насколько она способна, и ее частотная кривая,
усиления приближается к соответствующей кривой переда-
точной функции сигнала (см. рис. 4.2).
Двумерный пример {двумерный вектор состояния)
Теперь рассмотрим полосовой фильтр (линейный осцилля-
тор— гл. 2), в отличие от низкочастотного фильтра, рассмот-
ренного в нашем одномерном примере. Для того, чтобы иметь-
возможность производить явные вычисления, мы здесь выбе-
112
Гл. 4. Фильтр Калмана
Рис. 4.2. Нормированное усиление фильтра Калмана; одномерный случай
(низкочастотный фильтр).
рем сооА равным л/2, и &=0 (отсутствие демпфирования).
Таким образом, мы имеем следующую модель (опуская кон-
станты) :
%n + l = А%П Н”
vn = Cxn + GNnt
4.3. Теория стационарного состояния: частотный анализ ИЗ
где
г о +11 р ГО 01
|_1 о]’ F = L1 0?
G = [0 1];
здесь

Мп =
— белый шум с единичной дисперсией. Для изучения влияния
отношения сигнал — шум выберем С = [у 0], где 0 < у < оо.
Собственные значения матрицы А расположены на единичной
окружности, и, допуская наличие особенностей, запишем нор-
мированную частотную функцию усиления сигнала в виде
1----(4.3.11)
11 + е4лА |
Особенности имеют место при X = ±1/4. Мы можем рассмат-
ривать сигнал как результат прохождения белого шума через
осциллятор или полосовую систему с низким демпфирова-
нием. Мы знаем, что фильтр Калмана должен быть устойчи-
вым, и поэтому интересно изучить его передаточную функ-
цию. Стационарное уравнение Риккати, как легко проверить,
имеет решение
где индекс у указывает на зависимость от у. Следовательно.
фу = (/-Р/?*С)Л =
и передаточная функция фильтра Калмана имеет вид
С[е^1-^]-'РуС\
Нормируя ее делением на ее значение при Х = 0, мы полу-
чаем, что нормированная передаточная функция есть
где
gW =
g2jia(l + а)
а + e4niK
•='+W1+V
1
Заметим, что 0 < а < 1 и |g(X)| имеет максимум при Х =
= ±1/4, т. е. в той же самой точке, где передаточная функ-
114
Гл. 4. Фильтр Калмана
ция сигнала имеет особенности, но теперь
max | g (Л) | =	< оо
(см. рис. 4.3, где представлен график функции |g(X)l Для
а < 1, а=1). Заметим, что в отличие от низкочастотного
фильтра частотная кривая усиления для фильтра Калмана
всегда расположена ниже той же кривой для фильтра сиг-
нала. Также заметим, что
а->0 при у->оо,
а->1 при у->0,
так что мы можем сделать те же самые выводы, что и в пре-
дыдущем одномерном случае, о поведении фильтра Калмана
при высоких и низких отношениях сигнал — шум. Мы опу-
стим детали.
Общий случай
Теперь перейдем к общему случаю. Будем предполагать,
что матрица А устойчива (допуская наличие особенностей у
передаточной функции, можно рассмотреть случай нейтраль-
ной устойчивости, когда собственные значения могут нахо-
диться на единичной окружности).
Будем также предполагать (Л ~ F) -управляемость и
(С ~ Л)-наблюдаемость, чтобы гарантировать устойчивость
стационарного состояния фильтра Калмана. Пусть ф=(/—
— РС*С)А. Тогда передаточной функцией фильтра Калмана
является матрица
g (Л) = С (/ - Фе2™*)-1 РС\	(4.3.13)
что можно сравнить с передаточной функцией сигнала
f (Л) = С (/ - Ле2^)"1 F.	(4.3.14)
Пусть {pj—собственные значения матрицы ф. Тогда
•,,(<-***) 1
П(=-2”“-р.)Г
k	'
(4.3.15)
где &//(•)—многочлен меньшей степени, чем знаменатель, и
поэтому можно использовать разложение на простые дроби.
Мы знаем, что |рг|<1, и в комплексном случае они
должны появляться в виде пар комплексно сопряженных чй-
в2я/Л — фе2лМ)-1 =	— ф)-1 =
4.3. Теория стационарного состояния: частотный анализ 115
сел. Поэтому мы можем получить сумму членов, каждый из
которых соответствует одному из двух рассмотренных ранее
примеров. Детали опустим.
Теперь перейдем к предельным случаям, соответствующим
низкому и высокому уровням шума. Для этого удобно взять
Рис. 4.3. Усиление фильтра Калмана: полосовой фильтр.
116
Гл. 4. Фильтр Калмана
дисперсионную матрицу шума в виде
GG* = y/.
Тогда уравнения состояния фильтра Калмана принимают вид
= С^п,
*я+1 = (/ - /\ -^п)	Y Vn,
Pv = (/ + -LT—)
Прежде всего рассмотрим субоптимальную оценку §“ = vn.
Ясно, что соответствующая матрица погрешности есть у! и,
конечно,
СРуС*<у/.	(4.3.16)
В частности, ковариация погрешности для субоптимального
фильтра стремится к нулю, когда у стремится к нулю, т. е.
фильтр оптимален в пределе. Поэтому мы можем ожидать,
что
CPVC*
----— v -> v
V
на $?(С), где 01(C) — образ оператора, отвечающего мат-
рице С, и что
/ PVC*C \
при у->0. Поскольку второй предел следует из первого, то
нам необходимо лишь доказать первый. Теперь мы знаем,
что
CPVC’ / Н (Pv) Л-1 Н (Рч) .
= +	С—^С*.	(4.3.17)
Для последующих рассуждений обозначим
Pv
Qv = V’
Tv = CQyC,
Ну = СКуС\
Тогда из {4.3.17) имеем, что
1-Ту = (1 + Ну)-^
4.3. Теория стационарного состояния: частотный анализ 117
и, конечно, Ту 1. Теперь более подробно изучим, как Ту за-
висит от у. Для этого продифференцируем
по у. Или, что эквивалентно, продифференцируем
q^C/^' + c-c).
откуда получаем
или
dQv	dQv . FF* «
тг=М-г^(М)	«.мер
где
7Y = (/-QYC*C),
поскольку
QY/C?1 = i - Qyc'C.
Теперь из
Ру = JyAPy {JyA} + JyFF^Jy + PyC'CQy
получаем, что
Qv = (JVA) Qv (Zy4)* + /v 4 + QYC*CQY. (4.3.19>
Исходя из этого, мы можем доказать (точно так же, как в
лемме 4.2.3), что JyA является устойчивой, поскольку система
управляема. Поэтому из (4.3.18) мы получаем, что
= - У (/X	(4.3.20)?
ь* у	'	У
О
откуда следует, что Qv возрастает, если у убывает. В частно-
сти, при уменьшении у функция Tv монотонно не убывает, а
поскольку Ту ограничена, то она должна сходится к неко-
торому пределу, который обозначим То. Теперь докажем,,
что То = 1 на j?(C).
Для этого решим (4.3.19) и получим
Q, = £ (М)й + QvC’CQvJ (М)’А-
118
Гл. 4. Фильтр Калмана
Следовательно,
О
+ £ С (JyA)k QyC'CQy (JyA)'kC\
О
Ясно, что во второй сумме член, соответствующий £ = 0,
-есть Г2, а поэтому
- тч = £ С (JyA)k	ЦуА)'кС' +
О
+ £ С (JyA)k QyC*CQy (JyA)*kC\ (4.3.21)
1
Пусть теперь у -> 0. Левая часть сходится, и поэтому должна
сходиться правая часть; фактически каждый член в каждой
•сумме должен сходиться, будучи неотрицательным. Поэтому
для каждого v
|| F*Jy (JyA)*k С*у ||2/у сходится,
|| CQy (JyA)*kC*v ||2 сходится.
Теперь наша идея состоит в том, чтобы из этого вывести, что
ГД**С* (/ _ Го) v = о	(4.3.22)
для каждого k, и в силу (А ~ /^-управляемости сразу полу-
чить, что C*(I — Tq)v = 6. Тогда, поскольку и и TQv принад-
лежат 91 (С), отсюда будет следовать, что
Гоа = v на 91(C),
что и требуется.
Получим (4.3.22). Полагая в первой сумме (4.3.21) k = 0,
видим, что
1fXc4-|f'c-(/-7v)4
и поэтому функция || F*C* (I — Ту) v ||/у ограничена. Следова-
тельно, || F*C* (I — Ту) v || должна сходится к 0, а значит,
ГС’(Z-То) о = 0.	(4.3.23)
Взяв k=l во второй сумме (4.3.21), получаем, что
|| CQyA' (Z - C'CQy) С’о || = || CQyЛ’С’ (Z - Ту) v ||	(4.3.24)
4.3. Теория стационарного состояния: частотный анализ
сходится, тогда как, взяв k — 1 в первой сумме (4.3.21),
имеем
F* (I - C*CQy) Л* (7 - C‘CQV) C*v =
= F'(I- C'CQy) А*С* (7 - Ту) v =
= F*A*C* (/ - Ту) v - FC'CQyA'C* (7 - Ту) о.
Отсюда в силу сходимости (4.3.24) следует, что сходится
F'C*CQyA'C'(I-Ty)v,
поэтому сходится и
||FM’C’(7-rv)v||/VV.
Следовательно,
F'A'C* (/ - Го) v = 0.
Мы можем продолжать таким же образом последовательно
для каждого k, k п— 1, пока не получим (4.3.22), где мат-
рица А имеет размер п X п.
Намного проще случай малого отношения сигнал — шум,
т. е. высокого уровня шума. Рассмотрим систему
%П =	—1 "4"
Vn = Cxn + Nn,
где GG* = y7, и пусть у стремится к бесконечности. Теперь-
субоптимальная оценка сигнала s^->0 имеет ковариацию
погрешности CRC*, а поэтому СРуС* ^С7?С*, или
CPVC*	CRC*
—— <---------->0.
V	V
Но мы знаем, что в тех же обозначениях, что и ранее, CQYC*
является монотонно убывающей при возрастании у, и по-
этому
CQyC*->0.
Следовательно, для фильтра Калмана в пределе у-> оо имеем
а матрица системы
/ РуС'С \
(7—^)Л^Л,
в то время как
РуС*
у
120
Гл. 4. Фильтр Калмана
конечно, стремится к нулю, так что sn->0. Тем не менее нор-
мированная частотная функция усиления, поскольку она за-
висит только от матрицы системы, теперь такая же, как и
у сигнала. Другими словами, выводы, сделанные в примерах,
остаются справедливыми в общем случае.
4.4.	Последовательное оценивание параметров
системы
В этом разделе мы рассмотрим характерную для теории
идентификации систем задачу: оценивание параметров си-
стемы. Мы будем ее рассматривать и как приложение теории
оценивания, развитой в гл. 3, и как приложение теории филь-
трации Калмана, в котором новым обстоятельством будет то,
что нам потребуется изучать асимптотическое поведение
фильтра с зависящими от времени параметрами.
Постановка задачи
•Пусть задана линейная модель сигнала:
= Схп Nnt
хп+ \ = А%п 4" BUnt
(4.4.1)
в которой нам неизвестна матрица В, но матрицы А и С из-
вестны, так же как и (наблюдаемая) дисперсия белого шума,
которую мы будем считать единичной. Нашей задачей яв-
ляется оценивание В по наблюдаемым последовательно дан-
ным {уп}, а не по всей выборке, при известной входной после-
довательности {Un}.
Мы предположим, что:
i)	А устойчива;
ii)	< оо;
/V
ill)	lim 4- У || Un ||2 существует и конечен (вход с конеч-
ЛГ->ооЛ
ной энергией).
В соответствии с теорией, развитой в гл. 3, мы можем рас-
смотреть оценку безусловного максимума правдоподобия
(ОБМП) или оценку максимального правдоподобия (ОМП).
Мы рассмотрим лишь первую, поскольку нас будут интересо-
вать лишь асимптотически эффективные оценки, и покажем,
что качество наших оценок асимптотически не зависит от на-
чальных дисперсий.
4.4. Последовательное оценивание параметров системы
121
Для определенности будем считать, что А — матрица раз-
мера пХ^, С — размера тХп и В—-размера /гХР, так что
входная последовательность Um имеет размер рХ1. Решая
(4.4.1), получаем
хп = Апх0 + X
(4.4.2)
Пусть {е{} — единичные координатные векторы в Rp вида
Со1(1, 0, ...» 0) и т. д., и пусть
От	Unify
Мы хотим теперь рассмотреть Um только как линейное пре-
образование над матрицей В. Для этого положим
I/т — Umllltnl • . • Umlf
(4.4.3>
где / — матрица пХ«»так что От имеет размер пУ.пр
Тогда можно записать
Be,
Zulm(Bet)^Um
i
Вер
С этого момента будем рассматривать В как вектор-столбец:
размера пр X 1> т. е.
Be,
Вер
(4.4.4)
и с учетом этого перепишем уравнение состояния в виде
xrt+| Ахп И- UпВ,
(4.4.4а)
В =
где Оп определена выражением (4.4.3) и В имеет представ-
ление (4.4.4). В частности, мы можем переписать (4.4.2) как.
хп=Апхй + S A!Un_l4B = Апх0 + КпВ,
о
где
Кп = Е A'Un-i-t.
о
122
Гл. 4. Фильтр Калмана
Цель этих преобразований состоит в том, чтобы облегчить
применение теории, развитой в гл. 3. Пусть
Нв '
LnZ = CAnxQ + CKnB,
так что мы имеем vn = LnZ + Nn. Чтобы найти ОБМП, мы
предположим, что Z — гауссовская величина с ковариацион-
ной матрицей Atr, а нашей угаданной оценкой является Л
(см. гл. 3), не зависящая от шума {Nn}- Тогда, согласно гл. 3,
ОБМП задается выражением
Z„ = Е [Z |	., о] = (АГ/ + й„)”1 Е L*^,	(4.4.5)
1
где

Еа**с*са6 Еа*'с*сЛ/
Е к'с'с a' Е
1 1
(4.4.6)
Для оценки (4.4.5) нужно использовать все имеющиеся
данные, и, кроме того, дополнительная трудность состоит в
необходимости оценивания начального состояния. Теперь мы
построим оценку, которая является последовательной, или
«текущей», и которая не использует какую-либо оценку со-
стояния. Для этой цели нам необходимо предположить, что
выполнено следующее «условие определимости»:
Hm -t-Ylto'CKn
N-+OO ™
(4.4.7)
существует и невырожден.
Отметим, что условие (4.4.7) налагает дополнительное
ограничение на входную последовательность. Пусть Ав обо-
значает нашу приближенную оценку истинной ковариации
ABtr вектора В. Определим оценку
= (Ав* + /?„)"1 Е K*mC'vm,	(4.4.8)
1
где
4.4. Последовательное оценивание параметров системы
123
Теорема 4.4.1. При выполнении условия определимости
(и устойчивости матрицы 4) ковариационная матрица по-
грешности
£[(В-В„)(В-В„)*]->0	(4.4.9>
при П оо.
Доказательство. Мы начнем с представления {4.4.8) в виде
суммых трех слагаемых:
Вп = (Л51 4- /?„)1 ( Е K*mC'CAmx0} +
+ (лн1 + /?„)’1 ( Е в 4-
+ (Лв1 + /?„)"1 ( Е K*mC*Nm^.	(4.4.10>
Вначале изучим среднее слагаемое. Именно оно будет присут-
ствовать в выражении при нулевом начальном условии и при
отсутствии шума. Мы ожидаем, что именно это слагаемое
сходится к В. Прежде всего заметим, что его можно записать,
в виде (Ав1 + Я„)-1 RnB. Нам необходимо знать Лв1, по-
скольку при малых п матрица Rn может быть вырожденной.
Однако Rn должна быть невырожденной для всех п, больших,
некоторого NQt в силу условия определимости. Чтобы по-
казать это, предположим, что мы можем найти подпоследо-
вательность Rn nk->oof такую что каждая Rn вырожден-
k9	k
ная. Тогда равенство
nk
XfCnC*CKmB=o
1
для некоторого ненулевого В означает, что
nk
£\\сктв\\2=о,
1
и, значит, Rm вырождена для каждого т nk. Поэтому R^
должна быть вырождена для каждого п, каким бы большим
оно ни было. Пусть последовательность Вп такова, что
RnBn = 0, ||BJ|=I.
Тогда для нее существует сходящаяся подпоследовательность
{будем ее также называть Вл), предел которой обозначим
BQ. Пусть R обозначает предельную матрицу в (4.4.7). Тогда
0=-^Bn-+RBa и ||Во11=1.
124
Гл. 4. Фильтр Калмана
Значит, /? — вырожденная матрица, что противоречит нашей
гипотезе. Поэтому Rn невырождена для всех достаточно боль-
ших п.
Рассмотрим теперь разность
еп = В - (Ав1 + /?„)’1 RnB = (Лв1 + Rn}~1 Лв *В. (4.4.11)
'Напомним, что если L и М — две невырожденные самосопря-
женные положительно определенные матрицы, то
(L + MHCM-1.	(4.4.12)
Для доказательства этого необходимо лишь заметить, что
.матрица
M~l — (L + М)~' = М~‘ (L + М — Л4) (L + М)"1 =
= M~lL (L + Л4)"1 = M~l (/ +	==
= M~l (M~l + L-1)-1 М~‘
^неотрицательно определена. В частности,
|| (L + М)-1||0 < Iloilo,
тде индекс «о» обозначает операторную норму1) (см., напри-
мер, [2]). Поэтому из (4.4.11) следует, что
1|еп||<||7?п1|о|ЛН1В1|.
'Теперь мы покажем, чтоЦ/?»1^ стремится к нулю. Из усло-
вия определимости, в котором требуется, чтобы предель-
ная матрица R была невырожденной, следует, что
(^г^--
Это означает, что для любого произвольно малого в > 0 мы
можем найти Nt, такое что для всех п> Nt
Поэтому
или
II Ral llo <	+ II Я-111°) < TII 11°	(4.4.13)
Имеется в виду норма матрицы 4, подчиненная векторной норме л
.||Л||0= sup ||4х||. — Прим, перев.
М 1
4.4. Последовательное оценивание параметров системы
125
для всех достаточно больших п, соответствующих выбору s
из условия е <||У?”11|о. Следовательно,
ИМ->0	(4.4.14)
для каждого В при п->оо. Теперь вычислим дисперсию ев,
рассматривая В как гауссовскую случайную величину. Имеем
Е	= (Лв1 + Rn)~' Лв jABtrAB1 (Ав1 +
что очевидным образом стремится к нулю, какова бы ни была
матрица ABtr
Теперь перейдем к двум другим слагаемым в (4.4.10). Пер-
вое слагаемое в этом выражении представляет собой отклик
на начальное условие х0. Покажем, что оно стремится к нулю
при любом хо. В силу (4.4.13) норма первого слагаемого
< 2||/?~1-"-.	(4.4.15)
II I
Заметим, что
II кт II < ( Е II Ak lb)	ЕII Ак lb м„
и ряд
Еил*|ь
о
сходится в силу наших предположений об устойчивости А.
Следовательно,
I S К'тС'САтх01 < ( Е в Л* l) I с'СIIII х01| ми,
II 1	|| К о /
откуда следует, что (4.4.15) стремится к нулю. Нетрудно ви-
деть, что дисперсия погрешности слагаемого, соответствую-
щего вкладу начального условия, также стремится к нулю.
Действительно, эта дисперсия имеет вид
(ЛК1 + Я„)"* (Е Е KmC'CAmAxttA'!C'CK^ (ЛК1 +	,
(4.4.16)
и в силу нашей оценки двойная сумма в скобках ограничена
по норме, в то время как остальные множители стремятся
к нулю.
126
Гл. 4. Фильтр Калмана
Наконец, третье слагаемое в (4.10) представляет собой
погрешность, обусловленную шумом. Ее дисперсия имеет вид
(ЛК* + /?„)-’(£ /СтС’СЛт) (ЛК* + /?„)-* =
= (ЛК* +/?п)-1/?П(ЛК* + Яп)-1. (4.4.17}
В операторной норме она не превосходит
|| **	||О
(для достаточно больших п) и поэтому стремится к нулю
при /2—>оо. Это завершает доказательство теоремы. Заметим,
что сходимость погрешности к нулю справедлива также «с ве-
роятностью единица», и это по существу было доказано, хотя
детальная постановка потребовала бы определения выбороч-
ного пространства (последовательностей в нашем случае).
Однако математический аппарат, необходимый для четкого
определения этого понятия, увел бы нас слишком далеко в
сторону, чтобы включать его в эту книгу.
Рекуррентный вариант
Теперь мы можем построить рекуррентный вариант (4.4.8)
путем связывания Вп с Вп-\ следующим образом:
Вп = (ЛК* + Яя)"1 (iCnC'vn + Е =
\ 1 /
= (ЛК1 + /?„)-’ КпС\п + (ЛК1 + Rn)~l (ЛК1 + Rn-i) Bn-i,
которое с учетом равенства для Rn-i
Rn-x = Rn-KnC*CKn
дает
Вп = В„-1 + (ЛК1 + /?„)"’ КпС' (р„ - CKnBn-i). (4.4.18)
Мы можем переписать полученные рекуррентные уравнения
следующим образом. Пусть
Рп=(ЛК1 + /?„)-*.
Тогда
В = Вп- ! + РпКпС (vn - CRnBn-l),
Кп = АКп-хЛ-ип-х,
=	(4.4.19)
Рп^Рп-^-РпКпС'СКпРп-!,
PQ = Ав.
4.4. Последовательное оценивание параметров системы
127
Приложение теории фильтрации Калмана
Форма наших рекуррентных уравнений (4.4.19) сильно по-
хожа на уравнения фильтра Калмана. Действительно, можно
переформулировать задачу оценивания таким образом, что
мы можем использовать формализм фильтра Калмана.
Основной прием, который полезен во множестве похожих
ситуаций, заключается в увеличении размерности состояния
путем присоединения подходящих дополнительных перемен-
ных. Так, если мы добавим уравнение Bn+i =Вп и модифици-
руем наше исходное уравнение (4.4.1), записав его в виде
%п+\ ==' A%n UtiBtif
то мы остаемся в рамках (4.4.1) с начальным условием
BQ — В. Уравнение наблюдения, конечно, остается таким же,
как прежде. Пусть
у __
1 m	О
“rn.
(напомним, что Вт имеет размер пр XI), так что Ym имеет
размер (п + пр)Х1- Тогда мы получаем систему
YnMl = ^nYn,
vn = &Yn + An.
(4.4.20)
где £фп — блочная матрица размера (п + пр) X (« + пР)>
S^n = \^ ^"1,
Lo I J’
где / — единичная матрица размера пр X яр, a <S — блочная
матрица
8 = \С 0|.
Теперь отметим, что
У„ = £[У„|1Ч,

где
5„ = В[В„|и1, ..., »„] = E[B|ob ..., v„],
поскольку Вп = В. Уравнения фильтра Калмана имеют вид
Yn+i = s&tiYn “Ь Gn+i	(4 4 21)
^п+1 = (/ -	(	’
^0 =
L0
0 1
Лв|г J
О
о
Го =
128
Гл. 4. Фильтр Калмана
Чтобы увидеть связь (4.4.19) с (4.4.21), прежде всего отме-
тим, что
= СА£п + CUnBn
и что можно записать

>11 р!2
>21 р22
П * П
где
р^=Е[(х„-4)(х„-т
/^ = Е[(ВП-Ъ„)(ВЯ-ВП)’].
Следовательно,
хп+1 = АЛп + йпВп + Pi'+iC’ (о„+1 - СА£п - CUnBn\ (4.4.22)
Bn+i = Вп + ti'+iC' (»„+1 - СА£п - СипВп).	(4.4.23)
Наша прежняя оценка для В, определенная (4.4.12), являет-
ся субоптимальной. Поскольку было показано, что она асимп-
тотически эффективна, то отсюда следует, что такой же яв-
ляется оптимальная оценка Калмана Вп. можем это по-
казать более детально следующим образом. Решая уравнение
состояния (4.4.21), получаем
Ап К,
О I
о>
где Кп определена, как и прежде. Откуда с учетом (4.4.5) и
(3.5.12) следует, что
где
Q„ = (At7,+^„)-1.
Axtl.
.0
° 1
A-Btr-l ’
и Яп задана в (4.4.6). Пусть
Q" О'2
Q21 Q22
4.4. Последовательное оценивание параметров системы
129
где Q" имеет размер п X п, a Q22 — размер пр X пр. Тогда
мы сразу можем вычислить
Р% = 0%,	(4.4.25)
Рп = QnA'n + Q2nKn,	(4.4.26)
Рп = AnQnlAtn + KnQnAtn + AnQ'nlCn + KnQnK*n. (4.4.27)
Теперь из неравенства (см. задачу 4.1.8)
SP . 1
гг+1 п п п
следует, что Р22 является монотонно убывающей (конечно,
это также очевидно из (4.4.25), поскольку Qn — монотонно
убывающая).
Теперь вычислим Qn. Используя обозначение
6ft  I п n I
п	I/?21 я22 Г
где
/d2 = A£tr+
Rn = S A*kC*CAk + A7t*r,
R^ZA^CK^W,
1
имеем
qV =	)-’ - (№ R^ (R'T1 R'2 - (^2)-' R21
(4.4.28)
Q22 = (Я22)-1 - (fl22)"’ R2' (Rln2 (7?22)-' Я21 - R")-' R^ Ш"1-
(4.4.29)
где матрицы в скобках невырождены, поскольку невырож-
дена Rn- Теперь обратимся к нашей оценке (4.4.13), из кото-
рой следует, что для достаточно больших п
Далее, и RX2 сходятся и
(й'Г'^(л,-' + Ё 4-с-сл*)''=(й)-’.
iy25 Балакришнан А.
130
Гл. 4. Фильтр Калмана
Отсюда следует, что
(£2^о,
Поэтому также Q^2, Q^->0, поскольку (неравенство Шварца)
I «121 < vpft vim-
Наконец, из (4.4.25) и (4.4.27) следует, что ZPn стремится
к нулю.
Конечно, истинные значения дисперсионных матриц Axtr
и Лвк не могут рассматриваться как известные, поэтому их
необходимо заменить угаданными приближенными оценками
Ах и Ав. В этом случае наши оценки уже не оптимальны. Та-
ким образом, мы определяем субоптимальный фильтр:
х“+1 = Ахап + UnBan + Р^С* (о„+1 - САхп - сипв$,
Ban+i = Вап + Р^С (v„+i - САхап - CUnBa^,	(4.4.30)
где
^“+1 = (/ - ^+1С*С)	(/ - ^„а+1С‘с)‘ + ^+1С’С^+1>
0 1 &а[РапП РГ1
° Lo Лв-Г " p^J'
Пусть
Тогда (ср. с разд. 4.1) мы имеем
- тп=и - «V)	- г».!)	(/ -
(4.4.31)
Мы знаем, что стремится к нулю, поскольку все сооб-
ражения для	также справедливы для при замене
Лвк на Ав и Axtr на Ах. Кроме того, из равенства
следует, что
Ш-i ... фо^офоф1 • • • 'фп-по-
следовательно,	хп]->0, где хп = фоф* . •. фпХ. По-
скольку невырождена, то отсюда следует, что ||xrt||—>0.
Но из (4.4.13) мы можем записать
[И - Тп) х, х] =	- Го) Хп, хп] < II	- Го |||| хп II2 -> о.
4.4. Последовательное оценивание параметров системы
131
Поэтому ||0“ — Тп||->0. Следовательно, ||Тп||->0, поскольку
KIRo.
Замечание, Хотя уравнение (4.4.30) сложнее, чем (4.4.19),
оно имеет то преимущество, что оно дает оптимальные
оценки одновременно для Вп и хп. Мы также заметим, что
скорость сходимости Вп к В зависит от выбора ^о.
Необходимые и достаточные условия
определимости
Теперь изучим условие определимости (4.4.7) и най-
дем, при каких условиях на систему оно выполняется. Рас-
смотрим вначале синусоидальный вход, полагая для простоты
Р= 1:
u'm — a cos (2лЛ0т)
для некоторого Хо, 0 Хо 1 /2 (обратите внимание, что^
Хо = О дает на входе ступенчатую функцию). Для этого слу-
чая мы без труда можем убедиться в том, что
[RB, В]==Пт^У||С/<;-В||2==
= у (а2 II C(e21ti4 -АГ1 В ||2 + а11| С (е~2МЧ - Л)"1 В ||2). (4.4.32)
Если а2 не нуль, то достаточным условием выполнения
(4.4.7) является невырожденность матрицы С, что сразу
можно получить из (4.4.32). Пусть
ф (Л) = (e2niKI - Л)"1-
Тогда для того, чтобы (4.4.32) равнялось нулю, необходимо,,
чтобы С была вырожденной и чтобы для некоторого ненуле-
вого вектора В
аСфг (Л.о) В — aCipj (Л.о) В — 0,
где
фг (Л) — Re ф (Л), ф[ (Л,) = Im ф (Л).
Для более общего случая удобно использовать обозначение.
(4.4.1). Поэтому
= Схт,
X/n+l ’ АХт “|“
i/25*
132
Гл. 4. Фильтр Калмана
где использовано обозначение (4.4.4), Bi = Bet. Тогда
п
\RB, В]= Пт ± У ||хт||2,
п > оо Н
что равняется (см. гл. 2)
1/2
Tr pv (Л,)йЛ,
— 1/2
где ри(Х)—спектральная плотность процесса {vm}, которая
может быть вычислена через спектральную плотность р(Х)
процесса {Un} в виде
р р
Ро (М = Е Е С - Я)"1 (е~2яЛ - A’) Ср„ (Л),
где р(Х) = {рг/(Л)}>	Поэтому
[RB, В] =
1/2 р р
= $ ££[С(е2я/Л- С(е2я1К-А)~'B^pnWdk.
-1/2 1	1
(4.4.33)
Если мы запишем
р р
[rb, в] = Е Е[ед, в,],
то имеем	1/2
яи= J m w PaWdk.
-1/2
Если р(Х) диагональна, то (4.4.33) преобразуется к виду
Р 1/2
[RB,B] = Y J II ф (X) BJ|2 ри (Л) dk, (4.4.34)
1 -1/2
откуда мы можем вывести в общем случае, что достаточным
условием невырожденности R является невырожденность С,
конечно, в предположении, что вход имеет ненулевую энер-
гию.
Задачи
Задача 4.4.1
Пусть необходимо минимизировать по а
N
Sil v„ — LnafyN~n
1
для каждого N, где 0 < у < 1 и последовательности {£/„}>
Задачи
133
{Ln} заданы (детерминированные). Покажите, что эта за-
дача может быть сформулирована как тривиальная задача
оценивания параметров системы. (Это так называемая задача
адаптивного контроля в цифровой системе связи, см., напри-
мер, [15].)
Указание. Пусть aN обозначает оптимальный вектор а для
каждого N. Пусть
vn = Lna ч- Nn
где {Nn}—белый шум с единичной дисперсией. Тогда
aN = E[a\v{, ... 9 vn]
Пусть юп = ^^ип9 Ln = ^JynLn. Тогда
== "Ь п
и наша теория может быть, применена (см. 4.4.18) как три-
виальный случай системы без запоминания. В частности, мы
имеем
Кроме того, наша теория дает достаточные условия сходи-
мости {aN} к а при N, стремящемся к бесконечности, а именно:
N
Пт У > 0.
Это дополнительное преимущество разумного использова-
ния стохастической модели по сравнению с применением к
данному случаю критерия наименьших квадратов.
Задача 4.4.2
Рассмотрите задачу нахождения матрицы В в модели (4.4.4а),
где вход теперь постоянный: Un = U.
Установите, является ли эквивалентным понятие распоз-
наваемости понятию наблюдаемости для системы
л [A U~]	-
Л==Ь /]’ С=|С, 0|,
где I имеет размер пр X пр, а С размер 1 X (пр + п).
Задача 4.4.3
Проверьте, справедливы ли результаты этого раздела, если
не требовать устойчивости матрицы А.
134
Гл. 4. Фильтр Калмана
4.5.	Сглаживающий фильтр (Калмана)
Теперь вернемся к общему случаю уравнений зависящей
от времени системы разд. 4.1 в форме
*n+i = Апхп Н" FnNп + BnUn,
vn = Спхп -|- GnNn\
здесь FnG* = 0, GnG*n > 0 для каждого п. Пусть v2, ...
... , vN обозначает множество всех имеющихся данных.
Тогда оценка
хп = Е [xn\vlt ....	(4.5.1}
называется «сглаживающей» оценкой величины хп, потому
что она дает возможность интерполяции (сглаживания) дан-
ных по обе стороны от текущего (n-го) выборочного значе-
ния. Теперь мы приведем метод вычисления оценки (4.5.1)^
преимущество которого состоит в том, что он требует мень-
шего объема вычислений, чем при «групповом» подходе, при
котором учитываются все наличные данные. Мы назовем со-
ответствующие уравнения сглаживателем Калмана, поскольку
он будет основан на оценке посредством фильтра Калмана:
проход по данным в прямом направлении даст оценку Кал-
мана хп, «обратный» проход будет использовать только вы-
численную оценку хп и даст «сглаженную» оценку.
Прежде всего заметим, что в силу эквивалентности обнов-
ляющей последовательности уп и данных vn мы можем выра-
зить хп через уп и, в частности, воспользоваться свойствами
«белого шума» (т. е. ортогональности) последовательности
уп. Так, пусть
a N
хп ~ S ^п, птУт "Ь Е 1Лп]>	(4.5.2);
1
где
т == Vт Ст (^т—1хт—1 “Н Дп—1)*	(4.5.3)
Для того чтобы определить «коэффициенты» А т, П) МЫ ПОСТУ-
ПИМ следующим образом. Сначала заметим, что
%п == Е [хп | Vi, ... 9	= Е [хп | Vj, ... , vrt] =
= ЕЛ,л + £[хп].	(4.5.4}
1
Подставляя
Хп = Ап_^ + РпС*п (GnG'ny vn +
4.5. Сглаживающий фильтр (Калмана)
135
в (4.5.4), получаем
п	п— 1
S А-п^тУт ^2 Ап_1Ап- 1, тУт	РпСп	rfiп)
1 1
Поскольку элементы {vn} ортогональны, то, приравнивая со-
ответствующие коэффициенты при уП) мы получаем
An.n = PnCn(GnG,n)~\	(4.5.5)
Ап, т == АП—lAi-1, т>	1.	(4.5.6)
Таким образом, (4.5.6) дает нам Ап,т для т^п. Далее,
чтобы построить «обратное» уравнение, исследуем разность
хп — Snxn+l для произвольного Sn (которое мы затем выбе-
рем подходящим образом).
Используя (4.5.2), мы можем выразить эту разность
п	N
S (Ап, т *^n^n+l, т) “Ь S (^п, т ^n-^n+l, m) ^tn "4"
1	n+1
+ £ [x„] — S„E[xn+1]. (4.5.7)
Поскольку
S An, пУт “4“ E К] = &n ’ S ^n+l,	4" E 1Лп+1] = xn+l>
1 1
имеем
Xn ^nXn+ 1 == %n $nXn+ 1 "4“	(A„ m SnAn+ 1, m) Vm.
n+1
(4.5.8)
Теперь идея состоит в том, чтобы выбрать Sn так, чтобы сум-
ма в правой части обратилась в нуль. Вначале определим Sn
так, чтобы при этом обратилось в нуль выражение в скобках
под знаком суммы:
Ап, п+1	^п^п+1, п+1 = О*
Но, согласно (4.5.8), это то же самое, что требовать ра-
венства нулю выражения
£[К-зл+,К+,) = °-
Теперь воспользуемся соотношением
®п+р == Сп+р^п+р ^п+р’	(4.5.10)
где zn+p — погрешность аппроксимации, и zn+p = JnlPvn+p,
где Jn+p задана в (4.1.50). Поэтому (4.5.9) дает
£ [(-^П ^п-^п + 1) (уп+1	^n+l-^n+l) ] = 0‘
136
Гл. 4. Фильтр Калмана
Но
®п+1	G п+\% п+\ = ^n+l^n + 1 “Ь Gn+XN п+Х9
и поэтому (4.5.9) преобразуется в равенство
Е [(х„ — S„x„+i) еп+iCn+i] = 0.	(4.5.11)
Для выполнения этого равенства достаточно потребовать,
чтобы
Е* [(х« SnXn+1) &п+1] == 0»
Но поскольку хп, хп+1 не коррелируют с еп+1, то это экви-
валентно тому, что
£[(е„ — Snen+i)e»+i] = 0.	(4.5.12)
Известно, что (см. (4.1.25))
&п+1 = (I ^П+1^П+1) Апеп + (/	^п + А+1) FnNп
~~ Kn+\Gn+\Nп+\-	(4.5.13)
Следовательно,
Е [#п£п+1] == (-Е [ вп +1 &П ] ) == РпАп (I	Кп+1Сп+1) >
и поэтому
Е [(^п	Епвп^.х) вп+i] = РпАп (I Kn+iCn+i) SnP n+i.
Правую часть с учетом (4.1.30) можно записать в виде
(Р Л* - SH) (1 - К. }Сп, .)*.
\ п п П nJ \	п+1 п+1/
Поскольку второй сомножитель является невырожденным, то
(4.5.12) справедливо, если и только если РпА*п = SnHn. Пред-
положим, что матрица Нп невырождена. Тогда можно опре-
делить
3„ = Р„ЛЖ1.	(4.5.14)
В случае, когда Нп вырождена, предположим, что невы-
рождена матрица Ап (это безобидное предположение для
дискретных моделей), и определим Sn равенством Snx = Ап'х
на ядре !) РПР*. На образе же матрицы FnF*n будем исполь-
зовать (4.5.14), поскольку образ FnF*n содержится в образе Нп.
В частности, определим Sn равенством Sn = Ай\ если шум
в уравнении состояния отсутствует. Теперь покажем, что
этого достаточно для того, чтобы
А . “5Л ,	=Е\(х —- S х W, 1 = 0
n,n+p n n+l,n+p L\ n n n+1/ n+pj
9 Под ядром матрицы А следует понимать множество векторов х,
удовлетворяющих равенству Ах = 0. — Прим. ред.
4.5. Сглаживающий фильтр (Калмана)	137
для каждого р 1, так что сумма слагаемых в (4.5.8) от
(п +1) до N равна нулю. Для k 1 имеем
Е [(Xn	vn+k+1 ] = [(en	^nen+l) vn + k+l]»
поскольку хп и £л+1 не зависят от vn+Jfe+1. В силу (4.5.10)
это равно также
<4-515>
где, используя (4.5.13), мы можем уменьшить индекс на еди-
ницу:
Е [(еп “ S/Ai+l) en+fc+l] =
= Е |(г. - SA+1) <+И:+. (' - *.+,+ ,Ся+1+,)•] (4.5.16>
Используя повторно (4.5.13), мы можем в итоге свести (4.5.16)
к выражению
Е [(еп ^леп+1) е/г+1 Аг+1 ’ * * ^n-H+l^n+fc+l) ]’
которое равно нулю в силу (4.5.12). Таким образом,
Snxn+i = хп Snxn+i»	(4.5.17)
Замечание. С другой стороны, мы можем (хотя это и уто-
мительно) вычислить Ап, т для каждого п и т п + 1 и
установить, что
Ап, т ==	+1, т> /77	/2 4” 1 •
Таким образом, (обратные) уравнения сглаживателя Кал-
мана имеют вид
хп == &п 4~ Зп (хп+\ Апхп BnUn)t п N,
5	(4.5.18)
XN = &N-
Заметьте, что в случае, когда отсутствует шум в уравне-
нии состояния, Sn = Ап1 и (4.5.18) сводится к
хп= Ап Хп + 1*, xN = ^Nt
которое, конечно, можно доказать проще и непосредственнее,
поскольку из уравнения
хп+\ == Апхп 4- BnUn
сразу получаем, что
хп + 1 == АпХп 4"
6 Валакришнан А.
138	Гл. 4. Фильтр Калмана
и предполагается, что Ап— невырождена. На самом деле, как
мы видели в гл. 3, имеется явная формула для хп.
Теперь рассмотрим погрешность еп = хп — хп. Пусть Рп =
= Е[епеп]. Тогда из (4.5.13), вычитая хп из обеих частей,
получаем
%п %п ^п^п + 1 ==
ИЛИ
SflXn+l &п ==	&п*
В обоих частях случайные величины независимы. Поэтому,
вычисляя ковариации, имеем
S.E [х„+,<+,] s; + Р» = 3,Л,£ [АХ] XX + р„. (4.5.19)
Ио
Е [Хп+1Хп+1 ] ~ *n+l ?n+v
где
R = Е [хх*1 = Ап ./? .Д* . + Fn .F* ..
'n L п п] п—1 п—1 п—1 1 п— 1 п—1
"Следовательно, подставляя это в (4.5.19), получаем
pN = S„P"S* - S„P„,.S’ + Р„ + 5„Л„ (R — РА ДХ =
п п п+1 п п хп+1 п 1 п 1 п п \ 'fl	nJ п п
= Pn + Sn (pn+l - А,ЛА'п - рпр'п) SI,	(4.5.20)
п 1 п \ п+1 п п п п П/ п’	'	7
И, конечно, P% = PN.
Интересно ограничиться рассмотрением случая не зави-
сящей от времени системы (с нулевым входом), чтобы изу-
чить асимптотическое поведение сглаживателя. Для этой цели
возьмем п = W/2 и устремим N к бесконечности, что соот-
ветствует данным, возрастающим в объеме симметрично до
бесконечности в обоих направлениях по времени.
Пусть
Р°° = lim Рх = lim Рп.
N -> оо	N -> оо
Пусть
Ап = А, Gn = G, Fn=^F, Сп = С.
Предположим (Л — F) -управляемость, и пусть для про-
стоты А устойчива. Тогда
= р +	(Р°° — АР А9 - FF*} S* ,
оо 1 оо \	оо	) оо’
,	(4.5.21)
S^PJ^APJV + FF'}-'.
4.5. Сглаживающий фильтр (Калмана)	13®
Мы можем переписать (4.5.21) как
Р- = Sji-Si - STC (АР^А* + FF*) S^ + P^
=	- P°A* (AP^A* + FF)"1 APX + Рм. (4.5.21 a>
Чтобы «решить» (4.5.21a) относительно P°°, заметим, что Soo
является устойчивой. Поскольку мы предполагаем (А — F)-
управляемость, то Р^ невырождена. Кроме того, выбирая для
простоты GG* = /, получим (см. 4.2.31), что
(АРХА* + FF*) = (1- РооС’С)-1 Рх,
и поэтому
(ЛР^Д* + FF*)"1 = Р-> (/ - РМС*С) = (Р-> - С*С),
так что
Soo = РооЛ* (Р"1 - С*С) = Роо (Л* (/ - С’СРоо)) Рй'.
Поскольку (/ — РТОС*С) А устойчива, то отсюда следует, чта
устойчива S^. Следовательно, мы можем решить (4.5.21 а)г
Р°° = 1st (Poo - SooAPoo) S’oot
о
Кроме того, заметим, что
3‘оо* = Р~Ч*Роо, /г>0,
где г|)	(/— РТОС*С) А, так что окончательно имеем
Р°° = Роо ( ЕчС (Р~ - Р-’ЗооЛ) 1/1 Роо. (4.5.21 ь>
\ о	J
Мы можем получить другую формулу для Р°° через спект-
ральную плотность процесса {%4- Действительно, в стацио-
нарном состоянии оценка сглаживания
E[xn\vmt — оо < т < оо] = хп
для каждого т должна удовлетворять равенству
я[(*.-к)<]-о-	(4-5-22>
Пусть
хп= i^kVn_k == S ^n-kVk.
— co	—co
6*
140
Гл. 4. Фильтр Калмана
Тогда (4.5.22) дает
£ с = S»V |"„_Л,|,
Е [хпхт] =R(n- т).
Тогда (4.5.22) принимает вид
R (п - т) С* = Wn_mGG* + £ WkCR (n-k-m) С*,
— оо
или
R (n) С* = WnGG* 4- £ WkCR (п - k) С*.	(4.5.23)
Пусть
Р W = Е e2nlKkR (k) = (е2яй - Л)-1 FF* (e~2ntK — Л’)-1
и	Ф (Л) = ^e2niKkWk.
— оо
Тогда из (4.5.23) следует, что
р (X) С* = ф (Л) (GG* + Ср (Л) С*),
или
ф (X) = р (Л) С* (GG* + Ср (X) СТ1.
Соответствующая матрица погрешности имеет вид
Р“ = Е ((хп - хп) (хп - к)*1 = Е [хXI - Е tail “
п nJ \ п nJ ]	\_ п п\ Inn]
1/2
= J (р(Л)-ф(Л)(Ср(Л)С* + ОО*)ф*(Л)*)^ =
-1/2
1/2
= J (р(Л)-р(Л)С*(С?С* + Ср(Л)СТ1 Cp(K))dK. (4.5.24)
-1/2
Здесь мы использовали факты из общей теории гауссовских
процессов, обзор которой сделан в гл. 2. В частности, по-
грешность оценивания сигнала есть
1/2
Сро°С. = J Ср (Л) (GG* Ср G*pl GG* dK =
-1/2
1/2
= j ((GG*)-1 + (Ср(А,)С‘)-1)-1 dk, (4.5.25)
-1/2
в предположении, что Ср(Х)С* невырождена.
Задачи
141
Пример
В качестве простой иллюстрации асимптотических свойств
теории сглаживания рассмотрим одномерный пример (4.3.1),
(4.3.2). В этом случае
р (Л) = f2/| г2™’* - р |2,
и поэтому (4.5.24) дает
1/2
1/2	2
=	(4.5.26)
J/2 f!c2 + I e2niK -pl
= f2 [(1 + P2 + f2c2)2 - 4p2]~l/2.	(4.5.26a)
Замечая, что
Soo = PPoo/(f2 — P2Poo),
из (4.5.21a) находим
(\2	2 2
74^ J -рт£г + Р~>	(4.5.26b)
что гораздо сложнее, чем (4.5.26а), даже после следующего
упрощения:
noo_ 1 — р2 (1 -PqqC2)
Роо 1__р2(1__рооС2)2-
Можно без труда (после некоторых алгебраических преобра-
зований) убедиться в том, что подстановка роо дает тот же
самый ответ, что и (4.5.26а), но мы опускаем детали. Без
явных вычислений видно, что для малых с (высокий шум)
и для больших с (высокий сигнал) Р°° « роо, как и следовало
ожидать.
Задачи
Задача 4.5.1
Выведите из (4.5.20), что
Р" < АпРпАп + рпрп>
п+1 п п п 1 п п7
используя только неравенство
р << д р д* । р р*
rN ^NrN^N 1 N1 N
без каких-либо других условий оптимальности.
142
Гл. 4. Фильтр Калмана
Задача 4.5.2
Докажите, что (Роо — SooAPoo) является самосопряженной.
Является ли она неотрицательно определенной?
Задача 4.5.3
Сравните действие сглаживателя с действием фильтра
Калмана при больших и малых отношениях сигнал — шум в
одномерном примере, используя (4.5.28) и разд. 4.3.
Задача 4.5.4
В случае, когда в уравнении состояния отсутствует шум
(Л/п = 0)’ покажите, что (4.5.20) сводится к виду
^ = 4Ж+1(<Г*; pnn=pn-
Задача 4.5.5
Исследуйте стационарное состояние сглаживателя в слу-
чае отсутствия шума в уравнении состояния, когда
i) А устойчива и невырождена;
ii) А~1 устойчива и система (С ~ Д)-наблюдаема.
4.6. Фильтр Калмана: сигнал и шум
коррелированы
В этом разделе мы обобщаем результаты разд. 4.1 на
класс задач, в которых мы допускаем, что сигнал и шум кор-
релируют. Так, в нашей модели
Vn == СпХп N(4 6 1)
%п + \	Н- п “Ь Nn,
где {Nn} — белые гауссовские шумы с ковариациями
Е W = GnGn, Е [NX] = FnF*n,
и они могут быть взаимно коррелированными, т. е. матрица
E[NsnN°n] = Jn	(4.6.2)
не обязательно нулевая, хотя
Е [NX] = 0, п Ф т,
как и прежде. Пусть хп снова обозначает одношаговое пред-
сказание:
Хп = Е [хп I »1, ...» vn_!].
4.6. Фильтр Калмана: сигнал и шум коррелированы
143
Мы опять обозначим обновляющий процесс как
vn = fn — E[vn |v„_,.............Vl] = v„ — Cnxn, (4.6.3)
поскольку
£[Л^_*1 = 0, fe>l.
Обновляющий процесс для состояния определяется, как и
прежде, выражением
ч*п = £п — Е[хп\хп_\....Х1] = Аг — хп. (4.6.4)
Далее, корреляция равна
= £ |(Л - ».) + (*. - *«)) »]=0. ‘ > I.
вследствие оптимальности Яп и хп. Поэтому должно выпол-
няться
=	(4.6.5)
где Кп должна удовлетворять уравнению
^|v^] = 7<nE[vnv;|	(4.6.6)
Пусть Нп-\ обозначает, как и прежде, погрешность одношаго-
вого предсказания:
Нп-l =	1(%П	*п) (%п	*П) ]•
Пусть, как и прежде,
еп = %п %п> ?п = Р 1еп&п]
Переписывая (4.6.5) в виде
&п *п == Кп (Сп (%п	*п) “1“ Nn) = Хп) -|- (Хп Хп)9
имеем
хп - хп = (I - КпСп) (хп - хп) - Кп№п.	(4.6.7)
Далее,
E{N° U„-xn)*] = 0,
и поэтому, вычисляя дисперсии обеих частей (4.6.7), полу-
чаем
Рп = (/ - КпСп) Нп_, (7 - 7<„CJ- + 7<ftGnGX. (4.6.8)
144
Гл. 4. Фильтр Калмана
Продолжая как в разд. 4.1, вычислим теперь
Е [v„vX] = Е(Сп (хп - хп) + №п) (Сп (хп - хп) + №пУ =
= СпНп_£п + GnGn',
Е [v/iVn] = Е [(xrt хп -|- хп хп) (vn Спхп) ] =
= Е [(xn хп) (vn Спхп) ] =
= Е[(хп - хп) (Сп (хп - хп) + М)‘] =
= Нп_хСп.
Следовательно, как и в разд. 4.1, мы можем получить из
(4.6.8), что
Рп = Ц-КпСп)Нп_ъ	(4.6.9)
PnC; = K„(G„G;).	(4.6.10)
Теперь вычислим хп. Мы имеем:
*П = Р 1^п I •••» ^1] =
= Ч~ G+ Е [Afrt_ 11 vn-i> .. •,	=
= An_xxn_x + Un^ + Nsn^	(4.6.11)
Последний член теперь уже ненулевой. Действительно, ис-
пользуя
E[NSn-l I Vn_h €»1] = £*[^-1 I v„_!, vj
E [(Vn-1 Vn-1 ] = E [Afn-iVn-i] =
= £[«.<- J -=1п-ъ
£[^_№_fe] = 0, k <2,
получаем
NSn-\ = 4-1 (£	V„_!.
Пусть
Q„ = /n(E[vX])’\	(4.6.12)
так что мы имеем
== -Чп-l^n —1 Ч" ^П-1 Ч- Qn — \ (рп, — 1	Gn—\Xn_i).
Из (4.6.5) получаем
хп—\ ~ ^n-i Ч~ Ал—1 (^п-1 Gn_ 1-^л—i)	(4.6.13)
4.6. Фильтр Калмана: сигнал и шум коррелированы
145
и, подставляя это выражение в (4.6.13), приходим к уравне-
ниям фильтра:
*п = (Аг-1 ““	+ Qn-l) Сп-1) xn_t +
+	+ (An_lKn-i + Q^) vn_lt (4.6.14)
£n = (Z-KnCn)xn + Knvn.	(4.6.15)
Мы можем рассматривать (4.6.14) как «уравнение состоя-
ния», а (4.6.15)—как уравнение «вход — состояние — выход»,
совместно описывающие фильтр Калмана. Остается только
вычислить Кп и Qn. Для этой цели прежде всего мы вычислим
Нп. Используя (4.6.13), получаем
хп — хп = Ап_} (xn_t — xn_i) + Nsn-1 — Nn-i, (4.6.16)
где, вследствие оптимальности и Nsn-i и с учетом
(4.6.16),
Е [(*„_, - *„_,) (Aft-i -	= Е [(х„_, - *„_,) JVr-i] =
= Е [-х„_ЛГ-1] = -Кп-Хп-ь (4.6.17)
Поэтому, вычислив дисперсии обеих частей (4.6.16), мы полу-
чаем
НП-Х = Ап — \Рn-l^n-1 “F Fn-lFn-l	Qn — l^n-1
Z n_\Kn-\.An—ь	(4.6.18)
Hq = ДоАЛо + FqFq, Pq — A.
И, конечно, из (4.6.9) и (4.6.10) следует, что
Kn = PnCn(GnGn)~\	(4.6.19)
Рп = Нп_{ (/ + С'п (,GnGnYl СпНп^)~1 =
= (/ + Н^Сп (GX)-1 С»)’1 Я„_1( (4.6.20)
(М)-' = (/ - (GX)-1 СпРпС*п) (GnG*)-\ (4.6.21)
Я„ = (А„ - /„ (G„G:)-‘ С„) Р„ (Ап - /„ (ОХ)-' спу +
+ FnFn-Jn{GnGnYx fn. (4.6.18а)
Эти уравнения позволяют нам рекуррентно определять Рп и
Qn. Заметьте, что, используя (4.6.21), мы получим
Qn = Jn(l- (GnG'nY' СпРпС*п) (G„g:)-1.	(4.6.22)
Замечание. Анализ построения фильтра показывает, что
необходимо лишь, чтобы Е [А;ЖГ-б] = 0 для В част-
ности, нет необходимости требовать, чтобы
£Ww] = 0, /г>1
(в связи с этим см. пример 4.6.2).
146
Гл. 4. Фильтр Калмана
Теория стационарного состояния
Теперь мы ограничимся не зависящими от времени систе-
мами, полагая
Ап = A, Jn = h Fn = F, GnGn = GG .
В первую очередь нас будет интересовать поведение фильтра
в стационарном состоянии, как и в разд. 4.2. Снова примем
предположения теоремы 4.2.3. Кроме того, мы будем считать,
что
(FF — Л*) х = 0 => FF'x = 0.	(4.6.23)
Поясним смысл этого предположения. Из определения / мы
знаем, что условное ожидание Е | Л/^]	и поэтому
E[[l\Tn-JNn, x]]'2 = [(FF* -]Г)х, х].
Таким образом, наше предположение эквивалентно высказы-
ванию, что в уравнении состояния не существует компоненты
шума, в точности совпадающей с какой-либо линейной комби-
нацией компонент шума измерений (или наблюдений).
Мы, естественно, будем использовать теорию разд. 4.2.
Ограничиваясь (4.6.9), получаем
Рп = У-РпСС)Нп_ъ	(4.6.24)
где, с учетом (4.6.18), имеем
Нп = АРпА* + FF* — J(l — СРпС*) Г - АРпС*Г -
- JCPnA* = (Л - JC) Рп (А - JCY + FF* - /Г. (4.6.25^
Чтобы доказать, что Рп сходится, рассмотрим (4.6.24) и
(4.6.25). Исследование этих выражений показывает, что нам
необходимо лишь доказать, что условия теоремы 4.2.3 вы-
полнены для (Л — JC) вместо А и для (FF* — JJ*) вместо FF*
в ее формулировке. Но сразу видно, что если С (Л — JC)n х = 0
для каждого то также и САпх = 0 для каждого
и поэтому || Akx || -> 0 при А-*оо. Но (А — JC)k х = Akx, и по-
этому х является (Л — /С)-устойчивым. Также предположим,
что
(FF - /Г) (А - ]СУп х = 0, п > 0.
Это означает, по нашему предположению (4.6.23), что
(££*) (Л - /СУп х = 0 и (/Г) х = 0.
Поэтому
FF*A*nx = 0, т. е. FTx = 0,
4.6. Фильтр Калмана: сигнал и шум коррелированы
147
Следовательно, || Д*пх ||	0. Но А*пх = (Л — /С)*пх, а значит,
х является (Д —/Cf-устойчивым. Таким образом, как и в
теореме 4.2.3, получаем, что Рп сходится к Рто и что —
единственное самосопряженное решение системы
НОО = (А — /С) Рж (Л - /СУ + (FF* - /Г).
Кроме того, мы имеем, что матрица
(Д-7С)(/-РООС*С)
устойчива. В заключение отметим, что мы можем получить
асимптотический вариант в виде
хап = (Д - /с) (/ - Р^С'С) х“_1 + ип_{ +
+ ((Д-/С)Р00С + /)^1,	(4.6.27)
который будет асимптотически оптимальным.
Замечание. Если мы не нормируем ковариацию шума на-
блюдения как GO* =/, то вместо / следует использовать
7д/(СОТ‘,
так что (4.6.23) принимает вид
(FF* — 7(GG’)~‘ r)x = 0=>FF*x = 0.	(4.6.23а)
Кроме того, (4.6.26) превращается в
P00 = (7-P00C*(GG‘)"1C)/700>
= (Д - 7 (GG*)-1 С) Рх (Д - J (GGT1 С)’ +
+ FF” - J (GGT1 Л (4.6.26а)
и (4.6.27) нужно заменить уравнениями
хап = (А - 7(GG*)-1 С) (/ - РХС' (GGT1 С) хТх + Un_x +
+ ((Л - 7 (GG*)’1 С) Р^С* + 7) (GG*)’1 vn_lt (4.6.27а)
%“ = (/- РХ* (GGT1 С) хап + РХС* (GGT1 vn.
Пример 4.6.1
Рассмотрим одномерный случай, как в разд. 4.2. Тогда,
чтобы выполнялось (4.6.23), нам лишь необходимо, чтобы
/2 — j2 > 0, и мы можем вычислить
Poa = HJ(\+Hoac2) =
_______(Р — /с)2 Р«, + Р — Р
1 + с2 (f2 — /2) + с2 (р — /с)2	’
148
Гл. 4. Фильтр Калмана
ИЛИ
с2 (р - jc)2 Pl + (1 + с2 (f2 - j2) - (Р - /с)2) Р~ - (f2 - j2) = 0.
Таким образом, в (4.2.2е) нам необходимо лишь заменить f
на (f2 — j2) и р на (р — jc).
Пример 4.6.2
Усложним пример 2.1 из гл. 2 и рассмотрим систему
^ + 2b^- + w20s(t) = Ns(t),
(4.6.28)
(Здесь датчик измеряет ускорение.) Мы должны, как и в
гл. 2, преобразовать эту систему к дискретному варианту, со-
ответствующему периодической выборке с интервалом Д, при-
чем Дшо < л. Начнем в связи с этим с непрерывного ва-
рианта в пространстве состояний
x(t) = Ax(t) + FNs(t),
v(t) = Cx (t) + Ns(t) + №(t).
(4.6.29)
Здесь
0	1
—wl —2b

F —
(это F не следует путать с У7 co с. 25), a
С = Row (—coo, —26).	(4.6.30)
Можно записать соответствующий дискретный вариант в виде
хп = х (nA), vn = v (nA),
хл+1 = Ахп 4“ Nsn,
+	’	(4.6.31)
vn = Cxn + N°n,
где А = ен\
д
N„ = $ eH^~a)FNs (nA + о) da,	(4.6.32)
о
№п = Ns (nA) + № (пД).	(4.6.33)
Предположим теперь, что {№(пЛ)} является белым шумом
с единичной дисперсией, независимым от процесса Ns(t). Для
определенности пусть Ns(t) является белым шумом с ограни-
ченной полосой и с постоянной в полосе [—В, В] спектраль-
4.6. Фильтр Калмана: сигнал и шум коррелированы 149*
ной плотностью ф, такой что ковариационная функция равна
и справедливо неравенство (2В)Д>1, что позволяет при
|/|> Д хорошо аппроксимировать нулем. Как и в гл. 2,
имеем приближение
E[NX]-& (ГГ)Д<р.	(4.6.34).
Новое заключается в вычислении
Е[ыЖ] = Е[ЫЖ(т$],
что с учетом (4.6.32) равно
А
J ен (A-o)F#	+ о) da.	(4.6.35}
О
Для пг = п это дает
д
О
или в наших обозначениях
А
J = \eH^-0)FR (a) da,
О
что хорошо аппроксимируется выражением
J = F<p	(4.6.36>
при Д, достаточно малых, чтобы
еНо « I при 0 < а < Д,
и опять же 2ВД > 1. Для m = n-[-k выражение (4.6.35) при-
нимает значение
С eH^~a)FR (&-a)da ~F длп k = 1,
о]	(4.6.37).
О для k > 1.
Как уже отмечалось на с. ООО, мы не связываем себя конк-
ретным значением выражения (4.6.35) для пг п-\- 1. С дру-
150
Гл. 4. Фильтр Калмана
гой стороны, при т = п — k, £	1, выражение (4.6.30) при-
нимает значение
д
о
которое в рамках нашего приближения достаточно мало для
того, чтобы его можно было считать нулем. Функция R(t)
тоже равна нулю при |/| > А. Чтобы использовать далее фор-
мулы для фильтра Калмана данного раздела, мы сначала
должны проверить, что выполняется условие (4.6.23а), т. е.
что из
(E[NnNn] - J(GG’)~'r)x = 0	(4.6.38)
следует Е [МпМп*] х = 0. Действительно,
GG* = Е [МЖ*] = 2В<р +
где а2 = Е[№ (nA)2]. Следовательно, с учетом (4.6.34) и
(4.6.36) равенство (4.6.38) приобретает вид
/л	^FF.'x <р(Лао + ф &В&-1))
(Aqp) FF х--------5- = — --------------- (FF х),
2Вф + Gq	cFq + 2Вф
и, таким образом, мы убеждаемся в справедливости (4.6.23а),
так как 2ВА > 1. Далее имеем
Д-/(ОО,)-1С = еЯЛ-
ф
а2 + 2Вф
0	0
—соо —26
Удобно положить
2ВА — X, 2Вф = усУо,
что приводит к выражению
Ф __________________________ у	А
G2 + 2Вф	1 + Y к
Также справедливо
ДфГГ - J (GG*)"* J* = ооД2 % +	~ FF*.
Отношение мощности «шума состояния» к мощности «шума
наблюдения» равно
Аф ____ у А2
G2 + 2Вф 1 + У
Заметим, что для фиксированного у матрица (4 — J (GO*)-1 С)
2
не зависит от а0.
4.6. Фильтр Калмана: сигнал и шум коррелированы
151
Субоптимальный фильтр
Интересно сравнить характеристики фильтра Калмана с
характеристиками часто используемого субоптимальнога
фильтра. Идея проста: так как наблюдаемой величиной яв-
ляется ускорение, почему бы не проинтегрировать один раз
и получить скорость, а затем еще раз и получить положение.
Применительно к дискретному времени можно построить со-
ответствующий фильтр следующим образом. Пусть верхний
индекс а означает субоптимальный фильтр, и пусть
& = Ucn-! + Fvn, JCo = о,	(4.6.39}
где
L =
р Д|
орг
и 0 < р < 1 (на самом деле р очень близко к 1), а {»„} за-
дается согласно (4.6.31). Нам . необходимо вычислить Р».
С этой целью подставим выражение
v^CtAx^ + N^ + N0»
в (4.6.39). Это приводит к равенствам
хп = Лхп_1 + Nn-i,
= Lxan_x + Мхп_х 4- ДР (С^_1 + № (пД) + № (пД))>
где М — &FCA.
Полагая
п
Хп
in
имеем
ГП = ^Г„_1 + АГП_1>
(4.6.40)
где
А О
М L

и
Nn-x =
№„ ,
п — 1
F	+ ддр (ПД) + дат (ПД))
152
Гл. 4. Фильтр Калмана
Ясно, что {Afft} — белый гауссовский шум, и можно вычислить
с учетом (4.6.35) и (4.6.37):
a=e[nM =
(FF*)l\<p	<pA2FF’C‘F* + AFF*<p
= qA2FCFF*+kFF* \3FCFF*C*F*(f+\2FF*(2B<p)+\2a20FFt
0	0	0	0
0 Aq> 0 Аф — 2&Д2ф
“ООО	0
0 Дф-26А2ф 0 4&2Д3ф + 2ВД2ф + А2ст2
При р < 1 матрица устойчива и, следовательно, можно
вычислить ковариацию стационарного состояния. Пусть
lim £[У„К1-
П-»оо
Можно найти $!, решив уравнение
=	+ Л.
Тогда
= Ян + ^22 — Я12 — Я21,
где

Яц
Я21
Я12
Я22
Если продолжать этот пример, мы слишком далеко уйдем за
рамки книги. Ясно, что при практическом применении, прежде
чем выбрать фильтр, необходимо провести параметрическое
исследование.
Задачи
Задача 4.6.1
Покажите, что
п-i== Н n__\Cn—\Qn—\'
Задача 4.6.2
Пусть для оптимального фильтра Калмана было выбрано
J = 0. Рассчитайте снижение качества работы в одномерном
случае в стационарном состоянии.
4.7. Фильтр Калмана для цветного шума (в наблюдении) 153
4.7. Фильтр Калмана для цветного шума
(в наблюдении)
До сих пор мы предполагали, что шум наблюдения
Nn = GnNn
белый. В этом разделе мы распространим наши результаты
на класс процессов с небелым (гауссовским) шумом. Для
этого рассмотрим модель
vn = Cnxn + N°nf	(4.7.1)
где
M =	+	(47.2)
и
хп = Ап_{хп^ + Un.{ + Л^_1;	(4.7.3)
здесь процесс {т]п} — белый гауссовский с ковариацией ЛЛ,
процесс {Nsn} — белый гауссовский с дисперсией FnF*n и {Nsn}
не зависит от {т)„}.
Заметим, что мы моделируем шумы как гауссовские мар-
ковские процессы. В стационарном случае, когда Qn не зави-
сит от п, так что
№n = Q№n-i + T]n_i,
спектральная плотность шума Nn равна
и стремится к спектральной плотности белого шума при
стремлении ||Q|| к нулю. Поэтому можно рассматривать мо-
дель белого шума как частный случай, в котором Q или Qn
равны нулю.
Метод состоит в том, чтобы брать разности от уравнения
(4.7.1) до тех пор, пока мы не получим белый шум. Умно-
жим обе части равенства
^п-1 = Cn-lXn-1 4" Nn-\
на Qn^i и вычтем его из (4.7.1). Получим vn — Qn-[Vn_[ =
==^'пХп Qn — l^n—lXn—l 4“ Nп Qn—\Nп—\ ==F'nXn Qrt-iCn_iXn_i +
-f-Tbi-ь что с учетом (4.7.1) при подстановке вместо хп (4.7.3)
дает
(^пАг-1	Qn-l^n-l) Xn-L 4“ СnUп-£n-l 4" Лп-1* (4.7.4)
Пусть
™п = Vn — Qn-lVn^b = &n — CJJn-b
Уп = №n = СЖ-1 4- Nsn = Nn-\.
154
Гл. 4. Фильтр Калмана
Тогда можно записать
-	<4.7.5)
У п+1 АпУп Ч" N п. ~Ь Utif
где
СП = (Сп.Ап-1 Qn-A-i),
Чд = Чп_], Уп = ^П-1>
E[N°nN^]=CnFn_lFn-lCn + Лга_„
£l7V^°*] = F„_X_iC^_b
E[NnN'n+k] = 0,	*>1, &<-1,
E[NsnNs,;] = Fn_lfn_l.
Следовательно, сигнал и шум коррелируют, и в обозначениях
разд. 4.6 имеем Jn = Fn_xFn-iCn-\.
Следовательно, можно использовать результаты разд. 4.6.
Поступая таким образом, заметим, что преобразование {ул}-^
->{^4 по формулам
^п ~ wn CnU
wn = vn —Qn_xvn_{,
Wi = Vx
является взаимно однозначным. В самом деле, мы можем
найти {^4 следующим образом:
^n = ^n + CnUn_h
Vn = Wn + Qn_XWn_x + Qn-\Qn-2^n-2 + • • • + Qn-lQn-2 • • • Ql^l
Теперь необходимо определить £n = E[xn\vb ...» vn], что
равно
E[xn\wXi ..., wn] =
= E[yn+x\wx, ..., wn] =
= Sn+i-	(4.7.6)
Следовательно, для построения одношагового предиктора уп
можно применить теорию разд. 4.6. Подходящей является
формула (4.6.14) и, чтобы ее использовать, необходимо ука-
зать следующее соответствие:
GnGn = CnF n_xFfi—iCn + Лп_р
Следовательно, имеем
~ У п + 1 == (^Л-1	^п — 1 4- п — \ 4"
+ ^n-1 (yn	(4.7.7)
М. Фильтр Калмана для цветного шума (в наблюдении) 155
где
L„_! = Ап_хРпСпТп +	(/ - ТпСпРпС'п) Тп, (4.7.8)
Тп ~ (.CnFn-iFn-iCn + A„-i) ,
Рп = (/ + Н^СпТпСпГ1 Нп_ь (4.7.9)
fin — Мл-i Fn_\Fп-\СпТпС„) Рп (Лга_( Fn-[Fn-iTnCn) +
+ F„_,FX_t - Ftl_lFn-iCnTnC,lFn_lFn-i\ (4.7.9a)
Cn == CnAn_x Qn-l^n-l*
Замечание. Положив Qn равным нулю для любого п, как
нетрудно видеть, мы придем к нашим прежним формулам
разд. 4.1.
Независящие от времени системы, теория
стационарного состояния
Займемся теперь независящими от времени системами, и
в частности исследуем поведение стационарного состояния.
Таким образом, мы полагаем
Ап = А, Сп = С, Fn = F, = Qn = Q,
Cn = C = CA — QC.
Это дает для (4.7.7) выражения
Лп = (А- FF*C*TC) (/- Р„С*ТС) хп_х +	+
+ ((A-FF'C*TC) РпС*Т + FFCT) (vn - Qvn_{ - CU^),
(4.7.10)
T = (CFF,C* + I)~',
Рп = (1 + Нп^ТС)Нп_и
Hn = (A- FF'C'TC) Рп (А - FF*C*TC)* + FF* - FF'C*TCFF\
P0 = E [xoxo], E [x0] = 0,
Jfo = O.
Для сходимости Pn можно переформулировать условия разд.
4.6 для одношагового предиктора. Таким образом, нам нужно
проверить условия теоремы 4.2.1 о том, что
1) Д*-неустойчивые состояния являются Р'-наблюдаемыми и
2) Д-неустойчивые состояния являются л/Т (СЛ — QQ-наблю’
даемыми.
156
Гл. 4. Фильтр Калмана
Кроме того, необходимо установить (в соответствии с (4.6.23)),
что из условия
(FF - FF’C* (7 + CFF’CT1 CFF*) х = 0	(4.7.11)
следует, что FF*x = 0. Так как Т невырождена, то второе
условие можно заменить на условие
2а) Л-неустойчивые состояния являются
(С А — (?С)-наблюдаемыми. (4.7.12)
Условие (4.7.11) выполняется автоматически: легко показать,
что здесь оно не налагает никаких ограничений. Так, предпо-
ложим, что
С (FF* - FF'C (7 + FF*C*)~' CFF") х = 0,
ИЛИ
(/ - CFF'C* (I + С/УСУ1) CFF'x = 0,
ИЛИ
(7 + CFF'CT' CFF’x = 0.
Тогда
CFFx = 0.
Следовательно,
(FF* - FF'C (I + CFF'CT1 CFF*) x = FF’x = 0.
Задачи
Задача 47.1
Вычислите Poo в одномерном случае. Пусть для оптималь-
ного фрльтра Калмана выбрано Q = 0. Рассчитайте снижение
качества работы для стационарного состояния в одномерном
случае.
4.8. Пример
Проиллюстрировать развитые выше теорию и методы по-
может следующий «практический» пример с явным аналити-
ческим решением. Этот пример является упрощением практи-
ческой проблемы, возникающей при использовании инерцион-
ных навигационных систем (введение поправок на отклоне-
ние силы тяжести от вертикали [4]). Пусть
vn = sn + eN3n,	(4.8.1)
sn = In + П».	(4.8.2)
=	+	(4.8.3)
Пл+1 = Р1^ + аЛ^’	(4-8-4>
4.8. Пример
157
где

v2 — это белый гауссовский процесс с единичной
дисперсией, 0 < р 1, 0 < о, е.
Nn
В наших обозначениях это запишется в виде
^п Схп	GNП9
= + <4-85>
где сигнал и шум независимы и
In
хп =
Пп
Р 0
л= о р •	(4-8.6>
а 0 0
F= 0 а 0 ’	(4Л7>
С = |1 11,	(4.8.8>
G = |0 0 е|.	(4.8.9>
Имеем
GG* = 82,
FF' =
а2 О
О а2
1
1
Рассмотрим сначала структуру фильтра Калмана. Пусть
Рп ==	[(-^П	-^п)	^п) ]•
Будем считать, что р < 1 (мы рассмотрим предельный слу-
чай р=1 позже), т. е. матрица А устойчива. Заметим, что»
система (С ~ Л)-ненаблюдаема, но (Л ~ /^-управляема.
Кроме того,
Ф(Р)=(/ + Я(Р)-^)-1 Н (Р),
где матрица
И (Р) = о2Р + о2/
очевидно невырождена. Поэтому невырождена Ф(Р) и спра-
ведливо равенство
Ф(Р) = ((о2/ + а2Р)-1 + -^)~1-	(4.8.10>
158
Гл. 4. Фильтр Калмана
Следовательно, имеем стационарное уравнение Риккати
Ps-‘ = (ff2/ + a2Ps)-1 + ^.	(4.8.11)
Его можно решить непрямыми методами. Прежде всего
Еп = Е [ХпХп]
удовлетворяет уравнению
Rn+l = ^Rn + ^L
Следовательно, если Rn диагональна, то диагональна и Rn+i.
Выберем /?0 диагональной. (Конечно, RQ = PQ, так что Ро
тоже диагональна.) Следовательно, и т]п независимы для
любого п^О. Так как
Е 1ХпХп+т] = Р"Ч> т > °>
’То для всех п, т выполняется Е [^т)т] = 0. В частности,
1
1 ’

п.
k
Это равно нулю, если Ra = yl, или, другими словами, если
Предположим, что это так. (Это заведомо
справедливо в частном случае /?о = О.) Поэтому отсюда
следует, что
£[£« —	......v„] = o,
или = Теперь имеем
4 =	(vn - CAtn_i),
где СА£п_{ = рЗп-ь Так как |1 — 1|£п = 0 и Л^л_1 = рхп_1,
получаем, что
|1 — 1|РпС* = 0,
или
или можно записать
Следовательно, имеем
in Р^П-1 4” е2 (Vn Р5П-1)>
= РПп-1 + 7г (»„ - р£„-1).
(4.8.12)
(4.8.13)
4.8. Пример
159
Можно также получить интерпретацию qn, замечая, что
$п ~	=	Н	(vn — psn),
§п = pS„_| + -f- - (t»„ — psn).	(4.8.14)
Следовательно, CPnC* = 2qn- Так как {$„} удовлетворяет
уравнению
У1 + N2
sn+]=psn + V2 а п-	(4.8.14а)
и vn = sn + еЛ/’з, то видим, что полагав
ln = Е К«п — «п)2],
имеем
t = p2^n 2g2	(4 8 151
Gz + i	(i + (p2Zn + 2a2))/e2 ’
и, конечно,
<7п = 4-	(4-8.16)
Значение установившегося состояния, обозначенное через ts>
определяется, следовательно, формулой
<s 7(1 + 2V - р2)2 + 8Vp2 - (1 + 2V - р2)
-F =----------------27----------------’	(4,8Л7>
где % = cr/е, а предельное значение qn есть qs = ts/2.
Чтобы получить отсюда Ps, сначала заметим, что Е[(|п—
—'Пп)2] = 0- Следовательно, 2?„ = 2£ [|п'Пп], где
f„ = £I(U2] = £[(«•
Из
tn = Е [&, + т)„)2] - Е [(|„ + fjn)2] = 2r,п - 4fn
получаем
2гп — tn_гп — qn
гп— 4	—	2
Теперь
рп = Е\хпх*]
п L я	L п пл
и
гп О
£М= о Гп •
160
Гл. 4. Фильтр Калмана
где r„+i = р2г„ + а2, так что
п-1
G = P%+ Е <*2Р2\
о
£[*Л]
?п
Гп
Следовательно,
Р
п
Гп — Г п — ?п
?п ?п Гп
Яп	гп	дп — гп
2	2
Яп   ГП	Яп гп
2	2
(4.8.18)
Тогда для стационарного состояния
Ps= Ит Рп =
п->оо
Я5 + г*
2
4s-rs
2
4s~~rs
2
^s + rs
2
где rs = tf2/(l — p2). To есть мы нашли решение уравнения
(4.8.11), которое, конечно, не зависит от начального значе-
ния PQ.
Рассмотрим несколько предельных случаев. Пусть р->1.
Тогда tn (и, следовательно, qn) сходятся, в то время как гп
неограниченно возрастает. Следовательно, из (4.8.18) видно,
что
TrPn = <7rt + rn	(4.8.20)
неограниченно возрастает. Это совместимо с теорией, так как
система (С ~ А)-ненаблюдаема и при р = 1 становится не-
устойчивой. Пусть р->0. В этом случае как так и ста-
новятся белыми шумами и
L =	=	(4.8.21)
как и должно быть. Наконец, пусть е->0. Шум наблюдения
стремится к нулю, но фильтр Калмана по-прежнему хорошо
•определен. Действительно, в этом случае
^>п = pin—1 Ч 2* Р^и—1L
Ап = РЛп-1 4“ ~2 [^п	Р^п-11*
4.8. Пример
161
Сглаживатель Калмана
Следуя обозначениям разд. 4.5, рассмотрим теперь сгла-
живатель. Нашей основной рекуррентной формулой является.
(4.5.14), где мы заметим, что
Sn = РпА* (АРпА' + FF*)~l = РпА* (Pnh - С* (GG*)~l С).
Обращаясь к рассматриваемому случаю, имеем
sn = pPn (лг+1--^)-
Теперь легко вычислить, что
где >1, Ьп->0 при п->оо. Следовательно,
5Л = Р
an Qn &п Qn
^п Qn ап Qn
где qn = qn/e?.
ческий случай
определить
Так как нас интересует только асимптоти-
(при п->оо), можно перейти к пределу и
1 Q п Q п
Qn 1 Qn
S п'— Р
Следовательно, можно переписать (4.5.18) в виде
ln= pL+i — Р7п4+1 +(1 — P2)L + p2<?X>	(4.8.22)
= РПп+i — PQnSn+i + (1 — Р2) Лп + Р2^Л,	(4.8.23)
где §п =	+ Г1п удовлетворяет (в рамках нашей аппрокси-
мации) равенству
= 5/г + Р (1 %Qn) ($п+1	Р$п)>
что можно проверить, сложив (4.8.22) и (4.8.23). Аналогично*
вычитание (4.8.23) из (4.8.22) приводит к
Е&п- €l2 = o
и, следовательно, tn — 2гп — 4?п, где
/" = £ [($„ - V],	= Е [(f„)2J = Е [(fj„)2].
162	Гл. 4. Фильтр Калмана
Таким образом, гп = (гп — ^)/2, где 2q% = Следова-
тельно, можно представить Рп в виде
г । „N r N
гп “Г Яп гп Яп
2	2
гп Яп гп “Ь Яп
2	2
Для завершения вычисления Рп следует только заметить,
что, „подгоняя0 (4.5.20) к (4.8.14а), получим
+ Р2 (1 - 2^п)2	- 2рЧ - 2а2).
Можно теперь перейти к стационарному состоянию, как
это было сделано в разд. 4.5.
Определяя
t°° = lim /jv/2,	Р°° = Вт Ру/2,
Л/	N
получим
ОО _ *s - Р2 о - 2<7s/62)2 (2P'^s ~ 2<у2)
l-.p2(1_2^s/e2)2
г3 *°° г* *°°
м Т + ~ "2 F
Р =
2	4	2'4
Матрицу стационарного состояния Р°° можно получить,
используя спектральную формулу (4.5.23), которая в данном
случае дает
1/2
Р"= J (pHZ-Xw) с'сИ
-1/2
1/2
/ =	(2р(Л)— е2 + 2р(\) )dX>
— 1/2
где р (Л) = о21 e2niK — р |“2. Разумеется,
!/2
J p(X)dX = rs = T^7t
-1/2
и мы можем пойти в обратном направлении и вычислить (или
проверить!), что интеграл
равен /°° — 2га.
1/2
С (X)
J ^ + 2p(k)aAt
-1/2
Глава 5
Отношения правдоподобия: гауссовские
сигналы в гауссовском шуме
В главе 3 мы убедились в важности функционала правдо-
подобия для задач оценивания. В этой главе мы получим
формулы отношения правдоподобия для гауссовских сигна-
лов в гауссовском шуме, где теория Калмана играет суще-
ственную роль.
Рассмотрим общую меняющуюся во времени модель:
Vn = СпХп, “F N п>	(5 1)
•^п+1 = Ап%п “Ь FnNп Ч" BnUп>
где, как обычно, {N°} — белый гауссовский шум с единичной
дисперсионной матрицей, FnG\ = 0, Е *] = GnGn — это
невырожденная матрица, Un — (детерминированный) вход.
Мы хотим вычислить отношение правдоподобия, которое
определим как следующее отношение:
Совместная плотность	vn (в присутствии сигнала)
Совместная плотность vlf ..., vn (в отсутствие сигнала) ’	\ • /
Чтобы определить плотность в числителе, необходимо знать
среднее и ковариацию. Пусть y=Col(t>i, ..., vn), и пусть R
есть ковариационная матрица v. Пусть также
E[vi] = mi) т = Со1(ть mJ.
Тогда нам надо вычислить
—т), (у —т)].	(5.3)
Таким образом, для каждого п необходимо обращать мат-
рицу R. Такое обращение наиболее эффективно выполняется
при помощи факторизации. Мы должны найти матрицу Л,
такую что
R~l = L*L,
и L является нижней треугольной. Но для системы (5.1) это
есть в точности то, что дает фильтр Калмана. В самом деле,
вспомним, что обновляющая последовательность
Vn = vn Gn (An_iXn_[ + Bn-iG n-i)	(5.4)
164
Гл. 5. Отношения правдоподобия
является белым гауссовским шумом с ковариацией
J„ = E[v„v* 1 = GG’ + C^„
п L п nJ n n 1 n n—1 n’
Hn — AnPnAn 4~ FnFn.
Так как преобразование (5.4) является взаимно однозначным
с единичным якобианом, то
Р fab ...» vn) = pi (Vj) ... pn (v J =
= П pk (vk	Ck (A^-A-i +
k=i
где pk(-) — гауссовская плотность с нулевым средним и ко-
вариационной матрицей Jk- Так как знаменатель в (5.2) есть
совместная плотность последовательности шума наблюдений
с ковариационной матрицей GnGn, то отсюда следует, что от-
ношение (5.2) можно выразить в виде
•••» ип) = еХР~ У ^2^ [Л	+
vk Ck	+ B^U^)] —
n	n	n	x
- Z [(адг1	»J+Z	i л i -1 i»g i ад i  (ад
1	1	1	J
где | -| обозначает определитель (квадратной матрицы).
Конечно, можно также использовать одношаговый предик-
тор в (5.5)
*k = Ak_{xk_{ + Bk_iUk_l
совместно с уравнениями одношагового предиктора (4.1.39).
Таким образом, формула (5.5) содержит в себе первый основ-
ной шаг при рассмотрении оценок максимального правдопо-
добия для неизвестных параметров системы (5.1). Заметим,
что для вычисления оценки фильтра Калмана xk необходимо
знать начальную ковариацию Ро. Так как мы можем только
предугадывать ее, (5.5) не является совсем точным выраже-
нием. Разумеется, отсутствие знаний о
Е [хохо]
тоже означает, что нельзя вычислить R только по (5.3). С дру-
гой стороны, по крайней мере для не зависящих от времени
Гл. 5. Отношения правдоподобия
165
систем, известно, что при подходящих условиях оценки хп бу-
дут асимптотически оптимальными, и фактически это един-
ственный случай, для которого можно показать, что оценки,
полученные из максимума (5.5), асимптотически эффективны.
Пример
В разд. 4.4 мы рассмотрели задачу оценивания матрицы В
для не зависящего от времени варианта модели (5.1), в ко-
тором также отсутствовал шум состояния (Л/Ул = 0). Для
той же цели можно использовать выражение (5.5). При тех
же условиях, что и в (4.4.1), имеем
—21ogL(ub .... »„) =
п
= S [/;' (». - («.-1 + BU.-1)). - с + 3(4.,)] -
— S («>. 0.1 — Е log 141. (5-6)
1 1
где
А = / + с(ЛРй_,л-)с\
К = (/ - Л£*С) Л4-1 + РкС {vk - CBU^).
Максимизация (5.6) относительно В приводит, конечно,
к оценке Калмана для В при заданных vit ..., vn, в случае,
когда Лв1г = оо и Ро = AXtr.
Отношение правдоподобия, использующее
погрешность аппроксимации
Вместо обновляющей последовательности можно исполь-
зовать погрешность аппроксимации (см. разд. 4.1). Тогда от-
ношение правдоподобия ес^1-
L(v1( ...» о„) =
=ехр -1	[(С,о;-	(», - сА), ч J -
п	п	п
- Z [(адг1>.]+£ 1°в 141 - Е м ад i.
1	1	1
166
Гл. 5. Отношения правдоподобия
где можно заменить (G^G* — CkPkC*^ 1 на (/ + (G^G*) * X
XGz.//*_iCl)(GftGft)-', aJk^GkGkj + CkHk-xCk на (GftGl) X
x(j-(GkG*k)~iCkPkCk')
В этой связи смотри задачу (4.1.7).
Можно еще построить формулы отношения правдоподо-
бия для случая зависимых сигнала и шума (разд. 4.6), а так-
же для случая, когда шум измерения не является белым
(разд. 4.7). Для этого нам потребуется только обновляющий
процесс, который для первого случая определяется форму-
лами (4.6.3) и (4.6.14). По-видимому, случай, когда шум из-
мерения не является белым, более важен для приложений и,
следовательно, заслуживает дальнейшего рассмотрения.
В обозначениях разд. 4.7 обновляющий процесс есть
vn= wn ^пУп= vn Qn-\vn-\ СпХп-\ CnU
где рекуррентная формула для хп задается выражением
(4.7.7). Конечно, дисперсия есть
ям=+л„_,+с„яп-Х
где {Нп} следует определить из (4.7.9а) и (4.7.9). Совместная
плотность «в отсутствие сигнала» принимает теперь другой
вид, так как шум уже не белый. В самом деле, имеем
^i = vn — Qn_ivn_l.
Так что (опуская константы) совместная плотность (сигнал
отсутствует) равна
£(иь ..vn) =
Z п	П	X
= ехр - у | £ ЛД t	+ £ log I 11.	(5.8)
Следовательно, отношение правдоподобия есть
ехР ~ ~2	I/* (v* — Qk-\vk-\ ~ ^k^k-\ СьРk-v
vk ~ Qk-ivk-i — GkXk-i — CfeG*-i)] —
n
£ [Afc-i (°а — Qh-ivk-i’ vk ~ Qk-\vk-1)] "I-
i
+ £log|J*|-£log|A*_1|l.	(5.9)
1 1 )
где Jk — CkFk-\Fk-\Ck + Лл-i + CkHk-\Ck-
Вновь нетрудно заметить, что (5.9) сводится к (5.5) в слу-
чае, когда Qk есть нуль.
ЛИТЕРАТУРА
{1] Anderson В. D. О. and Moore J. В. Optimal Filtering. Englewood
Cliffs, N. J.: Prentice-Hall, 1979.
[2]	Balakrishnan A. V. Elements of State Space Theory of Systems. New
York Berlin Heidelberg Tokyo: Springer-Verlag, 1983.
[3]	Cramer H. Mathematical Methods of Statistics. Princeton, N. J.: Prin-
ceton University Press, 1961. [Имеется перевод: Крамер Г. Матема-
тические методы статистики. — Мл Мир, 1975.]
[4]	Gelb A. (Ed.) Applied Optimal Estimation. Cambridge, Mass.: The
M.I.T. Press, 1974.
[5]	Jazwinsky A. N. Stochastic Processes and Filtering Theory. New
York: Academic Press, 1970.
(6]	Joseph P. D. and Bucy. R. S. Filtering for Stochastic Processes With
Application to Guidance. New York: Interscience Publishers, 1968.
Г7] Kailath T. Linear Systems. Englewood Cliff, N. J.: Prentice-Hall, 1980.
[8]	Kalman R. E. and Bucy. R. S. «New Results in Linear Filtering and
Prediction Theory». Journal of Basic Engineering, vol. 82 (1960):
35—40.
[9]	Липцер P. Ill., Ширяев A H. Статистика случайных процессов. —
Мл Наука, 1974.
[10]	Maybeck Р. S. Stochastic Models, Estimation and Control. Vol. 1.
New York: Academic Press, 1979.
[11]	Nahi N. E. Estimation Theory and Applications. New York: John Wi-
ley & Sons, 1969.
[121 Padulo L. and Arbib M. A. System Theory. W. B. Saunders Co., 1974.
[13]	Papoulis A. Probability, Random Variables and Stochastic Processes.
New York: McGraw Hill, 1965.
’14] Parzen E. Stochastic Processes. San-Francisco: Holden Day, 1962.
15]	Proakis J. G. Digital Cmmunications. New York: McGraw Hill, 1983.
16]	Rao C. R. Linear Statistical Inference and Its Applications. New York:
John Wiley & Sons, 1973. [Имеется перевод более раннего издания:
Рао С. Р. Линейные статистические методы и их применения. — Мл
Наука, 1968.]
[17]	Sage А. Р. and Melsa J. L. Estimation Theory With Applications to
Communications and Control. New York: McGraw Hill 1971.
[18]	Wiener N. The Fourier Integral and Certain of Its- Applications. New
York: Dover Publications, 1933.
[19]	Wong E. Introduction to Random Processes. New York Berlin Heidel-
berg Tokyo, 1983.
[20]	Zadeh L., and Polak E.: System Theory. New York: McGraw Hill,
1969.
Washington D C., 1987
£21] Global Positioning System, vol. 12 II, The Institute of Navigation,
Washington D. C., 1987.
ОГЛАВЛЕНИЕ
От редактора перевода..............................................  б
Предисловие . ...................................................... 6
Обозначения............... ......................................8
Глава 1. Обзор теории	линейных систем	9
Задачи............................................................. 16
Глава 2. Обзор теории	сигналов ...................................  18
Задачи.................... .......................................29
Глава 3. Теория статистического оценивания . .	. . 82
3.1.	Оценивание параметров: неравенство Рао — Крамера; принцип
максимального правдоподобия................................ . . ' 32
Примеры............................................................ 39
3.2.	Байесовская теория оценивания: оптимальные среднеквадра-
тичные оценки и условное среднее ............................ 44
3.3.	Распределение Гаусса: условная плотность; безусловный мак-
симум правдоподобия; взаимная информация......................46
3.4.	Ортогонализация Грамма — Шмидта и разложение ковариа-
ционной матрицы ...	. ..............................53
3.5.	Оценивание параметров сигнала в аддитивном шуме ... 57
3.6.	Ухудшение качества оценивания, вызванное неопределенностью
параметров................................................... 62
Глава 4. Фильтр Калмана	71
4.1.	Основы теории................................................  71
Задачи..................................... .....	...	85
4.2.	Фильтр Калмана: теория стационарного состояния ... 88
Задачи ...	................................................107
4.3.	Теория стационарного состояния: частотный анализ .	.	. 109
4.4.	Последовательное	оценивание	параметров системы ....	120
Задачи...........................................................132
4.5.	Сглаживающий фильтр (Калмана).......................... . 134
Задачи...........................................................141
4.6.	Фильтр Калмана:	сигнал и шум коррелированы..................142
Задачи...........................................................152
4.7.	Фильтр Калмана	для цветного	шума (в наблюдении) .	.	.	153
Задачи...........................................................156
4.8.	Пример......................................... ...	. 156
Глава 5. Отношения правдоподобия: гауссовские сигналы в гауссов-
ском шуме................................................    163
Литература..........,.................................................167
Научное издание
А. В. Балакришнан
ТЕОРИЯ ФИЛЬТРАЦИИ КАЛМАНА
Зав. редакцией член-корр. АН СССР В. И. Арнольд
Зам. зав. редакцией А. С. Попов
Научный редактор С. В. Чудов
Мл. научный редактор Т. А. Денисова
Художник И. Г. Шиф
Художественный редактор В. И. Шаповалов
Технический редактор Е. Н. Прохорова
Корректор А. Ф. Рыбальченко
ИБ № 6537
Слано в набор 01.12.87. Подписано к печати 07.06.88. Формат 60Х90'/|б. Бумага книжно-
журнальная. Печать высокая. Гарнитура литературная. Объем 5,25 бум. л. Усл. печ. л. 10,50.
Усл. кр.-отт. 10,69. Уч.-изд. л. 7,61. Изд.№ 1/5828. Тираж 8000 экз. Зак. 841. Цена 1 р. 10 к.
Издательство «Мир» В/О «Совэкспорткнига» Государственного комитета СССР по делам изда-
тельств, полиграфии и книжной торговли. 129820, ГСП, Москва, И-110, 1-й Рижский пер., 2.
Ленинградская типография № 2 головное предприятие ордена Трудового Красного Знамени
Ленинградского объединения «Техническая книга» им. Евгении Соколовой Союзполиграфпрома
при Государственном комитете СССР по делам издательств, полиграфии и книжной торговли.
198052, г. Ленинград, Л-52, Измайловский проспект, 29.
1 р. 10 к.
В книге на достаточно высоком уровне и вмес-
те с тем доступно для инженеров-
исследователей излагаются основы теории
стохастической фильтрации. В ней приводит-
ся много задач и примеров, иллюстрирующих
основной материал. Она будет полезна как
специалистам по теории вероятностей и мате-
матической статистике, так и применяющим и
изучающим теорию стохастической фильтра-
ции.