В. Л. Гирко
МНОГОМЕРНЫЙ
(ЛУШЯСТИЧЕХЖИЙ
АНАЛИЗ
Допущено Министерством высшего
и среднего специального образования УССР
в качестве учебного пособия для студентов вузов,
обучающихся по специальностям «Математика»
и «Прикладная математика»
Киев
Головное издательство
издательского объединения «Выща школа»
1988

ББК 22.272я 73
Г51
УДК 519.21
Рецензенты:
доктор физико-математических наук И. Г. Журбенко
(Московский государственный университет),
член-корреспондент АН УССР Ю. М. Ермольев
(Институт кибернетики АН УССР)
Редакция литературы по математике и физике
Зав, редакцией Ю, £, Кострица
Гирко В. Л.
Г 51 Многомерный статистический анализ : Учеб.
пособие— К.: Выща шк. Головное изд-во, 1988.—320 с.
ISBN 5—11—000107—3
Рассмотрены основные утверждения многомерного
статистического анализа, которые применены в теории оценивания
параметров и состояний линейных систем, теории
планирования экспериментов, в распознавании образов. Впервые в
отечественной и зарубежной литературе изложены основные
результаты разработанного автором G-анализа, которые дают
возможность значительно уменьшить число наблюдений над
случайными векторами при решении практических задач.
Для студентов вузов, обучающихся по специальностям
«Математика» и «Прикладная математика».
- "О2060000-102 КУ-№2-39-1988 ББК 22.272я 73
М2П(04)—88
ISBN 5—11^—000107—3 © Издательское объединение
«Выща школа», 1988

оглавление:
Предисловие ,«..«.«•..•.. 7
Основные обозначения . „ 8
Введение J0
Глава 1. Эмпирические математическое ожидание и ковариационная
матрица 15
§ 1.1, Эмпирические математическое ожидание и ковариационная
матрица, полученные по выборке наблюдений над нормальным
случайным вектором 15
§ 1.2. Мера Хаара 17
§ 1.3. Плотность распределения эмпирической ковариационной матрицы. 24
§ 1.4. Обобщенная Т2-статистика 34
§ 1.5. Обобщенная дисперсия 36
§ 1.6 Распределение собственных чисел и собственных векторов
эмпирической ковариационной матрицы 43
Глава 2. Теория оценивания решений линейных систем уравнений . 60
§ 2.1. Теорема об экстремуме неотрицательной ограниченной функции 60
§ 2.2. Основное спектральное уравнение 64
§ 2.3. Метод наименьших квадратов '. . 68
§ 2.4. Уравнение Риккати для матрицы-регуляризатора в методе
наименьших квадратов 70
§ 2.5. Спектральные уравнения для минимаксных оценок решений
линейных систем 72
§ 2.6. Спектральное уравнение для минимаксных оценок линейных
форм от решений линейных уравнений с нелинейными помехами ... 80
§ 2.7. Спектральные уравнения для минимаксных оценок решений
стохастических уравнений 82
§ 2.8. Спектральные уравнения для минимаксных оценок
квадратичных функционалов . 84
§ 2.9. Оценивание состояний систем, описываемых рекуррентными
уравнениями 87
§ 2.10. Оценивание состояний динамических систем 89
§ 2.11. Спектральные уравнения для оценок решений систем уравнений
с «внутренними» неопределенными коэффициентами в системе наблюдений 93
§ 2.12, Спектральные уравнения в теории минимаксного оценивания 95
3

Глава 3. Асимптотический многомерный статистический анализ . . 97
§ 3.1. Предельные теоремы для борелевских функций от независимых
случайных величин 98
§ 3.2. Неравенства и закон больших чисел для сумм мартингал-разностей 100
§ 3.3. Центральная предельная теорема для сумм мартингал-разностей 102
§ 3.4. Сопровождающие безгранично делимые законы для сумм
мартингал-разностей ... 105
§ 3.5. Предельные теоремы для (/-статистик . 110
§ 3.6. Оценивание параметров устойчивых дискретных систем
управления 114
§ 3.7. Оценивание параметров нелинейных систем управления ... 119
§ 3.8. Предельные теоремы общего вида для оценок параметров
дискретных систем управления 122
§ 3.9. Предельные теоремы для оценок параметров дискретных
систем управления с мультипликативными шумами 125
§ 3.10. Предельные теоремы для оценок параметров динамических
систем управления 126
§ 3.11. Асимптотические свойства адаптивных линейных
регуляторов для манипуляционных роботов 128
Глава 4. Предельные теоремы для экстремумов эмпирических функций 133
§4.1. Метод интегральных представлений. Предельные теоремы
типа закона больших чисел » 133
§ 4.2. Центральная предельная теорема для оценок параметров,
полученных с помощью метода- интегральных представлений 137
§ 4.3. Спектральный метод оценивания экстремумов функций ... 140
§ 4,4. Метод максимального правдоподобия 140
§ 4.5. Состоятельность оценок, полученных по методу
максимального правдоподобия 142
§ 4.6. Асимптотическая нормальность оценок, полученных по
методу максимального правдоподобия 142
§ 4.7. Метод стохастических аппроксимаций 143
§ 4.8. Оценивание спектра ковариационных матриц и линейных
систем управления . . . • 145
Глава 5. Основные уравнения G-анализа 149
§5.1. G-У равнения для оценок трижды дифференцируемых функций
от неизвестных параметров 150
§ 5.2. G-Уравнения высших порядков 153
§ 5.3. Метод квазиобращения для решения G-У равнения ...... 154
§ 5.4. Метод преобразований Фурье 155
§ 5.5. G-Уравнение для оценок функций от неизвестных параметров 156
§ 5.6. Формулы возмущений матриц 157
§ 5.7. G-Уравнение для оценок функций от неизвестных
параметров и ковариационных матриц 159
§ 5.8. G-Уравнение для резольвент эмпирических ковариационных
матриц при выполнении условия Линдеберга ........... 161
4

§ 5.9. Предельные теоремы общего вида для преобразований
Стилтьеса спектральных функций случайных матриц 169
§ 5.10. Предельные теоремы для преобразований Стилтьеса
спектральных функций случайных матриц при выполнении условия Лин-
деберга , 174
§ 5.11. Один пример явного вычисления предельных спектральных
функций эмпирических ковариационных матриц. . . , 179
§ 5.12. G-Уравнение для преобразований Стилтьеса предельных спек»
тральных функций изотропных случайных матриц 180
§ 5.13. G-Уравнение для преобразований Стилтьеса нормированных
спектральных функций пучка эмпирических ковариационных матриц 183
§ 5.14. G-Уравнение для решений систем линейных алгебраических
уравнений . . 188
Глава 6. Основные оценки (/-анализа . . • ♦ • •..•. 191
§ 6.1. Gj-Оценка обобщенной дисперсии 192
§ 6.2. G2-OueHKa преобразования Стилтьеса нормированной
спектральной функции ковариационной матрицы 196
§ 6.3. Асимптотическая нормальность оценки G2 202
§ 6.4. Gg-Оценка обратной ковариационной матрицы ........ 212
§ 6.5. С4-Оценки следов степеней ковариационных матриц 215
§ 6.6. Gs-Оценки сглаженных нормированных спектральных
функций эмпирических ковариационных матриц 216
§ 6.7. Gg-Оценка преобразования Стилтьеса спектральной функции
пучка ковариационных матриц 218
§ 6.8. С7-Оценка параметров устойчивых дискретных систем
управления 220
§ 6.9. Gg-Оценка решения системы линейных алгебраических
уравнений ......... ....... 224
Глава 7. Эмпирические фильтры . „ 230
§ 7.1. Наилучшие оценки в смысле минимума средней квадратичес-
кой погрешности 230
§ 7.2. Фильтр Колмогорова—Винера 232
§ 7.3. Фильтр Калмана—Бьюси 234
§ 7.4. Минимаксный фильтр Колмогорова—Винера 237
§ 7.5. Спектральные уравнения в теории фильтрации шумов .... 241
§ 7.6. Gg-Оценка решения фильтра Колмогорова—Винера 243
§ 7.7. Gio-Оценка решения регуляризованного фильтра
Колмогорова—Винера 245
Глава 8. Применение G-анализа в классификации наблюдений . . . 246
§ 8.1. Метод Байеса классификации двух генеральных совокупностей 246
§ 8.2. Классификация наблюдений в случае двух генеральных
совокупностей, имеющих известные многомерные нормальные
распределения с одинаковыми ковариационными матрицами 248
§ 8.3. Классификация наблюдений, распределенных по
нормальному закону с различными ковариационными матрицами .••.... 250
5

§ 8.4. Gn-OueHKa расстояния Махаланобиса 250
§ 8.5. Асимптотическая нормальность оценки Gu 252
§ 8.6. Оценка Gl2 регуляризованного расстояния Махаланобиса . . 254
§ 8.7. G13- и G14-Оценки статистики Андерсона—Фишера 264
§ 8.8. G^-Оценка нелинейной дискриминантной функции, полученной
по наблюдениям над случайными векторами с различными
ковариационными матрицами 267
Глава 9. Применение G-анализа в оптимальном стохастическом
планировании экспериментов 268
§9.1. Условия существования моментов случайных
ковариационных матриц оценок параметров систем со случайными шумами . . . 269
§ 9.2. Спектральный метод нахождения моментов случайных
ковариационных матриц 271
§ 9.3. Применение в теории планирования экспериментов
случайных матриц Адамара 273
§ 9.4. Вероятностный метод исследования гипотезы Фреше 274
§ 9.5. Асимптотическое планирование экспериментов 276
§ 9.6. Оценка С1в-ошибки оценивания в методе наименьших
квадратов 279
Глава 10. (/-Оценки функций от неизвестных параметров 281
§ 10.1. Состоятельность оценки GJ7 преобразования Фурье функции
от неизвестных параметров 282
§ 10.2. Состоятельность оценок G18 и G19 регуляризованных
функций от неизвестных параметров 286
§ 10.3. Центральная предельная теорема для оценок G18, G19 . . . 292
§ 10.4. G21-OneHKa параметров в методе максимального правдоподобия 295
§ 10.5. G22-OneHKa в задачах классификации . . . . 297
§ 10.6. G23-OneHK.a экстремумов функций в методе стохастической
аппроксимации 299
§ 10.7. G24-OneHKa, минимизирующая среднеквадратический риск . . 299
§ 10.8. G25-OneHKH главных компонент . . » 302
Список рекомендуемой литературы. 316
Предметный указатель . 318

ПРЕДИСЛОВИЕ
До последнего времени многомерный статистический
анализ отождествлялся со статистическим анализом
наблюдений над случайными векторами, распределенными по
нормальному закону. В книгах советских и зарубежных
авторов собрано большое число глубоких и важных для
практики утверждений, однако при решении многих задач
применение методов многомерного статистического анализа
связано с * большими трудностями, так как наблюдаемые
случайные векторы могут иметь.произвольное распределение.
Кроме того, размерность этих векторов может быть
высокой. В книге многомерный анализ понимается в более
широком смысле в предположении, что наблюдаемые
случайные векторы имеют произвольные распределения и их
размерность может расти при увеличении числа наблюдений
над ними. Основное внимание уделяется преодолению
трудностей при решении задач высоких размерностей.
Оказалось, что для наблюдений над случайными векторами
высокой размерности можно построить содержательную теорию.
Отметим, что в некоторых задачах высокой размерности
оценки неизвестных параметров можно найти всего лишь
по одному наблюдению над случайной матрицей. В книге
это утверждение доказано для оценок решений систем
линейных случайных алгебраических уравнений.
К особенностям книги следует отнести то, что при
изложении основных результатов многомерного
статистического анализа используются основные свойства мер Хаара.
Это 'дало возможность упростить доказательство многих
известных утверждений. Кроме того, в книге впервые
рассматриваются спектральные методы оценивания неизвестных
параметров. Для оценок параметров выведено спектральное
уравнение. По мнению автора, при чтении книги основное
внимание следует уделять основным уравнениям общего
статистического анализа. С помощью этих уравнений
можно оценить функции от неизвестных параметров в случае,
?

когда их число соизмеримо с числом наблюдений. Среди
этих оценок основное место занимает оценка для
резольвенты ковариационной матрицы. Она является решением
некоторого функционального уравнения. На основании этого
уравнения в книге найдены почти все оценки величин,
которые используются в многомерном статистическом анализе.
ОСНОВНЫЕ ОБОЗНАЧЕНИЯ
б^у —символ Кронекера;
R —множество вещественных чисел;
С — множество комплексных чисел;
Rm — вещественное евклидово m-мерное пространство;
Gm — группа вещественных ортогональных матриц порядка т\
Тт — группа унитарных матриц порядка т (по всей книге
вектор-столбцы будем называть векторами);
—>•
О л —вектор, элементы которого равны нулю (будем также
считать, что порядок квадратных матриц больше или
равен 2);
Мпхт —множество вещественных матриц размера пХт;
Мп —множество вещественных квадратных матриц порядка п ;
^т х п ~~ случайная матрица размера тХ п\
Е„ — случайная квадратная матрица порядка я;
®т хп ~~ матрица размера тх п, элементы которой равны нулю;
1п —единичная квадратная матрица порядка я;
Ап>0 —положительно определенная симметричная матрица;
Ап">0 —неотрицательно определенная симметричная матрица;
А' —транспонированная матрица;
А —комплексно сопряженная матрица;
Л*:=Л' —сопряженная матрица;
deti4 —детерминант матрицы А\
Sp А — след матрицы А;
%1 (А) — собственные числа матрицы А;
—>•
01 (А) — собственные векторы матрицы А;
et —вектор размерности п, /-я компонента которого равна 1,
а остальные — нулю;
d —ограниченные постоянные величины, в разных
формулах могут означать различные величины;
N(0,1) —стандартное нормальное распределение;
Af (a, b) — нормальное распределение;
t (k) — /-распределение Стьюдента с k степенями свободы;
ю (Zm, Rmt n) —плотность Уишарта;
w (Zm, Rm, n) — распределение Уишарта;
V —«для любых»;
3 — «существует»;
-> — «следует»;
:= —равенство по определению;
1ИИ =
= %Y(A'A) — норма матрицы А £ М п х от;
6

%г — максимальное собственное число матрицы А 'Л;
\in (х) =
= п-1 lk 1 1 F X
X (* — ^k) — нормированная спектральная функция симметричной
матрицы Ап% где F (х) = 0, если х <0, и F (х) = 1,
если я > 0;
X (В) — индикатор события В;
=#► — означает слабую сходимость распределений случайных
векторов;
?» —означает совпадение распределений двух случайных
матриц, либо векторов;
~ —для последовательности случайных процессов (векторов)
InV), r\n(t)\ n=ly 2, ... ; />0 запись %п (t) ~ r\n (t)
означает, что для любого конечного набора значений
времени tl9 ... , ts почти для всех xk£R
Иш» _ со [Р{£« С*) <*^=~>-
-Р{%(^)<^; A=l. s}]=0;
если случайные процессы £rt (/), t]n (£) комплексные,
то под обозначением %п (t) ~ цп (/) будем понимать
{Reln (0, Imb, (*)} - {Rer,„ (0, Imt|n (/)}.
По всей книге будем считать, что если в интеграле не
указана область интегрирования, то оно ведется по всей
области изменения переменных подынтегральной функции.

ВВЕДЕНИЕ
Многомерный статистический анализ — это
математическая теория, объектом изучения которой являются реализации
независимых случайных векторов, матриц, называемых
наблюдениями. Задача этой теории—нахождение по
наблюдениям над случайными векторами таких выражений
(называемых оценками или статистиками), которые сближались бы
в наилучшем смысле при минимальном числе наблюдений
с некоторыми заданными функционалами от распределений
этих случайных векторов. Теоретическую часть
многомерного статистического анализа составляют предельные
теоремы для сумм мартингал-разностей, формулы возмущений
для резольвент ковариационных матриц, теория случайных
матриц.
Многомерный статистический анализ неразрывно связан с
проведением экспериментов на различных технических
системах. При решении практических задач он имеет большие
преимущества перед методами, основанными на изучении
сложных математических моделей объектов. При
наблюдениях над системой либо ее физическими моделями в анализе
вместо сложных математических моделей используются
упрощенные, полученные с помощью минимального числа
наблюдений, обеспечивающего заданную точность решения задачи!
Это облегчает нахождение математических моделей и
вычисления на ЭВМ.
Отметим, что несмотря на большие возможности ЭВМ,
решение на них некоторых простейших задач высокой
размерности приведет к большим временным затратам,
сравнимым с возрастом нашей Галактики. По-видимому, в
результате больших разочарований в возможностях ЭВМ в
кибернетике возникли слова «проклятие размерности». В
некоторых случаях с размерностью можно успешно бороться, что
отражено в работах по динамическому программированию
Р. Беллмана.
Критика многомерного статистического анализа
наблюдений высокой размерности сводилась к тому, что погреш-
10

ность многих оценок эквивалентна тп"г}2, где т — число
параметров, подлежащих оцениванию; п — число наблюдений.
Очевидно, что при увеличении т резко возрастает число
наблюдений, необходимых для достижения заданной точности
оценивания. В связи с этим появились публикации,
указывающие на несостоятельность многомерного статистического
анализа при решении практических задач, в которых
используются наблюдения над векторами .большой размерности.
Охарактеризуем кратко основные положения общего '
статистического анализа для решения задач высокой размерности.
Общий статистический анализ наблюдений (G-анализ) —
это математическая теория, объектом изучения которой
являются некоторые сложные системы 5, число тп параметров
математических моделей которых растет вместе с ростом
числа я наблюдений над системой 5. Эта теория
рассматривает пути нахождения по наблюдениям над системой 5 таких
ее математических моделей (G-оценок), которые бы
сближались с* системой 5 с заданной точностью при минимальном
числе наблюдений. При этом принимаются общие
предположения, что не обязательно существование плотностей
распределений наблюдаемых случайных векторов и матриц,
необходимо лишь, чтобы существовали несколько первых
моментов их компонент. Числа тп и п удовлетворяют G-усло-
вию:
Нт^^/Ч/Пл, м)<оо,
где f(x, у)— некоторая положительная функция,
возрастающая по х и убывающая по у.
В большинстве случаев функция f(x, у) равна лгу"1. В
этом случае G-условие называют еще условием Колмогорова.
В общем статистическом анализе предполагаются
выполненными два предположения:
1) при увеличении числа тп параметров математических
моделей системы 5 размерность (число параметров)
оцениваемых характеристик этой системы не меняется;
2) при увеличении числа п наблюдений над системой 5
размерность тп математических моделей может возрастать и,
наоборот, при увеличении тп число п наблюдений зависит
от тп и не может расти как угодно быстро.
Эти предположения возникли при анализе практических
задач. Замечено, что оценивание средних значений случай-
ных векторов а высокой размерности тп связано со
значительным числом наблюдений. Это одно из отличий
статистического анализа от численного. Если в численном анализе
U

при решении многих задач достаточно, чтобы ошибки et- ком-
—>
понент вектора а удовлетворяли неравенству max { = тттп X
X |е*| <е, то в статистическом анализе при условии, что
г; — независимые одинаково распределенные случайные
величины при нахождении доверительных интервалов, нужно
чтобы Де^ = cm,—\ где е, с>0 — некоторые постоянные.
Из первого предположения следует, что при решении при-
кладных задач нужны не сами векторы а, а некоторые
функции f{a) их компонент. Во всяком случае, число
оцениваемых таких функций значительно меньше числа тп.
При оценивании функций f(a) нужно меньше наблюдений,
чем при оценивании векторов ~а, но все равно стандартные
оценки f(a), где(а)— состоятельные оценки вектора а,
имеют погрешность, как правило, эквивалентную тпгГг.
Чтобы убедиться в этом, достаточно разложить в ряд Тей-
лора функцию f(a) — f(a). Казалось бы, что при
выполнении условия Колмогорова не существует состоятельных или
асимптотически нормальных оценок функций f(a). Однако,
благодаря развитой спектральной теории случайных матриц
[8—14], для некоторых функций ф(/?Ш/г) ковариационных
матриц удалось установить, что при выполнении G-условия
[ф ($тп) — "Ф (Rmjl "^ О, П -> OOs
где Rmn — эмпирическая ковариационная матрица; г|) —
некоторая измеримая функция элементов матрицы Rmn. В об:
щем случае я|> и ф не совпадают, но так как функции i|?
известны, иногда можно найти такую измеримую функцию
G(Rmn)> ЧТО
plim„ _ оо [G (Rmn) — ф (Rmn)] = 0.
Оценки G(Rmn) будем называть G-оценками.
Идею нахождения G-оценок в общем статистическом
анализе можно пояснить на следующем примере.
Пусть в R"1" задана борелевская функция f(x), x£R n9
имеющая непрерывные ограниченные частные производные
второго порядка, | — случайный /л^-мерный вектор,
распределенный по нормальному закону N (a, Rmn)- Задача в том,
12

чтобы по наблюдениям Xk, # = 1, п над вектором £ найти
при выполнении G-условия состоятельную G-оценку величины
f(a). Очевидно, что в качестве состоятельной оценки векто-
>"Ч
ра а можно взять а== гг1 2j*=i %k* В общем статистическом
анализе предполагается, что состоятельные опенки
ограниченного числа параметров существуют. Их можно найти,
например, g помощью методов моментов, максимального
правдоподобия, стохастической аппроксимации. Отметим, что
широкий круг прикладных задач связан с оцениванием функ-
—>-
ций, зависящих от вектора средних а и ковариационной
матрицы Rm , состоятельные оценки которых соответственно
—>-
равны ал
Rmn = (л - I)"1 2 fc-i (Z — 7) (*а—7)'.
Если / (х) непрерывна в точке а, то при фиксированном т
f(a) — /(а)-£0. Очевидно, что в общем случае это не так,
если m зависит от п. Возникает вопрос, нет ли оценок G(a)
лучших, чем f(a)9 таких, чтобы при выполнении G-условия
/(7) — G(o)^0.
Чтобы ответить на этот вопрос, введем функции
и (7, 0 - Щ (7 +7+ (tf^te-1)"2^),
где г] — случайный вектор, распределенный по нормальному
закону N (О, /); z £ #т"; < > 0 — вещественный параметр.
Очевидно, что функции и (z, t) удовлетворяют G-уравнению:
(d/dt)u(z, t) = Au(z,t),
где
А = (2л)-1 £Г%1^/ (d2/dzidzj),
и (г, 0) = / (я + г), #Ш/2 = (г*/).
Если предположить, что для любого ограниченного z при
«"Ч -"Ч >
выполнении G-условия plimn^oo [/ {а + г) — М/ (а + г)] = 0, то
—>• —>
задача сведется к нахождению начального значения /(я + г)
13

решения и (г, 0) G-уравнения по заданному его значению
-"Ч
и (2, 1) = /(а + ;г) при /== 1, т. е., по существу, к обратной
задаче для дифференциальных уравнений. Ее можно решить,
используя метод квазиобращения либо преобразования Фурье.
Этот момент нахождения G-оценок является основным. Идея
-"Ч -^Ч
доказательства в том, что разность f (а + г) — Щ(а + г)
можно представить в виде суммы мартингал-разностей.
Применив к этой сумме хорошо известную центральную
предельную теорему, найдем асимптотически нормальные G-оценки.
В некоторых случаях задача нахождения G-оценок сводится
к поиску наилучших в смысле минимума дисперсии оценок
величин f(a). Но при общих предположениях о наблюдениях
нахождение таких оценок связано с большими трудностями.
Наилучшие в некотором смысле оценки максимального
правдоподобия для наших задач оказались не пригодными, так как
в выражениях для оценок скорости сходимости таких оценок
отбрасываются остаточные члены рядов Тейлора, которые
в нашем случае не стремятся к нулю при п->оо. G-оценки
значительно лучше стандартных оценок /(а), их погрешность
эквивалентна, как правило, п~хп, однако не ясно, являются
ли они в каком-либо смысле наилучшими. Пока наилучшие
оценки не найдены, этот анализ действует и дает
возможность значительно снизить число наблюдений при решении
практических задач.
Решая обратную задачу для G-уравнения методом
квазиобращения, получаем весьма сложные выражения для
G-оценок. Примечательной особенностью общего статистического
анализа является то, что в нем на основании аналитических
методов теории вероятностей вместо G-уравнения для G-oue-
нок можно найти некоторые нелинейные уравнения более
простого вида. Очень трудно дать общий рецепт нахождения
таких уравнений. В каждом конкретном случае приходится
разрабатывать новые методы. В некоторых случаях удается
получить неожиданные результаты. Так, оказалось, что G2-
оценки нормированных следов резольвент ковариационных
матриц
ф (#): = mr!Sp (/* — Я)"1, Im г Ф 0
имеют погрешность, эквивалентную (wnn)~1/2, тогда как
оценки ф (R) имеют погрешность, эквивалентную тпгг-^К

ГЛАВА 1
i
ЭМПИРИЧЕСКИЕ МАТЕМАТИЧЕСКОЕ ОЖИДАНИЕ
И КОВАРИАЦИОННАЯ МАТРИЦА
В этой главе изложены основные результаты
многомерного статистического анализа. Для всех утверждений
приведены полные доказательства. Однако, такие разделы
многомерного статистического анализа, как проверка общих линейных
гипотез, факторный анализ, анализ временных рядов в этой
главе не рассматриваются. Эти разделы многомерного
анализа настолько обширны, что для их изложения пришлось бы
значительно увеличить объем настоящего пособия. В главе
подробно изучаются свойства меры Хаара, заданной на
группе ортогональных матриц. С помощью нее стало возможным
найти плотность распределения эмпирической ковариационной
матрицы в общем случае, когда о наблюдаемом случайном
векторе £ известно лишь, что у него существует плотность
распределения, плотность распределения главных компонент,
а также моменты эмпирической обобщенной дисперсии.
§'1Д, Эмпирические математическое ожидание
и ковариационная матрица, полученные
по выборке наблюдений над нормальным
случайным вектором
—*- —*- —>-
Пусть задана выборка наблюдений х19 х2,. . ., хп над
m-мерной случайной величиной |, распределенной по нор-
—>- —>■
мальному закону N (a, R), где а — ее математическое
ожидание, a R—ковариационная матрица. В качестве оценок
вектора а и матрицы R возьмем выражения
а ! = л 1 2j*=i xk\
R: = (л — I)"1 2ft_i (xk —l)(^k — 1)'. (1.1.1)
Эти оценки несмещенные, состоятельные и асимптотически
15

нормальные. Их можно получить по методу максимального
правдоподобия либо методу моментов. Заметим, что
R=(n — l)~l (^Ui7k~xl — п~а~а). (1.1.2)
Теорема 1.1.1. Случайные вектор а и матрица R
стохастически независимы.
Доказательство. Пусть Н = (кц) — ортогональная
вещественная квадратная матрица га-го порядка, последняя
строка которой равна (п~~1/2,..., п^2). Очевидно, что в силу
(1.1.2)
R = (n — l^ftUiZkzi — ZTn); ~a=n-w7nf (1.1.3)
где zk = S?=i Ьы xi.
Поскольку случайные векторы Zk равны линейным
комбинациям векторов Xk, то их совместное распределение будет
нормальным. Но тогда, в силу равенства
m(zk — JAzk)(Zp — fAzp)4 =}H=ihkihpjR = 8kp
получаем, что случайные векторы Zk независимы и
распределены по многомерному нормальному закону. Следовательно,
из формулы (1.1.3) вытекает утверждение теоремы 1.1.1.
Теорема 1.1.2. Имеет место формула
^\
R » Я»/2 (п - I)"1 ££} 7k В Rl/2, ~Z « "fl + »'1/2 Rl/2 Уп,
(1.1.4)
где yk — независимые случайные векторы, распределенные
по стандартному нормальному закону N (0, /).
Доказательство. Очевидно, что
Mzk = У i=i ftfef а = 0; fe Ф п\ JAzn = а ;
Mzk 2 = S?,/=i Л« Л*/ M (x? - "а) Й - Р' = R> кф п'
М (гя — а) (г„ — а)' == л"*1 #.
—>-
Поэтому, так как z* — независимы и распределены по
нормальному закону, теорема 1.1.2 доказана.
В дальнейшем понадобятся распределения некоторых функ-
ций элементов матрицы R и компонент вектора а. Например,
при решении некоторых задач нужно знать плотность рае-
16

пределения матрицы R, которая называется плотностью
/ ^ -> *^\
Уишарта, а также функции \R"1 (х — а), (х — а)). Для их
нахождения в следующих двух параграфах будут изложены
основные свойства меры Хаара, группы ортогональных
матриц и полярного разложения случайных матриц.
§ 1.2. Мера Хаара
В этом параграфе сформулированы основные факты о мере
Хаара, об интегрировании по мере Хаара. Весь этот материал
понадобится в следующих главах при нахождении
распределений некоторых функций эмпирических ковариационных
матриц и математических ожиданий.
Пусть Т — отделимая топологическая локально компактная
группа; Е— пространство, в котором действует группа
преобразований G. Мера |ы(/4), заданная на борелевской а-алгебре
В пространства Е, называется инвариантной относительно G,
если для любого А £ В и любого s £ G такого, что множество
{sgig^A} измеримо, \i(sA) = \i(A). Здесь под множеством
sA понимаем множество {sg i g £ А}. Если функция f(p),p£E
измерима относительно а-алгебры В и неотрицательна, то
в предположении, что хотя бы один из этих интегралов
существует. Мера \х называется левоинвариантной мерой Хаара
(левой мерой Хаара);
^f(x)\i (dx) = j" / {sx) \i (dx),
если справедливо равенство \i(A) = \i(sA). Если ^i—левая
мера Хаара, то функция v, заданная на а-алгебре измеримых
подмножеств К элементов из G равенством v (К) = \xiK~1),—
правая мера Хаара, Здесь под множеством К"1 понимаем
множество {g^i g£K). Очевидно, что если \i—правая мера
Хаара, то v — левая мера Хаара.
Сформулируем основную теорему для меры Хаара.
Теорема 1.2.1. Существует левая мера Хаара на Т.
Если \х и (л две левые меры Хаара на Т, mo pi = ф, где
с — некоторое положительное число.
В общем случае \х (Т) может быть равно бесконечности,
поэтому не всегда можно нормировать меру \х так, чтобы
с= 1. Если группа Т компактная, то мера нормируется
условием \i (T) = 1.
Сформулируем основные свойства меры Хаара.

Теорема 1.2.2. На Т существует положительная
непрерывная функция Д (модулярная функция на Т) такая,
что Д(0>0; V t£T\ Д(е)=1; е — единичный элемент,
группы Т\ Д (#') = Д (О Д (О; U ? е Т\
если jli — левая мера Хаара на 7\ то
^ (Рё) = A (g) ^ (P)\ J f (ta) |i (Л) - Д (а) [ / (0 |х (Л).
где a, g £ Г; р £ а; о — о-алгебра борелевских подмножеств
группы Т) f — измеримая относительно о неотрицательная
функция на Т такая, что хотя бы один из выписанных
интегралов существует.
Если v — правая мера Хаара на 7\ определяемая условием
v (Р) = ii (Р-1), то v (gP) = Д (g-i) v (P).
Предположим, что Д — модулярная функция на Г; \х и
v — левая и правая меры Хаара на Т соответственно. Тогда
существует такое число с>0, что
J/(Ov(dO = cJ/(/)A(0|i(dO;
Очевидно, что если группа Т компактная, то Д(/) = Д,
we г.
Приведем несколько основных примеров мер Хаара на
группах матриц, используемых в многомерном статистическом
анализе.
Пусть L — локально компактная группа вещественных
матриц я-го порядка, В — а-алгебра борелевских множеств
на ней. Очевидно, что в качестве L можно взять множество
невырожденных вещественных матриц п-то порядка. На группе
L существуют правая и левая меры Хаара. Рассмотрим
интеграл j L f (x) p (x) dx, где р (х) — измеримая
неотрицательная скалярная функция, заданная на L; dx = f~|"./=i ***'/•
Считаем, что f(x) выбрана таким образом, чтобы этот
интеграл существовал. Выполним преобразование переменных: х =
= ау\ а, у G L. Тогда J f(x)p (x) dx=\ f {ay) p (ay) J (a) dy,
где J (a) — якобиан преобразования х=ау. Найдем свойства
якобиана J (а). Очевидно, что J (ab) =■-■ J (a) J (6); a, b £ L;
для любой диагональной матрицы c£L J (с) = jdetc|n;
J (a) — непрерывная функция на L. Предположим, что
матрицу а можно представить в виде a — tct"1] с, t£L. Тогда
на основании свойств якобиана J (а) = | detal". На произволь-
18

ные матрицы а £ L эту формулу распространяем по
непрерывности, т. е. вместо матрицы а берем матрицу а + еЬ, где
е>0, а Ъ такова, что a + eb^L и а + е£= t&cBtJx» се,
4£L, £e — диагональная матрица. Тогда
J {а + гЬ) = j det (я + гЬ) \п.
Отсюда, переходя к пределу при е->0, получаем
У (а) = | deta|», Va£L.
(1.2.1)
Используя эту формулу для якобиана преобразования, получаем
\f(x)p (х) dx^\f (ay) p (ay) | det a \n dy.
В этом выражении р(х) будет плотностью меры Хаара
относительно меры Лебега dx, если р (ay) I det а \п = р (у).
Положив а = у~г, имеем р (у) = сх | det r/ j""", где сх > О —
некоторая постоянная. Таким образом, плотность меры Хаара
на L относительно меры Лебега на L равна c^det*)-",
x£L. Очевидно, что на такой группе левая и правая меры
Хаара совпадают с точностью до произвольного постоянного
множителя.
Аналогично определяем меру Хаара на группе К
комплексных матриц л-го порядка. Здесь плотности левых и
правых мер Хаара относительно меры Лебега на К равны
|dettf|-2/7, x£ К с точностью до постоянного
положительного множителя.
При доказательстве этого факта нужно воспользоваться
леммой.
Лемма 1.2.1. Пусть cos = us + ivs\ s = 1, n —
аналитические функции комплексных переменных гр = хр + iyp;
/7 = 1, п. Тогда якобиан функций (us, vSt s= 1, п) по пере-
менным (xs\ ys; s = 1, п) равен квадрату модуля якобиана
функций cos; s= 1, п по переменным zs\
'dus/dXp dvs/dxpl
</i =
det
dus/dyp dvs/dyp
,p=\tn
= |det[3o»s/3zp]jSip=T>
Доказательство. Поскольку cos— аналитические
функции комплексных переменных гр, то
дщ/dxk = dvt/dyk; dv{/dxk = — дщ/дук, i, k=\,n.
На основании этих соотношений после несложных
преобразований получим
А В
-В А
J =
det
19

где
А = (asp)\ В = (bsp)\ s, р = ТГп; asp = dus/dxp; bsp = dvs/dxp.
Вследствие того что
Г А В]
det _в лг'det[A + iB^'2; ^^^^а*р +^>
получаем утверждение леммы 1.2.1.
Найдем меру Хаара на группе вещественных треугольных
матриц с положительными элементами на главной диагонали.
Пусть Т — группа нижних вещественных треугольных матриц
порядка п с положительными элементами на главной
диагонали; В — а-алгебра борелевских множеств на ней.
Рассмотрим на группе Т интеграл J f (x) p(x)dx, где /? (я) —
неотрицательная В-измеримая функция; f(x) — В-измеримая
функция, выбранная так, чтобы этот интеграл. был конечным;
dx^Yltejdxu. Рассмотрим замену переменных в этом
интеграле х = ау\ а9у£Т. Якобиан такого преобразования
удовлетворяет условию J(ab) = J {a) J (6), a, b£T. Для любой
диагональной матрицы А = (Х{8ц)£Т J (А) = jTjLi Х1+1~~(:.
Так же, как и при доказательстве (1.2.1), получаем
7(a) = n?=i^W- (1.2.2)
Из этой формулы следует, что плотность левой меры Хаара
относительно меры Лебега на Т равна
С J J <=1 Хц ,
где Хц>0\ О0 — произвольная постоянная.
Аналогичные рассуждения справедливы и для правой меры
Хаара, заданной на 7\ В этом случае
/(А)=П?-1^- (1.2.3)
Следовательно, плотность меры Хаара на Т относительно
меры Лебега на Г равна
где хц>0\ О 0 — произвольная постоянная.
Модулярная функция, заданная на Г, имеет вид
Д(*)=П"-и#"я-1; х$т-
Аналогично находим меру Хаара на группе верхних
треугольных матриц g положительными элементами на главной
20

диагонали, а также меру Хаара на группе комплексных
нижних (верхних) треугольных матриц.
Пусть G—группа вещественных ортогональных матриц
порядка п и \х— инвариантная нормированная мера Хаара
на ней. Элементы матрицы Н £G удовлетворяют п(п+ 1)/2
уравнениям. Решив эти уравнения, получим п(п— 1)/2
независимых параметров матрицы Я, которые будем называть
координатами. Весьма удобными параметрами группы G
являются углы Эйлера. Во-первых, функции, по которым
выражаются элементы матрицы Н через углы Эйлера, бесконечное
число раз дифференцируемы почти для всех значений этих
углов; углы Эйлера изменяются независимо в некоторых
интервалах и однозначно задают матрицы Н £G почти для
всех матриц по мере Хаара. Во-вторых, мера Хаара,
выраженная через углы Эйлера, имеет простой вид.
Покажем, как можно выразить матрицу Н через углы
Эйлера. Рассмотрим ортогональные матрицы RkS{QkS), которые
задают вращение в координатной плоскости, заданной fe-й
и s-й координатами (fe<s); fe, s= 1, п:
x'k = cos Qks xk + sin Qks xs\
x's = — sin Qks xk + cos Qks xs;
x\ = xu 1фк\ l^s.
Пусть ha — элементы матрицы Н. На пересечении первой
строки и второго столбца матрицы HR12(Q12) стоит элемент
hu sin 0l2 + h12 cos612. Если 012 = arctg(— h12/hn), то этот
элемент равен нулю.
Рассмотрим матрицу HR12(Q12)R13(Qu)t Снова выбираем
013 таким образом, чтобы элемент, стоящий на пересечении
первой строки и третьего столбца, был равным нулю. При
этом элемент, стоящий на пересечении первой строки и
второго столбца, равен нулю независимо от значения угла
013. Продолжая этот процесс, можно подобрать углы 0и,
fe = 2, n так, чтобы все элементы первой строки матрицы
#П?=2Ян(9и): = £/,
за исключением первого, были равны нулю. Эта матрица
ортогональная, следовательно,
Г±1 0 1
U=[ 0 Нп^гУ
где Нп^\ — некоторая ортогональная матрица (п — 1)-го
порядка.
21

cos яр sin гр (Л
sin if) cos гр 0
0 0 1J
Г cos 0 0 -
0 1
I sin 6 0
-sin 0 1
0
cos 6 J
Г cos ф sin ф 0
—sin ф cos ф 0
L 0 0 1
Для матрицы #„_i сделаем такие же преобразования,
как и для матрицы Нп. Используя индукцию по п, получаем
Нп П2=! ГЪ=н-1 Rks (Qks) = (± М, (1.2.4)
причем, заменяя углы 8frn на Qkn + я, можно всегда добиться,
чтобы в правой части этого равенства стояла единичная
матрица. Из равенства (1.2.4) следует
Нп = nU-i Ilsi! Rks (q>*,); Ф*5 = - 9/es. (1.2.5)
При п = 3 получаем хорошо известное представление
ортогональной матрицы 3-го порядка через углы Эйлера
Я,=
Представление матрицы в виде (1.2.5) почти для всех
значений углов Qtts единственно. Исключение составляют случаи,
когда один из углов Qks равен 0 или я.
Очевидно, что углы Эйлера изменяются в следующих
границах:
О < Qkn < 2я; 0 < Qks < я; k = Г77Г; s = k + 1, я — 1; §** =
= Qkn — я/2.
Докажем утверждение.
Теорема 1.2.1. Мера Хаара \х группы G матриц Я,
заданных с помощью углов Эйлера 0^ по формуле (1.2.5),
абсолютно непрерывна относительно меры Лебега, заданной
на множестве изменений углов Эйлера Qks с плотностью
ft.n*=in?-i+*sin«-'(ew)f (1.2.6)
где
Сп = П^5 Т((П — к+ 1)/2) я-(л-*+1>/2| 2-п+1.
Доказательство. Введем в евклидовом вещественном
пространстве Rn сферические координаты г, 01э.. ., 0«_ь
которые связаны с декартовыми формулами;
#! = г sin 0„_i ... sin 02 sin 0X;
#2 = г sin 0„_i... sin 02 cos Qx;
• • • . . ' . . . • . . 4.
хп^\ = г sin 0„_i cos 0„_2;
xn = rcos0„_i;
; 0 <: 0X < 2я; 0 < 0* <£ я; k = 2, n — 1.
0<r <oo
22
(1.2.7)

Рассмотрим случайный n-мерный вектор
где случайные величины 9t-; t= 1, п— 1 имеют плотность
распределения
2-1 я-л/2 г (я/2) sin""2 9n_! ... sin 92; 0 < 9j < 2я; 0 < 9* < я;
fe = 2, л—1.
Покажем, что распределение этого вектора инвариантно
относительно ортогонального преобразования Un£G.
Действительно,
М ехр {i faT f/« гь)} = $ " м ехР (i (я* ип гг\п)} б {г —l)dr,
где б(г2 — 1) — обобщенная функция; q — вектор параметров.
Используя преобразование, обратное преобразованию
(1.2.7), а также якобиан преобразования (1.2.7), получаем
" М ехр [I (q, Un цп)} = )~ е*Р 1' fo Un *£)} 6 (£?=-i xf —
— 1) f|t=1 dxi = M ехр {/ fo ~л„)}.
Очевидно, что вектор г\п можно представить в виде
ЪвП^2 7\К$К; ^ = (1, 0,..., 0). (1.2.8)
Запишем векторы матрицы Я, элементы которой выражены
через углы Эйлера 9,/:
(hsi% i = 1, п)' = f| |в1 П"=*-и 7^ (§«) ^ ; s = 17~л.
(1.2.9)
Предположим, что fy/; t, / = 1, я—случайные величины,
независимые при различных значениях i> и совместные
плотности компонент (9^ k+\ >. • . , 9^) равны 2"*1 я"(п-*+1)/2 Г х
X {{п — k + l)/2) sin"-fe+1 xk k+\ • . • sin^fe,,. При этом
матрица Нп случайная и ее элементы выражаются через случайные
углы Эйлера вц по формуле (1.2.5), плотность распределения
которых задана (1.2.6). Распределение такой матрицы
инвариантно в группе G. Чтобы убедиться в этом, умножим
матрицу Н на произвольную неслучайную матрицу T^G.
Используя инвариантность распределения векторов цп, (1.2.8)
и (1.2.9), приходим к выводу, что теорема 1.2.1 справедлива.
23

§ 1.3. Плотность распределения эмпирической
ковариационной матрицы
Докажем сначала некоторые утверждения о распределении
компонент полярного разложения случайных матриц,
необходимых при нахождении плотности распределения
эмпирической ковариационной матрицы.
Пусть S = (£,7); i = 1, т\ / = 1, п\ п > т —
прямоугольная вещественная случайная матрица. Предположим, что
существует совместная плотность распределения случайных
элементов^/, равная р(Х)9 где X — вещественная
прямоугольная матрица. Функцию р (X) будем называть плотностью
распределения случайной матрицы S. Полярным разложением
матрицы S называется представление матрицы S в виде
S = SC/, где S = (SS')1/2; U^S^E.
Пусть Кг — множество вещественных матриц размера
т х п\ К2 — множество неотрицательно определенных матриц
размера т х т\ К3 — множество ортогональных
вещественных матриц размера т х п\ Blt В2 — а-алгебры борелевских
множеств соответственно в /С2 и К3.
Теорема 1.3.1. Пусть G — группа n-мерных
вещественных ортогональных матриц и \i — нормированная мера
Хаара на ней, Н — случайная прямоугольная матрица
размера т х пу п^>т, с плотностью распределения р (X).
Тогда для матриц S и U совместное распределение
Р {S%Lly U 6 L2}=cmn J^e^wfc, P (ZU2 #<">) det Z<Tmel)/2 X
X ix(dH)dZm,
где L^Bi; L2gg2; H = (hti)£G\ Я<«> = (fc„),
i = 1, /72, / = 1, П\ C-\ = nmim-l)/4-mn/2 pj^ x
xr((/i +1-0/2). (1.3.1)
Доказательство. Для любой ограниченной и
непрерывной функции элементов матриц S2 и U рассмотрим
интеграл /1==£p(Z)/(ZZ', (ZZ')~1/2 Z) dZ. В этом интеграле
сделаем замену переменных Z — YH, Y£Ki, #£G. Якобиан J
такой замены переменных не зависит от матрицы Y и равен
1, что видно из соотношения
J exp(—SpZZf)dZ = j\ exp(—Sp(YH)(YH)')dY.
Тогда
/1== j/(yr, <yY')-l<2YH)p(YH)dY. (1.3.2)
24

Интеграл (1.3.2) от матрицы Н не зависит, поэтому значение
его не изменится, если проинтегрировать его по мере Хаара
[г, заданной на группе G матриц Я. Формула (1.3.2)
приобретает вид
1г = J f(YY\ (Г7')~1/2 YH)p(YH)dYti(dH). (1.3.3)
Лемма 1,3.1* Вещественную матрицу Z размера т х п,
п^>т, при условии, что det ZZ1 Ф О, можно представить
в • виде Z = XV, где X £ К2\ U £ К9 и это представление
единственно.
Доказательство. Представим матрицу Z в виде Z =
= XU, где i/ = X-1Z; ^-(ZZ')1/2. Очевидно, что Х£К2,
£/£/С3. Покажем, что представление матрицы Z в виде Z =
= XU единственно. Допустим, что существует еще одно
представление Z = XxUl9 Xx £ K2, Ut^Ks. Тогда XUU'X =
= Хги,и{Х,. Отсюда X = Хх, £/, = X^Z. Лемма 1.3.1
доказана.
Рассмотрим замену переменных Y = Xl/2U, X £ /С2,
£/£/С3- В качестве параметров матрицы {У можно выбрать
ее тл— (m+l)/n/2 углов Эйлера. Элементы матрицы U
являются почти всюду непрерывно дифференцируемыми
функциями углов Эйлера. Количество независимых параметров
матрицы X равно т(т+ 1)/2. Таким образом, число
независимых параметров слева и справа в равенстве Y = Х{/2 U
одинаково, это преобразование почти всюду дифференцируемо
по выбранным параметрам и в силу леммы 1.3.1
взаимооднозначно на измеримом множестве {KidetyK' ФО].
Обозначим якобиан преобразования Y = XV2U через J(X, U).
Учитывая, что
){Z:detZZ'=0}P(Z)dZ = 0>
из (1.3.3) имеем
/х = J f (X, UH) p (X1/2 UH) J (X, U) dXix (dH) dU, (1.3.4)
где dU = П; d щ\ at — углы Эйлера матрицы U, dX —
элемент меры Лебега на К2.
В равенстве (1.3.4) ничего не изменится, если вместо
p(Xlt2UH) подставим p(XUH), где
иц, i = 1, m, / = 1, пЛ
Яч> i= m+l,n j = 1, п J"
Х-
ГА1/* 0
о о
; и =
25

Матрица X1'2 дополнена нулевыми элементами, чтобы X имела
размер п х п, элементы qu выбраны так, чтобы О £ G. Тогда,
воспользовавшись инвариантностью меры jx, из (1.3.4) получим
1г = j / (X, Я<">) р (X1/2 #<">) ф (X) dX^, (d/f), (1.3.5)
где ф(Х) = j/(X, i/)dC/.
Найдем функцию ф(Х).
Воспользуемся заменой переменных X = С YC\ X, У, С £К2.
Якобиан такой замены переменных а (С) равен IdetC^-b1.
Это видно из следующих соображений! очевидно, что а (С)
не зависит от У и равен | det С l"24-1, если С — диагональная
матрица, кроме того, a(CtC2) = а(Сг)а(С2), где С19С2£К2-
Отсюда, учитывая, что матрицу С можно привести к
диагональному виду g помощью ортогонального преобразования,
получаем а(С) = jdetC |m+!. Аналогично приходим к выводу,
что якобиан замены переменных Z = СХ, С £ К2; Zb Х£Кг
равен |detC|\ Используя эти две замены переменных и
полагая в формуле (1.3.5) f(ZZ',(ZZ')-[/2Z) = f(ZZ'), имеем
J / (СХС) р (СХ1/2 Я<">) Ф (X) ii (dH) dX | det C\« =
= j f (СХС) р ([CXC]1'2 #<»>) Ф (СХС) ix (dH) dX \ det С \™+К
(1.3.6)
В качестве плотности р (Z), Z£Ki выберем плотность вида
p (Z) = (2л)-тп*2 ехр (—Sp ZZ'/2).
Учитывая, что функцию / можно выбрать произвольно, из
(1.3.6) получим
Ф (X) det С" = ф (СХС) det ОН.
Полагая С = Х~"1/2, имеем
Ф (X) = с det X<"~^>/2, (1.3.7)
где с> О — некоторая постоянная.
Осталось вычислить постоянную с. Докажем следующую
лемму.
Лемма 1.3.2. Всякую положительно определенную
матрицу А порядка т можно единственным образом
представить в виде А = SS', где S — треугольная верхняя (нижняя)
матрица с положительными элементами на диагонали.
Якобиан преобразования А = SS' равен
J (S) = 2™ Пй-1 &+М • О -3-8)
26

Доказательство. Всякую квадратную вещественную
матрицу А порядка /л, у которой главные миноры не равны
нулю, можно представить в виде А = SQ, где S — нижняя,
Q — верхняя треугольные матрицы. Действительно,
рассмотрим систему уравнений SA = Q, которую запишем в виде
snan + si2ci2\ + • • • + sh an = 0;
snflu-i +Si2a2i-i + • ■ • + Sfffl«-i = 0; i = 2, m.
Очевидно, что решения таких систем уравнений
существуют. Следовательно, А = S'1 Q. Причем диагональные
элементы матриц S и Q можно выбирать произвольно с одним
лишь условием, чтобы они не были равны нулю. Положим
su = qu>0; t = 1, //2. Так как матрица А симметричная,
S"1 Q = Q' S"1'. Отсюда Q'"1 S"1 = S'"1 Q"1. Слева стоит
нижняя, а справа — верхняя треугольные матрицы, причем их
диагональные элементы совпадают. Следовательно, Q = S'"1.
Вводя обозначение S""1 = Р, получаем А = РР'. Докажем,
что это представление единственно. Предположим, что
существует нижняя треугольная матрица Pv отличная от Р и А =
= Р1Р{. Тогда РГ1Р = Р'Р\~] . Отсюда получаем РХ = Р9
так как слева стоит нижняя, а справа— верхняя
треугольные матрицы.
Вычислим якобиан преобразования А = SS'. Обозначим
его через J (S). Пусть Г—группа га-мерных вещественных
нижних невырожденных треугольных матриц с
положительными элементами на диагонали; f(A) — непрерывная
ограниченная функция, заданная на множестве положительно
определенных матриц m-го порядка, и такая, что интеграл
f(A)dA существует, где dA—элемент лебеговой меры
множества /С2. В этом интеграле сделаем замены переменных:
сначала A = UBU'\ В = РР'\ £/, Р£Т\ В£К2, затем Л =
= SS'] S = UP\ S,U,P£T. Используя якобиан замены
переменных X = CYC (см. доказательство формулы (1.3.6)),
получаем
J / (UPP'U') J (Р) detiyn-1 dP = J f (UPP'U') J (UP) ПЕ-i u\t dP.
Отсюда, в силу произвольности выбора функции ft
J (P) det U™+1 = J (UP) П2.1 mt. (1.3.9)
Найдем значение /(/). Для этого простым подсчетом
получаем, что матрица [daij/dsPi\s=*j треугольная и на диа-
27

гонали ее стоит т двоек, а каждый из остальных
диагональных элементов равен 1. Следовательно, У(/) = 2т. Используя
это и полагая в (1.3.9) Р = /, имеем
/(^ = 2«П'-1«й+1"'-
Лемма 1.3.2 доказана.
Положим в (1.3.5) f(X) = l\ p(Z) = (2п)-тп?2ехр х
х(—SpZZ'/2). Тогда для постоянной с получим формулу
Г1 = (2л)~™/2 J ^ det х*"-"-1)'2 ехр (—Sp Х/2) dX.
На основании леммы 1.3.2
<г* = 2- (2л)-™/2J,tf>0 ехр (-£/>;*?/ /2) П?=1 *Г' ГЪ>/ <**/ =
= 2™ (2я)-™/2 nS-i [ $0~ ехр (—//2) ^ d*/] (2я)^а-^)/4 =
= I1S=1 Г ((Л +-1 — 0/2) Я~^/2+т(т-1)/4#
Теорема 1.3.1 доказана.
Аналогичным путем вычисления якобианов преобразований
можно вычислить распределения наиболее важных
распределений некоторых представлений случайных матриц.
Теорема 1.3.2. Пусть S„ — случайная вещественная
матрица п-го порядка с плотностью р (X) и Е = US, где
U — ортогональная- S — верхняя треугольная матрица о
положительными диагональными элементами; (Т19 Вх) —
измеримая группа матриц V; (Г2, В2) — измеримая группа
матриц S. Тогда для всех Е1^В1 и Е2 £ В2
P{U£E19 S g Е2) = 2" сп,п \АВш9Н^Ег Р (HZ) П/=1 */Г' X
x\i(dH)U(>/d2i/9 (1.3.10)
где jli — нормированная мера Хаара на (Г1$ Bj); если р (HZ) =
= /7 (Z), то матрицы U и S независимы, матрица U
распределена по мере Хаара, а плотность матрицы S равна
2"cn>nP(Z)T]Uz]rl.
Доказательство. Покажем, что любую
вещественную матрицу Ап det Ап Ф 0 можно единственным образом
представить в виде А = HZ, H £Tlt Z£T2. На основании
леммы 1.3.1 А = UB при условии, что det Л Ф 0, где £/£Гх;
В — положительно определенная матрица, а по лемме 1.3.2
B" = SS'; S' £Г2. Снова пользуясь леммой 1.3.1, имеем
S = СНг, где С — положительно определенная матрица,
Нг€Тг. Отсюда В = С и В = S#; = Ях5'. Поэтому А =
28

f
= £/#1S/. Матрица UHt — ортогональная, a S'— верхняя
треугольная матрица. Докажем, что это представление
единственно. Предположим противное: существует два
представления А = UxSl9 A = U2S2. Тогда U\ U[ = S^^T1 . В этом
равенстве слева стоит ортогональная матрица, следовательно,
S2S2 = S^l. Отсюда Srl S2 = S2 S'2~~l . Здесь слева стоит
верхняя, а справа — нижняя треугольные матрицы. Поэтому
. SrlS2 = A, где Л — диагональная матрица. Так как
диагональные элементы матриц Sj и S2 положительны, то
положительны и диагональные элементы матрицы Л. Но тогда
f из того, что Ux = U2A следует Л = /. Вычислим якобиан
преобразования А = HZ. Пусть f — измеримая функция на Гг х Г2
такая, что существует
{/(Я, Z)exp{—SpXX'f2\dX,
где Н и Z находим из уравнения X = HZ. В этом интеграле
сделаем сначала замену переменных X = UY, где U £ Гх.
Тогда
/.!=$/ (#> 2) ехр (—Sp ХХ'/2) ^Х =
= $/(#, Z)exp(—Sp YYf/2) dY> (1.3.11)
где матрицы Н и Z находим из уравнений HZ = UY.
Воспользуемся заменой переменных Y = HZ. При этом (1.3.11)
примет вид
/2 = { / (UH, Z) ехр (—Sp ZZ'/2) J (Я, Z) dZ dH9
где J{HtZ) — якобиан преобразования Y'= #Z.
Проинтегрировав это выражение по нормированной мере
Хаара, получим
/2 = $ / (£/, Z) ехр (—Sp ZZ'/2) ф (Z) dZ^i (dt/),
где 9(Z) = \j(H,Z)dH.
Воспользовавшись теоремой 1.3.1, а также якобианом
преобразования Z=S5' (см. лемму 1.3.2), где Z —
положительно определенная матрица, a S £ Г2, получим
/2 = J f (U, Z) ехр (-Sp ZZ'/2) det Z^2 [-]«el ^/ dZ 2« Cn§fI.
Отсюда Ф (Z) = сп§л 2- fl/=i г/Г' -
Теорема 1.3.2 доказана. Аналогично получаем утверждение.
29

Теорема /.3.3. Если Еп—неотрицательно
определенная матрица с плотностью р(Х) и Еп = SS', где S —
верхняя треугольная матрица с неотрицательными
диагональными элементами, то плотность матрицы S равна
2«p(ZZ')Y\Uz7tl4> (1.3.12)
где Z — верхняя треугольная матрица с неотрицательными
диагональными элементами.
Пусть заданы наблюдения xv х2, ..., хп над /л-мерным
случайным вектором £. Предположим, что у элементов
матрицы X: = (х19..., хп) существует плотность распределения
р (U), где U — матрица размерности т х п. Найдем плотность
распределения эмпирической ковариационной матрицы
R = (n— l)"1 SJUi (xk — х) (xk — х)'\ х = п"1 E/Li xk.
Теорема 1.3.4. Если п>т, то плотность
распределения матрицы R равна
q{Zm)i = (n- l)m<n-Wcm9n-i Un-,P«n-
- l)i/* Zlf Hm Tn-.x + 7тЪ det Z^m"2)/2 U^ dytV.{dH)%
(1.3.13)
где Zm — неотрицательно определенная матрица т-го
порядка; Gn—\—группа (п—\умерных вещественных
ортогональных матриц и \х — нормированная мера Хаара на ней;
//<«> = (hij); i = 1, т; / = 1, п — 1; Ут = (yif i = 1, т)\ Тп =
= (tii)\ i = lf n j = 1, п — ортогональная матрица; t'n =
= (я-1/2,..., п~1/2) — вектор размерности п\ Тп—\ = О*//);
i = 1, п — 1; / = 1, п\
CmJi-l = П^^ШМп-\)т}2 pj^ Г ((n _ ;)/2) . (1.3.14)
Доказательство. Используя равенство (1.1.3), имеем
# = (/i_ l)-i S2-I^2i; Z = E?-iftw*,
где Т^ = (&/)£/«! — ортогональная матрица, последняя строка
которой t'n = (я^1'2,. •., /г-1/2).
30

Очевидно, что плотность распределения матрицы Z \ —
р (YTn) = р (K„-i Тп-х +~УтЪ,
где У„_1 = (#/); i=l, т; ] = 1, л — 1.
Следовательно, плотность распределения матрицы (zlt...,
z„_i) имеет вид
рх (Yn-i) i = $ p OV-i ^-i +ТтЬ П'-i d#-
Тогда в силу теоремы 1.3.1 плотность распределения матрицы
R равна (1.3.13). Теорема 1.3.4 доказана.
Очевидно, что при выполнении условий теоремы 1.3.4
плотность распределения матрицы (п — 1) R равна
W~i $ 0n_, P (Zlf Я(т) 7/2_! + 1LТу II (d/У) х
X1n^i^detzrm-2)/2. (1.3.15)
С целью упрощений формул иногда вместо плотности
(1.3.13) будем использовать плотность (1.3.15).
Из теоремы 1.3.4 следует, что совместная плотность
распределения q(Zmt ут) матрицы (n—l)R и вектора л; равна
°™^ $ ^ Р &№ Нт T^i + #» Ъ |* (d#) det Z<T m~2)/2.
Пусть наблюдения xk, k=l,n независимы, одинаково
распределены, плотность распределения вектора ~xk равна q(y).
Тогда плотность распределения матрицы Z i = ХТп равна
~?f - (tlh j = ТГп); ^ГХУ - (ta, j = 1, n-\).
Следовательно, используя теорему 1.3.1, получаем, что
в этом случае плотность распределения матрицы (п—l)R
имеет вид
От, „-, J П/=1 Я (*^Я(«)%-» + „-1/2-) det Z<—2,/2d -^
(1.3.16)
Используя формулу (1.3.15), найдем плотность Уишарта.
31

Следствие 7.3.7. Если п>ту случайные векторы ltk
независимы и распределены одинаково по многомерному
нормальному закону с невырожденной матрицей ковариаций
Rm и векторами средних значений !хт, то плотность
распределения co(Zm, Rmy n) матрицы (n—l)R равна
detZ<rm"2)/2 exp {- Sp ZmR~l/2} x
X cmn-\ (2n)-^1^2 detR-{n~l)/\ (1.3.17)
где Zm — неотрицательно определенная матрица т-го
порядка.
Доказательство. Легко видеть, что
p(7) = (2ji)-^/2det/?~,1/2 х
X exp l—SS-i (Я~* (yk — а^, (tk — "ат))1%
где ^ — вектор-столбцы матрицы Y.
Плотность p(Y) представим в виде
р (Y) - (2я)-™'2 det R~n/2 exp{ - Sp R~l (Y+A) (y+A')/2}9
(1.3.18)
где А = (—~ат> ..., —а^) — квадратная матрица, состоящая
из столбцов, равных —а^.
Подставив плотность (1.3.18) в формулу (1.3.15), получим
со (Zm, Rm, n) = ст. „_i (2я)-«-/2 det R~n/2 x
X JGiw exp {-Sp Я"1 (ZlfH^Tn^ +$/n + A)x
(1.3.19)
Учитывая, что TV-i (ymt'n + A)' = О, имеем
J^ exp {- Sp ^ZtfHMTn-i (££+ A)'} p (dH) = 1.
Кроме того,
Sp /?„' (Z^h) (Z^H^Tn^y = Sp i?-1;
Sp /ST1 (£,?+ A) (j^T+ 4)' = Sp ДйГ1 С - tm) (y-m -am)'-
Но тогда интеграл (1.3.19) равен
to(Zm> Rm, n) = cm. „_i (2n)-™/2 det tf-',/2 x
X exp (— Sp R^Zm/2} J exp {— (RZ1]^, yJ/2) flL^'-
32

Из этой формулы и того, что
J ехр {-(Rttn* tn)№ ["ELI ^ = det № W2.
вытекает (1.3.17). Следствие 1.3.1 доказано.
Используя теорему 1.3.4, можно найти плотность
распределения матрицы U(n—lJ^X/K***** которая называет-
ея нецентральной обобщенной плотностью Уишарта.
Следствие 1.3.2. Если у элементов матрицы (я£» fe =
= 1, п—1) существует плотность распределения p(U) и
п>т, то плотность распределения матрицы (п — 1) R
равна
c">n-i JGn.1p(^/2^-))fx(^)detZrm*2)/2. (1-3.20)
Следствие /.3.3. Если случайные векторы ltk
независимы и распределены по многомерным нормальным законам
N(Rm, 7tk) и п>т, то плотность распределения матрицы
(п— l)R равна
ст, л*1 (2л)^-1)^/2 det RZ{n^m ехр {- Sp ZmRZXl2] X
X ехр (-Sp RZlAA>/2) $0/м ехр {— Sp RnlZlfH™A'} x
X fi (dH) det lTm~2)l\ (1.3.21)
где A = (^ . . .,0^).
Плотность (1,3.21) называется нецентральной
плотностью Уишарта.
Теорема 7.3.5. Если случайные векторы ~xk независимы
и распределены одинаково по многомерному нормальному
закону N(Rm, ~ctm), wo
М ехр [I Sp G £ (л — I)} = det (I — 2/в)^т-1)/2, (1 >3i22)
где 6 = (вц)Т9 /==1 — матрица параметров; под степенью
комплексного числа понимаем его главное значение.
Доказательство. Очевидно, что из равенства (1,3.1)
вытекает
М ехр {I Sp в R (п - 1)} = YlZl М ехр {i Sp в Ш2Ш^\
(1.3.23)
где r\k — независимые случайные векторы размерности т$
распределенные по нормальному закону N(0,1).
2 7-305 33

Поскольку
М ехр {I Sp в Rli^MkRU2} = det (I - 2i®Rm)-W,
из (1.3.23) следует (1.3.22). Теорема 1.3.5 доказана.
Используя теорему 1.3.5, получаем, что, если Rx и R2—
две независимых эмпирических ковариационных матрицы,
имеющие плотности Уишарта co(Zm, Rm, пх) и co(Zm, Rmf п2),
соответственно, то матрица ^ + R2 имеет плотность
Уишарта co(Zm, Rm, пг+Пъ).
Кроме того, из формулы (1.3.22), используя плотность
Уишарта и формулу обращения для характеристических
функций, имеем
' det z£Tm~2)/2 ехр [- Sp ZmR~ll2) cm% „_i det R^l)/2 =
= (2пУп-1 W2-m J ехр {—i Sp в Zm) det (I—2t6)^-i)/2 x
X ПГ/-1 dQii'
§ 1.4. Обобщенная Т2-статистика '
Одним из привлекательных методов математической
статистики является метод оценивания математического
ожидания некоторой случайной величины, дисперсия которой
неизвестна. Из математической статистики следует, что если
задана выборка наблюдений х1У х2, .. ., хп над некоторой
случайной величиной, имеющей нормальное распределение
N (а, а2), то величина
ti = nV*S-*{x — a)\ S = [(л- 1)-* J$=i(xk -*)2]1/2,
имеет хорошо известное /-распределение Стьюдента с п — 1
степенями свободы.
Так как /-распределение не зависит от неизвестных
параметров а и а2, то используя его для величины а, можно найти
доверительный интервал при заданном уровне значимости.
Многомерным аналогом квадрата величины t2 является
Тi = п(х—~аУ R-1 & — ~а),
где лГ, R — эмпирическое математическое ожидание и
ковариационная матрица наблюдений л^, ..., ltn над случайным
вектором £, математическое ожидание которого равное а
ковариационная матрица — R.
34

Найдем сначала плотность распределения величины Т2
при условии, что задана совместная плотность распределения
p(U) случайных векторов л^ — а\ .,.,?„—~а, где (У —
квадратная матрица размерности тхп.
Теорема 1AJ. Если п>т, то случайная величина Т2
распределена так же, как и случайная величина (£, £), где
g —случайный вектор размерности т% плотность
распределения которого
+ № tJn) V (dH) det z^"-"»-1'/2 dZm (n - iy**~w (1.4.1)
(см. обозначения, введенные в § 1.3).
Доказательство. Очевидно
М exp (iQT2) = J ехр [Ю (ут, fm)] p (П-iTV., (п - I)1'2 +
+ (Yn^Y'^yi^Z) det (Kn-iV^.,)»/» f] rfy*/ (« - l)^-1»2,
где Э — вещественный параметр.
Далее, воспользовавшись теоремой 1.3.1, получаем
утверждение теоремы 1.4.1.
Следствие 1АЛ. Если дополнительно к условиям
теоремы 1.4.1 случайные векторы ~хп независимы и
распределены одинаково по нормальному закону N(a, R)f где R —
невырожденная матрица, то
<?u=e[n-i+(i?jr"2.
С-Г^ Г«Л»)Л9 П~т'2- (1Л2)
Доказательство. Из формулы (2.4.1) имеем
Я (Ут) = от, „-1 (ft - l)"*»-»/2 (2я)—"/2 х
X J exp {-Sp (Za (n - 1) + ZmVm^/2} det z<Tm-1)/2 d2m.
(1.4.3)
В этом интеграле сделаем замену переменных
Zm = (/ (п - 1) + ?m V'J~ll2Ym (' («-1) + VmVJ-1/2,
где Ут — неотрицательно определенная матрица.
2* зз

Якобиан такой замены переменных (см. § 1.2)
det(/(«-l) + ymf;)-c«+i)/2.
Тогда формула (1.4.3) примет вид
q (Vm) = Cm, п-1 (2Я)-"1"/2 (« - l)("-"")/2 („ _ 1 + (Vm, Vm)) X
X Jexp(-SpFm/2)det^-™-1,/2dFm. (1.4.4)
Поскольку (см. формулу для плотности Уишарта)
k>o exp (- Sp YJ2) det /£--»/* dYm = Cm)n (2пГ*\
из (1.4.4) следует утверждение следствия 1.4.1.
Следствие L4.2. При выполнении условий следствия
—> —>>
1.4.1 плотность распределения случайной величины (£, £)
равна
хт/2~\ [п—1+ х]^2(п — 1)(»-«)/а [5((л — т)/2,т/2)]"1; л;>0.
(1.4.5)
Формулу (1.4.5) получаем о помощью формулы (1.4.2) и
полярной замены переменных в пространстве Rm.
§ 1.5. Обобщенная дисперсия
Используя Г2-распределения, можно найти вероятность
события
(~x—~ciy R'1 ("# —~а) < е,
где е — некоторое число.
Множество 5» = [х г(~х—~х)' R*1 {~х—~х) < е} является
эллипсоидом в Rm. Таким образом, если задана доверительная
вероятность р, то по ней, используя ^-распределение, можно
найти е. Следовательно, неизвестный вектор ~а будет
принадлежать множеству S с доверительной вероятностью р.
Найдем объем множества S. .Для этого вычислим
интеграл \ [ L=i dxt и сделаем в нем замену переменных ~х =?
s
= ~x'+~yR}12. Тогда этот интеграл будет равен
det £m/2 2ят'2 [Г {т/2)]"1г^2т"1.
Величина det R называется обобщенной дисперсией, a det R—
эмпирической обобщенной дисперсией. Докажем некоторые
теоремы общего вида для детерминантов случайных матриц.
36

Пусть G — группа л-мерных вещественных ортогональных
матриц и jli — нормированная мера Хаара на ней.
Теорема 1.5.1. Если случайная вещественная матрица
Е размера тхп, п>т имеет плотность р{Х) и
существует М det (ЕЕ')*, где k — целое неотрицательное число, то
M'det (S3')* = от§ nctn+u J p ({ZZ')4*HW) ц (dH) dZ, (1.5.1)
где Z — вещественная матрица размера mx(n-\-2k)\ #<">=
е= фа)\ i = 1, т\ / = 1, п; величины ст% п определены в
теореме 1.3Л.
Доказательство. Используя обобщенную плотность
Уишарта, находим
М det (ЕЕ')* = cmt n J p (ZU2HM) det Z^^1^ (dH) dZm,
где Zm — неотрицательно определенная матрица порядка /я.
Рассмотрим интеграл
/««*».„ $ 9(Zm)detzS+2^m^1)/2exp(-8SpZm/2)dZWJ
Zm>0
где е>0— произвольное постоянное число;
(?(2J={p(Zil'2^«))(x(^).
Очевидно,
lim/e = Mdet(EE')*. (1 5.2)
Пусть Q8 — случайная матрица размера т х (п + 2k)t
плотность которой равна (e"1n)'"{n+2k)m^ ехр (—е Sp ZZ'/2).
Тогда, используя (1.5.2), имеем
[ р [(ZZf)li*Hw)ix{dH) dZ = \\т(г/2п)^п+2к)т*2 X
хм(п ((QeQ8)1/2//(/2)) HdH\ =» Нт(2зг/8)^+2^/2 x
J ^ 8*0
X J exp (-8 Sp ZOT/2) p (Z^<«)) det Z£+2*-"-W2 dZm p (dH) X
X om. „+2* (8/2я)^+2^)^2 « *m, „+2*Cl*M (det ЕЕ')*.
Отсюда и вытекает утверждение теоремы 1.5.1.
Следствие 1.5.1. Если дополнительно к условиям
теоремы 1.5.1 р(Х) = p(XXf) для всех матриц X размера
тхп, то
М (det ЕЕ')* = 0т, ncZ)n+2k J p (ZZf) dZ.
37

Доказательство вытекает из формулы (1.5.1).
Примером случайной матрицы, удовлетворяющей условию
р(Х) = р(ХХ), может служить матрица, плотность которой
р(Х) = (2я)-™/2 exp (-Sp R-XXX'I2) det R^\
Rm — положительно определенная матрица. В этом случае
Jp(Z)dZ=(2n)**det#£.
Таким образом, получаем утверждение.
Следствие 1.5.2. Если матрица W имеет плотность
Уишарта co(Zm, Rm, n + 1), то
Mdet Wk = 2"* П^1г ((n + 2fe + 1 — 0/2) X
X 1ПмТ{(п+ l-i)/2)]-idetRhm. , (1.5.3)
Еще один пример плотности матрицы Е, удовлетворяющей
следствию 1.5.1:
р (X) = Г (1 + пт/2) п~пт*2\ Sp XX' <з 1.
В этом случае моменты fe-ro порядка случайных величин
det ЕЕ' равны
ст, „Г (1 + nm/2) nmkCm)n+2k/T[{l + т (п + 2*)/2).
Значит, существуют целые классы случайных матриц,
для детерминантов которых все моменты находятся в явном
виде.
Легко показать, что в следствии 1.5.2 случайная величина
det W имеет такие же моменты, как и случайная величина
det Rm f]2=i x£+w» где ЭС?— независимые случайные
величины, имеющие ^-распределения с I = 1, 2, ... степенями
свободы. Обозначим моменты случайной величины detfl?
через \xk. Легко проверить, что ряд Карлемана $]Г=1Ц¥1/*
для моментов \ьк расходится; следовательно, функция
распределения, имеющая моменты \xk, единственна. Этот факт
можно установить g помощью другого подхода, который
называется методом случайных ортогональных
преобразований.
Теорема 1.5.2. Пусть Е— случайная вещественная
матрица размера тхп, п^т, вектор-строки которой
—>
Ь= (liii.. - > Ьп)> £ = 1, /га независимы и функции распре*
38

деления FiCx) удовлетворяют следующему условию: для
любой вещественной ортогональной матрицы Hk k-го порядка
* i \Xi$ • • • > %ki Hn—kXn—k) == * i \Xn)\
,(1.5.6)
Xb-k=*(xk+u •• • > *n)\ fe = 0, n— 1; t=l,m. (1.5.4)
Тогда
detBa'»n'-i(SSU6?/). (1.5.5)
Доказательство. Пусть Я — случайная вещественная
ортогональная матрица я-ro порядка, первый вектор-столбец
которой коллинеарен первой вектор-строке матрицы Е, а все
остальные вектор-столбцы матрицы Н измеримы относительно
минимальной а-алгебры, порожденной вектором £х. На
основании (1.5.4) имеем
1п \\1п
^W-lJxnJ lAm—l)xnj
где матрица S(m^i)x„ получена из матрицы Е вычеркиванием
первой вектор-строки; л£ = {(l19 1г)1/2, 0, ...,
О)—вектор-строка размерности п.
Дополним матрицу [v*, S(OTfcl)xn] некоторой случайной
матрицей С так, чтобы новая матрица Dn имела размерность
яхп, причем элементы случайной матрицы С должны
удовлетворять условиям: первый ее вектор-столбец состоит из
нулевых элементов, вектор-строки ортогональны вектор-
строкам матрицы Е(т-л)х/г и det CC Ф 0. Очевидно, что
такая матрица С всегда существует. В силу свойств матрицы С
I? 1[5 Т det CC-
= det S(w*.i)x(n-4.i)S(m-.i)x(/i4*i) 2j?«i Sh det CC;
отсюда и из (1.5.6) находим
det SmxnS^xn ^ det S(m^1)x(rt^1)S('m^.1)x(n_i) JjSLigu.
Повторяя такой процесс я раз, получаем формулу (1.5.5).
Теорема 1.5.2 доказана.
В качестве примеров функций, удовлетворяющих условию
(1*5.4), можно привести следующие:
/Ч^) = ^2Г(1+/г/2) $ d^;
,-> -> , -> ->
39
det D* = det

F (Tn) = n~"'2J^ exp {-(% ~yj) dt<
у <xn
Следствие 7.5.3. Если в условиях теоремы 1.5.2 т =
*= п, то
Следствие 1.5.3 доказываем, вводя на каждом шаге
ортогональную вещественную матрицу Г, первый вектор-столбец
которой ортогонален первой вектор-строке £х матрицы Е, а
все остальные вектор-столбцы измеримы относительно а-
алгебры, порожденной вектором gle
Теорема 1.5.3. Пусть Етхп = &ц) и emxk^(Qu) —
независимые случайные матрицы соответственно размера
тхп и mxk, л> т, удовлетворяющие условиям теоремы
1.5.2 и дополнительному условию: распределение случайных
векторов (£Wf 9Р/, / = 1, fe), /? = s + 1» т при фиксированных
gp/, /^=s, s=l,m—1 не меняется при ортогональном
преобразовании. Тогда
{det ЕтХпЕтХп, det [SOTXrtSmXrt + ®mXk®'mxk]} »
«{Л" (ЕЬ б?/). П2.1 (S3U62r + EJL, $)}.
Доказательство. Аналогично доказательству теоремы
1.5.2 получаем
{det Emx„3mx„, det [Smx„SmX„ + ®mxk®mxk]}да
«IdetAA', det [ЛЛ' + B5']);
A =
5 =
[e* 1
L®(m-l)XftJ '
Lu(m-l)XnJ
где fn =([2?-i £?,]>/», 0, .... 0); 5 = ([Sti в?,]1/2,0,
векторы размерности соответственно п и k.
Представим матрицу А А' + -SB' в виде
0)
СС +
1^(т—1)Х(л—l)JLa(m-»l)x(n
C'«=[5*f...,a£l,
ft n2
1;
где ^ = USLigu]1/2* [2tie?d^,0,...s0}; as = {£si,
9si, ...» 6S*}, s== 27m) — (& + 1)-мерные вектор-строки; 0rt_i—
векторы, элементы которых равны нулю, размерности п— 1,
40

матрица S(m_i)x(ri-i) получена из матрицы ,Е(т_1)х/1
вычеркиванием первого вектор-столбца.
Пусть Hk+i — ортогональная вещественная матрица,
первый вектор-столбец которой равен c^fct^ а^)~1/2, а все
остальные измеримы относительно минимальной а-алгебры,
порожденной вектором ах. Тогда, по условию теоремы,
CHk+xH^C'ttRR'; R' = [£, ^ ... f ^;], (1.5.8)
где Ъх = ([£Li lb + £;=i 9id1/2, 0f ..., 0) — вектор
размерности k + 1.
Из теоремы 1.5.2 следует, что deM/T не зависит от
элементов первого вектор-столбца матрицы Л. Используя
это и (1.5.8), из (1.5.7) на основании теоремы 1.5.2 находим
{det EmxnEmXn} det [Smxn3^Xrt + @mXk®mxk]} &
'& {Ij?«1 Ъи det E(m-l)X(n«l)S(m-l)X(n^l)}, (S?=l l\i +
+ 2j*=i 9u)det [2<m—i)x(n~i)S<m-i)x(«-i> + Q(tn^i)xkQ(tn~*i)xk].
Повторяя такие преобразования т раз, получаем
утверждение теоремы 1.5.3.
Следствие 1.5.4. Если элементы матриц 2/пх„ и ®mxk
независимы и распределены по стандартному закону
N(0,1), то
det Smx„S^x„ det [Smx„s;x„ + emxfte;xft]-i« J"IS-i&,
где
r» = SJL If/ [£?=< 6?/ + SJLi e?/]"1. * - l^s.
Случайные величины r\i9 1=1, m независимы и имеют бета-
плотностш
В(х9(п+1 — 0/2, fe/2)! = *c*+i-o/2-i(1 — ^/2-1 х
X [Б ((л+1 — 0/2, й/2)]-1; 0< * < 1;
В (а, Ь) — бета-функция.
Моменты случайных величин r\t
М я1 = В (s + (л + Ь-0/2, */2) [5 ((/| + 1 - 0/2, fc/2)]-1;
j = 1, т\ s = 0, 1, 2, ....
Найдем моменты детерминантов некоторых комплексных
случайных матриц. Назовем вектор l = {v + i\i) комплекс-
4i

ным гауссовским вектором со средним m = а + ib и
эрмитовой матрицей ко вариаций R, если для любых вещественных
векторов s и q
Мexp {I(v, ~s) + i(]?, ~q)) = exp{— [R(£+ i~q), Cs —
-itj)l2±i(a>~f)+i(b9~q)}.
Используя, как и в теоремах 1.1.2 и 1.1.3, вместо
ортогональных преобразований унитарные, получаем следующие
утверждения.
Теорема 1.5.4. Если вектор-строки случайной
комплексной матрицы Е = (£#) размера тхпу т<п независимы
и распределены по гауссовским законам с параметрами О, /,
то
det ЕЕ* « П'-i (Т*> S). где t = (bh ) = 1Гя).
Теорема 1.5.5. Если комплексные случайные матрицы
Е = (gj/) и 0 = (0^) соответственно размера тхп, mxk,
я> т, независимы и удовлетворяют условиям теоремы
U.5.4, то detEE*det[EE* + e0*r1^nS=iTlo г* од — не-
-> ^>- -> -^>
зависимые случайные величины, равные (£,, &) [(£,» &) +
+ (0f, 9,)]**; 0,- — вектор-строки матрицы ®.
Доказательство этих утверждений вытекает из того, что
для любой унитарной матрицы U 1-го порядка £/&« &.
Далее доказательство аналогично доказательствам теорем
1.5.2 и 1.5.3.
Отметим, что первая вектор-строка матриц Е и в в
теоремах 1.5.2—1.5.5 может быть распределена по
произвольному закону, а все остальные вектор-строки удовлетворяют
условию соответствующей теоремы.
Рассмотрим задачу: пусть Е = (gt/) — случайная
неотрицательно определенная матрица размера пхп с плотностью
распределения p(Z). Требуется найти плотность элементов
случайной матрицы Н = (rjl7), х\ц = &/(£«£//)~1/2. 1ф].
Используя преобразование гц = гц(гигц)112, ьф\, находим, что
плотность матрицы Н равна q(ra9 i¥=j) = \ Z7 (^'/) FK==i *
X г/Г~1)/2 dziu U\ — гц(гцгц)1/2, Ui = z«. Моменты детерминантов
матриц Н равны j det Zkp (Z) Jl"el гТ?^ dZt где dZ—мера
Лебега множества положительно определенных матриц.
42

Если p(Z) является плотностью Уишарта (o(Zmi Д п+1),
то в результате элементарных преобразований получаем
Я(rth * * S) = Г* (я/2) det (rl7)(—п/2 [flZLi Г ((/i + 1-0/2) X
х я«(«-1)/4]-1; £ == (Г|/у > 0; г„ =1; £ = 1, m.
§ 1.6. Распределение собственных чисел
и собственных векторов эмпирической
ковариационной матрицы
Предположим, что задана выборка наблюдений хи л;2,...э
хп над m-мерным случайным вектором £, у которого
существует среднее значение а и ковариационная матрица R.
Рассмотрим вектор г] = #£, где Н — ортогональная матрица
порядка т. Очевидно, что Мт] = На, М (г] — Мт]) (г] — Mr])' =
= HRH'. Если векторы-строки матрицы Н равны
ортогональным собственным векторам hv ... , ftm матрицы Rt
соответствующим собственным числам %t > ... > %т9 то компоненты
вектора г) некоррелированы, а дисперсии их равны
соответственно %и %2, ... , %тв Заметим, что ££Lih< = Sp# =
= S£-iD|f. При таком ортогональном преобразовании
вектора £ получаем новые некоррелированные случайные
величины r\r9 i—l,m с максимальными, упорядоченными по
величине, дисперсиями (максимум дисперсий берется по всем
значениям H£G, где G — группа m-мерных ортогональных
матриц, и при условии, что случайные величины r\t
некоррелированы). Поскольку у случайных величин ity при
перечисленных выше условиях дисперсии принимают максимальные
значения, может оказаться, что у некоторых величин т^
дисперсии выше некоторого заданного значения а, а все
остальные—ниже. Те случайные величины г];, для которых
дисперсии больше а, называются главными компонентами.
В некоторых случаях число главных компонент может быть
значительно меньше числа компонент вектора |, что весьма
удобно в случаях, когда нужно сжатое (экономное) описание
выборки наблюдений xlt ... , хп. Например, у случайных
величин ■ |t; f=l, т с ковариационной матрицей # = (1)
дисперсии равны 1, а собственные числа матрицы R равны
п, 0, ... 0. Если ковариационная матрица R неизвестна, то
в качестве собственных чисел %i и векторов hi можно взять
43

их оценки, равные соответствующим собственным числам
и собственным векторам эмпирической ковариационной
матрицы R. Для оценки погрешности замены Ki их оценками
(при построении доверительных интервалов) нужно знать
плотность распределения собственных чисел и векторов
матрицы R. В некоторых случаях эта плотность имеет простой
вид. Отметим, что плотность распределения собственных чисел
эмпирических ковариационных матриц понадобится также
в следующих главах при изучении не менее важных задач
многомерного статистического анализа.
Найдем распределение собственных чисел и векторов
некоторых симметричных случайных матриц. Пусть Зп —
симметричная вещественная случайная матрица я-го порядка,
у элементов которой !■*/; £>/; i9 /= 1, п существует
совместная плотность распределения, которую обозначим через
р (Zn), где Zn = (Zij) — вещественная симметричная матрица.
Собственные числа %и\ k= 1, п матрицы Еп будут
вещественными и являются некоторыми функциями ее элементов.
Из алгебры известно, что эти функции являются борелевскими
функциями элементов матрицы Еп. Поэтому собственные
числа матрицы Еп можно выбрать так, что они будут
случайными величинами.
Точных формул для собственных чисел при п > 5,
выражающихся через радикалы от элементов матрицы Еп, в общем
случае не существует. Поэтому трудно подобрать такую
вамену переменных в выражении для совместного
распределения собственных чисел, чтобы было установлено взаимно
однозначное соответствие между старыми и новыми
переменными. Если же собственные числа ^(со) упорядочены по
возрастанию, то они будут случайными величинами и, кроме
того, соответствующую замену переменных можно легко
подобрать. Измеримость собственных чисел А*, упорядоченных
по величине, вытекает из соотношений
^ = lims^co (\л— [Sp(/jji — S)8]1'5); X,2==lims^oo X
X [fx-[Sp(/(^ + ^)-S)sll/s]; ... ; ^Hm^.lSpE*]!/*.
Нам потребуется следующее утверждение.
Лемма 1.6Jш Собственные числа A*, t'= 1, п матрицы
Еп с вероятностью 1 различны.
Доказательство. Если хотя бы два корня %и '=1, п
матрицы Еп совпадают между собой, то выражение А =
= 1Ъ>/(Я* — %}) равно нулю. Используя детерминант Вандер-
монда, получаем
44

A^det^+y)?^ S* = SpE£,
где det(Si4-/)—некоторый полином элементов матрицы Е„,
не равный тождественно нулю. Поэтому Р {А2 = 0} = 0, так
как у элементов матрицы S„ существует совместная
плотность распределения. Лемма 1.6.1 доказана.
Выберем п измеримых собственных векторов 0t- матрицы
ЕП9 соответствующих собственным числам V, *= 1, п. Заме-
тим, что собственные векторы 0* определяются однозначно
с точностью до множителя —1 с вероятностью 1 из
уравнений (3„ — hi) 9* = 0; (0j, Q() = 1. Выбрать п различных
собственных векторов теперь довольно просто, фиксируя знак
какого-либо ненулевого элемента каждого вектора. Если
некоторые собственные числа V> 1=1, п совпадают* то
собственные векторы выбираем единственным образом, фиксируя
его некоторые компоненты и знак какого-либо ненулевого
элемента каждого вектора. Итак, собственные числа А*,
упорядоченные по возрастанию, и соответствующие им
собственные векторы Qt. матрицы Еп> выбранные вышеуказанным
способом, являются случайными величинами.
Пусть Эп — случайная матрица, вектор-столбцы которой
равны Щ\ i = 1, п\ G—группа л-мерных вещественных
ортогональных матриц; В — а-алгебра борелевских множеств
n-мерных ортогональных матриц на ней и \i — нормированная
мера Хаара на группе G.
Теорема 1.6.1. Если существует плотность р (Zn)
случайной симметричной вещественной матрицы 5„, то
для любого подмножества Е£В и вещественных чисел од
&; i = 1, п имеем
Р{в„££, щ<%t<p/f I = TTh] = cXn\p{XnYnX'n) x
X ГЬ>/ & - Уд И (dXn}dYn, (l .6.1)
где интегрирование ведется по области
{Уг>Уъ> ..->У/г, a>t<yt<$i, t=l, п\ хи>09
i=~ny XnGE}\
Yn « №/№); dyn = П2-i dyr, cln = 2» я»^1)/4 П?-1 Х
X{T([n-i+ 1)/2]Г.
Доказательство. Для любой ограниченной и
непрерывной функции /(©„, Ап) элементов матриц ©п и Ап =
45

= (б*/Х,/) в силу леммы 1.6.1 имеем fA[f(@n, An)/Qu>^9
i = Т^Ъ] Р {Qu > zh i = ТГ^] = $ / (*«, ^гг) р (Zn) dZn, где
интегрирование, ведется по области {хц > е^ */х> ... >уп\*
матрицы Yn и Хп удовлетворяют уравнению Zn = XnYnXn\
0<8/<1. Поскольку якобиан преобразования Zn = НпТпНп
(где Г^ — симметричная вещественная матрица; Hn£G) равен
единице, в чем легко убедиться, рассматривая это
преобразование в интеграле
J exp (—Sp Z2n) dZn « j exp (—Sp T2n) dTn,
TO
M [/ (в„, Л„)/9и > e,] P {9U- > 8,) -
= J / (HnXn9 Yn) p (HnZnHn) dZn> (1.6.2)
где область интегрирования равна
{£/Li hkXki > e,, i = 1~, yt > ... > y«}.
Рассмотрим замену переменных Z„ = Un Yn Uni Un £ G,
t/i > ...> yn, элементы матрицы £/„ заданы с помощью углов
Эйлера щ (см. § 1.2) и углы Эйлера принимают значения
из некоторого множества К так, чтобы первая ненулевая
компонента каждого вектор-столбца матрицы Un была больше
нуля. Очевидно, что число переменных слева и справа в
равенстве Zn = Un Yn Un одинаково, это преобразование почти
для всех значений матриц Zn взаимно однозначно и элементы
матрицы UnYnUn непрерывно дифференцируемы по
параметрам щ, ус После замены переменных Zn = UnYnUn интеграл
(1.6.2) приобретает вид
/ i = J / (Нп Uni Yn) p (HnUnYn U'nH'n) J (Un, Yn) x
XdYnY\li=\duh (1.6.3)
где J (Un, Yn) — якобиан преобразования Zn = UnYnU'n\ I —
p= n(n — l)/2 и область интегрирования равна
{%Л~\Ь\киы>ъи t=l, n, уг> ...>уп, Uj£K, /==1, /}.
Выражение (1.6.3) от матрицы Нп не зависит, поэтому
интегрируя его по мере Хаара \i, заданной на группе G
матриц Нп, получаем
/ - $s / (Hni Yn) p (HnYnH'n)y (Yn) [i (dHn) dYn\
S = {hu > Bh i=TTn, Уг> ... > Уп}, (1.6.4)
46

где
Найдем функцию ty(Yn). Очевидно, что
I [дгц/дур 11 t>h*> i-uh
I /7=1, n; q—\t n{n—1)/2.
Дифференцируя тождество £/'£/= / по переменным Uk,.находим
{dU'ldUk) U + U' (dU/duk) = 0.
Из этого равенства видно, что матрица S(fe>: = U'dU/dtik
является антисимметричной. Далее
dZn/duh = (ди/дик) YU' + UY (dU'/dtik),
откуда £/' (dZ/duk) U » S<*>r — KS<*>.
Для элементов этой матрицы
S?./-i (dzq/duk) uip uji = spki} (yt — yp)\
p9 /=I77T; fe= 1, n(n—l)/2.
Аналогично
S?./-i (dzij/dyk) uipUji = dYpifdyk = 6P/S^;
(1.6.5)
fe= 1, /г; p, /= 1, л, (1.6.6)
где Ур/ — элемент матрицы У, стоящей на пересечении /?-й
строки и Z-го столбца.
Представим якобиан в виде
\Аг АЛ
л в j
det
(1.6.7)
где
U/2*
Умножим (1.6.7) на абсолютную величину детерминанта
матрицы
A D2.
где
с.-Сги^/р)^;;»^^;
47

*>! = («/рй/ОЙ;;, /-—; D2 - (и/ри/i + щ*иУ£ь '; ,Й^ •
После перемножения матриц, учитывая (1.6.6) и (1.6.7),
находим, что якобиан равен
I Г In 0nx„(w__i)/2 *J r^ £>i~rx|
det L Гс(*)/ ч1*-1. л(я-1>/2 det r L
где 0nXn<n-i)/2— матрица размерапх„(Л_1)/2, элементы которой
равны нулю.
Из этого выражения
J(Un, У»)-Пг>/1Л-У/|ф(«й '-О.
где ф(«1, /=1, /) — некоторая борелевская функция.
Следовательно, ty(Yn) = f"],<7 (# — У/)е* гДе ° ~ некоторая
постоянная. Подставляя ty(Yn) в (1.6.4) и учитывая
произвольность В{9 получаем Р (Эй- = 0} = 0. Следовательно, первые
компоненты вектор-столбцов матрицы ©„ с вероятностью 1
неотрицательны.
Вычислим постоянную е. Для этого в формуле (1.6.4)
положим
/ = 1, р (Zn) = сп>т (2я)^/* exp (-Sp Zn/2) det z^"-I)/2;
m>n\ Zn—неотрицательно определенная матрица (см. §1.1).
Тогда
Фп {{т - п - 1)/2)! = [yi> т >Уп>0ехр(-2^2^ уй) х
X П«/ (№ - Уд UU уГ^т dyt =
= [cm 2~n сп,т (2Я)-™'2]-11 = с.
Пользуясь формулой для плотности Уишарта, получаем
J p (Zn) det Z„r dZn = Фл ((m — n - l)/2 + г) ф^1 (m — n —l)/2)=
= 2Г П?=1 г (И - 0/2 + ^(fa—0/2).
Полагая r = —(m — n — l)/2, находим
С = ф^1 ((m —л — l)/2) = ^«"-«-W П?=1 X
хГ((п + 2- 0/2) Г {(m - /)/2) ф^1 (0);
тогда
Ф„ (0) = J exp (- 2"-i №/2) ГЪ</ (^ - W) П?-1 d&>
где у1>...>ул>0.
46

В этом интеграле сделаем замену переменных!
Уп = Уп, Упш.1 = Упш*\ + Уп, ... ; Ух = Ух + Уп*
Тогда
Ф„(0) = 2/1-4^1(1).
Отсюда
Ф« (0) ФГ1 (1) = 2- П?=1 Г ((л + 2 - 0/2) х
X Г"1 {(п + 4 - 0/2) = [(л + I)!]"1.
Следовательно,
Ф« (1) = (л+ 1)1 2n-4^i(l);
Фй(1) = 2»(л+1)!П?-1Г(л+1-0-
Тогда
Ч^(0) = 2»П"-1Г(/1+1-0-
Следовательно,
cm - 2WW-D/4 fj^ (Г ([я - * + 11/2)}-1.
Пусть Gx— подмножество матриц Н группы G, для
которых ftlt>0, t = 1,Л.
Следствие 1.6.1. Если p(HnZnHn) = p{Zn) для всех
матриц Hn£G и матриц Zn9 то матрица в„
стохастически не зависит от собственных чисел матрицы Е„ и
имеет распределение
P{e„6£} = 2"$„n€££Gi(x(dtf„).
Плотность распределения собственных чисел матрицы Ея
равна
2~пс1п~р(уп) П;</Qfi — У/), Ух>У2>->Уп.
Мера 2п\х, заданная на множестве Gx (где и, — мера Хаара
группы G), называется условной мерой Хаара на
множестве G1#
Следствие 1.6.2. Если элементы &/, I > /, i, /~ 1,я
матрицы 3Л независимы и распределены по нормальным
законам N(09 (1 + 8г-/)/2), то матрица ©п стохастически не
зависит от собственных чисел матрицы Е„ « распределена
49

по условной мере Хаара. Плотность собственных чисел
матрицы Е„ равна
с,„2™/2я^-И>/2ехр (- Ем г/1/2) f[ t<J (у{ - у,),
еде уг>...>уп.
Используя теорему 1.6.1, можно найти плотность
собственных чисел случайных матриц Уишарта.
Теорема 1.6.2. Если матрица Ет имеет плотность
Уишарта co(Zm, /, я), п>т, то плотность распределения
ее собственных чисел А1>Я2;>... А,т равна
IXi dr*-™ exp (- ESLi да/2) П,<7 (Ус ~ Уд X
X 2~<п^т'2пт?2 П/li (г ((« — 0/2) Г ((m—i + l)/2)}-S
где у1>...>ут>0.
Матрица ®п не зависит от собственных чисел матрицы
Еп и распределена по условной мере Хаара.
Доказательство. Для доказательства теоремы
обратимся к § 1.3, откуда
р (Zm) = П Hi РГт-2)/2 exp (-12.1 р,/2) (2я)-о-««/» Ст>„.ь
где рг — собственные числа матрицы Zm, p(Zm) — плотность
матрицы Sm.
Следствие L6.3. Пусть случайные квадратные
матрицы Ат и Вт имеют соответственно плотности Уишарта
<o(Xm, Rm> k), (o(Xmi Rm, k)\ k9 n>m и независимы. Тогда
совместная плотность собственных чисел, упорядоченных
по возрастанию, матрицы Ст = Вт1/2АтВтШ равна
ьт ПГ=,^-т-2,/2ПГ=, (1 +*>-*^Г1</<*-»>.
У1>...>Ут>0,
где Ьт = *»/» ПН, Г ((л+й— i - 1)/2) ПГ=1 (г (« ~
- 0/2) Г((т + 1 - 0/2)Г((й- 0/2)}"1.
Матрица вт собственных векторов матрицы Ст не зависит
от собственных чисел матрицы Ст и распределена по
условной мере Хаара.
Доказательство. Очевидно, что характеристические
корни уравнения det (Лm — zBm) = 0 не зависят от матрицы
Rm, поэтому можно считать что Rm~ I. При фиксирован-
50

ной матрице Вт матрицу Ст можно рассматривать как
матрицу Уишарта с плотностью со(Хш, В™1, п). Поэтому
плотность матрицы Ст (см. § 1.3)
/?(Xw)=det Х<Гт~2)/2М det £<Г 1)/2М exp(-Sp BmXm/2) cm, „_! X
X {2п)^п-М2,
где Хт — положительно определенная матрица.
Поскольку матрица Вт имеет плотность co(Xm, /, k)y
получаем
р (Хт) = det XTm-m $ det K2-m-2+«^v2 exp {_SpYm x
X (/ + Хт)/2) Yl^jdVifim. n-icm, M (2я)-^-2)-/2, (1.6.8)
где интегрирование ведется по всем положительно
определенным матрицам Ym.
Из формулы (1.6.8), пользуясь тем, что J oo(Ym, /?т, л) X
X dYm = 1, получаем* что плотность матрицы Ст равна
с*, «-i *«. ^iC^+n^det X^m-2)/2det(/ +Xm)-w*-»/2.
Следствие 1.6.3 доказано.
Следствие 1.64. Если случайная матрица Ат имеет
плотность Уишарта (о{Хт, Rmt n)> то плотность ее
собственных значений Хх > ... > im равна
Ут П«^^^,>о«Р {-$Р%п1итУти„/2} х
где Ут = Лт/22^(^1)т/2 drf #^>/2 f]^ {Г((Ш + 1 —
— 0/2(Г((л— 0/2)}"1; У1>...>У«>0;
£/т — ортогональная вещественная матрица; G — группа
вещественных матриц порядка т\ \i — нормированная мера
Хаара на ней.
Заметим, что в силу инвариантности меры Хаара \х в
интеграле (1.6.9) матрицу Rm можно заменить
диагональной матрицей ее собственных чисел.
Вычисление интеграла (1.6.9) связано с большими
аналитическими трудностями.
Найдем некоторые формулы для распределений
собственных чисел и векторов матричных случайных процессов, а
также дифференциальные уравнения, которым они
удовлетворяют. Полученные результаты будут использованы при
вычислении интеграла (1.6.9).
51

Пусть An(t) — квадратная случайная симметричная
матрица я-го порядка, элементами которой являются веществен-
—>
ные случайные процессы £*/(/); *>0; h/(/); 0* (/); *= 1, n—
соответственно собственные числа и собственные векторы
матрицы An(t). Для каждого значения / упорядочим
собственные числа %г (t) > ... > %п (/), а собственные векторы 0t(/)
выберем такихми, чтобы у них первая ненулевая компонента
была больше нуля. Предположим, что у fe-мерных
конечномерных распределений случайного процесса Ап (t)
существуют плотности p(tlf ..., tkt Xv ..., Xk), где tlt ..., tk —
некоторые значения времени; Xt\ i= 1, k — симметричные
вещественные матрицы л-го порядка. Используя доказательство
теоремы 1.6.1, получаем, что плотность конечномерных k-
мерных распределений вектора [кг (t), ..., h„(£)} равна
«'«i^o,^^ '»• HiYiH'i>l=^П!=1 П«-&*-
где 7S = (8цус8), Hs = (ftif) — ортогональные вещественные
матрицы n-го порядка.
Пусть Л(^) — диагональная матрица случайных
собственных чисел матрицы Вп (0*> 9 (0 — матрица случайных
собственных векторов матрицы ВЛ(/). Предположим, что Bn(f) —
случайный процесс с аддитивными независимыми
приращениями, (Г, С) — измеримое множество п х п комплексных
квадратных матриц.
Рассмотрев равенство
Р [Л (0 6 Е19 0 (0 б Я2/Л (s) = У1§ Л (и) = У2, в (в) = Х19
е(и) = Хш} = Р{А(ВЮ-В(8) + В{8))£Ег, Q(B(t)-B(s) +
+ В (s)) 6 £2/Л (s) = У1§ Л (а) = У2, в (s) = Xlf в (и) = Х2} -
= Р {Л (В (0 - 5 (s) + ВДХГ1) 6 *i, © (В (t) — B{s) +
+ Х^ХТ1) б EJA (s) = ylf в (8) = Х^
где Е19 Е2£С\ t>s>u, приходим к выводу, что процесо
{Л (/)» ©(0 будет марковским.
Если предположить существование плотности
распределения случайной матрицы, ее собственные числа с
вероятностью 1 будут различны. Поэтому потребуются формулы
возмущений для не кратных собственных чисел матриц.
52

Пусть Л и В —эрмитовы матрицы n-го порядка; Я,1>...
>%п — собственные числа матрицы Л; q^, i = 1, п —
соответствующие этим собственным числам собственные векторы.
Обозначим %j (А + еВ), ф/ (А + еВ) — собственные числа и
собственные векторы матрицы А-\-&В, где е — некоторый
произвольный вещественный параметр; причем собственные
числа Xj (е) = Xj (А + еВ) удовлетворяют соотношению
lim %j(A +еВ) = %i\ Et = "<pi<p7; E{ (e) = ^ (Л + еВ) qtf (Л + eB).
Матрицы А и Л + еВ представимы в виде
А = 2j"=i Я/Я;,
A + eB=£?=iMe)Bt(e).
Характеристическое уравнение для матрицы А +гВ
имеет коэффициенты, аналитические по е. Поэтому собственные
числа такой матрицы являются аналитическими функциями
по е, имеющими только алгебраические особенности. Тогда
справедливы разложения (при достаточно малых е)
Я/ (А + еВ) = Ц^о *yV, М°} = V.
Я,- (Л + еВ) = Sm=o Я}т)е™, Ф$0) = Ф/.
Докажем теорему.
Теорема 1.6.3. Если иф^, *>Ф]\ то
*Г = S-x+vH^m-a; .*>o Sp (S/5)* Я/В (ЗД* Я/В (S/fl)>. S/ +
+ Sp Я/В (S/ВУ»-1, т > 2, Я/1} = SpB/B; (1.6.10)
ЯГ = Ss1+S2=m^l; s,>o(S/B)^B/B(S/B)^S/ + (S/B)^1B/,
где Sj = 2jfe¥=/. fe=i7"rc В* (А# —Я/)"1.
Доказательство. Обозначим
Я2 (в) = (/г — Л — еВ)"1, #г = (/г — А )-Ч
Для достаточно малых е
#* (е) = EZ-o (sRzB)kRz = S^o е* (ЯДО?..
Представим матрицы RZi Rz(&) в виде
Rz = SLi В, (z - Я,)"1; #2 (е) = SLi Я, (6) (г - %k (е)Г*.
Пусть Г — положительно ориентированная окружность
достаточно малого радиуса с центром в точке Х/4 содержащая
53

точку Я/ (А +еВ) и не содержащая никаких других точек %kt
%k(A + гВ), к.ф}. Такую область Г можно всегда выбрать
путем надлежащего выбора е.
Воспользуемся интегральной формулой Коши
f^(a)(nirl^(2nir1^f(z)(z — a)-n-ldzf л=0, 1, 2,...,
г
f(z)— аналитическая функция, а а лежит внутри
окружности Г; /(0)(z) = /(z)> f(n)(*)» л>1— л-я производная по z>
интегрирование ведется по окружности против часовой
стрелки.
Используя эту формулу, имеем
(2ШУ1 Jr Rz (г) dz =. Ei (е); (2m)-1 {r Rzdz = £/;
(2зг0^ $Г {RzB)mRzdz = (2Я0"41 Jr [(S/fl + £/5 (2 —
- Яу)-1) (S/fl + Я/В (2 - Я/Н ... (SiВ + E,B (z - X;)-1] x
X [5/ + E, (z — %i)-*]dz = Е{Г\
Аналогично получаем
Я/(А + гВ) — %i(A) = (2Ш)*"1 Sp Jr Rz (e) (2 — Я/) dz = .
Теорема L6.3 доказана.
В частности, из теоремы 1.6.3 получаем формулы
^1)=5р£/В==(ВФ/, ф/); (1.6.11)
^^SpE/BS/B^S^/KBcp,, Ф«)1"(*/ —М"1. (1.6.12)
Из теоремы 1.6.3 получаем, что |А,/Ш)1 < с\\В \\тЬ-т+1
при условии, что |Я/ — Я/1 > б, /=И* /- Используя эту оценку
и формулы возмущений (1.6.10) для собственных чисел, имеем
\%,(А+гВ) — IiknrJoXf)^\<c&k\\B\\k[l—e\\B\\8-1r18-k+l;
k= l, 2,..., (1.6.13)
где с>0—некоторая постоянная и \%i—Я/|>б>0, 1Ф].
Предположим, что симметричная матрица В случайная и
у нее существует плотность распределения. Упорядочим по
возрастанию только собственные числа матрицы Л, а
собственным числам %k (е) матрицы А + гВ присвоим номера
собственных чисел матрицы Л, через которые выражаются
собственные числа матрицы по формулам (1.6.11) и (1.6.12).
54

Нам понадобится также формула
%k (А + гВ) — Xk(A)*=$l (Вщ (х), щ (х)) dx, (1.6.14)
где щ (х) — собственные векторы матрицы А + хВ. Вывод
этой формулы следует из равенства
(d/de) (А+гВ— %k (е) /) щ (е) = (f f
справедливого почти для всех значений е. Умножив это
равенство на ср&(е), получаем формулу (1.6.14).
Кратко схему использования случайных возмущений
матриц для нахождения распределения собственных чисел и
собственных векторов эмпирической ковариационной матрицы R
можно изложить следующим образом- вместо матрицы R
рассматриваем некоторый случайный матричный процесс S(t)c
независимыми аддитивными приращениями (предполагаем,
что матрица E(f) такова, что В(1) = ^). С помощью
формул возмущений (1.6.10) находим дифференциальное уравнение,
которому удовлетворяют собственные числа и собственные
векторы матрицы Е(£), измеримые относительно исходного
вероятностного пространства, на котором задан процесс S (t). Тогда
распределение собственных чисел матрицы равно решению этого
дифференциального уравнения, взятого в момент времени t = 1.
Пусть на вероятностном пространстве (Q, F, Р) задан
симметричный матричный процесс S (t), 0 < t < T n-ro
порядка с независимыми аддитивными приращениями 2(4+0—
— Е (4), 0 = t0 < /j < ... < ts = Т. Предположим, что для
любого разбиения сегмента [0, Т] у случайных матриц
S (4+0 — S (4) существуют плотности распределения
р (X, 4+ь 4) = 2-/2 (*iA4)^("+1)/4exp {- (2A^SpX«};
А4 = 4+i — 4.
В качестве собственных чисел матрицы S(t) выберем
собственные числа hit), i= 1, я, определенные по формулам
(1.6.10).
Вычислим совместную плотность распределения
собственных чисел %t(f) матрицы E(t) при условии, что
фиксированы матрицы H(s), £>s>0. Из (1.6.1) получаем, что
плотность упорядоченных по возрастанию собственных чисел %с (t)
Р {Y/@n) = с2~«» (я (/ — s))-»ch-i>/2 $^ 0 exp {- (2 (/ —
- s))~*Sp (% - HYH'f) П*</ (yt - у,) »{dH\ (l .6.15)
55

где 6n = (8{А) — диагональная матрица собственных чисел
матрицы Е (s); Y = (бцуд — диагональная матрица; [х —
вероятностная мера Хаара на группе G ортогональных
вещественных матриц Я; уг>...>уп; с= f]?=i {Г[(п — i +
+ 1)/2]-12"я"("+1)/4.
Доказательство получаем из теоремы 1.6.1, g учетом того,
что плотность матрицы S (t) при фиксированной матрице S (s)
равна
2-1/2 (я (/ _ s))-n(«+i)/2 ехр |_ (2 (/ _ s))-i sp (X + S (s))2}.
Далее нужно воспользоваться теоремой 1.6.1 и инвариант*
ностью меры \i.
Из формулы (1.6.15) следует, что процесс
Л (0 = (8ah (0)/!/=i — марковский.
Пусть Wn (t)-~ матричный симметричный процесс я-го
порядка, элементами которого являются случайные процессы вида
6;№ + ^/(0(1 +6„)/2,
где wti(f) — независимые процессы броуновского движения;
^i > Ш* > — > Рп — произвольные неслучайные вещественные
числа. У марковского процесса {^(/), I = 1, /г),
определенного по формулам возмущений, существует плотность
вероятности перехода
P(s, х, t, у), где х = (х19 ..., хп)\ у = (у19..., уп).
Теорема ISA. Функция p(s, x, t, у) в области
s£(t, T), х £Rn, у £Мп удовлетворяет уравнению
(3/30 Р = -27-1 (д/дуд [щ (у) р/2] + SZ-i (d2pfdx%/2,
aiW=sljk+tQ/i--ykY'\ Mn = {yiyt^yt, 1ф}}. (1.6.16)
Решение этого уравнения существует и единственно для
всех начальных функций р(s, x, t, у) при любом
фиксированном s из класса функций, всюду плотного в метрике
равномерной сходимости в пространстве всех непрерывных
и дифференцируемых функций p(s9 х, t, у) один раз по s
и дважды по у» i = 1, п.
56

Доказательство. Обозначим М% = {х :[Xi — Х\\>е,
1Ф\\> е>0. Пусть g(x) — произвольная дважды
непрерывная дифференцируемая функция, обращающаяся в ноль вне
некоторого конечного измеримого множества в Rn. Для х £
£М%, е>0 получаем
Шплю/Г1 [§g(y)p(s^x, s + h, 7)<ty —g(*)\ =
= S2.1 [(«<(*) (d/dxt) + д*/дх2£) g (J)]/2.
Используя это уравнение и уравнение Колмогорова —Чепме-
на, имеем
(d/dt^piSt'x, /, /)g-(^)^ = limMOft*"1€f[p(s, лГ, t + h,y) —
— P (s, ~Xj, "y)\g(y) dy*= Ншл; о £ p (s, лГ, /, ^) ft"1 [— g (*/) +
+ Jptf, 7> t + h^)g(z)dz]dy =
= J-^ 8l Pfe ^ '. 7)[l2-ili(dldyt)*(y) +
У t ЛУ
+ d2/dy2c)g^)/2]dy +
. + Ншл*о Ц-. 8 p (s,"x, *, #*) ft*"1 Г f p (/, *T, * + ft,
"z) г U) rf?—г («Г)] ^ + (9/ao f_ p (s, лГ, *, 7) г (7) ^
Интегрируя это выражение по частям (g (у) = 0 вне
некоторого конечного множества) и используя то, что при гг -* О
(5/а/) J р (s, ~£, /, 7) g(у) d£*->.0;
L* л 8l Р (s, 7, *, 7) E?-i [((3/аЛ) а, (?) +
+ av^)fir(T)/2]dir^of
при л:бМ® получаем
J (d/dt)p(s, ~x, U~y)g(y)dy=-
= - J 2?-i [((a/a#) щ (7) + д*/ду?) р (s, 7, t, t)W g (7) &
Отсюда, в силу произвольности функции g(y) и. е, получаем
утверждение теоремы 1.6.4.
57

Записывая уравнение (1.6.16) для р(0, х, t, у) и интег-
рируя его по х , для плотности р (/, у) вектора (^ (0, ...*
^я(О) получаем уравнение
(а/«) р (*, й = SZ-i [- (э/ада) * (У) +
+ №!)]РЙ ?)/2 (1.6.17)
с начальным условием
/?(0, Л = П?-1 в(у/ —1*0.
где б — дельта-функция.
Примечательная особенность теорем этого параграфа в
том, что при нахождении плотности распределения
собственных чисел матрицы Wn (f) не использовались распределения
собственных векторов матрицы Wn (f). Это произошло потому,
что выражение
М [{(Wn (t) - Wn (s)) 4 щ)2Ш,
где <р*— собственный вектор матрицы №w(s), будет
независимым ОТ q)fc.
- Вернемся к вычислению интеграла (1.6.9). Находим
значение интеграла
/ - JG exp {—Sp [AnUnAnUn]/2} [i {dUn)>
где Ап и Л,г — диагональные матрицы с неотрицательными
элементами; G — множество я-мерных ортогональных матриц,
первые компоненты столбцов которых неотрицательны.
Легко видеть, что
/ = j exp {-Sp [An + UnAnU'n]2/*} Ц (Wn) exp {SpA2n/4 +
+ SpA*/4}.
Для любой непрерывной и ограниченной функции f{An)
рассмотрим интеграл
!< = *п k>...>^ U ехР ("SP iAn + UnAnUn]*/*} X
х ГЬ</ (** - М / (л«) dhv W> (Ь6-18>
где постоянная с\п определена по формуле (1.6.1).
58

Очевидно, что
L = J exp {-Sp [An + Xn]*/4} f (л„ (Х)) ГЪ>/<**/, (1.6.19)
где X„ — симметричная матрица я-го порядка; Л„(ХП)
—диагональная матрица собственных ^исел матрицы Хп.
Из формулы (1.6.19) получаем
L = 2"WWmf [Ап (Wn (f) - Ап))м;
Wn (f) = (wu (0(1 + 6,/)2-va). (1.6.20)
Используя вывод уравнения (1.6.17), получаем, что плотность
распределения /?(/, у) собственных чисел процесса —Ап +
+ НРП (0 удовлетворяет уравнению
(d/df) р (/, 7) = S?=i I- (3/ау,)«(7) + б2/^?] р(<, ~у)(L6.21)
с начальным условием
р(0, 7) — П.2-1 «(у* + в*)-
Следовательно, используя (1.6.20), имеем
L = J / (Г) р (1, 7) dyWn+Mn»9*.
Но тогда^ на основании формулы (1.6.18), так как функцию
/ можно 'выбрать произвольной, получаем
da JG exp {-Sp [Ая + UnYnUn]y4} П<! (У* ~У\) I* (Л/я) ==
= р(1, ^г^-и*/2^2.
Отсюда, используя интеграл /, окончательно находим
/ = exp{SpA*/4 + Sp Л*/4}р (1, t) ГЪ</(^ -
— Я/)-1^1^^1)/2^'/2. (1.6.22)
Заметим, что для решения уравнения (1.6.21) можно
использовать метод разделения переменных. Будем искать решение
уравнения (1.6.21) в виде произведения двух функций:
?&Й = /(01>(Л Тогда
*(Й(э/ао/(0 = /(ОЕ7-1[-(а/аЛ)^(Й +
+ д2/ду2{]4>(7)-
Отсюда
[ДОГ1 (d/df)f(t) = Ф"1^) S?=i [- (д/дуда{ (у) +
+ 52/^2]г|;(^).
59

Из этого уравнения получаем два дифференциальных
уравнения!
E?-i [- (5/%) а/ (Г) + дудуЬ ф (Й = W (7),
где v — произвольная постоянная.
Из этой системы уравнений о учетом начальных и
граничных условий находим q(t, у).
ГЛАВА 2
ТЕОРИЯ ОЦЕНИВАНИЯ РЕШЕНИЙ
ЛИНЕЙНЫХ СИСТЕМ УРАВНЕНИЙ
Пусть задана некоторая система S, у которой х—
входные и у — выходные ее переменные. В качестве первой
математической модели Мг системы S естественно взять
систему уравнений у = Ах + г, где А — некоторый оператор,
действующий в пространетве изменений переменных х со
значениями в пространстве изменения переменных у\ е—
ошибка модели Мг. Если y = f(x), где / — аналитическая
неизвестная функция, то в качестве А можно взять оператор
Ах = £f=i CiXt\ Ах = JJJLi cm {xt)\
Ax=Yim °ixi + £ £/-i cux№ + — +
+ 2j?i. .... ffr-l Ch ... ikXh '•• ХШ
где Cff ft/,... — неизвестные коэффициенты; % — известные
функции.
Отметим, что в последнем случае Ах = (о, г\ где о и
z — некоторые векторы. Таким образом, снова приходим к
линейной по неизвестным параметрам модели Ах = (с, z (x)).
В этой главе изложены методы нахождения
коэффициентов ci по наблюдениям у и входным переменным х.
§ 2.1. Теорема об экстремуме неотрицательной
ограниченной функции
В этом параграфе доказано утверждение, которое часто
используется при нахождении оценок решений и параметров
некоторых уравнений.
60

Теорема 2.1.1. Пусть в некоторой измеримой
ограниченной области G пространства Rm задана измеримая не-
-> -»■
отрицательная и ограниченная функция f (х), sup-> f(x) =
— f (а )t существует функция ф £ L2 (j 0 ф2 (л:) d# = 1) такая у
$->->->'->■ ->
с?/(л:)ф2(*)ал; = /4fl) и в точках а, являющихся ре-
шениями этого уравнения, функция f(x) непрерывна. Тогда
sup^/OO-ЧЛ); taU60/£).= |i(4),
где Я и ^ — соответственно точная верхняя грань и точ~
ная нижняя грань спектра матрицы
А = {ац)й=1; я*/ = j G f (х)и< (*)"/ (*)d^;
->
#*(*) — любая полная ортонормированная система функций^,
заданная на множестве G.
Доказательство. Рассмотрим выражение
Р ' =" 8ирФ : W^) *? < 1 Ja/Й Ф2 (*) <йГ,
где ф — некоторые измеримые функции.
Докажем, что р = sup->. / (х). Пусть а — любая точка,.
в которой достигается sup->- f(x).
Рассмотрим функции
10, *£G;
6в (>Г — о) == "[ехр_(—в-1 И ЗГ — о" II») в—1/2я—^2Ji/2f е>0.
Для таких функций
JG/WSe(^-^)^-J^7(^)exp(-8-MU-^ll2)8^2X:
X ягтп<1х.
В этом интеграле сделаем замену переменных: х = а +■'
+ &2У i У (zRm* Тогда
61

где л — случайный m-мерный вектор, распределенный по
нормальному закону N(0, //2). Так как а —точка
непрерывности функции /(л:), то из этой формулы получаем, что
$ Qf (х) 8* (х -1) dt = / (а) + Э 8,
где 0(e)->0 при е->♦(). Следовательно, точная верхняя грань
Gf(x)y2{x)dx на множестве функций 68(л: —
— а ) равна р.
Выберем в множестве G некоторую систему ортонорми-
рованных функций щ(х), 1=1, 2,-..., то есть функций,
удовлетворяющих условию
)Qut(x)ui(x)dx = 6*/.
Функции 9(a:)GL2(G) можно разложить по полной
системе ортонормированных функций щ(х) [15]з
ф(*) = Yi?~\CiUi{x)%
0Ф(*)и4(л;)^л;.
Тогда
J G f (*) Ф2 (* ) d* = SH/-1 ^WW-
Таким образом,
P = SUPC . V со 9 ^ . £ "/-1 ^/W/. (2.1.1)
Упорядочим значения е& по возрастанию их абсолютных
величин:
\сг\ <\с2\ < ... <\ck\ < ...
Так как sup*/ | ац \ < с < оо и 2Г=1<£«1, то выражение
<2.1.1) можно преобразовать к виду
p = supc .v* j .SU-i*^/ + e(A0, (2.1.2)
где ®(N)-*Q при JV->«cx>.
€2

Формулу (2.1.2) доказываем, рассматривая выражение
YiF=i4iCi, где r\i — случайные величины, распределенные па
совместному нормальному закону; Мцс = 0; Мг],-г]/ = ац. Тогда
& = I ЕГ/-1 aifiic/ — Su-i сиры | = | M [(23w W1*)2 —
- (S w Wif] I < M | £ "=* ftru || ЕГ=1 Oflu +
Из этого неравенства с помощью неравенства Шварца
получаем
б <: 21'2 [TiU=n anew]1'2 [SH/=i а*/ЭД +
+ Si!/=i Of^/]1/2 < 2 [ Jfl f (?) [£,:.**«, w]2 л?] ' V2 <з
<-2p[i:r^cf]i/2.
Из этого неравенства вытекает (2.1.2).
Но тогда, используя формулу Рэлея, имеем
Р = Яш + в(Л0,
где Хин — максимальное собственное число матрицы Л# =
= (ац)и=*и Аналогичное выражение получаем для inf-^ f(x}.
Следствие 2.1.1. При выполнении условий теоремы
2.1.1
Следствие 2.1.2. Пусть множество решений уравнения
sup-> /(а:) = f(а) состоит из одной точки а. Тогда при
выполнении условий теоремы 2.1.1
а = limw-oo 2j*=i0£ \gx иь (x)dx ,
где (clt..., cn) — собственный вектор, соответствующий соб»
ственному числу Un.
Доказательство. Разложим функцию б8(а; — а) в ряд
б8 (х — а) = ££=i ikeUk (*). (2.1.3>
Для таких функций
J0/$e2(?— ^)d* =/Й + ве; 08->о (е-*0),
а из следствия 2.1.1 вытекает
/(а) = Ншл^оДш.
63

Следовательно, если в качестве вектора (Ck, ft= 1, N)
выбрать собственный вектор с матрицы Л#, соответствующей
собственному числу к\м9 то из этих двух равенств получим
sup-> -> -> (Л^с , с) = (Л # с, £) = (Л#с£, с8)+ 98 + YiV.
с : ( с, с )<1
11*11=1.
где с£ = fee, ft = lf Af), lim8 * о 68 = 0, Нт^-тл = 0. Из этого
равенства имеем
(ANc9 c) — (ANce, ce)>(%w — hN)[l — (o, се)].
Поэтому, используя (2.1.3), находим
Нтл^оЛипеюИсе — с || = 0;
а = Нт81о JGх б8 (х —a)dx = lim^oo Yik=*\Ck X
X J0*H*(*)dx.
Следствие 2.1.2 доказано.
§ 2.2. Основное спектральное уравнение
Многие задачи теории оценивания решений некоторых
систем уравнений сводятся к следующей. Пусть в U x G*
U£Rm, G^R1 задана измеримая неотрицательная ограничен-
—>■ -*-
ная функция f(x, у), х £U, y£G, причем по переменной у
эта функция непрерывно дифференцируема в U. Необходимо
найти решения а уравнения
inf^i (Ап (*/)) = %х {Ап (а)), Ап (у) =
= {L/(*> y)^i(x)ut{x)dx}9
u -+ J -> (2.2Л)
inf^t/sup-*-^/^, y) = sup-+^Gf(xta),
где U и G — некоторые измеримые множества.
Теорема 2.2.1. Пусть максимальные собственные числа
матрицы
Ап (У) = (аи{у))Ъ-и (ki (У) = $G/(х, у) Щ (х) щ(х) d7,
где ut(x) — произвольная полная ортонормированная
система функций в G, однократны. Обозначим L = {а} — мно-
<64

жество решений уравнения (2.2.1). Тогда решения а
являются решениями уравнения
{[(д/ду) Ап (у)] ег (Ап (у)), ег (Ап (у))) = 0, у 6 U, (2.2.2)
еде et{An(y)) — собственный вектор, соответствующий
максимальному собственному числу %t (Ап(у)), ег (А (у))=Нтдг^вв х
Xet{AN(y)).
Доказательство. Из теоремы 2.1.1 получаем* что
inf у £ и sup-* € g f (x , у) = lim^*, infy £ и К (A N (у)). (2.2.3)
Рассмотрим уравнение
тшу £ иК (AN (у)) = A* (AN(aN)). (2.2.4)
Докажем, что решения аы уравнения (2.2.4)
удовлетворяют уравнению
(d/df) Kt {A N (aN + tQ))t~o = 0, (2.2.5)
где t, в£&.
Очевидно, что
(d/dt)X1(AN(aN + m)t^^
- limAao(AO^ [К {AN (ая + Щ) - A* {AN (aN))]9 (2.2.6)
Так как собственные числа Xt [A (a))9 a£L$ однократны и для
достаточно больших N
lfaW.*i Идг ВД - *i {А (*>); linWo. аы - а 6 L, (2.2.7)
то собственные числа %t [AN (aN)) при достаточно больших
N ?5> N0 также будут однократны. Поэтому, применяя к
выражению (2.2.6) формулы возмущений (1.6.10)* а также
неравенство (1.6.13), находим при N ?> N0
1 (d/dt) ^ (AN (aN + Щм = \imAH0(M)-i [({AN (aN +
+ MB) - AN (aN)) Tt {AN (aN))9 7г (AN (aN))) + у (ДО],
где
| v (АО | < ев"* || BN |P [ 1 - б-i H BN ||p;
BN - AN (aN + ДЮ) - A N (aNy9 \\ BN ||» - X, (fl^);
б - inft>21 Л* {AN (aN)) - Ь. (Л^ (а„) |.
3 7-305 65

Из этого равенства, переходя к пределу при Д/-*0, имеем
(d/dt)l1{AN(aN + tQ))i^0^
= 9 [(d/dy) AN {y)y^N £(AN (aN)), e7{(AN (aN))]. (2.2.8)
Итак, производная функции hi [Аи (у)) существует и она
непрерывна на множестве U. Следовательно, так как aN—
решение уравнения (2.2.4), из этого равенства, учитывая, что
0 — произвольное число, получаем
[(d/dy)An(y)y^aN^[AN(aN))i 4{AN(aN))] = 0. (2.2.9)
Используя формулы возмущений (1.6.10) для собственных
чисел и векторов, а также (2.2.7), (2.2.8) и (2.2.9), приходим
к (2.2.2). Теорема 2.2.1 доказана.
Очевидно, что теорему 2.2.1 можно сформулировать также
для функций f(x, у), у которых переменная у принимает
значения из некоторого множества пространства R\ s > 1.
Если собственное число Хг не является однократным, то
в качестве решения уравнения (2.2.1) можно выбрать
некоторое регуляризованное решение, которое будет удовлетворять
некоторому спектральному уравнению.
Рассмотрим уравнение
min„gc ЛМХ [Ап (у) + вЕJ « Шг {Ап (аг) + еЕ„), (2.2.10)
где Еп — симметричная случайная матрица я-го порядка,
элементы которой 1ф i > /, t, / = 1, п независимы и
распределены по нормальному закону N (0, (1 + 6*/)/2).
Теорема 2.2.2. Множество решений уравнения (2.2.10)
состоит из решений уравнения
М {[(d/dy) Ап (у)] ъ* Ъ) = 0, У 6 U, (2.2.11)
где Фх — собственный вектор, соответствующий
собственному числу Хх (А (у) + eS).
Доказательство. Покажем, что решения уравнения
(2.2.10) удовлетворяют условиям
(d/dt) gn {An (yB + Я))^0 - 0; gn (Л (у)) = /VUX (Ay + eE„),
(2.2.12)
где U е^/?1.
€6

Очевидно, что
| (d/dt) gn (А (уг + Ю))М = НШд, , 0 (ДО"1 [ёп U {Уг + №)) -
-ёп(Л(Уе))]^11тАП0[М{К^ААУе+Ш) + г^п)-
- К {Ап (уг) + еЕ)} (х(В) + %(В))] (ДО"*;
В = {со i \Х± {Ап (уе) + гЯп) - К {Ап (уе) + гЕп) \ > б, I > 2}.
(2.2.13)
У матрицы Ап (Уе) + еЕл существует плотность распределения
собственных чисел Хг > • • • > %nt равная (см. формулу (1.6.15))
се $ ехр 1—(282)-1 Sp (An (Уе) - HnYnHnf \ р (dff я) П.<7 {у. — у,)9
где //„— ортогональная матрица я-го порядка; \i — мера
Хаара на множестве ортогональных матриц Нп = (ft;/); hu > 0;
t= 1, п\ сг — нормирующая постоянная. Используя эту
плотность, получаем, что
Мх(В)<^62,
где б > 0; сг — некоторая постоянная.
Применяя это неравенство, а также формулы возмущений
(1.6.10) и неравенство (1.6.13) к выражению (2.2.13), находим
(d/dt) gn (Ап (уе) + Щм = НШд14 0 (ДО"1 {М([ЛП (уе + MB) -
— An (y*)Ui [An (Уе) + еВя), ^ (Л„ (у8) + еВя)) + у (б, ДО},
где
| у (б, ДО | < сг8* + c2S-i || Вп ||2 [ 1 - б"11| Вп И]-*;
Вп = Л„(уе + Д/в) —Л„(уе).
Выбирая 6 таким, чтобы Нтд/.+ о6а(Д0"1 + д^-1 = 0,
получаем
Пт^^ДО^Ыб, ДО |=0.
Но тогда
(d/dt) gn {An (Уг + td))M = 9 {{(d/dt) An (Уг)) JjJ, £).
Итак, производная g„ существует. Но так как #8 —точка
инфимума, то из этого равенства, учитывая, что 9 —
произвольное число, получаем
«([(#)^в)]%,Ь = 0.
3* 67

Теорема 2.2.2 доказана. Из теоремы 2.2.2 следует, что
существует предел \imN^oo\ime4,ociQ = а, где аг — любое
решение уравнения (2.2.11) и а является решением уравнения
(2.2.2). Однако обратное утверждение в общем случае не
имеет места.
§ 2.3. Метод наименьших квадратов >■
Предположим, что математическая модель системы
записана в виде
У = (С, 7) + 8,
где х—т-мерный вектор входных параметров; с—
неизвестный m-мерный вектор; у— выходные переменные системы S;
е — ошибка модели.
Пусть над системой S проведено п наблюдений-^, ... , уп
при значениях вектора х, равных х19 ... , *„. Тогда для
неизвестного вектора с получим систему уравнений
"y^xT+T, (2.3.1)
где X = (х^У^ЬЛ*; е' = (elf .. • , ert); et — ошибка модели в
i-м наблюдении.
В системе уравнений (2.3.1) неизвестны векторы я и е.
Эта система уравнений относительно неизвестных векторов
сиг является недоопределеннои и имеет бесчисленное множество
решений. При вычислении вектора с желательно знать
значение вектора е. Однако из-за неопределенности системы (2.3.1)
без каких-нибудь дополнительных условий очень трудно найти
истинное значение вектора е.
Систему (2.3.1) можно еще упростить?
7= Х79 (2.3.2)
->■ —>■
где вектор о заменен новым вектором с, который в общем
случае отличен от о. Именно по такому пути и велись пред-
варительные исследования системы (2.3 Л). Решение с системы
(2.3.2) в общем случае может не существовать. Однако
требуется не решение системы (2.3.2), а то значение вектора с,
68

которое бы минимизировало некоторый критерий качества
оценки 1(у — Хе). Обычно о целью упрощения вычислений
в качестве критерия качества / (и) берут выражение / (и) =
= Й ;Г) = |Й2.
Если существует обратная матрица (XfX)"la то минимум
выражения \\у*—Хс\\* достигается при
7±{Х,Х)~*Х'~у. (2.3.3)
При этом ошибка оценивания вектора о равна
7— 7= {Х'Ху1 Х'Т. (2.3.4)
Действительно, так как функция \\у — X (с + Ю) ||2, где 0 £ Rn\
lizR1 принимает минимальное значение при £ = 0, то
(d/df) $-Х$+№)>!,-Х$+Щ{=0 = 0.
Тогда (XQ, у — Х7) = 0, отсюда (6, Х{7— Х'хТ) = 0; значит
Х'у = Х'Хе. Следовательно,
*"ч
7={х!Х)^х'~у.
Если обратная матрица (Х'-Х)"1 не существует, то у функции
Ф (с)\ = || у — Хг ||2 могут существовать локальные минимумы
при значениях вектора с, равных ev c2$ .... Снова, с целью
упрощения вычислений среди всех векторов е0 выбирают
вектор е7 евклидова норма которого наименьшая. Найти этот
вектор можно следующим образом.* вместо функции ф(с)
рассмотрим функцию ф (е, а) = || у — Хс ||2 + а || с ||2, а > 0
При а > 0 минимум функции ф (е, а) единствен и вектор са
при котором функция ф(с, а) достигает минимального
значения, определяется по формуле
Z = (/ос + Х'Х)"1 Х'*л (2.3.5)
Легко доказать, что
lima*o0a = 0.
69

§ 2.4. Уравнение Риккати для матрицы регуляризатора
в методе наименьших квадратов
Не оговаривая размерности матриц и векторов, будем
считать их размерности такими, что все рассматриваемые
операции матричного анализа имеют смысл.
В предыдущем параграфе доказано, что оценка я,
найденная с помощью метода наименьших квадратов для вектора
с системы уравнений у = Хс + е (где у — вектор наблюдений,
е — вектор помех) при условии, что матрица Х'Х
невырождена, имеет вид
7=(X'xyix%
Однако такая оценка при решении некоторых задач имеет ряд
недостатков. Она может быть несмещенной, но ошибка
оценивания может быть большой. В связи с этим представляется
целесообразным поиск смещенных оценок, которые бы имели
наименьшую ошибку в среднеквадратическом смысле. В
качестве регуляризованной оценки вектора с возьмем оценку с,
являющуюся точкой минимума выражения || у — Хс ||2 +
—»- —>-
+ {Ас, с), где Л — положительно определенная матрица.
Оценка
7= (А + Х'Х)~1Х'£
Представляет интерес задача нахождения такой матрицы Л,
при которой достигался бы минимум выражения М||с— с||.
Пусть Me = 0; Me е' = R\ X — заданная матрица.
Для оценки справедливо
М ||t-T||2 = М || (А + Х'ХГ1 Х'Х (7+1) - 7\\* =
= (([Л + Х'Х]'1 Х'Х - /)' ([А + Х'ХГ1 Х'Х - /) С ^ +
+ Sp (А + Х'Х)"1 X'RX (А + Х'ХГ1 =
= (Л [А + Х'ХГ2 а7, 7) + Sp (А + Х'ХГ' X'RX.
В этой формуле вектор 7 неизвестен, что в общем случае
затрудняет нахождение матриц Л, которые бы
минимизировали ошибку М||Т— 7||2. Предположим, что вектор с при-
70

надлежит некоторой измеримой ограниченной области S
евклидова пространства и
sup-* {А [А + Х'ХГ2 Ac, dj<< у Sp A2 [А + Х'Х]"2,
СС&
где т > 0 — некоторая постоянная.
Иногда вместо этого выражения рассматривают следующее!
рг = J (Л [А + Х'Х]"2 А7, cfn£ dot.
s
Очевидно, что если S = {cs||c||< у}; то p = bSpAz[A А-
+ Х'Х]~*; Ъ > 0. Тогда
тп1л€£maxc6sМII*-"*Иа < т1плаSP f^2 + Х'ЯХ] X
X [А + Х'ХГ",
где L — множество матриц А > 0 определенной размерности.
Нахождение минимума матриц стандартно: искомая
матрица А является решением уравнения
(д/df) Sp [у (А + t®)2 + X'RX] [A + t® + X'X];l0 = 0,
где в — произвольная вещественная матрица той же
размерности, что и матрица Л; t^R1.
Из этого уравнения, используя производные
(d/dt) (Л + t@)Lo = A® + SA;
(d/dt) (Л + № + Х'Х)7±о = — (Л + X'X)"1 в (Л + X'X)"2 —
— (Л + Х'Х)-* 0 (Л + Х'Х)-1,
получаем
(д/<Э0 Sp [{у (Л + /в)» + X'RX) (A + t@ + X'X)-*]t=0 -
= Sp [уЛв + вЛ] (Л + Х'Х)"2 — {уА2 + X'RX} [(Л +
+ Х'Х)"1 в (Л + Х'Х)"2] — {уЛ2 + X'RX} (Л +
+ Х'Х)"2 в (Л + Х'Х)"1] = 0.
Отсюда
Sp в [у(А + Х'Х)"2 А + уА (Л + Х"'Х)~2 — (Л +
+ Х'Х)"2 (ТЛ2 + X'RX) (Л + Х'Х)"1 — (Л + Х'Х)"1 (уЛ2 +
+ Х'ЯХ) (Л + Х'Х)"2] = 0.
71

В силу произвольности матрицы в для.матрицы А из этого
уравнения имеем
уЛ (А + Х'Х)2 + (А + Х'Х)2 уА — (уА2 + X'RX) (A +
+ Х'Х) — (А + Х'Х) (уА2 + X'RX) = 0.
Преобразуем его:
уА3 + уА*Х'Х + уАХ'ХА + уА (Х'Х)2 + уА* + уАХ'ХА +
+ yX'XA* + y(X'X)2A — yA* — XfRXA—yA*X'X —
— X'RXX'X—AX'RX—X'XX'RX = 0.
Отсюда
2уАХ'ХА — AX'RX — X'RX А — X'RXX'X —
~X'XX'RX = 0.
Таким образом, для искомой матрицы А получено уравнение
Риккати.
§ 2.5. Спектральные уравнения для минимаксных
оценок решений линейных систем
—>■
Предположим* что неизвестный m-мерный вектор е
удовлетворяет системе уравнений
у = Хе + г,
где у — л-мерный вектор наблюдений; X = (хц)9 / = 1, т*
j=s 1, п — заданная матрица; е — я-мерный случайный вектор;
Me = 0; Me е' = R. Кроме того, пусть вектор о
удовлетворяет неравенству
—>- —>-
(Dc, с) <з а,
где D — неотрицательно определенная матрица размера т х пг\
0<а<оо.
Задача оценивания вектора е в том, чтобы g помощью
некоторого линейного преобразования вектора yiTy + t (Т —
матрица размера тхп\ t — вектор размерности т) найти
матрицу Т и вектор t такие, чтобы выражение
max-^-f M\\Ty + t-cf
c:(Dcf c)<a
72

принимало минимальное значение. Вектор c=fy + t
называется минимаксной оценкой вектора с. Обозначим Ьг —
множество вещественных матриц размера тхп, L2 —
множество вещественных m-мерных векторов.
Теорема 2.5.1. Если R и D невырожденные матрицы, то
min -* max-* -*->- МII fy + 7— с*||2 =
= a%i {(ТХ — I) D-1 (f X — /)') + Sp TRT', f= 0, (2.5.1)
где \ — максимальное собственнное число матрицы (ТХ —
— I)D"1(fX— /)'. Если собственное число Кг однократно
для всех Г £ G, где G — множество решений уравнения (2.5.1),
то решения его являются решениями уравнения
aXD-1 (ТХ — /)' 7Х7Х + RT = 0, (2.5.2)
где ег — собственный вектор, соответствующий
собственному числу %!.
Доказательство. Очевидно, что
м к т7+7—7\\* = м || тх7+7—7+ т7\\* =
= || {ТХ —1)7+7\? + Sp ТЯГ'. (2.5.3)
Поскольку
max-* -*-* || (ТХ — /)7+7||2 > max-* -*-* || ТХ —17\\\
cl(Dc( С)<а,! v / » II tl(DCt £)<a II II »
то в выражении (2.5.3) минимум по t достигается при t = 0.
Из формулы Рэлея вытекает, что
шах-*+-* ||(ГХ —/)7j|2 =
c:(Dc, c)<a " ч ' "
= а%г {1Г1/2 (ТХ — I)' (ТХ — I) D^1/2}.
Докажем, что
Xt {IT1'2 (ТХ — /)' (ТХ — I) D^I/2}»
= %г {(ТХ — I) D-i (ТХ — /)'}. (2.5.4)
Положим В = £Г1/2 (ТХ — /)'. Тогда
Ях (В'В) = linw [Sp (B'B)SY<S = lim,— [Sp B'B ... В'В^о =
= lim,— [Sp (BB<) • • • (BBf)]U* =
= lims_ [Sp (BB')S]VS = i* (AB').
73

Из этого равенства вытекает формула (2.5.4). Найдем
уравнение для искомой матрицы 7\ Поскольку К1(В(Т))
непрерывная и почти везде дифференцируемая функция
элементов матрицы В(Т) = (ТХ— fyD^iTX — /)-, то искомая
матрица Т удовлетворяет уравнению
(d/dy) [аК {В (Т + ув)} + Sp (Т + у®) R(T + Y©)']v=o = 0,
(2.5.5)
где в — произвольная матрица размерности гпхп;
у—вещественная переменная. Используя формулы возмущений для
собственных чисел (см. § 1.6) и теорему 2.2.1, из уравнения
(2.5.5) получаем
a ({®XD~i (ТХ - /)' + (ТХ -1) D-i (0X)'} е19 ег) +
+ Sp[8RT' + TR@') = 0.
В силу произвольности матрицы в из этого уравнения
вытекает уравнение (2.5.2). Теорема 2.5.1 доказана.
Уравнение (2.5.2) в общем случае трудно разрешить
относительно неизвестной матрицы Т. Если сформулировать
задачу минимаксного оценивания в следующем виде! найти Т
и t такие, чтобы выражение
тах^->^ ГЛЦТу'+фТ— 7'Т]2
принимало минимальное значение (где b — произвольный
т-мерный вектор), то для искомой матрицы Т можно найти
явное выражение.
Теорема 2.5.2. Если R и D невырожденные матрицы,
а > 0, то
min -> max->.->-v MUTy+Tj'T— 7'&]2«
= (((ТХ — /) D"1 (TX — IYa + TRfnX %
где
f - aD-*Xf (XD-Wa + Ry1; ? = 0.
Доказательство. Очевидно, что
i(fy +?)'T-Hj2 = [((тх-/)Т,1)+ (rt V) + (Г, &)]2.
Используя это равенство, имеем
тахй^сТ<а М ((7> + 0' Н- ~£bf ■= («1/2 К™ -
74

- I) D-1 (TX -/)' b, by* +\t9b) |)2 + Sp RT'b b'T.
Используя это выражение так же, как и при доказательстве
теоремы 2.5.1, имеем, что минимум этого выражения
достигается при t = 0:
f - aD^X' (XD^X'a + R)"K
Теорема 2.5.2 доказана.
Пусть задана система линейных уравнений
Ax = t+%9 (2.5.6)
где А — квадратная невырожденная матрица я-го порядка;
х, h, £х — векторы размерности п\ матрица А и вектор h
известны; значение вектора £t неопределено, известно лишь,
что он принимает значения из некоторого множества.
Предположим, что наблюдаемый вектор у размерности т
связан с вектором х уравнением
7= C^+f2, (2.5.7)
где С — известная матрица размерности тхп\ |2—вектор
размерности т, значение которого неизвестно, но он
удовлетворяет неравенству
iiij2 + nu2<i,
где || £ ||2 = (£,&•
Задача оценивания вектора х состоит в том, чтобы с
помощью некоторого линейного преобразования вектора у найти
(оптимальную в некотором смысле) оценку вектора х. Точнее,
нужно найти матрицу д размерности тхп и вектор /
размерности п такие, чтобы выражение
max -> -> || х — Ку — I \г
принимало минимальное значение. Вектор х= Ку+ I
называется минимаксной оценкой вектора х.
Покажем, что вектор h можно выбрать нулевым без
ограничения общности решения задачи. Действительно, если
75

существует Л"1, то я = А"гк+ Л"1^; вектор Л"1/* известен;
следовательно, вектор у можно заменить вектором у = Сх +
+ CAmlh + gs» а это эквивалентно тому, что в системе (2.5.6)
h = 0. Обозначим Lx — множество вещественных матриц
размера mxn\L2 — множество вещественных векторов я-мерных.
Теорема 2.5.3. Если А — невырожденная матрица, то
min,€Ll> ^ ш^^, ||t- Ky- I IP = *, (В*), (2.5.8)
где Ях — максимальное сингулярное собственное число мат»
рицы В = (/ — КС) Ат1Ат1' (/ — ЛСС)'. Если G — множество
решений уравнения (2.5.8) и собственное число %г
однократно для всех T£G, то матрицы Т удовлетворяют у рае-
нению
[СА^А* ~х (/ — КС)' — К1) ег {ВВ£) = 0, (2.5.9)
еде et — собственный вектор> соответствующий собствен*
ному числу V» одно из решений уравнения (2.5.9) следующее:
К = (ЛМу* С<(1 +6 {А*А)*1 СТ1.
Доказательство. Подставим в выражение ||х — Ку —
— /1|2 значения векторов х и у из уравнений (2.5.6) и (2.5.7).
Тогда
||?- /с7-?|РН|Т- К (?- *£> -Til1 -
= II (/ - /сс) лЧ, - /С -Tip «
= у (к/ - кс) л-* е /с] и е (-Т2)]} -Tip, (2.5.ю)
—>- -*»
где символ 0 между векторами glf |2 и матрицами Л""1, /С
означает, что
SI ф §2 == (Sll> • • • 5 £ln> Ъ21> • • • * Ь2п)>
Л ф В = (а1? ..., ап, Ьъ ..., Ът]\
at — вектор-столбцы матрицы Л и fy — вектор-столбцы
матрицы В.
Очевидно, что (2.5.10) равно
№, Вф = 2 (Bri, 0 + (Т "5; (2.5.11)
где В = (/ - КС) Л-1 ф /С; а = Ъг ф (-£2).
76

Из неравенства
max + +<г {(/. "0-2 (Вл, ~0 +
+ (йЯ В^)} > тах+-^ (В~л, Щ
следует, что минимум достигается при / = 0. Поэтому нужно
найти максимум выражения (2.5.11) при / = 0.
Очевидно, что
тах-> ->- (Вт), Вт]) = max-*- -> (B'Bri, г]) =
= ?w(£'(/a в (/о),
где Ятах — максимальное сингулярное собственное число
матрицы В'В. Так же, как и при доказательстве формулы (2.5.4),
получаем, что Ятах (В1 В) = Я,тах (ВВГ). Поэтому задача
свелась к нахождению min^ imax(B(K)B' (/Q). Поскольку
Ящах является для любых вещественных чисел t и матриц
QQLX непрерывной функцией элементов матрицы
В' (К) В (К) и ?w (В (К + tB) В' (К + t&)) >
>ЬтаЛВ(К)В'(к)),
где /С — точка минимума, то искомая матрица К
удовлетворяет уравнению
(d/dt) %maK (В (К + /в) В' (К + /в)) |,в0 = 0. (2.5.12)
Для нахождения этой производной воспользуемся теоремой
2.2.1. Обозначим В{К + /в) В' (К -Ив) = D (/); Ятах = %г.
Если максимальное собственное число Ях однократно, то,
применив формулы теории возмущений (§ 1.6), получим
К.о'~44D (0) - 4D (°))} ===
-((d/dOD(0)f (D(0))f £(D(0))) = 0, (2.5.13)
где £t ^ (0)) — собственный вектор, соответствующий
собственному ЧИСЛУ Хг (D (0)) = Я,тах (D (0)).
Найдем
(d/dt)D{0) = (d/dou(/- #с + /есу л^ф(/с + Щ] [/ —
- #с—/eg л-1 © [/с + щм = (—вел-* © в) ((/ —
- КС) Л"1 © КУ + ((/ - КС) Л-* © /С) (-вСЛ-1 © 0).

Обозначим
(-6СЛ-* 0 0) = 0, ((/ - КС) Л-10 К) = В;
\{ВВ')^7Ъ
тогда (2.5.13) перепишется в виде
((0В' + В0')^ £) = 0
или
(SB'elt 7г) + (ВЪ719 7г) = 0.
Далее, из того, что (®В'е19 ег) = (BQfel9 ег), следует
(®B'7lt 7г) = 0.
Использовав то, что
&В' = {—вСА-10 0) ((/ + КС) Л"1 © К) =
= —0СЛ-М' -1 (/ — КС)1 + в/С',
получим
-(вСЛ-М"1' (/—/СС)'^, J) + (вК'Т^Д = 0
или
(©[СЛ-М'-Ч/—ТСС)' — /С'] elf ех) =0. (2.5.14)
В силу произвольности матрицы 0 решения уравнения (2.5.14)
будут решениями уравнения
[СА^А* -1 (1 — КС)' — Ке] 7±{D (0)) = 0.
Одно из решений этого уравнения следующее!
К = {АеА Г1 С [I — C (А'А)'1 С]"1.
Легко убедиться в том, что при таком значении К
достигается минимум функций X1(BBf). Теорема доказана.
Задачу (2.5.6)—(2.5.7) можно обобщить на системы
уравнений:
A7=7+Q£1;
7= Сх + Q£2}
где Qt и Q2 — некоторые матрицы.
78

Оценим теперь линейную форму от решения уравнения
(2.5.6) и сравним полученные результаты.
Рассмотрим линейную форму (/, х), где х — решение
системы А х = h + £2; / £ ^2 — произвольный вектор.
—>- —*- —>* —>■ ->
Пусть (а, у) — оценка этой формы, где у = Сх + Ъ,29 а£ L2—
некоторый вектор. Минимаксной оценкой выражения назовем
любое решение а уравнения
min-> тах-н -> [(/, х) — (а, у)]2 =
= [(T^)-(^F)ia-
Без ограничения общности можно считать, что h = 0.
Очевидно, что
max+ -v |(Г^"С)-^(^ СЛ"С + Й|2 =
= max -* -> I (Л' -Ч — Л' -»C'^ £) — (а, У |2 =
= ((Л' -ч— л' -iCo) 0 (—7), (Л' -1?— Л' -^0 (-Щ =
= (Л' -Ц — А' -1С'~а, А' -Ч — А' ^C'dj + (^ "а) =
= (Л' ~гХ ^4' ■*!) — 2 (Л' -ij Л' ^С'о) +
+ (Л' ^С'С Л' -К'а) + (Z о) = (А-Ы' ~Ч If—
— 2 (СЛ-М' -Ч ^ + ((СА-Ы' -*С + /К а).
Найдем минимум этого выражения. Положим а = а + tQ,
0£L2, t£Rx и возьмем производную по t. Тогда
—2 (СЛ-М' -Ч, 6) + 2 ((СЛ-М' -*С + /) оГ в) = 0.
В силу произвольности вектора 0
7= (СЛ-М7 -1С' + /Г1 СЛ-М' ~ХТ
Итак, в случае оценивания линейной формы получили, что
минимаксная оценка выражения (/, х) единственна. Отметим,
что в теореме 2.5.3 имеем более точное решение задачи, так
как уравнение (2.5.9) в общем случае имеет бесчисленное
множество решений.
79

Аналогично, как и в теореме 2.2.2, можно найти
спектральное уравнение для регуляризованных оценок, а также
уравнения для случая, когда вектор о и векторы помех gx и gs
принадлежат произвольному ограниченному множеству в Rm.
§ 2.6. Спектральное уравнение для минимаксных
оценок линейных форм от решений линейных
уравнений с нелинейными помехами
В общем случае помехи, которые влияют на поведение
системы* могут быть нелинейными, т. е. система имеет вид
Ах=Т(КТ& (2.6.1)
где А — квадратная невырожденная матрица л-го порядка;
х> К £i — векторы размерности п. Матрица Аь вектор h и
векторная функция f известны, значение вектора gj неопре-
делено.
—>-
Если вместо функции / подставить два первых члена раз-
—*- —>■
ложения ряда Тейлора gq + Cg2, то задача сведется к случаю,
рассмотренному в предыдущем параграфе. Предположим, что
функция / в уравнении (2.6.1) заменена первыми тремя чле*
нами разложения ряда Тейлора:
>»
где (figx, £2) = {(B,glt g2), i = 1, п}\ С — матрица
размерности пхп.
Сказанное справедливо также для вектора наблюдений у.
Рассмотрим следующую задачу.
Задано уравнение
А 7= V+ С^ + (B|lt Ъ (2.6.2)
и вектор наблюдений над решением этой системы
7=d7+Zq+kT2 + (i£2, 5;
(/S.J5 =Н(*Х 5» *=тгп\. (2.6.3)
Значение векторов |х и §2 неопределено, известно лишь, что
они удовлетворяют неравенству ||£i||2 + ||£2И2 < *• с целью
упрощения вычислений будем считать, что 6 = К = 0.
80

Необходимо оценить решение х g помощью линейных
операций над векторами у.
Если воспользоваться теоремой, доказанной в § 2.5, то
задача сведется к нахождению максимума формы четвертого
порядка, что представляет собой сложную задачу, которую
можно упростить, если оценивать линейную форму от
решения системы (/, а:). Итак* нужно найти
-«— —»- —>■ —>-
min->- max-*- ->- |(/* х)— (а, у)— /?J2; (2.6.4)
без ограничения общности положим а0 = h = 0.
Теорема 2.6.1. Если А — невырожденная матрица, то
—»- ->-
min-^ n max-»- ->- |(/, х) — (а, у) — Pi|2 =
- К [(SLi (Л (Г- D?)), 5,) (SLi И (Г- /з?))* вку +
+ (S*-iflJLj (22-1 <L*r]. (2.6.5)
—>-
Еели собственное число Ях однократно, то решения а*
уравнения (2.6.5) являются решениями уравнения
(\LP (£Li atLkY ~ S*. < AuDtpBk (ELi (A (7-
— D?))kBk)'\Z ?) = 0j p = IT»-
Доказательство. Подставим в формулу (2.6.4)
значение вектора у. Тогда
- SLi a* (L*£ у - Pi l2i (2.6.6)
где ak — компонента вектора а\ (Lkl2, 12) — компоненты
вектора (L£2, l2).
Выражение (2.6.6) равно
\(T-D%7)-{Li2X)-Pi\\
где L = 2£-i akK'
Податавив значение вектора х, имеем
1(ГЗ-ЙЗ-л1а = ]б1+(р& 3i\
81

где \ = (?5 — л; Р = Мф L; л! =* £Li (Л' (Т- Оа))л В,.
Повторяя те же рассуждения, что и в § 2.5, получаем
утверждение теоремы 2.6.1.
§ 2.7. Спектральные уравнения для минимаксных
оценок решений стохастических уравнений
Пусть задана система уравнений
Ах=*В&, (2.7.1)
где А — квадратная невырожденная матрица порядка п; х,
£х — векторы размерности п и k\ Вг — неизвестная матрица
размерности п X &.
Предположим, что некоторый вектор у размерности т
связан с вектором х уравнением
7= С7+ В212, (2.7.2)
где С—известная матрица размерности тХп\ £2— вектор
размерности т\ В2 — неизвестная матрица размерности тхт\
Вг и В2 удовлетворяют условию
sp£xB; +spB2s; «i;
Si и £2 — независимые случайные векторы б нулевыми
векторами средних и ограниченными матрицами ковариаций Rt
и R2 размерности пхп и тхт*
Оценим линейный функционал
min-, maxBiBitSp(BA, ^(ад'к! М | (X Т) - fe ~y) \\ (2.73)
Теорема 2.7.1. Пусть А — невырожденная квадратная
матрица п-го порядка. Тогда
min-,maxBA.SpBiB/+SpBiB, <х М | (X 7) - (I, у) |2 =
= К,} II (л' "* (*- G^*> II2 + К2) И ^ II2'
еде (дЯ и ц<2> — максимальные собственные числа матриц Rt
и R2 соответственно а* = {I\if + \i^{Af ^С) \1«Ы< "гС1.
82

Доказательство. Подставив решения уравнения (2.7.1)
и значение вектора у из уравнения (2.7.2)" в (2.7.3), получим
Щ{ГЛ)-(а,У)\2 = Щ(1, 3-Й &с)-~(а, В2Та)12 =
= м | (Г- е% л-ад - (7, ед I2 =
= М | [В'ЛА* -1 (Г- СЬ), £) - (В'Л £) I2 =
= (адл' -1 (Г— с»3, б;л' -1 (7— с'5) +
+ (R2B'£ В'£) = Sp В^В^Я + Sp R3B^B2, (2.7.4)
где f= Л'^(Г—С^.
Очевидно, что выражение (2.7.4) можно представить
в виде
M|(t t)-$,~y)\* =
= ((#i @ (а*2/Л X) + (Я2 ® (а^аДД),
где символ @ обозначает кронекеровское произведение
матриц, т. е.
Л ®B = (Abt,K^; &i = (Tu04©...04);
^2 = (^12 0 ^22 0 • • • 0 ^тг)»
6/г1 — вектор-строки матрицы Bf, 6Й2 —вектор-строки
матрицы В2.
Так же, как и в предыдущих параграфах* получаем
тахв„bz,sPад'+spб2в8'<1М1(^ 3-Й 7)l2 =
- К {Ri ® (2й/} + &i [#2 ® («»/)}•'
Собственные числа матрицы /?p@(5ja/) равны произведениям
чисел \$\ ... , |xjf} и чисел |\а\|2,0,... ,0, где \х[р) —
собственные числа матрицы Rp. Поэтому
К {/?! @ (3,3,)} + ^ {R2 @ (а,ау)} =
= rf* IM' ^(Т-Са) Ц2+ ^i2) ||1||2.
Очевидно, что минимум этого выражения достигается при
t* = (/jxf + |#}СЛ' ^С')"1 [^СЛ"1 А'^сТ
Теорема 2.7.1 доказана.
83

§ 2.8. Спектральные уравнения
для минимаксных оценок квадратичных
функционалов
В предыдущих параграфах было рассмотрено уравнение
Ах=Л+% (2.8.1)
и наблюдение у = Сх+12; при этом задача оценивания
заключалась в нахождении величины
—^ ->■-»■
6i=sminw . r max . . И*—/Си —/||2.
Оценка /Су — / называлась наилучшей, если ошибка
оценивания б в классе линейных оценок принимает наименьшее
значение.
Возникает вопрос, можно ли уменьшить ошибку
оценивания, если оценку брать в виде некоторой векторной
нелинейной функции от вектора х\
minfmaxE||*— f(y)\\2.
Эта задача в общем случае чрезвычайно трудная, поэтому
предположим, что функция / задана первыми тремя
разложениями ряда Тейлора:
—>-
(Ly, Ъ = {(Lly, 1), i = l~n).
Пусть Тг — множество матриц К размера пгх п. Т2 —
множество матриц Li размера п х п.
В этом случае, чтобы получить уравнение для минимаксной
оценки, найдем
mink^TltL^T2max^(x — /(?)■ я)2'
Рассмотрим некоторый вектор у размерности т, который
связан с вектором х уравнением
y=c7+f2, (2.8.2)
84

где С — известная матрица размерности т X п\ £2 — вектор
размерности т, величина которого неизвестна, но он
удовлетворяет неравенству || \х ||2 + || £2 ||2 <$ 1, где || gt ||2 =
= (£i> ii)» He ограничивая общности рассуждений, упростим
постановку задачи. Рассмотрим задачу оценивания вектора х,
т. е. оценим квадратичный функционал от решения х i {Lx,
х) (где L — симметричная матрица л-го порядка) или найдем
такую симметричную матрицу К* для которой
max-> -> |{Ьх, ~х) — (Ку*, у)\2 (2.8.3)
принимает минимальное значение.
Без ограничения общности можно положить h = 0 (см.
§ 2.5). С целью упрощения задачи будем считать, что в = О,
fex = 0.
Теорема 2.8.1* Еели А невырожденная матрица, то
mm.rr max -> -> \(Lx, х)-~(Ки> #)|2 =
= M(Q + Q0/2)2; (2.8.4)
ГЛ'-ЧЛ-1 — A'-iC'KA-1 —КСА-П
—KCA~l — К J
Q =
Ляли собственное число Кг однократно, то множество
решений уравнения (2.8.4) совпадает с множеетвом решений
уравнения: тц (k) = 0, для всех i% ) = 1, п\ t, / = п + 1, 2п\
ntii (k) — элементы матрицы
(СА* 0\/л , п,.-+ ->(к! -1 СЧ\ ,
I о i)(Q + Q)eiei[ i i ) +
+ [ 0 1)e1e'1{Q + Qf)[ j J;
~>
е2— собственный вектор матрицы (Q + Qf)29
соответствующий ее максимальному собственному числу %г.
Доказательство. Подставляя в (2.8.3) значения
векторов х и у из уравнений (2.8.1) и (2.8.2), получим
KL* Ъ-Ш ЙИ=» |(LA-*Tlt А-%)-
- 1ЛСЛ-С + /tf2, СА-% +T.I2 =
85

= \(А'-Ч.А"*Ъи IJ-iA'-iC'KCA^, y-
-(К%, ?а)-(/(СЛ-С £)-(/С'СЛ"С yi2 =
= l(Q(fi0S)> £шТ2))Г>
где
п - \А' "11Л_1 — А> ^C'KCA'i —KCA-1]
Ц [ —КСА-1 —К У
Найдем максимум этого выражения на области || £хф |2||<sl.
Из § 2.5 следует, что
max^^^KQCey, (Ti®T2)) Р = К ((Q + Q')/2)2,
где Ях — максимальное собственное число матрицы (Q + Q')2/*-
Найдем min* Л,,. (Q + Q')2.
Поскольку ht однократно, то
*i (Q {К + /в) + Q' (К + /0))2 >> %г (Q {К) + Q' (К))\
где К — решение уравнения (2.8.4) для любых вещественных
чисел t и матриц ®£Ll9 то искомая матрица К
удовлетворяет уравнению
(d/dt) ((Q (К + tB) + Q'(K + №))% (Q)> 7, (Q))t=o = 0. (2.8.5)
Используя формулы возмущений так же, как и в § 2.5,
получаем
(d/df)((Q (К + t@) + Q' (К + №))% (Q), 7г (Q))^0 - 0,
где е± — собственный вектор, соответствующий собственному
числу %г (Q + Q') при t = а
Отсюда для матрицы К имеем уравнение
[[ вСА-i 0 J (<2 + «'> **>'*] +
+ (1 вел- 0 J^« + «^)-°- <2А6>
Матрицу
\Af -1С6СМ-1 0СЛ"1]
L вСЛ"1 в J
£6

можно представить в виде
[A'^C'QCA*1 ЭСЛ-41] _ ГЛ'^С* ЛГв Б1ГСЛ"1 В]
[ &СА*1 в J~L / /JL5 eJL В /J*
где В2 — матрицы размера тхп, элементы которых равны
нулю. Поэтому (2.8.6) запишем в виде
0(Т >+**• (Т ,')<■)+
.+0(ТЭ*. Г >+^-»
Поскольку матрица в произвольна, из этого уравнения
следует, что должны быть равны нулю элементы тц\ [ъ j =
= 1, п; i, } = п + 1, 2п матрицы
+(т ^«wr э-
Отсюда получаем уравнение для матрицы К. Теорема 2.8.1
доказана.
§ 2.9. Оценивание состояний систем,
описываемых рекуррентными уравнениями
Рассмотрим задачу оценки вовтояния системы g
дискретным временем, описываемой уравнением состояния
***i = Ч + Akxk + lk\ ~yk = Ckxk + %; fe=Of 1, 2, ....
(2.9.1)
где xk — м-мерные векторы состояния; yk— /7-мерные векторы
наблюдаемых выходных переменных; Ak — квадратные
матрицы л-го порядка; Ck — матрицы, у которых количество
столбцов равно я, а строк р\ %k и ^ — некоторые векторы
помех соответственно размерности пир, которые
удовлетворяют условию
S?=o(ii^i2+iitTji2)<i.
Начальное состояние х0 задано.
87

В этом параграфе рассмотрим следующую задачу оценивания
состояния xk+1\ найти матрицы Кс размера пх р и я-мерный
вектор /, которые минимизируют выражение
max k ||xM-2L Ktyt—tf. (2.9.2)
Пусть Lx — множество матриц К размера пх р\ L2 —
множество я-мерных вещественных векторов /.
Теорема 2.9.1. При сформулированных выше
предположениях
= *i (Sti (z,+1z;.+1 + k?kt ')), (2.9.3)
еде матрицы Zt удовлетворяют рекуррентному уравнению
ZM(I + AP) = ZP-KP*CP; p='0Tk; Zft+1 = 7; l = Z0x0;
матрицы Кр удовлетворяют уравнениям
[/С-ад,]е^ = 0; p=T7k, (2.9.4)
где ех— собственный вектор, соответствующий
собственному числу Klt матрицы Sp удовлетворяют уравнению
sp*i = Sp + apsp — zp+i> P = 1, fe — 1, Sj = 0.
Одно из решений уравнения (2.9.4) следующее:
/С^ = SpCp\ р = 1, k.
Доказательство. Очевидно, что
R*i - EL> * J£ -t||2 = рм - s ь KfitZ -
-Т,икЛ-Ж (2-9.6)
Рассмотрим систему рекуррентных уравнений
^p+i = Zp Zp^Ap + ApCp
с начальным условием Z^+1 = /.
Тогда после очевидных преобразований
iRw - S*=, *?, -t|f= || Z Д + Sto ZlrtJ +
+ 2Lo^-T[|2. .

Используя результаты § 2.5, имеем
Используя формулы возмущений, так же, как и в § 2.5,
для матрицы К имеем уравнение
((Sti 2MZ'M +QXi) Z Z) = 0, (2.9.6)
где матрицы Z, удовлетворяют уравнениям
z,+1 = z,-z,+1^ + ©A; zw-o; * = Cfc-i,
*,_ — собственный вектор, соответствующий максимальному
собственному числу матрицы 2?=*i l^i^c + #/Я*1-
Вводя вспомогательную систему уравнений
^p^i =ss ^ + APSP — Zp+i', S± =s 0,
получаем, что (2.9.6) можно записать в виде
(S*-i l^Z't + ®tKl + Zi+iSi+г -ZtSt) el9 ег) =
Отсюда получаем утверждение теоремы 2.9.1.
§ 2.10. Оценивание состояний динамических систем
Применим метод возмущений оценивания решений
уравнений, изложенный в предыдущих параграфах, для
оценивания состояний динамических систем. Обобщим только
результаты § 2.5. Аналогично можно переформулировать
результаты § 2.6—2.9.
Пусть задана система уравнений
(dx/dt) = А (0 7+ Хг (0; "х(0) = % (2.10.1)
где А (/) — квадратная матрица я-го порядка; х (f) — вектор
состояния системы размерности п\ \х$) — вектор помех
размерности п\ вектор х0 задан и предположим, что задан
вектор наблюдений
~у (0 = С (tjx (t) +% (0; 0 < t < 7\ (2.10.2)
89

здесь С (f) — матрица размерности т х п\ Т>0 — некоторое
-»-
постоянное число; |2 (t) — вектор помех размерности т. Бу-
-> ->
дем считать, что компоненты векторов ^(0* £2(0 и элементы
матриц A(t) и С(/) являются кусочно-непрерывными
функциями. Предположим, что векторы l2(t) и l±(t)
удовлетворяют неравенству
$оГ IE Ш2 + lit Wll2) dx < 1; t£ [0, 71]. (2.10.3)
Обозначим Lx — множество матриц /((0 размера п х т9
t£[Q9T]f элементы которых являются кусочно-непрерывными
функциями. Задача оценивания состояния x(t) заключается
в нахождении матриц К (t) и вектора / (Г), которые
удовлетворяют уравнению
F(K(t), f(0) =
= т'ПK(t)cLt, t(t)cRn ШаХ^ _* С Г _* _* И* СО —
— ЦК (и) ~у(и) du — Т(Г) ||2. (2.10.4)
Выражение **(Т) = Ц /С* {и)~у(и) du — /* {T)f где /£*(•) и /*(*)
обращают в минимум вышеприведенное выражение,
называется минимаксной оценкой состояния х(Т).
Теорема 2.10.1. При сформулированных выше
предположениях
F(К* (•), I* (Т)) = К (ft z (") Z' (") ^ +
+ ft /С* (и) A:*' (m) d«). (2.10.5)
где матрица Z удовлетворяет уравнению
dz/dt = — ZA + K*C; 0 < / <• T
g начальным условием Z (T) — I; матрица S удовлетворяет
уравнению
dS/dt = AS — Z'; S (0) = 0; 0 <■ t <. T\
~t*(T) = Z (0)1(0).
90

Если собственное число %1 однократно, то решения
уравнения (2.10.5) являются решениями уравнения
[К*'(и) — С(u)S (и)] ё5Т=0; 0<зи«7\ (2.10.6)
Одно из решений уравнения (2.10.6) следующее:
К* (и) = S' (и) С (и); 0 <• и < Т.
Доказательство. Очевидно, что
Р w - Гк (")?"(")du -~t<n 1Г=Р(Г> -
— j0T К (и) С (и)"* («) dH + [0Г /С (й)"|2 (и) <fe — T(t) |f. (2.10.7)
Рассмотрим систему дифференциальных уравнений
dZ/du = — Z («) Л (и) + /С.(«) С («)
с начальным условием Z (7) = /.
Тогда
"х (Г) = Z(Г) х"(Г) = Z (0) х (0) + Jor (d/Я) (Z (0^(0) * =
= Г0 Wdt) z {t)U (0 dt + |0Г Z (0 (Же (0/Л) Л + Z (0) ^0 =
= J* К(0 С(Q*(0 Л + $[ Z(oTi (0 dt + Z(0) ^.
Используя это равенство, а также (2.10.7), имеем
Р(Т) - Г К (f)~y(t) dt -1 (Г) ||2 = || г (0) Z +
+ Г г (qTi Л + Г К Ю£ (0 Л -?(Г) |f.
Так же, как и в § 2.5, получаем
min -^maxpr _^ _^ л^Т) —
*' ' Jo^^1(*)1\Ё+\\^(*)\\*}^<1"
-10Г/С(«)"»(«) Л-Т(Г)|Г =
rAet=Z(0)v, Z'(.)£(•) +#'(•)#(•) — линейный
оператор, который задается в L2 (0, 71) билинейной формой
({Z'(-)Z(0+ *'(•) * (-)}"ф,1>) =
91

= Vo $o № <") Z <°> + K< <a> K <°>tf (")• ' (»)) d" Л;
Xj — его максимальное собственное чивло.
Нам понадобится следующая лемма.
Лемма 2.10.1. Для оператора Z(•)#(•) +#(•)#'(•)
справедлива формула:
К№(.)г(.) + к'{-)К{')) = к{11[2(и)г<{и) +
+ K(u)K'(u)\du)>
еде %t (I [Z (и) Z' (и) + /С {и) К1 (и)] du) — максимальное соб»
ственное число матрицы J 0 [Z (и) Z! (и) + К (и) К! (и)] du.
Доказательство. Используя формулу Рэлея,имеем
X1(Z(.)Z'(.) + /C(-)/Cf(-))«
я ШаХ1б(.П\<1 So Jo (tZ W Z' W + * <"> *' <*» X
X ф (t>), ф (и)) du dv, (2.10.8)
где || • || - норма в L2 [О, Г]; Фя б L2 [О, Г].
Очевидно, что (2.10.8) равно
тахцф(.)||<1 тах^^^ (JorZ(o)f(v)dt»0
0 $0ГК (и) Ф(о) dxr, Tt®la)\ (2.10.9)
—>- —>
где векторы 1г и /2 имеют размерность п.
Из (2.10.9) получаем, что (2.10.8) равно
- ^Жи SU <z w © * w)T* ® ^ II2 dv -
= ^ (jor (Z (и) Z' (и) + К (и) К9 (и)) du).
Лемма 2.10.1 доказана.
Для нахождения матрицы К воспользуемся формулами
возмущений для собственных чисел матриц (см. § 1.6). Так же,
как и в § 2.5, получаем, что искомая матрица К
удовлетворяет уравнению
(J* (ZZ' + ®Kf) duZ <?) = °# (2.10.10)
92

где матрица Z удовлетворяет уравнению
dZ/du = — ZA + вС; Z (Т) = 0; 0 <s t < Т\
ег — собственный вектор, соответствующий максимальному
собственному числу матрицы j (Z'Z + K'K)du.
Вводя вспомогательную систему уравнений
ds/dt = As — Z'\ S(0) = 0,
получаем, что (2.10.10) равно
Jor {(ZZ* + ®К' + dZS/du)T1} 7г) du =•
= jor ((Z (Z' — AS + dS/du) + в (-CS + К')) 7Xi 7г) du «
=(J0r (0 («> (*' («> -c ws до)** *» "У •
Отсюда и вытекает утверждение теоремы 2.10.1.
§ 2.11. Спектральные уравнения для оценок решений
систем уравнений с «внутренними» неопределенными
коэффициентами в системе наблюдений
В настоящем параграфе развит подход к оцениванию
решений систем уравнений с неопределенными коэффициентами
и случайными мультипликативными ошибками в системе
наблюдения над решением такой системы.
. Пусть задана система линейных уравнений
A%=*~h + Tl9 (2.11.1)
где А — квадратная невырожденная матрица п-го порядка;
*i К £х — векторы размерности п\ матрица А и вектор h
известны; значение вектора gx не определено, известно лишь,
что он принимает значение из некоторого множества.
Предположим, что наблюдаемый вектор у размерности m
связан с вектором х уравнением
7=аГ+2, (2.11.2)
где 3 — некоторая случайная матрица; |2 — вектор
размерности /тг, величина которого неизвестна, но он
удовлетворяет неравенству
ИЙ1Я+1Й12<1#
где ВЫ» = £ Ь).
93

Задача оценивания вектора х состоит в том, чтобы с
помощью некоторого линейного преобразования вектора у найти
{оптимальную в некотором смысле) оценку вектора х.
Точнее, нужно найти матрицу К* размерности п х т и вектор
/* размерности п такие, чтобы выражение
Мтах-> -> \\х — Ку — 7||2 (2.11.3)
приняло минимальное значение. Вектор я = /С* у + /* будем
называть минимаксной оценкой вектора х. Вектор h можно
выбрать нулевым без ограничения общности задачи.
Теорема 2.11.1. Если А — невырожденная матрица, то
матрицы К* удовлетворяют уравнению
= ЛМХ [(/ —/С*В) А-* (1—К*Е)' Л"1' + K*K*']. (2.11.4)
Если собственное число Кг матрицы D = (I —J(*S) А"1 (1 —
— /С*Ву А"1' + К*К'* однократно, то решения уравнения
(2.11.4) являются решениями уравнения
М (ЗЛ-1 (/ — К*Е) А"1 + /С*)"ф! (D) ф"! (D) = 0;
Ях — максимальное собственное число матрицы D: ц>г —
собственный вектор, соответствующий максимальному
собственному числу матрицы D, S = {1г, "|2 $ || |х ||2 + || £21|2 « 1},
7=0.
Доказательство. Так же, как и в § 2.5, получаем,
что
шах|й|+й<11|1 + Ку -7||2 = W (В' (К) В (К)),
где В(/0 = (/-/СЗ)Л-1ф/С.
Поскольку Хтах является непрерывной функцией
элементов матрицы В (К)' В (К),
W (Я' (К* + Ю) В (К* + №)) > Хтах [В* (*•) В (/(*))
(где К* — точка минимума) для любых вещественных чисел t
и матриц в, то искомая матрица К удовлетворяет уравнению
(djdt) mt [В' {К + t@) В(К + tB))/M = 0,
94

или
lim^o^M {%г [В' {К + Щ В (К + t®)) - К [В' (К) В (К))} =0.
Используя формулы возмущений для собственных чисел,
так же, как и § 2.5, получаем, что
lim^o Г1 [К {D (0) - К [D (0))] =
= ({dD (0)/dt) J (D (0)), ^ {D (0))) #
dD (0)/dt = (d/Л) [5' (/С + t@) В (К + *е)]/_0 =
= —ЭЗЛ-М' -1 (/ — KEY + @Kf.
Следовательно, матрица К* удовлетворяет уравнению
М ((—вВЛ-М' -*(/ —Я *3) + в/С*) J (D), J (D)) = 0. (2.11.5)
Из уравнения (2.11.5) в силу произвольности матрицы в для
матрицы К* получаем уравнение
М (ВЛ"1 (/ — /С*Е) Л"1 + /С*) ф! (£>)~ф1 (D) = 0. (2.11.6)
Уравнение (2.11.6) можно решить на ЭВМ с помощью
различных методов решения функциональных уравнений,
например, принципа сжатых отображений. Вместо
математического ожидания в уравнении (2.11.6) можно взять сумму
независимых реализаций случайных матриц и воспользоваться
методом Монте-Карло.
§ 2.12. Спектральные уравнения в теории
минимаксного оценивания
В предыдущих параграфах оценка решения х либо
состояния x(t) некоторой системы была найдена в виде
где у — вектор наблюдений; К — некоторая матрица
(линейный оператор), которая удовлетворяет уравнению
((d/dt) В(К+ /в) фх (В (*)), 5 {В ( К)))м = 0. (2.12.1)
Здесь В (К) — некоторая неотрицательно определенная
матрица, зависящая от матрицы К\ в—произвольная матрица
того же размера, что и матрица К; <pi {В (К)) — собственный
9S

вектор, соответствующий максимальному собственному числу
Кг матрицы В (/С). Кроме того, в § 2.11 получено уравнение
М (ЗЛ-1 (/ — К*В) А*1 + /С*) ф! (D) ф! (D) « 0.
Уравнение (2.12.1) и подобные ему будем называть
спектральными уравнениями.
Одно из решений уравнения (2.12.1) следующее
(d/dt) В(К + tS)t=0» 0, (2.12.2)
где в — произвольная матрица того же размера, что и
матрица К (см. § 2.4).
Однако, как хорошо видно из теорем этой главы, в
общем случае
(d/dt)B(K + te)=£0.
Покажем, что в общем случае уравнение (2.12.1) может
иметь бесчисленное множество решений. С этой целью
возьмем уравнение (2.5.9) из § 2.5*
[6Л-М' -1 (/ — КС)' — /С'] 7г ((/ — КС) А'А1 -1 х
Х(1-КС)' + КК')=0. (2.12.3)
С целью упрощений вычислений предположим, что вее
матрицы квадратные второго порядка.
Пусть матрица С = L q ; А = /.
Одно из решений этого уравнения очевидно!
К' = С (1 + С2)"1; С — С1 К' — К! = 0.
При этом ошибка оценивания равна
Кг {1 — С2 (/ + С2)-1)2 + G2 (/ + С*Т* ==/(/ + С2)"2 +
+ С2 (/ + С2)-2 = %г (/ + С2)-1 = max 1(1 + с2)""1, 1} «= 1.
Возьмем другое решение:
Ы1+е2Г в]
*=[ 0 0J-
Тогда если (1 + с2)"1 + е2 < 1, то
=г.{[<1_с,<о+с*па ^]+[в,(1+оо)"а+в! S]}-
96

Далее,
Тогда
- 7 ([(1 + °2)2 + °2 (1 + *2)2 + 8* °Ц =
i? sim-ra-
Ошибка оценивания в этом случае равна
Ц(1 + с2Г + е2 0J ^ тах ((1 + сТ1 + ^ ц = L
Итак, получен континуум решений, для которых при
условии, что (1 + с2)"1 + е2 < 1, ошибка оценивания тоже
равна 1.
ГЛАВА 3
АСИМПТОТИЧЕСКИЙ МНОГОМЕРНЫЙ
СТАТИСТИЧЕСКИЙ АНАЛИЗ
В многомерном статистическом анализе оценки
(статистики) неизвестных величин а являются некоторыми борелевски-
ми функциями / (х19 ... , хп) от наблюдений хг, .. . , хп над
случайными векторами. Асимптотический анализ оценок f
заключается в выяснении условий, налагаемых на функцию /
и наблюдения, при выполнении которых оценки /
состоятельны и распределения нормированных разностей (f—а)сп слабо
сходятся к некоторому предельному распределению. Для
решений этой задачи используется наиболее развитая часть
теории вероятностей — предельные теоремы для функций f.
Методы многомерного статистического анализа неразрывно
связаны g предельными теоремами теории вероятностей,
причем эта связь постоянно обогащает как анализ, так и теорию
предельных теорем новыми блестящими результатами. В этой
главе изложены методы доказательства предельных теорем
в статистическом анализе, основанные на предельных
теоремах для полиномиальных форм от случайных величин и сумм
мартингал-разностей.
Доказано, что в большинстве случаев предельные
распределения для нормированных статистик являются нормальными.
4 7-305
97

§ 3.1. Предельные теоремы для борелевских функций
от независимых случайных величин
Одной из распространенных задач в многомерном
статистическом анализе является следующая: пусть заданы
некоторые борелевские функции f(ll9 . . . , ln) от независимых
m-мерных случайных векторов £л. С целью упрощения
формул эти функции обозначим символом fn. Необходимо найти
условия, при выполнении которых распределение функции /
можно приближенно заменить распределением некоторой
функции, но от других (проще устроенных), независимых
случайных векторов r\t, i = 1, л. К такой задаче сводится,
—>-
например, следующая: пусть хк, ft =1,2 ..., независимые
наблюдения над случайным вектором gm, у которого
существует ковариационная матрица R, в качестве несмещенной
оценки матрицы R возьмем
R = 2*-iА k (** —"*) (** —"*)' Bk>
где Ak и Bk — квадратные матрицы /л-го порядка; S^HA —
= /. Задача заключается в нахождении предельного
распределения матрицы R — R. Очевидно, что элементы матрицы R
равны квадратичным формам от компонентов векторов xk.
Введем операторы Gs, действующие на произвольную бо-
релевскую функцию /(v1, . .. , vn) независимых случайных
векторов следующим образом:
GJ& vj =T)S [M [(/„-М (Uos))2/as]l/2+ M (fjas)\,
где r]s, s=l, n — независимые случайные величины,
распределенные по нормальному закону N (О, 1) и не зависящие
от случайных векторов vt\ i=l,n\ os — минимальная оал-
гебра, относительно которой измеримы случайные величины
г]р, /?= 1, п и векторы vfe; ft = J, n\ ft gt s.
Теорема 3.1.1. Пусть для каждого значения п заданы
борелевские функции /n(£i» . .. , £„) независимых случайных
векторов такие, что существуют М/п#
lim^eolim^OoP(|/J>/i}=0; M (Ils=iGs/J2<oo, ft = ОГщ
(3.1.1)
98

sup.SL,м[П£ол-м(П^А/р*)]'<oo; (3.1.2)
Pk = o(T{, r\{, i = 1, n, 1фк); ULAfn^fn,
UL1Gs = Gk...G1
и выполняется условие Линдеберга для любого т>0
Lim..-2L 5„>х^р{ПП G^ - м(ГОл/р*)< *}- °-
(3.1.3)
Тогда почти для любого вещественного х
limn-.[P{/»&. • • • • U<^-pini=iGs/n(?i, • • • ,Т„)<*}]=0.
(3.1.4)
Доказательство. Пусть gk = ris=i*Vn't рассмотрим
неравенства для разностей характеристических функций:
|М exp (isfn) — М exp (isgn)\ < \J£^ [M exp (isgk^) —
— М exp (isgk)\\ < SLi Я» |М {ехр (гзЭ^.О — ехР (^*)/Р*1 <
< SLi M |M {(exp (is 6^0 - (is 9^/2 - 1)Ы1 +
+ SL# IM ((exp (is Qk-is Qk№ - l)/pft I,
где eft = IVl(&/pfc).
Используя неравенства
I ef* - Sp=„ ('*)>! \<\x №1 (3.1.6)
имеем:
lг •' = SLM J lexP ('s *) — (fe x)2/2 — M Л» 1в* < */p*} <
<SL Jw<» |e*"-(fa«)a/2-f»- 1|йР{ей_1<Л;1 +
+ 2L Li>e Пе'" - H+ s2*72] dP {6M < *} <
< |s|3 (31)-1е2;=1{ЛР {в^ < *} + s^J,„>E^P|9ft-i<^-
Из этого неравенства, используя условия (3.1.2) и (3.1.3),
переходя к пределу сначала при м~*оо, а затем при в-*-О,
получаем
limtt^oo/1 = 0. (3.1.7)
Очевидно, что
/.' = SLi М | М {(exp (to 9,) - 1 - (b 0,)2/2)/p, | =
4* 99

= SLi M | M exp {-sm (GLi/P,)) -l + Sm (Сг/р*)/21 <
< SLi $ w<e \^x -i+*2*idp iM (Ci/p*)/2 < *i +
+SLi I w>« i^58* -*+s2*i *> iM (eLi/p^)/2 < *i <
< 8 |S|3 (3i)-i SL M (0^i)2+s2 EL Iw>e *dx
хР{М(0^1/р,)/2<х}. (3.1.8)
Заметим, что для любого б>0
JМ>8 *d Р1М (Qli/P*) < *1 < M0LiX (|в^1) > б) + вв-1Мв^.
Поэтому, используя это неравенство, неравенство (3.1.8) и
условия (3.1.2), (3.1.3), имеем
LinWoJ^O. (3.1.9)
Применяя пределы (3.1.7) и (3.1.9) к сумме (3.1.5), находим
Lim^oo |М exp (isfn) — М exp (isgn)\ = 0.
Из этого соотношения, так как выполняется условие (3.1.1),
на основании предельных теорем для характеристических
функций вытекает (3.1.4). Теорема 3.1.1 доказана.
Укажем некоторые свойства операторов Gs. Если
размерность т векторов \п равна 1, функция fn является
полилинейной однородной Щ( = 0, D^ = 1, то
Y\ks=lGsfn(ll> • • • &п) =» /ЛТЬ • • • » 1\Ь, 5й*1. • • • > £л)-
(3.1.10)
Если т = 1 и fn равна сумме полилинейных однородных
функций различных порядков и Щ{ = 0, D^ = 1, то также
справедливо равенство (3.1.10).
§ 3.2. Неравенства и закон больших чисел
для сумм мартингал-разностей
Как уже отмечалось во введении к этой главе, оценки
являются борелевскими функциями реализаций случайных
величин. Иногда для таких функций, в отличие от теоремы
3.1.1, можно доказать предельные теоремы типа закона
больших чисел и центральной предельной теоремы. Докажем
вспомогательные предельные теоремы общего вида для боре-
левских функций независимых случайных величин.
100

Пусть /Ли1, ... » In) — последовательность борелевских
функций случайных величин (gf\ ... , £„п)). Предположим,
что существуют Щп. Тогда с вероятностью 1
fn-Щп = SJL («Л-Mm/J; (3.2.1)
М [<Ы = 0; М [v^p/p(mln №t „>] - 0; k ф р,
где yk = Mfe/„ — M^; k = 1, /г—1; M J„ = /„; M0/„ = M/*,
Mfe — условное математическое ожидание при фиксированной
минимальной а-алгебре р^, относительно которой измеримы
случайные величины ^\ ... , g^.
В дальнейшем слова w вероятностью Ъ будем опускать.
Заметим, что величины yk называются
мартингал-разностями, так как последовательность величин zp; = 2L.iTfe
образует мартингал. (Случайные величины гр образуют мартин-
гал, если М (Zp/zlt ... , г^) = 2p_i).
Для случайных величин yk справедливо неравенство Бурк*
хольдера р > 2; для всех п= 1, 2, ..,
И | SLi% Г < V*"/2 SLiM Iy*|"/«, (3.2.2)
где ер — некоторая константа, зависящая только от р.
Следующее утверждение весьма простое, оно очень часто
используется в асимптотическом статистическом анализе.
Теорема 3,2.1. Если для некоторой последовательности
постоянных еп
Hm^.fl£aELiMY*e().
то
р Шп^е? \fn — M/J « 0. (3.2.3)
Теорема 3.2.1 называется законом больших чисел для сумм
мартингал-разностей.
Используя неравенство (3,2.2), можно доказать различные
теоремы типа закона больших чисел. Докажем, например,
следующее утверждение. Предположим, что случайные
величины £}л); issl,/i; я=1, 2... заданы на одном
вероятностном пространстве. На протяжении всей книги считаем,
что все случайные величины, определенные в схеме серий,
заданы на одном вероятностном пространстве.
Теорема 3.2.2. Если существуют fAy*k для некоторой
последовательности постоянных сп\
£;=i (2Li"MC?!) < оо, (3.2.4)
то в вероятностью 1 Lim^*,^1^— Mfn) = 0.
101

Доказательство. Используя неравенство (3.2.2), имеем
m[£LiY*]4™ELiM|y*i4.
Но тогда, так как выполняется неравенство (3.2.4), на
основании леммы Бореля — Кантелли справедливо утверждение
теоремы 3.2.2. При доказательстве предельных теорем часто
будет использоваться вспомогательное утверждение.
Лемма 3.2.1. Если \n — некоторая последовательность
случайных величин, для некоторого а>0 sup„M |£J1+a<°°
и р Lim„->«>£« = а, то Нт^^М^ = а,
§ 3.3. Центральная предельная теорема для сумм
мартингал-разностей
В многомерном статистическом анализе при доказательстве
асимптотической нормальности оценок некоторых функций
ковариационных матриц часто используется следующее
утверждение.
Теорема 3.3.1. Пусть для каждого значения п задана
последовательность мартингал-разностей yky k = 1, /г:
limn,.«c„>0; (3.3.1)
lim..^1 SLiM | Myl - M (т2/Рл)| = 0, (3.3.2)
где pk = о (yti ... , yk)\ cn = £LiMY*> u выполняется
условие Линдеберга: для любого т>0
,im»~ EL S W>t*W ^Xl\ <x} = 0. (3.3.3)
Тогда
Linw.P \c7U2 S;=1Y, < г] = (2яГ1/2 $L exp (-y*/2) dy.
Доказательство. Так же, как и при выводе
неравенства (3.1.5), получаем
|М exp {is Е2_гСГ1/2ТР) - exp (-s2/2)| </, + /,+ /,, (3.3.4)
где
/i = S"=iM Iм (exp {te71/2T*} - i*nVk ~ 1 - (ЗсГ1 (&У*)"/Р*П,)1;
/, = £Li lexp {-s2C-1/2M^/2} - 1 + А£М1гё/2|;
/. = s2 SLiM |M (c7lV*/P?)) - c7!M^I/2.
Для величин lt и /3 справедливы неравенства (см. § 3.1)
/, < И8 (т/3) SLC'MyI + 2s* SI=j М>,ДЛЯ> {£""4 < x).
102

Из этого неравенства, используя условия (3.3.1), (3.3.3) и
переходя к пределу сначала при п->оо, а затем при т->0,
получаем, что 1лт,г_>оо 1Х = 0.
Аналогично
Следовательно, lim^oo/2 = 0. Из условия (3.3.2) следует, что
lirrWoo /3 = 0. Но тогда, используя предельные теоремы для
характеристических функций, из неравенства (3.3.4) получаем
утверждение теоремы 3.3.1.
Теорему 3.3.1 можно значительно обобщить, но она часто
используется и, кроме того, с ее помощью значительно легче
находить оценки скорости сходимости к предельному закону.
Теорема 3.3.2. [24] Пусть задана последовательность
—>-
векторных мартингал-разностей \ln\ i = 1, п\ п = 1, 2, ...
и выполняется условие Линдеберга: для любого т>0
Р Hnw . SLi Щ ШЛ (IlLlI > т) = 0; (3.3.5)
р Hnw SLi Л*Хя1й. = #т> (3.3.6)
где #т— положительно определенная матрица.
Тогда
lim- ~ p{2Li б*» 6 5} = (2n)-m/2det tf^1/2 $ da^7lC *W *
(3.3.7)
где £— любое измеримое множество из пространства Rm.
Доказательство. Обозначим
У*» i = fknX (Xlt/M, |ifM||2 < с); k = 17^, *> Sp tfm;
/„Wi^Mfexpf/ELi^
(3.3.8)
Представим fn(s) в следующем виде:
/я О*) = S?-i М [exp (* & ?,„)) - ехр (—М, (X ^,)2/2)] 9, =
= SLi M [{exp (* (Т, Т,„)) - 1 - М, {i fc ^))2/2} -
_ {ехр (—М/ fc ^г)2/2) -1-М, (*(Х 7/„))2/2}] Эь (3.3.9)
где e/^expliSft^ife v^) + ELiMAfc ^)2/2}, (ELi=0).
103

Очевидно, что
|в,| < exp {ELi Ша Щ fLw/2} = ехр {Й2 SLi Пк ||f|J| x
X 1 (Е?-! М< Ы < е)1 2) < ехР (И5»2 с/2)- (3-3. Ю)
Используя неравенство (3.3.10) и равенство (3.3.8), так же,
как и при выводе неравенств для величин 1г и /2 (см.
доказательство теоремы 3.3.1), имеем
If» Й1 < {Й3 N3) SjLi М IK* ||2 +
+ 2 IHI'SLij -, IUI|W{^n<T}+l|T||4 (т/4)2=1М||Т*„ »2+
+ (INI4/4)SLJ_ ||^||2dP{vL<7}. (3.3.11)
ll*il>t
Очевидно, что
SLi ^ - SLi IL = SLi Ux (Sfci м и bn II2 > с). (3.3.12)
Докажем следующее вспомогательное утверждение.
Лемма 3.3.1.
р Linw [SLi vL - E2_i£ft] = о. (з.злз)
Доказательство. Используя (3.3.12), имеем
Мехр [* EZ-i &„, s) x(£fcl Mi || Ь„ ||2 > с)} =
= Mexp{fS5Ui(b«,^x(StiM/||b«||a>c)} X
хх(2^1М/||Тм||2>^) + мх(Е"=1М/||^||2>с) + 1.
Поскольку выполняется условие (3.3.6), то из этого
соотношения получаем (3.3.13). Лемма 3.3.1 доказана.
Аналогично доказываем, что
р linwSLi Мл ||Tte ||2 - SLi М* «Тли II2 = 0, (3.3.14)
для любого <г > 0
р Hm^ooSLi [M \\^kn ||2 X (ll^fe, II > т) - МИ|1ь II2 X(ll^n II >
>т]=0. (3.3.15)
Поскольку
£LiM,||T*„H2<c, (3.3.16)
104

то, пользуясь леммой 3.2.1, пределами (3.3.14) и (3.3.15), из
неравенства (3.3.11) получаем
plim^eolMsfl^O. (3.3.17)
Снова, используя лемму 3.2.1 и учитывая (3.3.14), (3.3.13),
(3.3.16), доказываем, что
linwo, [fn (7j- M exp j/SLi (£ Ьп) + 7r~Z/2\ + l] - 0.
Но тогда, если справедливо соотношение (3.3.17) и матрица
невырождена, то выполняется (3.3.7). Теорема 3.3.2 доказана.
§ 3.4. Сопровождающие безгранично делимые
распределения для сумм мартингал-разностей
Теорема ЗАЛ. Пусть задана последовательность
мартингал-разностей \im i = 1, nt ak = e (s' **л — / (s, lkn) — 1
для любого 0 < || s || < oo
p lim^ SZ-i I МЛаЛ |2 = 0, (3.4.1)
p LiiiWoo [ULi Mk<x>k — an (s)] = 0, (3.4.2)
где an(s) — некоторые неслучайные функции;
pLinw SLi Mk \\TknII2 = 1, (3.4.3)
тогда для любого s
lim^oo [M exp [i 2Li (s, bn)} — exp {a„ (s)}] = 0. (3.4.4)
Доказательство. Обозначим
/„ (1) = M exp [t 22-i (s, v*„) — 22=i MfcP*} — 1;
^i==f^(2?=iM/||Srt||2<c); fe = TT^; *>1;
p,i = ^^)_i(X^)-l.
Представим /n(s) в следующем виде:
fn (s) = 2?-iM exP I* (s> v^)l — exp {M/P/}) 9Z =
= 27-1 M [ 1 + M,p, — exp tM/P/}] 9/, (3.4.5)
где 9/ = exp{t 2fe=l(s, vkn) — Jlk-iMkfah (2Li = 0).
105

Очевидно, что
I 9, | < exp (SLi И2 М* \Ып IP/2} =
= ехр {||7||« SLiM* ||fLll2_x| Si^iM, || lln ||* <c)} <
« exp {||7ц2 c/2}. (3.4.6)
Используя (3.4.5) и (3.4.6), имеем
| /„ (7) |< exp (2 + с ||7||»/2) M SLi I M/P/ I2;
I S?-i (I M,p/12 - | M,cc, |2) | < 4 SLi I M,p, - M,o/1 <
< I|T||2 SJ-i M* || 6*я |12 X (S M, || lin f > e)/2.
/=1
Поскольку S"=i I M/P/12 < || s ||2 с/2, то, используя эти
неравенства и условия (3.4.1), (3.4.3), получаем
linw | fn (7) | = 0; ||Т|| < s. (3.4.7)
Представим fn (s) в виде
fn (s) = M [exp {i SLi fo v*„) — SLi Mfepfe} — l] X
X (х(Л„)+Х(Аг))-1, (3.4.8)
где
^={«:|SLiMJlT,J|2-l|+IIlLiM,a,-a„(T)| +
+ I SLi (M*«* - MA) I < e}; e > 0.
Так же, как и при доказательстве леммы 3.3.1, имеем
р Lima.. I SLi W* - *W I = 0. (3.4.9)
Используя лемму 3.3.1 и формулы (3.4.9), (3.4.2), (3.4.3),
для любого е>0 имеем
Limn--№,(AJ = Q. (3.4.10)
Очевидно, что в силу условий (3.4.2) и (3.4.3) lim^oo |a„(s)X
<||5||2/2. Поэтому, учитывая (3.4.6), (3.4.10), а также лемму
3.2.1, из (3.4.7) и (3.4.8) получим (3.4.4). Теорема 3.4.1
доказана.
Приведем некоторые простые следствия из теоремы 3.4.1.
Следствие ЗАЛ. Если для любого е>0
р Lim„_ SLi МЛ II Ьп II2 Х(М* II 1ы II > е) = 0;
106

p Umn^ „ SLi mkak — ak (s) = 0;
pLlmn^-SLiM^llSnlp^l,
то для любого \\ s || < oo
lim^oo [M exp {/ £Li (? ?**)} — exp (a„ (1))] = 0.
Доказательство вытекает из простого неравенства:
SLi IМА l2 < IMI2 SLi мй у £„' ll2 x (Mfe ii fkn и > e)/2 +
+ e||7||2ELiMft||?*JI2.
Пусть заданы случайные m-мерные векторы lim i= 1, я.
Предположим, что не существуют МД-^. Если немного
изменить доказательство теоремы 3:4.1, можно доказать
следующее утверждение.
Теорема 3.4.2. Пусть
a, = (^W-l);
plimi.^-I!LilMAaJ» = 0;
р Limrt^oo [SLi МЛ — an (s)} = 0,
где art(s) — некоторые неслучайные функции
plim^. SLi%llLll(l + llSill)-1- I-
Тогда для любого s£Rm
Linwо» [Мexp \i SLi (*. lL)} — exp {an (s)} = 0.
Доказательство теоремы 3.4.2 почти совпадает с
доказательством теоремы 3.4.1 с той лишь разницей, что здесь
нужно пользоваться неравенствами
(ей;"35_ 1) < (2 + цТц\\х\\)0 + VcII)"1;
| (ef(t"S_ i)_(euTlrt_l) |<(2+ ||T||)||T-T|| (1 + || Г-Л)"1.
необходимо ввести случайные величины
Хп =1кД Efci M/ lll/n II (1 + II tm ID"1 < с, ft = Т^г с > 1
и при этом использовать равенство
fn(s) = М [ехр {/ SLife ~^«) ~ SLi M*a*I - l] =
= SLi M [1 + M/a, — exp (M,a,)] 9,,
107

где
8/ яв exp \i S*=l (S* Vkn) — SLi M^
Формулировки теорем 3.4.1 и 3.4.2 напоминают
соответствующие теоремы для сумм независимых случайных
величин. Если в условиях этих теорем математические ожидания
заменить условными, а пределы для сумм — пределами по
вероятности, то соответствующая предельная теорема для сумм
мартингал-разностей почти готова. Это лишь краткая схема.
Покажем на примере, как можно строго доказывать
предельные теоремы для сумм случайных величин, прообразом
которых служит предельный аналог для независимых величин.
->• -
Пусть заданы m-мерные случайные векторы %{П9 i = 1, п.
Представим суммы S?=i &„ в виде
2j*=>i Ьп = 2j*=i Ivtn + ytnh
где
?m = M*-l SLi МЛкп X(l"L Ю)-
- м, SLi м,Т*л (\Ъп I < *); ^ ="L - ^tiniiUm I < *);
qr > 0 — произвольное положительное число.
Теорема 3.4.3. Пувть
ak = exp [i (7, fa„ + %„))] — i (T ~ykn) — Й* — 1;
plimrt_SLilM,aJ2 = 0; (3.4.11)
plimrt_SLilMAI2 = 0; (3.4.12)
p Hnw [SLi Mk (ak + i8k) - an ffi] - 0, (3.4.13)
где an(s) — некоторые неслучайные функции;
p linw SLi МЛ [|| СII + И*п II2! (1 + II Ч* ИТ1 = 1 (3.4.14)
и для некоторого /i>0
"SL~ Р (SLi М* II?*» II2> Л| = 0. (3.4.15)
Тогда
Lim^oo [M exp \i SLi (Г 1L)} — exp {an (s)}] = 0. (3.4.16)
Доказательство. В теореме рассматривается
наиболее общий вид сумм — буммы произвольных случайных век-
108

торов, но тем не менее доказательство ее почти ничем не
отличается от доказательства теоремы 3.4.1. Введем
случайные векторы
*L = vL, x(S*=i4 (l + II Т/я ГГ+м, и 7tn и (1+Ц ^n h2)-1^);
щп = Ъп (SSIj ЩII Ъп II2«s/»)»«> l
и применим к ним теорему 3.4.1.
Обозначим
% i == exp [i (^ Ix^) + i (Z кы)\ — I (s, Kkn) — 1];
Ш« = м [exp (t'SLi (sT(^r. + **n)) — SLi M*P*} — О-
Представим функции fn(s) в виде
f» 00 - SLi M11 + MA - exp MAI eft
где
9, = exp {i SJli ("£ (J*, + x*«)) — SLi MAb
Так как справедливы неравенства
| (gf* _ i _ ix . (i + л;2)"1 I < ex2 (1 + я2)"1;
\el* — ix—l\<g x?/2, (3.4.17)
то
18, | < ехр {в £L, [М, 1К„ II2 + М, [||"^„ ||2 +
+ II Zn 111 (1 + An II2)-1]} < exp {с, (1)}, (3.4.18)
где supjhj. |e($ + ox(||<oo.
Используя (3.4.17) и (3.4.18), имеем
. | /„ 31 < exp (2 + ct (s)) M Ц;=11 Mp, |2 <• c2 (sj.
Поскольку
SLilM«P/l<e,U
TO
n Lim^lM^I-^O.
Используя это неравенство и (3.4.11) — (3.4.15), без труда
выводим (3.4.16) (gm. доказательство теоремы 3.4.1). Теорема
3.4.3 доказана.
109

§ 3.5. Предельные теоремы для /7-статистик
Пусть llf l2t ... — независимые одинаково распределенные
случайные векторы, f(xl9...9x„)— измеримые вещественные
функции, {/-статистикой называется сумма
Uni = Kf^fitn, ... , lim)\ c"=n (/i-l)... {п-т+\){т\у\
где сумма берется по всем выборкам (it, ... , im) из п целых
чисел таких, что 1 < ik < /г, ik ф ipy k Ф р, k, /7=1, /г.
Функция / называется ядром {/-статистики.
Очевидно, что Un является несмещенной оценкой
функционала
Q(F) = $ : . . J /(*lf ... , xm)dF{xx) ... dF{xm),
где /7W=PlH<^}.
Примерами (У„-статистик являются также средняя разность
Джини
(я(л-1))-*Е|£-!/|.
t+j
U—статистики Фишера, некоторые ранговые
корреляционные статистики, такие как ранговая корреляция Снирмана
и корреляция знаков разностей.
Обозначим
Vs = M(s_i)(/„ — M(s)(/„,
где M(s) — условное математическое ожидание при
фиксированной минимальной а-алгебре, относительно которой измеримы
случайные векторы glf ... , gs. Очевидно, что
Оп — TAUn = Ssn-iTs.
При доказательстве предельных теорем для случайных
величин Un можно применить доказательства предельных
теорем предыдущего параграфа. Например, из теоремы 3.3.2
следует теорема 3.5.1.
Теорема 3.5.1. Пусть существуют f&y2si s = 1, п такие,
что
Hm £"=iMy;>0; (3.5.1)
р Нт„_ .СГ' Si-i ЩИ - М (vi/pf)] = 0, (3.5.2)
ПО

где p(sn> — минимальная о-алгебра, относительно которой
измеримы случайные величины £/п), Z ?= s, Z = 1, л, с„ = D(vn—
— JVlvJ и выполняется условие Линдеберга: для любого: т?>0
рНшя^.2^$,,1>,^р1ЧГ1/аУ.<^/Р?)} = °- (3-5-3)
Тогда
L {c7x/2 (v„ — Mvn)) => N (0,1). (3.5.4)
Если для некоторой последовательности постоянных ап
Lim^ooa^SLiMv,2 = 0, (3.5.5)
то
р Нт^ооаГ1 [vn — Mv„] = 0. (3.5.6)
Обозначим через (Zlt ... , im)s выборку ft чисел из чисел
1,2, ... , п, среди которых одно число фиксировано и равно
s, (s= 1, л). Очевидно, что
-М,Е<ц. ....**>./(&....■ >Ы> (3.5.7)
где суммирование ведется по всем возможным выборкам
(*!, . . . , ik)s.
Число слагаемых в выражении для ys может стремиться
к бесконечности при я->оо, причем каждое слагаемое зависит
от случайного вектора £<п). Это наводит на мысль, что можно
найти условия, при выполнении которых
pLinw^1 [ys — М (ys/&s))] = 0,
где bns — некоторая последовательность постоянных.
Таким образом, справедливо следующее утверждение.
Следствие 3.5.1. Пусть выполняются условия (3.5.1),
(3.5.3); существует такая последовательность постоянных сП9
что
п Ss=lbrcs
№«4)Vi6«-T.I>
>h]P{\b^ys\>h}=0; (3.5.8)
рUmn^bZl [Vs — Mvs/^n)] = 0; Wan~-thl%l-itL < oo. (3.5.9)
Тогда выполняется (3.5.4).
ill

Следствие 3.5.2. Пусть выполняются условия (3.2.1), (3.2.3);
LinwC1 SLi {М (v. - M(YS/|S))2 + М (Vs-
-M(vs/y)MY^]1/2} = 0. (3.5.10)
Тогда справедливо (3.5.4).
Доказательство этого следствия вытекает из соотношения
SLi м | MY* - м (vXn)) I = SS_i м {м (Vs -
- М (y&s)T - М [(y, - М (yjls))2/^] - М [Ys -
- м (7ЛЛ м MVIpP]} < S"=i (м (т, - м (Ys/y )2 +
+ [M(Ys-M(Ys/y)2MY*]1/2},
в силу которого справедливо (3.5.2).
Следствие 3.5.3. [36] Пусть случайные векторы llf |2, ...
—► ->
независимы^ одинаково распределены, функции f(xv ... , хт)
симметричны, т. е. we изменяются при перестановке любых
двдо векторов xki xs и
D{M[f(Z, ... ,U/fil}^0.
Гогдя
Нтп.*»Р{[Е(*1§... ,iin)f (lin ... ,bm) —
- CM/ (glf .. . , U] [n (СЛ1)2 D {M [/ (flf 12 fj/
/lil}]~"2<4 = (2n)-1/2 J ехр(-г/2/2)ф;
— oo
Л? = л(я-1) ... (/i_m+l); С-Л'^Г1; C2_i = 1.
Доказательство. Выберем в качестве нормирующих
постоянных числа п (С"~!)2 D {М [/(£1э ... , Ufa]}.
Докажем леммы.
Лемма 3%5J. Еели выполняются условия следствия
3.5.3, то
Nl(vn — Mvn)2<cn(CZ:t)*9
где с>0— некоторая постоянная.
Доказательство. Очевидно, что на основании (3.5.7)
при т > 2
м к - лад = 2?=iMY2s < 22-1 (Ik,.... /«). W't» • • •»
..., (f,> ... ,tm)]1/2<W[Cr!])2.
112

Лемма 3.5.2. Если выполняются условия следствия
3.5.3, то
M(vn- Mvn)* = n(Wz\)4D{M[f (fv ... ,S)/Til} + 0(1)].
(3.5 Л1)
Доказательство. Очевидно, что
м (v„ - Mv„)2 = SSLiM-й = S2-i [м (v. - м (Ts/t))2 +
+ m(m(Ys/C))2]. (3-5Л2>
В силу леммы 3.5.1 и формулы (3.5.7) при т > 2
М (ys - М (Ys/fs))2 < с (я - 1) (СГ22)2;
при m = 1
M(Ts-M(7s/Ts))2<:c; (3.5.13)
M(M(^j)1=(C^il)»D{M[/(Ti, ... ,U/lil}. (3.5.14)
Поскольку при т > 2
м (т. - м (Vs/y )2 [м (м (т./Б.))Т1 <
<<?(/г- 1)[СГ22]2[СГ}Г2 < с(/|_ l)-i(m- 1), (3.5.15)
а при т = 1 это выражение меньше, чем с (/г— I)"1, то,
используя (3.5.13), (3.5.14), из (3.5.12) получаем утверждение
леммы 3.5.2.
Используя (3.5.15) и лемму 3.5.1 (с целью упрощения
выкладок предположим, что т > 2), имеем
ct Si-i {(М (Т. - М (т./6J) + [М (Т. - М (Vs/gs))2 X
X МТ2]"2} < с [п (CZi1)2]1 /г Ц/г- 1) (C"f)2 +
+ [(п-1)(ст?)2(сгг11)я]|/2}-
Поэтому справедливо (3.5.10).
Условие (3.5.1) выполняется в силу (3.5.11).
Докажем, что справедливо условие (3.5.3). Представим
vn в виде
где
©ч...., <m = fo.....- tm 1 (I / (blf ... , bm) I < c);
X'i* -• * tm = fix, - * tm (bit • • • > 8'm) ^ (| fti. ... * *m (£ii> ••• » 6*m) I >
>c); c>0.
113

Очевидно, что для сумм
справедливо условие (3.5.3).
Используя доказательство леммы 3.5.1, имеем
М (11(ч. ^ , 4и) К. ... . fc, — Mx,if ... . ,т])Я <
< от (CZJ [Mf glf . .. , lm) x (I f (glf . .. , gj I > c]!/»)».
Эта сумма, деленная на n(C%Zi)2, стремится к нулю при
с-э-оо, так как величины £lf ... , |а ... независимы, оди-
наково распределены и существует М/2 (glt ... , £„).
Итак, все условия теоремы 3.5.1 выполняются. Следствие
3.5.3 доказано.
§ 3.6. Оценивание параметров устойчивых
дискретных систем управления
Математические модели некоторых линейных дискретных
систем управления задаются с помощью рекуррентных
уравнений
У* = Qtlk-i + ък-л + в*. (3.6.1)
где 0 = (9£/)lt /=i — неизвестная матрица; у0, 6fe — известные
векторы управления размерности т\ гк — наблюдаемые век-
торы размерности т\ ek — случайные векторы размерности т.
Задача заключается в том, чтобы оценить матрицу 0 при
—> ->•
условии, что наблюдаем векторы ylt ... , уп.
Оценку 0П матрицы 0 найдем из уравнения
где ik = yk — bk-\. ^ ^ _^
Из этого уравнения, подставляя ги = ®Ук—) + еь имеем
(0Я— 0) SLi^-iyfe-i = SLie^-ь
Если М(^/£ь ... , lk-\) = 0, то при условии, что
существует обратная матрица (JJ^i^-ij/^i)"1, оценка в„ будет
смещенной, т. е. М0 =£ 0. Докажем, что при некоторых
114

условиях она будет состоятельной, т. е. рНтп^в0@„ = в
и найдем скорость сходимости ё„ к 0 при л-^оо в смысле
слабой сходимости распределений.
Назовем векторы гк асимптотически независимыми
третьего порядка, если почти для всех значений векторов xt nyt.
limA— SUP| „г-н i>a. «-1ТзP К < *f l = *' 3>
*Si < Уь t = 1, 3) — P [Bki < xit
i = 1, 3)} P {tSi <£, I = T3) = 0. (3.6.2)
—> ->
Теорема 3.6J. Пусть М(гк\г1у ... , e^-i) = 0 и
случайные векторы 8/г асимптотически независимы третьего
порядка:
||в||<1; suP/||M<c<oo; (3.6.3)
1ищ_ sup, M ||t, |P x (||"5 || > h) = 0; (3.6.4)
тогда
*Mexp {toj/2 SpQ[0„ —6] (SLiM^^i^1)} =
= exp {-SLiM(Q/?fQ'^b 7*-i) ^/2( + 0(1), (3.6.5)
где R™ — РЛгкг'к; Q~ (qij)™j==\—матрица параметров; сп>
> я — любая последовательность постоянных величин.
Доказательство. Докажем, что
pLinWooCT1 ELi (#*#* — М^) = 0. (3.6.6)
Рассмотрим преобразование
me-^l^TiHn e д|в-С12*-1^**)| (3.6.7)
где S = (S(j)Tt /=i — положительно определенная матрица.
Очевидно, что (3.6.7) можно представить выражением
m^'SLic^u e M exp (fc-^s^ (^, ^}, (3.6.8)
—>
где %, k= 1, 2, ... —независимые случайные векторы, не
зависящие от векторов &k и распределенные по нормальному
закону N (0, 2S).
I1&

Из уравнения (3.6.1) получаем
7k = в* (г/0) + £?=о©'' (Z-t+ ^e_,-i). (3..6.9)
Используя это равенство, имеем
+ S2=i SC №-,, ть) + Ей Й. Ю в'^р+А). (3.6.10)
Обозначим
Уь = (X, Е"=?в'Р11Р+1).
Величины уд> при фиксированных г\р являются
мартингал-разностями. Поэтому для этих величин можно воспользоваться
центральной предельной теоремой: если для некоторой
последовательности постоянных сп
' рНШл-^Еа-^1 (М*т* - МТ!) = 0; (3.6.11)
\\тп^97х £t=iMv! < оо (3.6.12)
и выполняется условие Линдеберга! для любого т>0
lmw S*-ier!Mv2x (| yk |2e7U2 > *) = 0, {3.6.13)
iro для любого вещественного /
M^'E*-i v71/2 e JVie-^2"-r*vI/2+o(i)f (з.6.14)
где волна над математическим ожиданием означает, что
величины r\k фиксированы; М,— условное математическое
ожидание при фиксированной минимальной а-алгебре ank, относи-
-> -+
тельно которой измеримы случайные векторы elf ... , ek.
Проверим справедливость условий (3.6Л1)—(3.6.13).
Очевидно, что условие (3.6.12) справедливо, еслис„>/г, так как
ъ силу условий (3.6.3) и (3.6.4)
< Е£? sp se'/tfV* < и s и sup, к я?> у (i -1| e H)-1 < oo.
Докажем, что справедливо (3.6.11). Так же, как и при
доказательстве (3.6.12), имеем
S/Li сТ1 (M*Y* — MyI) = Sp S/LieJT1 ([Млеле£ —
316

Но в силу условия (3.6.4) и асимптотической независимости
->
случайных векторов е^ получим* что эта разность стремится
по вероятности к нулю при л-^oo.
Используя. (3.6.4), убеждаемся, что справедливо (3.6.13).
Следовательно, справедливо (3.6.14).
Заметим, что
Поскольку векторы r\Pf p = 1, 2 ... независимы и в силу
условий (3.6.3) и (3.6.4)
|ISU@%^@'4l<c<oo,
то в силу закона больших чисел
plinWeotC1 £/Li (М?* — 1Лу1) = 0.
Поэтому вместо (3.6.14) получаем
Mexp{«2^iv^1/2}-
- М exp {-/2 (2CJ"1 SS-i SS1 Sp Se^^e^}; (3.6.15)
Аналогично* используя условие (3.6.3) и центральную
предельную теорему для сумм независимых случайных векторов,
получаем
мехР [Ш7и2 {££=, (в" (Ув +t0)> Я») + Ли ЕЙ (eC*
5)}] - ехр [-/» (2с J"1 Sp=i (S (в" (7+t0) +
+ SCO* &;_,), (в"(^0 + К) + Е?=овС-0)] +0(1). (3.6.16)
Из (3.6.15) и (3.6.16) на основании формулы (3.6.8) вытекает
• Mexp{-cr,SpSS^iMra =
= ехр {-е~112Sp S [££=> ECi1©'^®'' +
+. Ли (0Р Й +"5) + ЕК'в'й-,) (©" Й, +%) +
+ 2й,еС*)']} + ()(1).
Но тогда из этого соотношения в силу предельных теорем
для преобразований Лапласа имеем
plinw^-11| EJUS Й- SU 2?=i@%-,^ -
117

- SS-i (e* fa +Ъ + 2йв^) (вр (у9+Т0) +
+ И?=1в^|1) = 0. (3.6.17)
Рассмотрим суммы с^1/2 Л/Li e^*_i. Матрицы e^_i явля-
ются мартингал-разностями.
Для них справедлива многомерная центральная
предельная теорема, если выполняются следующие условия:
plim^aoC^SLi {yk-iMkBtfikyLi — My^EbEby'^} = 0; (3.6.18)
1гтп+.с711£=1Щ\вкУ£-1 ||2<°о; (3.6.19)
для любого %\>0
linw.0 SLi^1M||t^1||^(|i^_1||2^1/2>T)==0. (3.6.20)
Используя (3.6.9), а также условия (3.6.4), убеждаемся, что
справедливы условия (3.6.19), (3.6.20).
Действительно, из предельных теорем для сумм
мартингал-разностей следует, что условие (3.6.18) выполняется, если
справедливо условие
plimn~~cn Ьк=\{Ук^\ъ'кЪкУ'к-\ — Шук-\г'кгкУк-\} = 0. (3.6.21)
Для доказательства (3.6.21) можно воспользоваться
доказательством соотношения (3.6.17). Все вычисления для этого
случая справедливы за исключением некоторых тривиальных
изменений.
Укажем эти изменения. Используя условия (3.6.3) и (3.6.4),
легко убедиться, что в условии (3.6.21) все векторы можно
заменить векторами
„_,«*. II«лII «ft;
0, || в* || > ft,
где ft > 0 — некоторое произвольное число.
Заметим, что если векторы гк асимптотически независимы
и нормы их ограничены, то
р linw !| c^ELiffi+sAfe — Mel ei+И*) II = 0, (3.6.22)
где s>0 — любое число, не зависящее от п\ Ak — некоторые
детерминированные матрицы, причем j| Л*|| <0<оо.
Из формулы (3.3.9) следует, что вектор yk при fc-^oo
стохастически не зависит от случайных векторов еь ... , е^т,
118

где т > 0 — любое целое число такое, что k — т -> оо при
fe->oo.
Следовательно, в сумме (3.6.21) приближенно можно счи-
тать, что векторы t/k-i зависят от случайных векторов е*, ...
.. . , 8fe-_m, где fe-^oo; k — m-^ oo; fe> т. Но тогда,
используя условие асимптотической независимости и (3.6.22),
получаем, что справедливы условия (3.6.18)—(3.6.20). Поэтому
с учетом (3.6.17) приходим к утверждению теоремы 3.6.1.
Следствие 3.6J. Если дополнительно к условиям
теоремы 3.6.1 существуют обратные матрицы (2*=iM#/e-iX
X yi-iCn Г1, то
Mexp{^/2SpQ[ew —в]} =
= ехр {—2"1 Sp SLiMe^Q' (SLiM^^i^.^1)""1' X
X yk-\y'k-\Q (SLiMr/^!^!^1)"1^1! +0(1)-
§ 3.7. Оценивание параметров нелинейных систем
управления
Рассмотрим дискретные системы управления, которые
описываются уравнениями
Xk+\ = gk (@, Xk) + bk + 8fe,
где векторная функция gk (в, xk) — некоторая нелинейная
измеримая функция матрицы параметров ® = (0*/)™/иа1 и компо"
->
нент вектора xk.
Это уравнение в некоторых случаях можно линеаризовать
по матрице в и приближенно заменить его уравнением
Хы = в£ (xk) +tk +~&k, (3.7.1)
где 6 = (0i/)J". j — неизвестная матрица; bk — известные
векторы управления размерности т\ Хь — наблюдаемые векторы;
е*— случайные векторы; вектор хп задан. Оценку ®п матрицы
в найдем из следующего уравнения. Это уравнение для
нормальных независимых случайных векторов е/г можно получить
с помощью метода максимального правдоподобия, либо
непосредственно решая систему уравнений (3.7.1):
вя SLi/T(^)Ti(S) = SZ-i^+i^ Й). (3.7.2)
где Zk+\ = Xk+i —Ok.
119

Если случайные векторы ek независимы, Мед, = 0, то при
условии, что в вероятностью 1 существует обратная матрица
->—»*->
(E2-iM**)ft(*ft)) '; п>т,
оценка вЛ в общем случае будет смещенной, т. е. Мв„ ф 0..
Докажем» что при некоторых дополнительных условиях
она будет состоятельной, т. е. рНтл-ооб,, = в, и найдем
асимптотическое распределение матрицы (9„ — <д)1п/2 при п -*• сю.
Очевидно, что
(в„ - в) ЕЕ-ЙЙЛЙ) = 22-Ж(**)- (3.7.3)
Если М (бд/в1| е2, ... , e^-i) = 0, то в выражении (3.7.3)
сумма J^k=iukf'k(xk) является суммой векторных мартингал-
разностей. Чтобы применить предельные теоремы для сумм
мартингал-разностей, докажем асимптотическую стохастичес-
кую независимость случайных векторов хь xs при \k — s\ ->oo.
Это и является основным моментом доказываемой ниже
теоремы.
Теорема 3.7.1. Пусть M(ek/elt ... , e*_i) = 0, k = 2,
3 ... — случайные векторы, гк9 k = 1, 2, ... асимптотически
стохастически независимы, любого порядка!
sup*M|M4<oo; (3.7.4)
функции fk (xk) удовлетворяют условию Липшица
\\Т,(*)-Т.Ш<Ь\&-Ъ\, L>0, s=l,2, ... , (3.7.5)
||в||<1-1 (3.7.6)
и \\Rn\\<Cc<Zoo для всех значений п>т, где
Тогда
lim^oo [M exp I/ Sp Q (вл - О) /г1^} -
-exp 1-SLiM (Sp QeJ' Й)2/Щ] = 0, (3.7.7)
где в = (0j/) — матрицы параметров,
сп = SLiM/Ife)/!^^1.
120

Доказательство. Докажем, что при выполнении
условий теоремы 3.7.1 векторы xk и xs стохастически
асимптотически независимы при \к — s| -vоо.
Пусть Lk {x) — нелинейные случайные операторы,
действующие по формуле
Очевидно, что
Здесь под произведением случайных операторов понимаем их
умножение справа налево в порядке возрастания индекса р.
В частности, при fe>s
используя условие (3.7.5), имеем при k>s
II хи-1 - nUitp ЙII < £ II в IIИ *k - Up-W^p (0) II <
< (L|| в ||)*-. (3.7.8)
Поскольку выполняется условие (3.7.6) и случайные векторы
ek асимптотически независимы, то из (3.7.8) следует, что
случайные векторы xk и xs асимптотически стохастически
независимы при k — s->-oo.
Распределения сумм ^^==18^/Пл;^),г""1/2асимптотическиноР"
мальны, если выполняются следующие условия:
рНшп^. [пг1 2LiMSj?(S)S ЙКГ1 X
X я"1 SLiMМ(Ч)ТМZ/4) = /; (3.7.9)
для любого т/>»0
lim,_ SbM||^T;fe)^1/2ll2 X
X Х(11«явлМ^-|/а>«11) = 0. (3.7.10)
Поскольку векторы д:^ и #s асимптотически стохастически
независимы, то в силу условия (3.7.4) справедливы условия
(3.7.9) и (3.7.10).
Рассмотрим преобразование
М exp {-Sp Q ULiT* Й)Л Й) л"1}. (3.7.11)
121

где Q — неотрицательно определенная симметричная матрица
m-го порядка.
Представим выражение (3.7.11) в виде
Mexpi-Sp Q 21Li7*U К (^Л"1} =
= Mexp{t SLi Й, Ql/2TM)n-"2}, (3.7.12)
где r\k9 k = 1, 2, ... — независимые случайные векторы,
распределенные по многомерному нормальному закону с
параметрами (0,2). Суммы
SLi(ru.Q1/aSW)
являются суммами мартингал-разностей:
если
-М [(ш, Q^TaS))8]} = 0 (3.7.13)
И ДЛЯ ЛЮбоГО 17 > 0
lim„_ я-i 2 М Дь Q^£ fay % (|(Jf Qi/27; £fc)) | > т) = 0,
(3.7.14)
то
linw [Mexp (iSLi (tu, Q1/2M**)) -
-Mexp{-SpQ £Li7*fe) ЙЙ)""1}] = 0.
Условия (3.7.13) и (3.7.14) справедливы в силу выполнения
условий (3.7.4)—(3.7.6). Теорема 3.7.1 доказана.
§ 3.8. Предельные теоремы общего вида
для оценок параметров дискретных систем
управления
В этом параграфе рассмотрим дискретные системы
управления (см. обозначения в § 3.6). Оценку в„ находим из
уравнения
Фп — 0) 2ft-i*i *1ь = Е*-1вЛ*£-ь
Найдем общий вид предельных распределений для матриц
(в„—Q)Yn- Докажем следующее утверждение.
Теорема 3.5.1. Пуеть Щ&к/гг, . . . , &k^\) = 0; k = 2,
3, ...
122

plim^oo SLi {Mk [ek Xk^iXk-iB'jfl-1 (1 + (| efe4-i il2 nr1)'1] —
— M R-Ufc-iein"1 (1 + |fe^-i ||2 Т1)"1] = 0. (3.8.1)
Для всякого 8>0
plim^oo sup^=r^P {||ТЛа-1 II /Г1 > 6/a*} = 0; (3.8.2)
рНтп^оо ULi {Mfe (rife^-i^-iiifen"1 [1 +1| i\kX'k-i |i2 /Г1]"1 —
— M^-i^-i^T1 [1 + ||^*Li ||2 at1]"1)} = 0, (3.8.3)
<5ля всякого б>0
plim^oo sup/?=r^P {|h**Li || nr1 > б/a^} = 0, (3.8.4)
где r\ki k = 1, л — независимые случайные величины,
независящие от Xk, fe = 1, п и распределенные по стандартному
нормальному закону N (0, /); Mk — условное математическое
ожидание при фиксированной минимальной а-алгебре событий
ak> относительно которой измеримы случайные векторы
—>■ —>-
elf • • • > bk—\\
plim«^oo £/Ui [Мл ехр {* Sp Qe* Xk-\n-xP +
+ i Sp Qr^_irc-1/2} — M exp [i Sp 7* 7^щ-^2 +
+ f Sp Qvft-i«-1/2}] = 0; (3.8.5)
suP„ SLiM [|| ел^-11|2 /r1 (i + ii Tk7kix у2 л-1)-1 +
+ || Ди ||2 at1 (1 + |i ^_i1|2 AT1)-1] < oo. (3.8.6)
Тогда
Mexpl«Sp(en — ©)Qn^2} =
= M exp {i Sp QTJ"?} + 0(1), (3.8.7)
где rt м Г2- случайные матрицы rn-го порядка,
характеристическая функция элементов которых
Mexp{iSpQ1r1+^SpQ2r2} =
= exp {XL=i [M exp {i Sp Q&kXk-in-1'2 +
+ i SpQ^^-1/2l - HI + 0(1);
Qx — квадратные матрицы т-го порядка; Q2 —
неотрицательно определенная матрица т-го порядка,
123

Доказательство. Так же, как и в § 6.3, имеем
(в„ — e)JJLi*jfe-.i*/Ui = Е*-1вА**-ь
Рассмотрим совместную характеристическую функцию и
преобразование Лапласа случайных матриц n*1^2ft-ie**Li»
Мехр {* Sp Qx Sft«-ie*^-i«*1/2 — SP Q2 SLi^i^-in^1} =
= M exp (t Sp Qx S2-i^-i«-1/2 + iSp Qf SLitR-in-"2}.
(3.8.8)
Применяя к выражению (3.8.8) теоремы § 3.5 и используя
условия (3.8.1)—(3.8.6), получаем (3.8.7). Теорема 3.8.1
доказана.
Упростим условия теоремы 3.8.1.
Теорема 3J8.2. Пуеть для каждого значения п влучай-
ныв векторы в*, k = 1, п независимы; М || в* ||2 <<? < оо, k =
= 1, л;
sup„ SLi^M || £||2 <оо; ^ = 0; (3.8.9)
|| в ||< 1; sup„ n-1 S2-i [М \\7k t M || Д^-1||4]1/2<оо. (3.8.10)
Гогдд справедливо (3.8.7).
Доказательство. Рассмотрим суммы
sn = 2Z-ie**A-i; p« = 2*«iTi* 4-i. (3.8.П)
Очевидно, что
xk = @*х0 + ek^% + •. • + вел-i + е*.
Обозначим
** (т) = вк + @е^! + . • ■ + @тг^т-,
где т(0<т<£)—произвольное целое число.
Представим суммы (3.8Л1) в виде
Sn = 22-mBfeXjfe-i (m) + 2ft-me*(*£-l — *ft-l ("О) +
+ 2iKle*^-i* Л1 = 2JL»ti**a-i (w) +
+ 22-/«Ti* w-i—*£-i (^)) + 2™=i4**-i-
124

В силу условий (3.8.9) и (3.8.10) при
т = -[1п||в||]^ + (1пл)У2]э аЛ-*оо;
plim^^oo [2л-твй (xk-i —~Xk-\ (т)У + £^il^4--i] я~1/2 = 0;;
(3.8.12)
plinWoo [SJUfiTT* Ufe-i — **-i (m))' +
+ SKT/rT^i] "~i/2 = 0. (3.8.13)
Заметим, что векторы xk(m), xs(m) независимы при k — s>
>2m.
Поэтому для сумм
$n = 22-твЛх*_1 (/га) л-1'2; Р„ = SLmil^fe-i (т) л-1/2
можно применить предыдущую теорему. Проверим
выполнение условий этой теоремы. Докажем справедливость условия
->• —»■
(3.8.5). Поскольку векторы хк (т), #s (т) независимы при k — s>
>2т, то в силу закона больших чисел условие (3.8.1)
выполняется, так как
limbec Sp M [SLw {МйеЛ xJLi (m) Xk~i (m) г'кпгх [ 1 +
+ (14Xk-\ (m) |!2 /Г1]"1 — Me*4*-i (m) хм (т) ъкгГг [ 1 +
+1) 8**Li (m) ||2 at1]"1} Sp-m (Mp^a:^i (m) xp^i (m) Znr1 [ 1 +
+ || грх'р-1 (m) ||2 nr1]'*1 — NltpXp^i (m) V-i (m) г'рГГ1 [ 1 +
+ |)C^-i(^)ll2^1r1n = o.
Аналогично проверяем выполнение остальных условий-
теоремы 3.8.1. Снова используем предельные теоремы типа
закона больших чисел и то, что случайные векторы Xk (m)
и х*(т) независимы при \k — s|>2m. Теорема 3.8.2
доказана*.
§ 3.9. Предельные теоремы для оценок параметров
дискретных систем управления
с мультипликативными шумами
Рассмотрим дискретные системы управления, которые
описываются уравнениями
"**+i = (© + Щ~хн +"bk + вь
125<

m —
где В = (Qij)it /==1 — неизвестная матрица; bk — известные
векторы управления; вектор х0 задан; е^ и 3& — независимые
случайные векторы и матрицы, элементы матрицы
называются «внутренними шумами», либо «мультипликативными
шумами». Оценку матрицы в найдем из уравнения
®« Zjk=\ Xk~\ x'k-\ = 2lk=\ ZkXii-u
rji£Zk = Xk — bk-\. Подставляя в это выражение значение
вектора г*, имеем
(®п — в) 2^=1*6-1 **—1 = Lik=*\Ek—\Xk-\ Xk-] + Sft«l 8fe_i^^b
Теорема 3.9.1. Пусть случайные векторы е*, /г = l, 2,
... а матрицы S&, k = 1, 2, ... независимы; Мед— 0; М3^=
= 0;
8ирЛ||в + 3Л||<1; sup*||"6ft|l<«>; (3.9.1)
lim^ IKSt-iMJ^jTin-1)-1!! < oo; (3.9.2)
supfcM {|pfc ||2+в + || Ek ||2+в} < oo; б > 0. (3.9.3)
Тогда
М ехр (/ Sp Q (вл — в) (SS-iMwTi/i-1)"1^/2} =
= ехр {—n-1 £2=1М [Sp Q {Ek-^Ck-x +l^i)^-il2} + 0 (1);
Q = (#/)"/-!•
Доказательство. Очевидно, что суммы
2uk=\EkXk-\Xk—\ + 2j^=i Zkx'k-i
являются суммами мартингал-разностей и в силу условия
—>■ —>
(3.9.1) случайные векторы #s, Xk асимптотически независимы
при \k — s|->oo (см. теорему 3.6.1). Поэтому, используя
условия (3.9.1) — (3.9.3) и теоремы § 3.3, получаем
доказательство настоящей теоремы.
§ 3.10. Предельные теоремы для оценок параметров
динамических систем управления
Доказанные в предыдущих параграфах теоремы можно
распространить на системы уравнений вида
dx (t)/dt = в~£ (0 + ~b{t) +Т(0; (3. ЮЛ)
126

dx(t)/dt = ef(l(0) +7(0 +£(*); (3.10.2)
<£(*)/# = (e + a (0)^(0 + b{t) +1(0, (3.10.3)
где x (t) — вектор размерности m\ G — неизвестная матрица
—> —*-
размера /тг х /я; 6(0 — вектор размерности т\ е(0 —
случайный вектор размерности т.
Если в некоторые моменты времени можно наблюдать
векторы x(t) и dx(t)/dt, то оценку в„ матрицы в находим
из системы уравнений (3.10.1) с помощью уравнения
£l=i [dx(tk)/dt — b(tk)] 7' (4) = вя ZUMtk) ? (**),
(3.10.4)
где /j < • • • <tn — некоторые значения времени t.
Кроме (3.10.4) для нахождения оценки ®п можно
воспользоваться уравнением
lc(t) =1(0) + <§„ ^(s) ds + ffiis) ds. (3.10.5)
Здесь предполагается, что можно наблюдать векторы x(t) и
0x(s)ds для некоторых фиксированных значений времени /.
Для оценок Qnt получаемых из уравнений (3.10.4) и
(3.10.5), используя доказательство теорем предыдущих
параграфов, можно доказать их состоятельность и
асимптотическую нормальность.
Например, используя уравнение (3.10.4), получаем
следующее утверждение.
Теорема ЗЛОЛ. Если случайные векторы е(4), k = 1>
2, .. . асимптотически независимы третьего порядка
то
M[e(^)/e(/s), s= I, k— 1]=0; fe = 2, 3, ... ;
|| в ||< 1; supf|l"6 №)»<«>;
tim^ sup* M j|T(^)ll2 X (|И4)!1 > h) c= 0;,
MexpltoJ^SpQSft-iMJr^i)^^!)^1 [в„ — 0]} =
= exp I— pen)'1 Sa-iM [Sp QT(fc)"*' (L-i)]2| + 0 (1),
где Q = (<#/)£ /=i — матрица параметров; еп^ п —
некоторая последовательность постоянных.
127

Рассмотрим еще один метод оценивания параметров на
примере системы уравнений
dx (t)/dt = Cx(f) + a(t), (3.10.6)
где x (t) — вектор размерности т\ С — неизвестная матрица
размерности т х т\ вектор #(0) = х0. задан.
Из этого уравнения имеем
х (tk~\) = exp {AtC} x (tk) + J exp {(tk — s) С) со (s) ds,
(3.10.7)
где tx<t2.
Используя (3.10.7), оценку матрицы С находим из
уравнения
E/Li^(fc-i) "2 (tk) = exp [AtC] £5L Г* (**)"*' {tk). (3.10.8)
Из (3.10.8) и (3.10.7) вытекает
[exp {MC) - exp {A*C}] £!Ul*(4)t' (fc) == £L=iT^(4),
(3.10.9)
где
V _^
Б* = J exp {{tk — s) С) со (s) ds.
Для сумм (3.10.8), (3.10.9) можно применить доказательство
теоремы 3.6.1 и найти условия, при выполнении которых
распределения матриц
[exp {AtCn} — exp {AtC}) л1'2
сходятся к многомерному нормальному распределению.
§ 3.11. Асимптотические свойства адаптивных
линейных регуляторов для манипуляционных
роботов
Математическую модель робота-манипулятора можно задать
в виде системы нелинейных дифференциальных уравнений,
коэффициенты которых являются сложными тригонометриче-
кими функциями обобщенных координат. Такая модель,
128

являющаяся, с одной стороны, адекватной
роботу-манипулятору, с другой — мало пригодна для решения задач
управления роботом в реальном режиме времени. Поэтому если
робот-манипулятор имеет систему наблюдения за положением
схвата манипулятора и систему обратной связи, то
целесообразно вместо математической модели робота использовать
некоторые модели, заданные линейными уравнениями с
неизвестными коэффициентами. Эти коэффициенты оцениваются
в процессе движения робота-манипулятора.
Предположим, что линейная упрощенная модель робота-
манипулятора задана в виде
хп+\ = Ахп + Вип + е„, (3.11.1)
где хп— вектор координат схвата манипулятора в момент
времени п\ ип — вектор управлений; А и В — неизвестные
матрицы; гп — вектор ошибок наблюдений; вектор хг задан.
Траекторию движения манипулятора зададим в виде по-
—> -*-
следовательности точек щ, / = 1, 2, ..., di£Rm. Качество
отслеживания траектории оцениваем, начиная с некоторого
п > т функционалом
/nS„) = min^||<fe+I—~ln+i\\2 + Ь\\ип\\\ 6>0, (3.11.2)
ип
где т — размерность вектора хп\ хп—\—вычисленное по оцен-
—>-
ке матрицы А и вектору управления ип^-\ положение
манипулятора в момент времени п+ 1.
Алгоритм адаптивного управления
роботом-манипулятором в следующем: сначала по наблюдениям за положением
-*-
манипулятора хп с помощью метода наименьших квадратов
находим оценки неизвестных матриц А и В при некоторых
управлениях иъ ... , us (число наблюдений s> m), эти
оценки подставляем в уравнение (3.11.1), затем, по этим
уравнениям определяем вектор unt удовлетворяющий уравнению
(3.11.2). При данном ип снова наблюдаем вектор хп+\, снова
находим оценки матриц А и В по п + 1 наблюдениям,
находим вектор ип+\ и такие вычисления продолжаем до того
—*- —^
момента времени fe, когда \\cik — х&||2<е, где е>0 —
заданное число.
5 7-305
129

С целью упрощений вычислений и формул предполагаем,
что матрица В известна, квадратная и невырожденная.
Оценка матрицы Л, вычисленная по методу наименьших
квадратов, равна
АР = Р"1 Ss=l {Xs — Bus) Xs-\ (/Г1 £?=1 Xs-iXs^l)'1.
Однако такую оценку неудобно использовать по нескольким
причинам. Во-первых, трудно установить асимптотическую
устойчивость произведений матриц Ар. Во-вторых, очень
сложно найти вероятностные неравенства для величин \\А —
— Ап\\. Поэтому вместо Ар используем урезанные оценки
^ = ^X(HpII<^)> (3.11.3)
где сх = || А ||. В некоторых случаях, когда область
изменения D матрицы А задана, индикатор 5С((||ЛР|| <ci) b
формуле (3.11.3) можно заменить индикатором %((£>:AP£D).
Из уравнения (3.11.2) можно получить
йп = (В'В + Щ^В' (Z-i - Ап7п). (3.11.4)
Теорема 3.11.1. Пусть случайные векторы е*
асимптотически независимы:
—>■ —$- —> —>-
М [гп/еи ..., e„_i} = 0, п = 1, 2 sup„ М || е„ ||4 < оо;
(3.11.5)
sup„|U||<oo, \\А\\[\+\\В'В(1Ь±В'В)\\-1]<1; (3.11.6)
supP ||р"1 (SS-iAid'S-i)-11|<оо. (3.11.7)
Тогда
lim„*.M || ап — хп ||2 < б [sup„ j| an f +
+ ||Л|Н||/б + Б'Б|Г2 (ЗЛ1.8)
и для любого борелевского множества В из евклидового
пространства Rm2
• lim^ooPlR^GS} = (2я)-т2/2 JBexp(-iU!l2/2)^,
(3.11.9)
где
Rm2 = [n-i 25UiMpftpi]"*1/2; К = {(tlUUb *** / = i7^};
130

1}={САп-А)п^Сп)ц, i, /= 1, т)\
Сп^п"1 25LiMj^-ij5-i. (3.11.10)
Доказательство. ^Подставим в систему уравнений
(3.11.1) значения матриц Ар и векторов ир. Тогда
Я/г+1 = Сп Хп + Ьп + 8/г,
где
Сп = (А — ВВ6Ап); ~Ьп = ВВб^-i; 5б = (55' + /б)"15'.
Из этого уравнения получаем
Я/г-И = CiCi—1 * " ' СтХт-\-Сп Сп^\ . . . Cm_j_i(6m + fc'm) -f-
+ Сп • • • Cm_j_2 (bm+\ + 8m+i) + • • • + Cn (bn-\ +
+ Z^ml)+X + *n. (3.11.П)
Из формулы (3.11.3) вытекает, что || Ап \\ <: || А \\, поэтому
в силу условия (3.11.6)
|| Сп || < || Л || [1 + || 5'5 (/6 Ч-^вГ11| = у<1. (3.11.12)
Следовательно, из (3.11.11), используя условия (3.11.5) и
(3.11.6), находим
М ||Х+1 ||я < с [у2*-"» М ||Xi II2 + (1 — ?П, О 0.
Величина М || хт ||2 ограничена некоторой константой. Поэтому
sup„M||Z+1||2<oo. (3.11.13)
Очевидно, что
Ар — Ар = /г1 Sf=i es_i xs_i (/г1 5ZS—i *s-i дй-i)"1;
/Г1 2S-i *s a:; = /Г1 Sf=i Ps-i Ps-i + /Г1 ULi (Ps-i eJ-i +
+ ss_i p;_i) + /Г1 Sf=i ss_i es'_i,
где ps == Cs xs + 6S.
В силу условий (3.11.5) и (3.11.6), так как справедливо
неравенство (3.11.13), получаем
plilTWoo || /Г1 22=1 *s *s — Р"1 Ss-l Ps—1 Ps'-l —
5* 131

— P^Et-iMeLieLilHO. (3.11.14)
Поскольку
II (P"1 Ss=i Ps-i Ps-i + P"1 Ss=i Mes_i e^i)"11! <:
<!r(^1SLiC~it^1rn,
используя условия (3.11.8), (3.11.13), (3.11.5), имеем
Ншан.- limp^P{\\Ap — A\\pW>h) = 0. (3.11.15)
Но тогда из (3.11.3) вытекает
Ншр^.МЦЛр — Л || = 0. (3.11.16)
Следовательно, справедливо неравенство (3.11.8). Докажем
соотношение (3.11.9). Сначала докажем, что векторы xs
асимптотически стохастически независимы. Обозначим zs+i = Сг* +
+ bs + es. Поскольку справедливо условие (3.11.12), то в
силу (3.11.16)
+Тт+1) 4- • • • +C(p^i + eLi) + фп +^п); С = А — ВВбЛ;
НШл^МЦ^—Тя||=0. (3.11.17)
Поэтому, пользуясь доказательством теоремы 3.6.1, получаем,
что векторы xs асимптотически стохастически независимы.
Используя (3.11.17) для любого борелевского множества
В, из множества матриц порядка т имеем
linw [Р {(Ап - А) п^ 6 В) = Р {л-1/2 £?=i"2LilLi х
X (at1 £s=ils-i 2L1)-1 € S}] = 0.
Но тогда вследствие теоремы 3.6.1 получаем (3.11.9).
Теорема 3.11.1 доказана.
Используя теорему 3.7.1, можно доказать также
предельные теоремы для оценок параметров нелинейных систем
управления. Кроме того, при построении адаптивных
регуляторов можно также ограничивать и управляющие векторы
tik, умножив их на некоторые индикаторы событий.
132

ГЛАВА 4
ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ДЛЯ ЭКСТРЕМУМОВ
ЭМПИРИЧЕСКИХ ФУНКЦИЙ
В этой главе рассмотрена основная задача
асимптотического статистического анализа, которую кратко можно
сформулировать так« пусть заданы борелевские функции fn (xlf x2,...,
хП9 9) выборочных наблюдений xt и неизвестного параметра
0. Такие функции будем называть эмпирическими. Нужно
найти такие условия, налагаемые на функции fn и
распределения xk, чтобы измеримые решения 0 уравнений
fn (*i,..., хп, 6) = 0 либо supe /„ (xl9 ...,*„, 8) =
= fn (Xl9 • •• , Хпу 0)
сближались по вероятности соответственно в решениями 0
уравнений
М fn (xl9..., хП9 0) = 0; supe M fn (xl9.. ., хП9 0) =
= М fn (xl9.. ., хП9 0).
Если у величин Xk существуют плотности распределений
р (xk9 0) и fn (xlf. .., хП9 0) = $]{Li In р (xii9 0),
то эта задача известна как метод максимального
правдоподобия.
§ 4.1. Метод интегральных представлений.
Предельные теоремы типа закона больших чисел
Одной из важнейших задач многомерного статистического
анализа является задача вычисления
supo"€iiS^ ~x)dF{x)9
—>- —>■ —>- —>-
где f (a, x)t x £ Rmy a£Rs — некоторая измеримая функция;
F (х) — многомерная функция распределения; А — некоторое
измеримое множество. Предположим, что точка а0, в которой
функция J / (а, х) dF (x) достигает наибольшего значения,
единственна. Это предположение равносильно тому, что уравнение
SUp^e a $ / &, *) dF (7) = J / (a0,1) dF{7) (4.1.1)
имеет единственное решение.
133

При решении многих задач функция F (х) неизвестна и ее
заменяют эмпирической функцией распределения, полученной
по п независимым наблюдениям х1}..., хп над случайным
вектором £. Тогда вместо уравнения (4.1.1) имеем уравнение
sup-, g а а"* £2-1 / (а, 7Л) = АГ1 2SLi f К *"*>' (*• 1 -2)
Будем предполагать, что функция / и множество А таковы,
что решения а этого уравнения существуют.
Таким образом, задача свелась к поиску экстремумов
эмпирических функций и нахождению условий, при выпол-
нении которых plim„_oo a = а0 либо распределения векторов
(а — а0) сп при некоторой нормировке сп асимптотически
нормальны.
В основе метода интегральных представлений
доказательства предельных теорем для экстремумов эмпирических
функций лежит предположение о том, что функцию / можно
представить в следующем виде:
/(сГ, *i)= ijjexp{i(af'^)}p{yJ'xk)dyt ~y£Rs\ (4.1.3)
f(ay7k) = £exp {*(**, ~z))q{z, ~a)dz, ~z£Rmy (4.1.4)
где р и q — некоторые абсолютно интегрируемые функции
соответственно по переменным у и г, либо в виде
сходящихся рядов:
Да, хр) = Yik=\ ck (а) щ (хр);
f (а, хр) = SL=i dk (xp) г|}/е (а), (4.1.5)
где щ и г|^ — некоторые последовательности полных орто-
нормированных систем функций;
ck (a) = J f (сГ, у) <Pk (У) dy\ dk (xp) = J / (оГ, *,) Ф* (а) da.
Заметим, что иногда функцию / можно также представить
в виде интеграла:
/(a", Xp) = Jexp{i(a"f^}dG(jr,Tp);
/ (a, "*„) = J exp (i (*p, T)) dK (z, a), (4.1.6)
134

где G и К — функции ограниченной вариации соответственно
по переменным у и z.
Заметим, что формулы (4.1.3) — (4.1.6) справедливы для
широкого класса функций /. Используя, например, формулу
(4.1.4), уравнение (4.1.2) можно привести к виду
= J <7 £ a) [AT1 25U exp {I (7ft, 7)}\ dz. (4.1.7)
В интеграле, стоящем справа в этом равенстве, стоит сумма
независимых случайных величин, для которых можно
применить предельные теоремы, доказанные в § 3.3—3.4.
•Докажем основное утверждение.
Теорема 4.1.1. Пусть xif i= l, 2,... — независимые
наблюдения над случайным вектором £, функция f предста-
вима в виде интеграла (4.1.4), уравнение (4.1.1) имеет
единственное ограниченное решение а0,
$ sup^T € а ' q <*'"*> I[1 — IM exp {i (^' ® l2]V2 **< °° * (4Л ,8)
Тогда plim,^*, ап = а0, где а,г— л/обое измеримое решение
уравнения (4.1.2).
Доказательство. Используя формулу (4.1.7) и
неравенство Шварца, устанавливаем неравенство
М | \q(z, о) [at1 2?-i (exp {i (xk, 7)} — M exp {i (xk, 1)})] dz | <:
«s J [M ! q$, a) I2]1'2 [/Г2 M i 22_, (exp [l fo,7)} -
-Mexp{t(£ft,1)})l2]1/2«:
<: n~^2 J sup^- | q (z, a) \ [1 — | M exp [i Й,"г)) |2]i/2 <£
Из этого неравенства, используя неравенство (4.1.8), получаем
linw..M| 22-1/(оя» xdn-i — Nlffalc^ ~| = 0. (4.1.9)
Покажем, что это соотношение предполагает существование
предела plim,,-*, a„ = a0. Допустим, что это не так. Тогда
135

найдется такая последовательность п , что для некоторого
8>0
1шу.юо Р {|| ад/ — а0 || > е} > 0.
Выберем из последовательности п' такую подпоследователь-
ность л", что a„-=^v, где v — некоторый случайный вектор.
Тогда, используя (4.1.9) и равенство
plim^oon^S^i/K, */0 = М/(ао, *i)>
имеем
Р{М/(^^)т=гТ-М/К,^)>0}=1;
Р{||^-а0||>8}>0.
Но этого не может быть, поскольку в точке а0 функция
М/(а, хг) достигает наибольшего значения. Полученное
противоречие доказывает утверждение теоремы (4.1.1).
Теорема 4.1.1 допускает большое число обобщений.
Например, используя формулу (4.1.5), получаем следующее
утверждение.
Теорема 4.1.2. Пусть в формулировке теоремы 4.1.1
вместо условия (4.1.8) выполняется условие
ЕГ-i [M | dk (7t) |2 -1 м dk й |2]i/2 suP-£ 6 а \ цк й |< оо.
Тогда
plim^^co ап = а0.
Сделаем еще несколько замечаний о том, как можно
обобщить теорему 4.1.1. Если формулы (4.1.3)—(4.1.6) для функ-
ции / не выполняются, то в интеграле j / (а, х) dF (х) можно
сделать преобразование
где функция р (х) выбрана так, чтобы для функции g (ос, х): =
= f (а, х) р"1 (х) была справедлива формула (4.1.3) либо (4.1.4).
Кроме того, функцию /(ос, х) иногда можно приближенно
136

заменить некоторой измеримой функцией /(а, х, г) такой,
что
НШе^о SUP-JV А I [ / (а> Х) dF (*) — [ f (a» X> 8) dF (*) I = °
и для функций /(а, х, е) при е>0 справедлива какая-либо
из формул (4.1.3)—(4.1.6).
§ 4.2. Центральная предельная теорема
для оценок параметров, полученных с помощью метода
интегральных представлений
Предположим, что для функций / справедлива формула
(4Л .7). Из нее получаем
л"1 Е/Ui/ (а> xk) — t\f {у, х^ ^ =
= J <7(Т а) [я-1 Е2-1 exp (f (Xk^z)) — М exp (i (**, z))l ^
Преобразуем эту формулу к виду
—>-
n^^Lilf (a, xk) — Nif(у, *ХЦ ^] =
# = а
= \q$^)4\n(d(hn-V\ (4.2.1)
где
Лп (*) = я-1/2 Eft-i IexP (* (*k, г)) — М exp {i (xk, г))].
Используя равенство (4.2.1), докажем утверждение.
Теорема 4.2.1. Пусть xiy t = 1, 2,... — независимые
наблюдения над случайным вектором £, функция f предста-
вима в виде интеграла (4.1.4), уравнение (АЛЛ) имеет
единственное ограниченное решение а0, выполняется условие
(4.1.8) и
linwo $ sup„^<g |?(£ а) — ?£Д) К1 —
— | М exp (/ (TlfT)) I2!1/2 dT= 0; (4.2.2)
О/ЙД)*0. (4.2.3)
137

Тогда для любого измеримого решения а уравнения (4.1.2)
*^ч ^Ч
linw Р [п-^ £JU [/ (аЛи) - М / (£, 1х)] х
X [D/К,Тх)]^/2< х} = (2я)-1/2 $1те ехр (-#2/2) ф.
Доказательство. Из теоремы 4.1.1 следует, что
plinWco an = а0. Поэтому, используя формулу (4.2.1) и
условие (4.2.2), получаем
Р^-1/2 S"=i [/(аДО-М/цД)] <*} =
= P{n~1/2S^=i[/(^^)-M/K,^)<4 + 0(l).
Из этого равенства, используя центральную предельную
теорему, получаем утверждение теоремы 4.2.1.
Выражение L (£„) =ф N (0,1), где 1п — некоторая
последовательность случайных величин, означает, что функции
распределения случайных величин £п сходятся к стандартному
нормальному закону.
Теорема 4.2.2. Пусть х1У х2,. . . — независимые,
одинаково распределенные случайные векторы f (ос, у)\ у £ Rm\ а £ А\
A£RS— борелевская функция; выполняются условия (4.1.8)
и (4.2.2); решение а0 уравнения
mf&71) = 0 (4.2.4)
единственно;
0<D/(a0, ^)<oo. (4.2.5)
Тогда
L {[g Ы ~ g К)! [D / К ?)Г1/2 «1/2 =* N (0,1), (4.2.6)
гЗе ап — любое измеримое решение уравнения
а0 — решение уравнения
£(а):=М/(1Д) = 0.
Доказательство. Рассмотрим равенство
"1/2 [М / (у, 7,)^ - - М / (a0, Ij] -
*/ = а
138

= n-i/2 Eft-i [M / (у, Xl) ^ - / (а, хк)] =
где
ln^) = -n-^^l[exp{i(7ktl))-mexp(i(7k97))].
Из доказательства теоремы 4.1.1 следует
plim,,-**, а„ = а0,
где а0 — решение уравнения g (ос) — 0.
Поэтому, используя еще условие (4.2.5), получим
g(a)^[D/(a0^)]-1/2 =
= S?-i [М / К. Ъ - f К, "*)] И D / (а0, ^)]~i/2 +
+ е„; plimrz^co е„ = 0. (4.2.7)
Поскольку в силу центральной предельной теоремы для
решения а0 уравнения М / (а, л^) = 0 имеем
L{IiUUKX)-^f^oX)][nDf(a0Si)]^2^
=►#(0,1).
то из (4.2.7) следует (4.2.6). Теорема доказана.
Если функцию g(x), x£Rx можно разложить в ряд
Тейлора, в некоторой малой окрестности точки а0
g (ап) = (ая — а0) g' (а0) + (ап — а0)2 g" (а0 + 9 (ап — а0))/2;
0<Э< 1,
где sup^jg-'MKoo,
то при выполнении условий теоремы 4.2.2 из формулы (4.2.6)
следует
L Кй. - «J Я' (а) л^ [D /(а0, I^)-1'2] =* tf (0,1).
Теорема 4.2.2 допускает большое число обобщений.
Например, используя ее доказательство, можно доказать
сходимость распределений случайных величин а при некоторой
нормировке сп к устойчивому закону.
139

лица (Cf_/)?,/eo;
§ 4.3. Спектральный метод оценивания экстремумов
функций
Пусть /(а, у), a£A£Rs, у £ D £ Rm — измеримая функция,
А и D— измеримые множества.
Спектральный метод оценивания экстремумов функций
используется в тех случаях, когда rnax-w /(а, у) можно
выразить в виде максимального собственного числа
некоторого линейного оператора. Для широкого класса функций
/(а, у) это действительно можно сделать. Например, если для
—>-
любого а£А, m=l, D = [—я, я]
то [15]
sup^D /(ос, у) = Пш^^ *,$.!,
где Мп) < • • • < Ял+i — собственные значения матрицы Теп-
=о;
_я ехр (—ikx) f (a, x) dx.
Кроме того, в главе 2 доказано, что в некоторых случаях
maxT€D f & ^ = ^ ^Л ^»
где Л(а) — квадратная матрица или линейный оператор,
причем матрица Л (а) зависит от ковариационной матрицы помех
R. Эта матрица, как правило, неизвестна, поэтому вместо нее
можно подставить эмпирическую ковариационную матрицу R.
В связи с такой подстановкой нужны предельные теоремы
для собственных чисел эмпирических ковариационных матриц,
которые будут доказаны в § 4.8. Если максимум функции
выражен через собственное число, то для неизвестных оценок
параметров на основании формул возмущений для собственных
чисел можно найти некоторые спектральные уравнения (см.
главу 2).
§ 4.4. Метод максимального правдоподобия
Пусть xlt х2,..., хп — наблюдения над случайным /п-мер-
ным вектором £, плотность распределения компонент которого
равна р (а0, х), где а0 — неизвестный вектор параметров. Метод

максимального правдоподобия заключается в следующем:
вводится функция правдоподобия
Ln (а) = П^=1 Р (а> х)
и в качестве оценки вектора а выбирается любое измеримое
решение а уравнения
sup-j д Ln (о) = U (а), (4.4.1)
где А — некоторое ограниченное открытое множество
значений вектора а.
Уравнение (4.4.1) эквивалентно следующему:
sup"2"e a ln Ln ^ = ln Ln ^'
Если существуют производные (d/dac) р (a, %k) и а £ Л, то
—>•
а является решением уравнения
%Li\(d/dak)lnp(a,'xk) = 0\ k = ТтГ (4.4.2)
Вместо уравнения (4.4.2) можно рассматривать уравнения
вида
E"-i/E^0' = 0f (4.4.3)
где /(a, xk)—некоторые борелевские функции, выбранные
—>• —>•
так, чтобы уравнение М / (а, хх) = 0 ,имело единственное
решение а = а0. Например, в качестве функции /(а, х)
можно взять
f(£, ~x) = q(tf[p(a, 7)Y1 — \q(x)dx,
->• —>-
где q (х), x£Rm— некоторая измеримая абсолютно
интегрируемая функция.
Замена уравнений максимального правдоподобия
уравнением (4.4.3) может представить интерес в случае, если
плотности распределения р(а0, х) не обладают необходимыми
свойствами, которые используются при доказательстве
предельных теорем для оценок ап.
И1

§ 4.5. Состоятельность оценок, полученных по методу
максимального правдоподобия
Рассмотрим уравнение правдоподобия
SUP^6 А St-i In P (a, 7k) = 2*-i In Р К *"*); (4.5.1)
при некоторых условиях, накладываемых на функции р (а,
#*>), можно доказать, что оценки а состоятельны. Эти
условия хорошо известны и содержатся в многочисленной
литературе по методу максимального правдоподобия [20]. Заметим,
что для доказательства состоятельности оценок а можно
применить также метод интегральных представлений (см. § 4.1
и 4.2). При выполнении этих условий предполагается, что
размерность т вектора хг фиксирована. Если же т растет
вместе с л, то в общем случае оценка а уже не будет
состоятельна. Однако для решения многих задач это
утверждение не нужно, так как часто бывает, что нужны не сами
параметры, а некоторые функции от них. В главе 10 эта
задача будет подробно разобрана.
§ 4.6. Асимптотическая нормальность оценок,
полученных по методу максимального правдоподобия
Предположим, что существуют частные производные
второго порядка функций р (а, х), взятые по параметрам ait i =
= 1, /п. Тогда по формуле Тейлора имеем
22я1 (д/daj) In р (сГ0, xk) = 22-1 {д/д aj) In p (a0, xk) —
— 2*-i (д/д a,) In p (а, ~хк) =
=■ S*-j (д/д a,) [SS.1 (д/дat) In р (а, 7k)) Д - а«), (4.6.1)
где | а* — а<к I < I Жк — «/1'. ' = *> m-
Из равенства (4.6.1) находим
Sft=i (5/<Э а/)1п Р (ао> **) =
= - S*_i (д/да,) 22.1 (d/do,) In p К, lck) (a,
142

- aoi) + SlUi (д/д a}) Sti (д/д a,) [In p (S, **) -
— ln/?(a0, ^)](at — a0f). (4.6.2)
Представим это равенство в виде
Л (^Г—"о^0) лг1/2 ="&; (4.6.3)
А = {atj)Z,-x; V = (&,, i = 1, m); (4.6.4)
at-; = л"1 (d2/da/ da/) S2=i lln P (ao> **) +
+ In p (a, *л) — In p (a0, хл)];
ft/ = (д/да,) 5jU In /7 K, Ife) л-i/2.
Если plim„^oo a = a0, то при некоторых условиях [20]
рНшпн.- /Г1 {д2/д a* daj) SLa [In p (a, */г) —
— ln/?(a0, xk)] = 0.
Значит, этой суммой в выражении (4.6.3) можно пренебречь
и чтобы доказать предельные теоремы для векторов (а—
— а0) м1/2, можно использовать хорошо известные предельные
теоремы для сумм независимых случайных величин. В
частности, если при условиях, что интегралы
pf/: = М (д2/дщ да}) In p (a0, хг)
конечны и матрица В = (Ьц) невырождена, то распределения
—>■ —>•
случайных векторов (а — а0) я1/2 сходятся к многомерному
нормальному закону.
§ 4.7. Метод стохастических аппроксимаций
Пусть в пространстве Rm заданы функции fx (х),... ^
fm {x) и необходимо найти решение уравнения
7Й = о,
где Т(7) = (/х (х)',... , /т (х)). ^
Предположим, что в каждой точке Xk можно вычислить
значение f(Xk) с некоторой случайной ошибкой и вместо
143

f(Xk), ft= 1, л имеем некоторую выборку fk(<®, Xk)
независимых случайных величин такую, что М/й(со, Хк) = fix*).
Метод стохастических аппроксимаций нахождения решения
уравнения / (х) = 0 заключается в последовательном
рекуррентном оценивании этого решения по формуле Роббинса
и Монро:
(xk+i — xk) ajl = fk (со, xk); ft = 1, 2,...;
*(<»)'== *1€Ят. (4.7.1)
где a*, k = 1, 2, ... — некоторая последовательность
вещественных чисел; в формуле (4.7.1) считаем
М [fk (со, xk («>))/xk (со) = z] = /(г); ft = 1, 2,... .
Теорема 4.7Л* Пусть
Ч<1«,<е-Л^--о)7Й>0; (4.7.2)
M||^(©f ^)|p<d(l + ||«T||»); d>0; (4.7.3)
Sm=iam = oo; £^Uio4<oo; am>0; /n = l, 2,... .
(4.7.4)
Тогда с вероятностью 1 limm_.oo tfm (со) = л;0, где х0 — решение
уравнения f(x) = G.
Доказательство. Пусть от = о(xl9..., хт). Из
уравнения (4.7.1), используя (4,7.3), получаем
М {|| ~хт+\ \\*/от) = IIX* ||2 2а„JxmTOL) +
+ а2т М {|| /fe (со, х*) ||/am} <:• ||xm ||а — 2am л£ / (хт) +
+ ^d(l + |!^||2)<!|^|!2 + a^(l+|)X,||2)==
= ||In||2(l + a^d). . (4.7.5)
: Введем обозначение
Um— Xm
Очевидно, что M{«m+i/am} < ит. Поскольку
G \Х±9 • • • > Хт) = СТ (Wlf . . . , Um)9
ТО
144

Но это означает, что ит является полумартингалом и
М ит+\ < М ит <С оо в силу условий (4.7.4).
Согласно теореме о сходимости полумартингалов,
последовательность ит сходится с вероятностью 1. Но тогда и
последовательность 1| хт || сходится с вероятностью 1 к
некоторой случайной величине |(оо). Не ограничивая общности
рассуждений, будем считать, что щ = 0. Докажем, что с
вероятностью 1 £(о)) = 0. Используя неравенство (4.7.5), имеем
М ||~L+1 If < М || 7г ||2 + SS-i «2 d (1 + М fck |l2) -
Из этого неравенства получаем
2 2S-i а, М^ТЙ) < М |j^ !<2 - М IjXi j|2 +
'+ S£-i сха d (1+ М !|7Л if).
Отсюда
Sr=i akMx'kf (xk) < оо.
Поскольку Xkf{Xk)> 0, S/T^i a*. = оо, то из этого
неравенства вытекает, что существует последовательность х& такая,
что g вероятностью 1 lim^oo xk, f(x^) = 0. Но тогда £ (со) =
= 0. Теорема 4.7.1 доказана.
§ 4.8. Оценивание спектра ковариационных матриц
и линейных систем управления
Рассмотрим системы уравнений
~yk = в^ + Ьк-.г +~&k=i (4.8.1)
(см. обозначения в § 3.6).
В качестве оценок собственных чисел Х}, матрицы© возьмем
собственные числа А* матрицы ©п, которая определена
уравнением
©я Sft-i^ilTft-i = S*-i (ijLi — *Li) ifo^i. (4.8.2)
Докажем асимптотическую нормальность распределений
оценок спектра матрицы 6.
145

Теорема 4.8.1. Пусть М (е^,..., е*_0 = 0, k = 2,
3,..., случайные векторы е*. асимптотически независимы
третьего порядка
Цв||<1, sup,||6,||<oo. (4.8.3)
Собственные числа матрицы в различны,
Нгщ_ sup, М |[£л !|2 х (IMI > й) = 0. (4.8.4)
Существуют для всех п>т обратные матрицы
!|[М^^1м^1^-1^1Г1|1<^<00> (4.8.5)
гд<? Сп^ п — некоторая последовательность постоянных.
Тогда
М ехр {w Re [h (в„) — Я, (в)] <#2} =
= М ехр {-s2 с"1 Sp=i М [Re (J, Й Й (ELi М^ X
xU-irir1)"1, Ф*)]2} + 0(1), (4.8.6)
где щ — собственный вектор матрицы в, соответствующий
собственному числу Xky % — собственный вектор матрицы
в', соответствующий собственному числу Xk.
Доказательство. Формулы возмущений (1.6.10) в
нашем примере не пригодны, так как в общем случае матрица
в может быть несимметричной. Однако, поскольку по
условию теоремы 4.8.1 собственные числа матрицы G различны,
для несимметричных матриц справедливы следующие
формулы возмущений:
Xk (Л + гВ) = Кк (А) + 8(Byk9 %) +
+ е2 £/** (B^k9 "$,) (В4 %) (Xk(A) - Xt (Л))"1 + 8п(е);
щ (А + efl) = ф* (А) + г £ w (Б^, ф,)^ (Я* (Л) —
-М^Г + Т^б), (4.8.7)
где Я* (Л + еВ), фЛ (Л + гВ) — соответственно собственные
числа и собственные векторы квадратных матриц я-го поряд-
—>-
ка А+гВ\ % — собственные векторы матрицы Л'; б„(е) и
7п (е) — остаточные члены разложений (4.8.7).
Можно также найти оценку для величин б„(е) и V«(8)-
Так же, как и в § 1.6, в силу того что %i Ф Xjy 1Ф /, находим
!б/г(в)|<1б|3||В!|3(1-|е|||е^2Г1^1;
|Яя(е)|<!в|»||В||8(1-|е|!|В||с4)-1с,| (4.8.8)
146

где е выбрано настолько малым, чтобы
|е!||В||са<1; |е!!|В||с4<1.
Из доказательства теоремы 3.6.1 следует, что
plim^^oo Ц/Li \Ук-\Ук-\ —№ук-\Ук-\]с7х = 0.
Поэтому так же, как и в теореме 3.6.1, получаем, что
при п>т с вероятностью, близкой к единице,
(в„ - в) с£/2 = 5]Z-i ^'k-i c7{/2 (22-1 M^ft-iTu О"1-
(4.8.9)
Используя формулы возмущений (1.6.10) и неравенства (4.8.8),
для достаточно больших п при условии, что || ёп — в || с}/2 <
< 1, имеем
[Л* (в„) - Л* (в)] d/2 = [А* (в + сУ2 (вя - в) с"172) -
-ЛЛ(в)]^/2 = сУ2[(вя-в)^Л(в). ?*(©)] +
+ сГ1/2ел, (4.8.10)
где е„ — некоторая последовательность ограниченных по
вероятности случайных величин.
Из (4.8.9) и (4.8.10) получаем
М ехр {is Re [Xk (вп) — %k (в)] сЦ2} =
= Mexp{feReci/2 [(вп — в)щ(6)9 ^(в))}+ 0(1) =
= М ехр {is Re (2JU ep ^_i сГ1/2 (E/UiМ Ур-\ X
X ^-i^W^ >(©))) + 0(1) =
= М ехр {is S2-i Re (X, % (в)) с~1/2 [y'p-i X
x(Sp=iMX~i^-ir1^1^(®))}+0(l).
В силу того, что
И* (@) 1| <С< оо; ||~^ (0) || <с< оо;
SUpn>m || (Цр=1 М Ур-г'уе-г)-1 || <С < оо,
получаем, что справедливо (4.8.6).
Аналогичное утверждение доказываем и для собственных
векторов матрицы в„.
147

Теорема 4.8*2. Если справедливы условия теоремы
4.8.1, то
М ехр {/ (7, Re [фл (вя) — фЛ (в)] сУ2)} «
- М ехр {-S2 й-1 Sp=i M [Re (7„ S/^ Ф/ (©)) (^ (в) -
- А* (в))"1 ffi (в),7) Й (S-1 mJ^iU-i х
хсГ1)-1, ?/Л©))]21 + 0(1).
Аналогичные утверждения справедливы также для случайных
величин
fan [%k (вл) - Л* (в)] ri/2, Im [^ (вп) - щ (в)] *У2,
а также для их совместных распределений.
Кроме того, можно также доказать аналогичные
утверждения для совместных распределений случайных величин
Im [Kk (§n) - К (в)] сТ ; Re [щ (вл) - ф* (в)] с]!2.
Из теоремы (4.8.1) на основании предельных теорем для
характеристических функций получаем следующее
утверждение.
Следствие 4.8.1. Если выполняются условия теоремы
4.8.1, то для любых вещественных а и р
linw Р {а < Re [Xk (<§„) - %k (в)] сТ {с71 X
X S2-iM[Re(TPf ?*(©)) ffi(SS-iM"y.-iX
xyi-.icr1)-1, фИ®))Н-1/2<Р} =
= (2я)^/2 ^ ехр (—*2/2) Лс. (4.8.11)
Из формулы (4.8.11) получаем для Re 2^(0)
спектральное уравнение
Re Мб) = Re^(6„) + yL (в), (4.8.12)
где
L (в) = c7l S^i M [Re (7„ % (в)) (Й X
х (SJLiM^LiT^i^1)-1. ф* (&))]*;
Y — любая величина, которая принимает значения из сегмента
1—ас7\ ас71].
т

Величину а находим из уравнения
(2я)-1/2 J* a ехр (—х2/2) dx = р9
где 0 < р < 1 — заданное число.
Аналогичные уравнения получаем для 1тЯ*(6), а также
для собственных чисел и векторов эмпирических
ковариационных матриц
й = (л -1)-1 SZ-1 й - 3 (^ — *); "= *"* S£-tк*
где л:/г — независимые наблюдения над случайным вектором |.
В этом случае доказательства теорем упрощаются, поскольку
матрица R симметричная. Используя формулы возмущений
для собственных чисел и векторов симметричных матриц,
а также центральную предельную теорему для матриц
{R-R)nV\
получаем центральную предельную теорему для случайных
векторов
М#) — МД); ф*(Ф—"<МД); k=~m.
ГЛАВА б
ОСНОВНЫЕ УРАВНЕНИЯ G-АНАЛИЗА
G-Анализ— это математическая теория, объектом изучения
которой являются реализации независимых случайных
элементов: величин, векторов, процесЬов, функционалов, операторов,
которые обычно называют наблюдениями. Задачи этой теории
заключаются в нахождении по п наблюдениям над
случайными элементами таких выражений (называемых оценками или
статистиками), которые сближались бы в некотором
наилучшем смысле с заданной точностью с некоторыми заданными
функционалами от распределения этого элемента при общих
предположениях о наблюдениях при минимальном их числе.
Итак, в основе этой математической теории лежит
предположение о том, что имеются независимые наблюдения над
случайными элементами. Эта теория непротиворечива и имеет
глубокие содержательные утверждения, однако нужно
хорошо знать, какое место она занимает при исследовании
различных сложных систем. Остановимся на этом подробнее.
Пусть имеется некоторая система S. Для изучения системы
S по наблюдениям над ней строится некоторая модель Мг
149

(математическая или физическая). Уже на этом первом шаге
можно попытаться применить методы G-анализа. После
построения модели Мг снова проводим при одних и тех же
предположениях наблюдения над системой S и моделью Мг
и сравниваем полученные результаты. Если результаты
удовлетворяют исследователя, то процесс построения моделей
прекращаем, в противном случае снова проводим наблюдения
над системой S и строим новую модель М2 и так далее до
тех пор, пока изученная модель не будет удовлетворять
критериям, выработанным на соответствующем этапе развития
общества. Итак, G-анализ должен применяться в условиях,
при которых существуют обратная связь с исследуемой
системой S и возможность вести над ней дополнительные
наблюдения.
§ 5.1. О -Уравнения для оценок
трижды дифференцируемых функций от неизвестных
параметров
Предположим, что задана борелевская функция f(yl9 ...
... , ут) т переменных и нужно по наблюдениям хп, ..., xim,
i= 1,я над случайными величинами glf ... , gm найти
состоятельную оценку величины f(av . .. , ат), где а(=Щ(т
К такой постановке задачи сводятся многие задачи теории
управления механическими и радиотехническими системами,
многомерного статистического анализа. Отметим, что в
некоторых задачах функция f задана и изменение ее влечет
к перестройке существующих систем, что приводит к
большим материальным затратам. 'Если в качестве оценок
величин а( взято а{ = SLi*/^~\ то очевидно, что при
непрерывности функции f и фиксированном т plim^*, /(й) = f(a).
Однако применять это соотношение при решении
практических задач нежелательно из-за того, что при больших знат
чениях т резко возрастает число наблюдений, необходимых
для достижения заданной точности решения задачи. Можно
значительно понизить число наблюдений пу если
воспользоваться тем, что при liin,,-во тггг~с, О < с<. оо для некоторых
условий
plim„^.[/(a) — M/(a)] = 0.
Отсюда, в случае, если вектор £ распределен по многомер-
—»■
ному невырожденному нормальному закону N (a, Rm)f для
оценки а имеем уравнение
150

(2я)-»"» det R-V* J / (a + n'1^) exp (-(R^t 7)12) dy = f (a).
(5.1.1)
Это уравнение и ему подобные называются основными
уравнениями G-анализа наблюдений большой размерности, в
которых изучаются методы оценивания функций от некоторых
характеристик случайных векторов.
Если у функции / существуют частные производные
третьего порядка и
lim„_ Jft (2!)-1 (1 - О2 (21, (<№) У*п-ч*Г X
Xf(a + tyri*'*)dtexp(-(R^y*, y)j2) detR£b(2n)-m/2dy = О,
(5.1.2)
то уравнение (5.1.1) приближенно можно заменить
уравнением
/Й+2Г/-1 ФЧдуёудНЩГцп-г = f(a) + 0(1), (5.1.3)
где г.}. — элементы матрицы Rm.
Предположим, что функцию / можно изменить в
процессе решения задачи о выборе состоятельной оценки вели-
->
чины /(а).
—>
Снова предположим, что вектор £ распределен по нор-
мальному закону N (a, Rm) и рассмотрим функции
u(t,~z) = Щ (г + а*+ vtWn-W),
->
где t> 0 — вещественный параметр, z£Rm, v — случайный
вектор, распределенный по нормальному закону N(0, Rm).
Предположим, что эти функции таковы, что у них
существуют интегралы от вторых частных производных
М {d*ldztdz} f (г + 7+ vV'V1/2).
Найдем дифференциальное уравнение для функции u(t, г).
Заметим, что ~v(t+ М)х/2 « ~vtl/2 + v^ (At)l/2, где А* > 0,^—
случайный вектор, не зависящий от вектора v и v1 & v.
Тогда
du(tt7)/dt= limAMO(A0~4M/(^+"* + + n~l/2 (Ztl/2 +
+ ^ (А01/2)) — М/ (t+ "a +~U1/2/T1/2)].
151

Из этой формулы, разложив функцию / в ряд Тейлора
по формуле
/ (а + /Г) - f (a) = £Lo (й!)"1 (2Г=1 (5/<Ц) А,)* / $ + 0 (||7Г||),
получаем, что функция и(^, г) удовлетворяет G-уравнению
ди (t, ~z)/dt = Ли (f, 2$; и (1, "г) = М/ (Т+ 5;
и(0, 3 = /(z +"а); 0<*<1;
Л = (2пГ£™/=1ггДд2/<^32/).
Таким образом, задача нахождения состоятельных оценок
величины f(a) свелась к нахождению начального значения
решения и (0, z) G-уравнения по значению его в точке £= 1,
-> —>■
равному М/(г4-я). Этот интеграл неизвестен, но если
воспользоваться предельными теоремами, напоминающими закон
больших чисел, то можно установить, что при некоторых
условиях
Hindoo [/ (z + ^ — М/ (7+ J] = 0.
Значит, при достаточно больших п приближенно можно счи-
тать, что и(1, г) = /(г + а) и по этому значению функции
можно попытаться решить обратную задачу Коши и найти
состоятельную оценку функции /(а). Изложенные
соображения о том, как можно найти оценку функции f(a), являются
лишь краткой схемой доказательства теорем, которые будут
рассмотрены в этой, и следующих главах.
Предположим, что случайный вектор £ имеет произвольное
распределение, но существует М£ £'. Обозначим
*n(kn-\ % =» М/(?+"£+ ££=1 (^-^АГ1); (5.1.4)
ал(*, г) = ап(kn"1, г), /г/г"1 < t<(fe + 1)/Г1; Л = 1, л — 1.
Пусть вместо условия (5.1.2) выполняется
linw- пМ £ (1 - tf (2!)"* (21" л"1 (** - *<> (5/^))3 X
X f(z + а + п"1 %i~i (xi — a) + tn"1(xk — a))dt = 0.
152

Тогда, снова пользуясь разложением функции f в ряд
Тейлора, получаем
п'1 [ап (kn-1, z) — ап ((k — 1) л"1, г))] =
= (2nr1TiLU^i(d2Idzidz/)an{(k-l)n^t t) + e„/r\ (5.1.5)
где е„ ->• 0 при п -> оо.
Из уравнения (5.1.5) имеем
сс„ ft г) = ап (О, 2) + (2лГ J 0 £., ti ',/ (W^*,) х
X а„(и, г) А*+ 0(1), (5.1.6)
причем z — произвольный вектор из Rmn.
Уравнение (5.1.6) запишем в виде
ап (t, ~z) = an (0, "г) + jQ Аап {и, ~z) du + 0 (1),
где А — линейный дифференциальный оператор второго
порядка
Af {t) = (air Su-i r„ (avaz^) / (J
действующий в пространстве дважды дифференцируемых
функций из пространства L2.
§ 5.2. G-Уравнения высших порядков
Пусть заданы борелевские функции /(г), z£Rmn и у них
существуют смешанные частные производные до порядка k
включительно, \ — некоторый /n-мерный случайный вектор,
-> —> —ъ* —*- ->
М£ = a, л^, ... , хп — наблюдения над случайным вектором g.
Если выполняются условия
supr£Rmnm\f (^+^+ Ей Й—яК"1) 1 < °°".
linw. лгМ^(1 — О*"1 К* - ОН"1 ( ХГ-1 Ц, - *<) ^ X
X (d/dz,))fc / Й+^+ SCi Й -3 л"1 + * Й - ^) л"1) *=0;
р= 1,я + 1,
то так же, как и в § 5.1, получаем уравнение, которое
будем называть G-уравнением высшего порядка:
М/(7+аЧ ^) = f(z + a) + at1 Ss=i BM/(T+fl+V0+8„,
(5.2.1)
153

где
Vp = п"1 SLi (xt — a); v0 = 0;
В = Sfcl (/!)-i M ( 2Й (*fc - a,) (d/c^) at1)'; linw. еи = О.
Обозначим
un{t, г) = Mf(z + a +%p)\ pre1 </<(/?+ 1)/r1;
p= 1,/г—1.
Тогда уравнение (5.2.1) будет иметь вид
"/г (t, г) = / (?+ а) + ^ Sa„ (г/, ~г) dy + гп;
§ 5.3. Метод квазиобращения для решения
G-Уравнения
Нахождение G-оценок функций /(a) сводится к решению
обратной задачи для уравнения (5.1.6) либо (5.2.1), т. е.
к нахождению функции un(Q> z) по функции ип(\> г), кото-
рая заменяется функцией f(z + a), полученной по
наблюдениям над случайным вектором £. Очевидно, при такой замене
может не существовать решения обратной задачи в классе W
функций, имеющих непрерывные частные смешанные
производные до &-го порядка включительно и непрерывные
производные первого порядка по переменной /. Поэтому
целесообразно находить некоторое обобщенное решение задачи.
—>
Пусть г|э (х) £ L2 и на функциях ф £ W определен
функционал
/(Ф)== \к\ип{\у~х, ф) — q(x)\dx,
где К — ограниченная измеримая область m-мерного евкли-
-*-
дова пространства Rm точек х = (хъ . .. , хт), ограниченная
кусочно-гладкой поверхностью S; ип(1, х, ф) — решение
уравнения
ил (*, а:, ф)=ф(х) + ) 0 я"12jf. /=1 Л-/ {dVdXidxj) ип (у, х, q>) dyf
взятое в точке £= 1.
154

Обобщенным решением обратной задачи называется функция
ф(*), на которой достигается
inW7(<P).
Для решения этой задачи можно поступить следующим
образом: решаем «прямую задачу»
tin (t, 'х, ф) = Ф (*) + ^ Лип {у, ~х, ф) dy\ *£ К,
где S — кусочно-гладкая граница некоторой связной области
/С; ип(19 х, ф) = г|>(х) — заданная функция. Тогда для
начального условия ф (х) имеем приближенное значение ип (0,
х, ф). Но такая задача для заданной функции i|?£L2 в общем
случае может не иметь решения, поэтому обратную задачу
целесообразно решить приближенно с помощью так
называемого метода квазиобращения: вместо (5.1.6) рассматриваем
уравнение
{d/dt) и (ty х) = Аьи (t, x),
и(1, ^) = ф$, (5.3.1)
где Лб — оператор, близкий в некотором смысле к
оператору Л, и такой, что решение уравнения (5.3.1) устойчиво.
В качестве оператора Аь можно взять А& = А + 6Л2, б > 0.
§ 5.4. Метод преобразований Фурье
Возьмем преобразование Фурье от обеих частей
уравнения (5.1.6):
{d/dt) и (*, z) = Au (t, г); и (1, г) = / (г + а)\
z£Rm\ u(t, 7)£W\ 0</<1
и предположим, что
] | и (t, z)\dz<oo; lim|2.Koo (d/dz{) u (t, z) = 0;
limi2.j-.oo u(t, z) = 0; I = 1, m.
Тогда для функции
Ф (/, s) = £ exp [f (s,~г)] а (*, z) dzf ? = (s1? ... , sm),
155

используя интегрирование функций по частям, имеем
(d/dt) Ф (*, ^= - (2/г)"1 (Я„Д 7) Ф (*, ^;
Ф(1, s) = ]exp[/(s, г)]и(1, г) dz. (5.4.1)
Из этого уравнения находим
Ф(0, ^= ехрЦ2ЯГ1 (ЯтХ3) Ф(1, *)• (5.4.2)
Функцию ф(0, s) назовем G-оценкой преобразования Фурье
функции f(z + a).
Аналогично, применяя преобразование Фурье к уравнению
(5.2.1), получаем, что функция ц>п (t, s) = \ ип (t, г) ехр [/ (s,
г)] dz удовлетворяет уравнению
Фп С, ?= фя (0, ?+ П [2Г.1 ("Г1*! (SL"i (*й - а,) /г'Ч-У X
X ф„ (у, t) dyi1 + 8n, (5.4.3)
6„ = j en exp (f (s, г)) dz.
При выводе этого уравнения также считаем, что выполнены
условия
S—> —> ->
|«(/, z)Jdz<oo; lim,^Keo [ | a (i, z)| +
+ |(W*ff ...dzlk)u(t, z)|=0.
Из уравнений (5.4.1) — (5.4.3) видно, что для преобразований
Фурье функций f(z + a) обратная задача Коши для
уравнений (5.1.6) и (5.2.1) решается в явном виде.
§ 5.5. G-Уравнение для оценок функций
от неизвестных параметров
Обобщим результаты первого и второго параграфов на
случай недифференцируемых функций.
Пусть заданы борелевские функции ф(а:), x£Rmn и
независимые наблюдения xk> k=*\, n над случайным т„-мерным
вектором £, Щ = а.
Введем обозначения
и (г, fen"1) = Мер ( г +~а + гГ1 £s=i {xs — а)) $
% (z, 0 = « & krr1), ktr1 < t < {k + 1) /г1.
156

В этом случае вместо уравнения (5.1.6) имеем
п [ип {krr1, z) — ип {(k — 1) п'\ г)] = М {/ (z + а +
—>
где случайные векторы у& не обязательно нормально
распределены.
Если существует предел
lim„-.oo {n [un (ft/Г1, z) — u ((ft — 1) /r\ z))] — 9 (2, krT1)} = 0,
где 0(2, 0 — некоторая, непрерывная на множестве t£[0, 1],
функция, то для функций я|)п (г, 0 имеем уравнение
{dfdt)%& 0=9fe 0 + enf (5.5.1)
где г|?л (г, 0) = ф (2 + а ); lim^oo еп = 0.
Решение уравнения (5.5.1) выражается через начальное
условие в виде некоторой функции /7(ф(2, 0)). Поэтому, решая
это функциональное уравнение при заданном tyn(z9 1), нахо-
—> -> ->
дим ф(2, 0). Тогда в качестве оценки функции /(z + a) берем
функцию ф(2, 0).
§ 5.6. Формулы возмущений матриц
G-Уравнения приобретают удобный для дальнейших
исследований вид в случае оценивания некоторых аналитических
функций от элементов ковариационных матриц и компонент
векторов математических ожиданий некоторых случайных
векторов. Отметим, что в многомерном статистическом
анализе эти задачи оценивания являются основными. Для
вывода таких уравнений нужны формулы возмущений матриц,
которые основаны на формуле
В-М = / + В'1 (А — В),
где det В Ф 0.
Приведем основные утверждения и формулы, которые
нужны для вывода G-уравнений для оценок аналитических
функций ковариационных матриц.
Лемма 5.6.1. Пусть Нп, Нп, Сп — невырожденные мат-
рицы п-го порядка^ Нп — Нп = g ^', £т]'= квадратная
матрица п-го порядка.
157

Тогда
SpСпН~х -SpCnHnl = -(H-lCnH~lt уГ) 11 +
+ (Я-1!,^)]"1. (5.6.1)
Доказательство. Очевидно, что
Sp CnHnl - Sp CnHnl = (9/ax) In det [/* + C^tf я]^ -
— (д/дх) In det [/* + CnlHn]x=0 = (d/d*) In det [/ + {Ix +
+ Cn'Hn)'1 Cf {Hn - Hn)]x==0. (5.6.2)
Используя формулу
det[/ + /?ln?]=l+(/?!, ^).
где R — матрица я-го порядка, получаем (5.6.1). Лемма 5.6.1
доказана.
С учетом (5.6.1) можно прийти к следующим важным
формулам:
Я"1 - Нп1 = - Й7Х Ъ^НТ [I + (И"1!, т)Г. (5.6.3)
Чтобы получить формулу (5.6.3), нужно взять
производную по переменной Cps в формуле (5.6.1). В частности, если
матрицы Нп и Нп симметричны, £ = т],
SpH7l-SVHnl = -[(H7l)*Z 2 [1 + Wnlt %Г\ (5.6.4)
где ft^1*—элементы матрицы Н^\
Пусть задана квадратная матрица А п-го порядка.
Разобьем ее на блоки следующим образом:
Л =
*12
*22.
где
^21 — \aij)i=p'+\,n '
Если р = q, то
A^-M^i
/=И-1, п ,
^22 ~ \aiik=p-\-\>n*
ВАВ' =
А12А221А
21
(5.6.5)
где
В =
—п
—Л12Л22
det Л22 ^= 0.
158

Если det А22ф 0 и р = qy то из (5.6.5) получаем
112Л22 А21
det A = det [Alt — A12A^A21] det Л22. (5.6.6)
В частности, при /7 = ^=1
det Л = (ап — (ЛГгЧ "§) det Л22, (5.6.7)
где
а = (aiv i = 27~я), ft = (a1£f I = 27").
§ 5.7. G-Уравнение для оценок функций
от неизвестных параметров и ковариационных матриц
Решение многих задач многомерного статистического ана-
лиза сводится к отысканию G-оценок величин ф(а, R), где
Ф — некоторая борелевская функция компонент вектора мате-
матических ожиданий а и элементов ковариационной
матрицы R некоторого случайного вектора £. Предложенный
в предыдущих параграфах метод позволяет найти некоторые
оценки величин ф(а, R) при выполнении G-условия. Для
этого снова рассматриваем функции
Ф (лГ, R), х = n"1 SLi xk, R = (n— l)"1 SLi Й — *) X
X{xk — x)',
где л:^ — наблюдения над случайным вектором £,
распределенным по нормальному закону N {a, R).
Очевидно, что в силу теоремы 1.1.1
мф Й «) = мФ Й /?-ь^1/2(«— I)"1 SLi Й5 - 0 #1/2)>
где случайные векторы T)fe независимы и распределены по
нормальному закону N {О, I).
Рассмотрим функции
и (X, ~г, kn-1) = Мф {а + 7+ i?1/2T]n„-i/2> R + х +
+ Rl/2 SS-i Й5 -/)(«- I)"1 Я1/2).
Итак, при выполнении некоторых условий (см. § 5.2) имеем
и (X, 7, kn-1) — u{X,7, {k— 1) /г"1) = Аи (X, 7,
(fe-l)/r*) + e„n-*
159

где А — некоторый дифференциальный оператор
А = Е*Л p. »-iM (Я1'2 [ШЛ? ~ '1 #"% (Я,/21%П?- Л Я,/2)0/X
X (я - 1)~2/2 {Pldxjxj + ££,.., rtf (дЧдг,дг,2).
—> —>
Тогда для функций г|)„ (X, г, /) = и (X, г, fen"1), krr1 <
<£<(fe + 1)я-1 получаем уравнение
yn(X9?9 t) == y(7+Zx + R) + ^0АЦп(Х, X y)dy + zn.
К этому уравнению можно применить методы
квазиобращения и Фурье.
В силу свойств матрицы R в некоторых случаях G-урав-
нения можно решить и они преобретают более простой вид.
Например, пусть ф (a, R) = тГ1 Sp (/ + tR)"1, где t > 0 —
вещественный параметр. Тогда, введя обозначения
ап (t, krr1) = Mm"*1 Sp (/ + tRk)"\
Rk = {n- I)"1 SS-i Й - ^) Й - ^)'
и используя формулу
Sp (/ + «ft)"1 — Sp (/ + tR^y1 = t (d/dt) In [ 1 + t (я — l)"1 X
x ((/ + ^-i)-1 й - % Й - 3)].
получаем
«« С «) = a* С, °) + £ Ф ^- 0)df/ + 8";
Ф (/, (ft — 1) n"1) = mt (djdt) In [1 + / (n — l)"1 x
x ((/ + /Я*-,)"1 (J — *j, Й — *))].
но если л;& распределены нормально, то ситуация проще, ибо
в этом случае
Sp (/ + tRk)'1 — Sp (/ + tRk-i)-1) «* (<*/#) X
x in [l +1 (/?!/»(/ + гя*-,)-1 Я"2%, %) (n - l)-1];
tu«tf(5, /).
Заметим, что для любой симметричной матрицы Л
где Л — диагональная матрица собственных чисел матрицы А.
160

Поэтому
ап (t, kn-1) — ап (t, (k — 1) n"1) = JIM (d/df) x
X In [I+t(n- IP) 2;Li Kp {R (I + tRk-i)-1} 42pk].
В следующих параграфах на основании этих равенств будут
выведены уравнения для резольвент эмпирических
ковариационных матриц.
§ 5.8. (/-Уравнение для резольвент эмпирических
ковариационных матриц при выполнении условия
Линдеберга
Пусть R — ковариационная матрица /n-мерного случай-
-> -> -*-
ного вектора £, а = М£. Нормированной спектральной
функцией матрицы R называется выражение
^т(х^) = т^^^хР{х-К)у
где F (х — Xk) = 1, если %к < х\ F(x — %k) = О, если %k > х\
Xk — корни характеристического уравнения det (Iz — R) = 0.
Теорема 5.8 ./. Пусть xlf ... , хп — наблюдения над
случайным т-мерным вектором £, у которого существует
ковариационная матрица Ry
ti = (\ф i = 17^)' = HR-l/2 Ц. -"?), ^ Mf
случайные величины %£> независимы,
0<c1<Xk <с2<оо, fe=I7m, (5.8.1)
Н — матрица, у которой вектор-столбцы равны собственным
векторам матрицы Rm,
lim„-~ тгГ1 = с, 0 < с < 1. (5.8.2)
Тогда для того, чтобы при любом t>0
plimn^^l^ (t + xyldiim(xt £m)-am(0] = O, (5.8:3)
где Rm = (n— l)"1 SLi (** — x) {xk — x)'; x = n"1 2"=i xk;
am (t)\ limm^oo am (t) — неотрицательные аналитические
функции при £>0, удовлетворяющие уравнению
ат (0 = $0~ У + 1(1 - го*"1) + тл-Чо^ (01 *Г dp* (*, /?т)#
(5.8.4)
6 7-305 161

достаточно, а в случае, если величины £f/ симметричны,
и необходимо, чтобы выполнялось условие Линдеберга: для
любого т>0
lim„_ Е£лМ&Х(1&а| (л- 1Г1/2>т)(л—l)-i = 0. (5.8.5)
Решение уравнения (5.8.4) существует и единственно в классе
аналитических неотрицательных функций при />0 и
может быть найдено с помощью метода последовательных
приближений.
Доказательство. Достаточность. Используя
формулу (5.6.3)
Sp.(7/ + A + XX?)-1 — Sp(It + Ay1 = (d/dt) In [1 +
+ ((It+A)-1Z *)], (5.8.6)
где A — неотрицательно определенная матрица порядка т\
х — m-мерный вектор,
а также равенство
r = (п -1)-1 SLi Й -3 й -3 - п (п -1)-1 х
X (х —"3)(х-?)', (5.8.7)
имеем
| яг1 Sp (Л + ДГ1 — m"1 Sp (Л + Q)'11 <
. < тг1 ((// + £)"Ч Л) п (п - I)"1 U + ((Л + Я)"1 ц, ^) X
х л (п — I)"1]"1 < т-Ч"1, (5.8.8)
где т] = i — a; Q=(n — l)"1 £Li (xk—a) (xk — a)'.
Следовательно, для любого />0
lim^. М | Г (t + хГ1 dyim (х, Rm) — т-1 Sp (It + Q)"11 - 0.
(5.8.9)
Рассмотрим равенство
m-1 Sp (It + Q)-1 - m-m Sp (It + Q)"1 = m"1 %nk==l yk,
где yk = Mft-i Sp (It + Q)"1 — МЛ Sp (It + Q)-1; M* — условное
математическое ожидание при фиксированной минимальной
сг-алгебре, относительно которой измеримы случайные век-
торы xst s= fe + 1, /г.
162

Случайные величины yk являются мартингал-разностями,
поэтому для них
MtELxY^SLxM^. (5.8.10)
Обозначим
Qk = Q — (4 — о) Й —'aY (п — I)"1-
На основании формулы (5.8.6) для величин 7а? получаем оценку
| Y* I < I M*_! Sp (It + Qy1 - M^-Sp (// + Q*)"11 +
+ | M* Sp (// + Q)-i - M* Sp (Л + Q,)"11 < (M*-i + M*) X
X {(It + Qk)~* 5. 5) (* - I)"1 [ 1 + ((Л + Q*)-1 £, J) X
X(n—l)-1]<2f-1f
где ть = *А — a.
Используя это неравенство и равенство (5.8.10), имеем
рНшп^« m"1 [Sp (Л + Q)'1 — М Sp (// + Q)-1] = 0. (5.8.11)
Найдем уравнение для функции MSp(//-f Q)""1.
Введем обозначения:
Вр — матрица, полученная в результате вычеркивания р-й
строки матрицы
В = К, 72, .. . , Ъ (п - I)1/2; v, =_Л%%;
Б, = Я^-1/2г],; Лт = diag(^, f = 1, т);
Н — матрица, у которой вектор-столбцы равны собственным
векторам матрицы Rm\
Тр = (It + ВрВ'р)"1; Ьр — вектор-строка матрицы В.
Очевидно, что
Sp (It + Qy^Sp (It+ BB')-1.
Поэтому, пользуясь формулами возмущений матриц (см. §5.6),
имеем
пгЩ Sp (It + Q)-1 - m"1 SL, М [* + (С К) -
- {B'kTkBktk, Кт1 = т-1 SLi м [* + а* -
— Ч (я — I)"1 Sp Г*ВЙВ* + в!,]"1, (5.8.12)
где
е« = E?_itfi - Л» - (В*Г*В*?, Й + Я,» (п - I)"1 Sp YkBkB'k.
6* 163

Из уравнения (5.8.12) вытекает следующее:
т-ЧЛ Sp (It + Q)"1 = яг* S;=,M [/ + %р (1 - kn +
+ /£ПМ Sp (У/ + Q)"1 m"1) + ezp]"1, (5.8.13)
где
e2P = elp + К (n - I)"1 (Sp Гр - (я - l)"1 M Sp (// + Q)-»);
kn = m(n — l)"1.
Используя формулы возмущений для случайных матриц,
получаем
б„ i = (л - I)"1 [Sp Гр - Sp (It + Q)-i] =
= (п - i)-i (djdt) in [/ + С К) - (^гДл)1 =
= (я - I)"1 (d/df) In [/ + ((// + В'РВР)~%, ~bp)\.
Из этого равенства легко установить, что
!б„|<(п— \)-*dr\ (5.8.14)
Очевидно, что
! Мят1 Sp (7/ + QY1 — am (t)\ < /^m"1 ££-, {^ I /"_1M Sp (// +
+ Q)-*_flm(/)| + M|eM|}.
Используя условие Линдеберга (5.8.5), неравенство (5.8.14) и
предельное соотношение (5.8.11), при />0 получаем
Unworn-1 VJJLi M jе2Р| = 0.
В силу этого выражения
amW<*-4i (0 + 0(1);
ат (0 = | тгт Sp (И + Q)-1 - am (/) j.
Из первого неравенства вытекает, что при достаточно
больших /
lim„^eeam(0 = 0.
Но так как функции
nrmSp(It+Qri-am{f)
аналитические при />(), то
limn^ooanr(f) = 0 для всех />0.
Следовательно, в силу соотношения (5.8.11) справедливо
уравнение (5.8.4).
Докажем, что решение уравнения (5.8.4) существует и
единственно в классе аналитических функций при t>0. Су-
164

ществование решения следует из того, что Iim^*, ат (/)= 0.
Докажем единственность. Пусть рх(0 и Р2 (/) — два решения
уравнения (5.8.4), аналитических по / при />0.
Тогда, используя уравнение (5.8.4), имеем
1МО-МО!<^|М0-М0|.
Из этого неравенства следует, что Pi (0 = 02 (О ПРИ ct<l.
Но поскольку эти решения являются аналитическими
функциями, то Pi(O = 02(O Для всех значений ^>0.
Докажем, что решение уравнения (5.8.4) можно найти
с помощью метода последовательных приближений.
Введем функции
Р* (0 = L°° I' + К1 - kn) + **#*-■ (01 A'1 d\im (x9 RJ,
где р0(0=1; ft =1,2, ... .
Из этого уравнения имеем |РЛ(0 — P*—i(0 !<£**• Значит,
при с/ < 1 существует предел linu-»» Р& (t) = р (/), причем
функция Р(/) будет аналитической при ct<il. Продолжая эту
функцию аналитически на всю область значений переменной
/>0, получаем решение уравнения (5.8.4). Достаточность
условий теоремы 5.8.1 доказана.
Необходимость. Поскольку выполняется (5.8.3) и (5.8.9),
то
lim^oo [Mm"1 Sp(It + Q)"1 — mr1 EJLi I' + Ml — mn~1 +
+ n-4 Sp (It + Qpir1] = 0. (5.8.15)
Используя равенство (5.8.12), получим
лГЧй Sp (// + Q)"1 = /л"1 SJLi M [/ + ({/ -
- вргрвр}%9 ?p)r = m'1 SS-i м [/ +
+ SJLie^n"1]"1 + 0(1), (5.8.16)
где 0/, — элементы матрицы / — B'PTPBP\ vpi— компоненты
вектора v,.
Поскольку справедливо неравенство (5.8.14), формулу
(5.8.15) можно преобразовать к виду
Mm-1 Sp (It + QP = пГ1 ££Ц М [/ +
+ Kn'1 SZ-iO»]"1 + 0 (1). (5.8.17)
Заметим, что если матрица ВРВР невырождена, то
матрицу Вр можно представить в виде
Вр = (ВРВ'РУ* Н,Н = (ВРВ'Р)-Ч* Вр.
165

Поскольку матрица Н ортогональная, то
~ /- В'ртрвр = H*(i-(i + t(вдг1))H = t(it + врврук
Если матрица ВРВР вырождена, то рассуждения проводим
по непрерывности: матрицу ВРВР заменяем на матрицу ВрВр +
+ /е, е>0 ив окончательной форме переходим к пределу
при е | 0. Следовательно, величины Э« неотрицательны в силу
того, что матрица ВРВР неотрицательно определена.
Используя (5.8.16) и (5.8.17), имеем при ^>0
linwm-1 Sp=iM {[1 + Г1^1 ^LiQuvliV1 -
- [1 + yi/i-i SLi в,,]"1} - 0. (5.8.18)
Очевидно, что"
= Mexp{-vrl^SLi9»v^,
где у—случайная величина с плотностью распределения е~х,
# > 0. Из этого равенства получаем
Mii + riSLie^-^r-
= Mexp{t (yV_1)1/2"-1/2 SLi SLi^Ml72,
где ftpfe — компоненты собственного вектора hpy
соответствующего собственному числу Хр, Ps — случайные величины,
распределенные по нормальному закону и не зависящие от
случайных величин у, \kp-
Обозначим
ар1 = М [ехр {((уКП^УЫк&п-1'2} - 1/fc, v].
Докажем, что
Ншп^-М SZ-, SZ-i I а«|» = 0. (5.8.19)
Для этого рассмотрим неравенства
Iapi | < (уКП^г + 2Р {tkin"1 > 8);
используя которые, получаем
Hmn-.coM JJJLi £/T=i | а« |2 = 0.
Следовательно,
"Г1 S^iM [1 + Г1 ELA*-^]-1 =
= m"1 EJLi M ехр {S?-i aPt] + 0 (1). (5.8.20)
1§6

Используя (5.8.18) и (5.8.20), находим
'" ImWoo/n-1 EjLi [Mexp {S?-i aPi) —
- М exp I— уПКр £?=i виРЬ'1} ] = 0.
Поскольку выражение, стоящее в квадратных скобках,
неотрицательно,: то
.": ■ Ч-в/^Г1^^"1} = 0,. (5.8.21)
где с„ = ехр {— уГгХр £Li виР?/*"1}.
Очевидно, что при /.>0
plimn.*ooCn>0.
Поэтому из равенства (5.8.21) получаем
. lim^oo/n^M Sp, л-iTm; i=TH {aPi +
+ уПХрВип-1] = lim^oo m_1M Sp=I7^; *=17^ {[ 1 '+
+ Г^&аГ^]"1 - 1 + Г^я-1} = 0,
где pi = да. Из этого равенства
Отсюда
lim^-.oo/n-1 £p, iMg?t-n"1x (g^"1 >
> e2) r%p2i (e"2 + Г1^1 = 0.
Поскольку величины %p удовлетворяют неравенству (5.8.2)
и векторы lp одинаково распределены, то из этого
соотношения
Hnw Iip^n-mfPa(fpin-1>
>е2) m'1 £,Г2с1р] (e"2 + Г1^)"1 = 0. (5.8.22)
Напомним, что р{ = QUi где Qa — элементы матрицы t(/t +
+ В'рВрУ1. Следовательно, величины дц удовлетворяют
неравенству 0н < 1. Поэтому из (5.8.22) получаем
linw Iip^mlin-1x(fpln^>e2)m-mSp(It + ВВГ1 -О-
Но так как выполняется _(5.8.3) и функция ат(0>0 при
^>0, то вытекает условие (5.8.5). Теорема 5.8.1 доказана.
167

Отметим, что в условиях доказанной теоремы можно
избавиться от независимости компонент вектора HR-^2^— а),
потребовав, чтобы для любой матрицы А m-го порядка при
рНтя^« [((/<+ЛЛТЧ.!) — SP# (/< +АА')-1] АГ^О. (5.8.23)
При этом условии доказательство теоремы 5.8.1 нужно
дополнить следующими выкладками: вводим матрицы
Qk = (Л- I)"1 T^LlA Js'Qs + (Л— IP Ei-H-1 (*.—
— a) (xs — а)',
где 0S, s= 1, 2, ... — независимые случайные векторы,
распределенные по нормальному закону N(0, /) и не зависящие
от случайных векторов xs\ Q0 = Q; Р* = Q& — (л — l)"1 AmQffik-
Используя формулу (5.8.6), имеем
Sp {It + Q)-1 - Sp {It + Qnp = E2=i Sp (// + Q^O"1 -
- Sp (// + Q*)"1 = 2L.i {[Sp (/* + Qft-i)-1 - Sp (/f +
+ PkT1] - [Sp {It + Q,)'1 - Sp {It + Pk)'1} =
= SLi {(d/dO In [ 1 + (n - l)"1 ((/* + PkT^)] -
- (d/do in [ i + (n -1)"1 ((/*.+ РлГ1 лл, el)]}.
Поэтому, используя (5.8.23) и то, что
plinw (л- I)"1 [{{It + ЛРЛД,?Л) -
-SpAm{It + Pkyi]=0,
из этого равенства получаем
linw ooMm"1 [Sp (Я + Q)"1 — Sp (/f + QnY1] = 0,
а для выражений m"1 Sp (Я + Q„)_1 справедлива теорема
5.8.1. Используя G-уравнение (5.8.4), можно найти G-оценку
резольвенты ковариационной матрицы пг1 Sp {It + R)'1. В
качестве G-оценки возьмем
G2 = m-1 Sp (/ + 9"1 (0 Д)-1 /в"1 (0,
где 9(^) — неотрицательное решение уравнения
1 — тгг1 + Ы-1 Sp (/ + 9&Г1 = Ы~\
Как будет показано в главе 6, эта оценка состоятельна и
асимптотически нормальна при выполнении условий теоремы
5.8.1.
J68

§ 5.9. Предельные теоремы общего вида
для преобразований Стилтьеса спектральных функций
случайных матриц
Пусть Еп = (1ц) — вещественная симметричная случайная
матрица порядка п. Нормированной спектральной функцией
матрицы Е„ назовем случайную функцию
М*) = л"1 EiUF (*-**).
где Xk — случайные собственные числа матрицы 5„. Под
обозначением [in (x) =» \х (х) будем понимать слабую сходимость
конечномерных распределений случайных функций \хп(х) к
соответствующим конечномерным распределениям случайной
функции \i(x).
Теорема 5.9.1. Пусть функция f (х) непрерывна и огра-.
ничена на всей прямой R1, —оо<л:<оо, \ьп(х) —
нормированные спектральные функции симметричных случайных
матриц В„, |а„(х)=фцй на некотором всюду плотном
множестве С прямой R1,
lim^—lim^-P {\in(Ь)"< х) = Р [\х{— оо) < х),
\ima^Jimn^00P{ixn(a)<x}==P{ii{+°o)<x}i
где \i (х) — некоторая случайная функция распределения.
Тогда
§f(x)d\Ln(*)**lf(x)dv.(x).
Доказательство. Пусть а<0, 6>0 и а, Ь£С.
Положим
h = | $1. № d\i (x) - Jl. № diin (x) |;
/2 = | J; / (x) dixn (x) - J; / (x) dp, (x) |.
Пусть К = s\xpx\f(x)\. Тогда
I1<K[p(a) — \i(— °°)1 + K[\in(a) — M~ oo)];
/a</C[(i(+oo) —|х(й)] + /С[^(+оо) —^(6)].
Поскольку
M|p,(a) — fx(— oo)| =MjLi(a) — M^i(— oo) -*0 при a->—oo;
M|fx(+ oo) — |i(&)| = Mpi(+ oo) —Мц-(Ь) ->0 при b~> + oo;
lim„^ JW[(i„(a) —[гя(—oo)| = Mp,(a) — Mp, (— oo); : ,v:
linw Jtl1 \\n (+ oo) — (лп (b) ( = M(i (+-. oo) — Mp, (&),

то величины vM/j-и М/2: можно сделать сколь угодно малыми,
если \a\,-b, я выбрать достаточно большими.
Разобьем интервал (а, Ь) точками Xk так, что для всех
х £ (**-i; Щ имеем | / (х) — / {хь) | < е; i ft-= lt mE,
где e > 0 — произвольное постоянное число. Обозначим fe (x) =
= f(Xk)> x£(Xk-\> Xk\> При этом точки хи можно выбрать так,
чтобы они были точками множества С. Очевидно, что
| П / ■(*) d^n W ~~ К f* W d^n М
\lbJ(x)dli(x)-]baf(x)dlx(x)
<ё[|1(Ь)-^(д)1. (5,9.1)
Из сходимости конечномерных распределений случайных функ-.
ций \in{x) следует
1 im„-. coM exp {is £?Го U fe) "llfa (**+i) —
— Vn (xk)\) = Мexp [is SSi1 /e (**) № (**+i) — H> (**)]}•
Отсюда, используя (5.9.1), получаем
$af{x)diin{x)=*]af{x)aii{x).
Тогда в силу того, что ■'-■•' , ;,. ,. . -
limmr„, lai-oe.^oo (M/j + М/2) = О
получаем утверждение теоремы 5.9.1'.
Аналогично Доказываем следующее утверждение... : ' \
Теорема 5.9.2. Пусть функция f(x) непрерывна. на
прямой R1, \хп (х) ==> \х (х) на некотором всюду плотном мно-
жестве С прямой R1, ' --
lini6_-oo Hm^-eP {\in Ф) < х) = Р {\i (— оо) < х}\
limb++co\imn^eoP{\in(b)<x} = Р{р.(+ оо)<л;);
\i (х) — некоторая случайная функция распределения, для
некоторого а>0 - . .
sup„M ] J f (x) J a d\in {х) < оо.
Тогда ] f (x) d\in {х) =ь j f(x)d\i(x).; _
Предельные теоремы для ^„(л;) удобно доказывать с
помощью преобразования Стилтьеса:
$ {х — г)"1 d[in {х) = /Г1 Sp (S — г/)"1, (5.9.2)
170

где г = t + is — комплексное число, Im z Ф О, В —
симметричная случайная матрица и \хп (х) — ее нормированная
спектральная функция. Вместо (5.9.2) полезным также является
преобразование Стилтьеса:
J (1 + itxy1 d\in (x) = at1 Sp (/ + ИВп)'1, (5.9.3)
где / — вещественный параметр.
Обозначим
ть (t): = J(1+ «*)"* d\in (x); In (г): = $ (* - г)"1 d\tf\
Легко проверить, что формула обращения в точках
стохастической непрерывности хг и х2 функции \in(x) имеет вид
Р {^п {х2У— \in(*x) <и} = lime-0P {я"1 y*t Im ln{у + is)dy<u].
(5.9.4)
Аналогичную формулу обращения получаем для
преобразования Г[п (t), аналитически продолжая v\n(t) на всю
комплексную плоскость и используя (5.9.4).
Теорема 5.9.3. Пусть \хп(х) — последовательность
случайных спектральных функций, Hm^-ooSupnM^/i).— 0.
Для того чтобы с вероятностью 1 в каждой точке
непрерывности некоторой неслучайной функции распределения
F(x), преобразование Стилтьеса которой
П (0 = J (1 + Их)"1 dF (x)\ lim,x»oo|in {х) = F (х),
необходимо и достаточно, чтобы с вероятностью 1 для
каждого t
linwoor]„(0 = ?l(0-
Доказательство. Доказательство необходимости!
очевидно. Докажем достаточность. Функции Щп (t) —- tx\ (t)
с вероятностью 1 равностепенно непрерывны. Поэтому для
любого е>0 и для любого ограниченного Т>0 найдутся
числа ti9 i= 1, /ng, такие, что с вероятностью 1
sup„Kr t\y\n (0 — n (01 < е + тахетт^ I Ц\г\п (U) — h (U)\.
Значит, с вероятностью. 1 для любого конечного Г>0
limn^ оо suplt\<r t\y\n (0 — Л (01 = 0.
Отсюда и следует утверждение теоремы 5.9.3*
m

Нам понадобятся также предельные теоремы для
преобразований Фурье спектральных функций случайных матриц.
Пусть (Q, В, Р) — вероятностное пространство; R,n — веще-
—>- —»-
ственное m-мерное пространство; [in(x, со), x£Rtny со£У—
последовательность случайных функций такая, что
реализациями функций \хп (х, со) являются /n-мерные функции
распределения.
Обозначим
/ (со,1) = ] exp [t (t, x)\ d\in (T, со).
Теорема 5.9А. Для того чтобы по вероятности
\*>п(х, со) -> |л(х) при я->оо б каждой точке непрерывности
т-мерной собственной функции распределения \i(x)t харак-
—>•
теристическая функция которой равна f(t)f необходимо и
достаточно, чтобы по вероятности /„(со, t)-+f(t) для
любого конечного tf где f(t) — непрерывная функция.
Доказательство. Доказательство достаточности
условий теоремы 5.9.4 очевидно. Докажем необходимость.
Предположим, что для конечного t
plinWoo/„ (©, t) = f(t).
Тогда
Щп (со, 7jfn (co,~sj = ] exp [i (/,"*) +
+ i(s, y)\ йЩп (xt со) \in (y, ®)-+f (t) f (s).
Отсюда в силу предельных теорем для характеристических
функций существует собственная функция распределения \i (х)
такая, что
limftH.ooM|in (x, со) \хп (у, со) = [х (*} \х (у)\
limn-*>lft\in(xf со) = \i(x).
Тогда рНтп^со^Л(А:, со) = \х(х) в каждой точке непрерывности
х функции [i(x). Очевидно, что
/(f) = J exp у (Tf"x)]d|i(x).
Теорема 5.9.4 доказана.
172

Пусть S„ = (В/) — симметричная вещественная случайная
матрица и \хп (х) — ее нормированная спектральная функция.
С целью упрощения формул индекс (п) у случайных
величин l\f иногда будем опускать.
Теорема 5.9.6. Если для каждого п векторы & =
= (&»» ••• > Ьп) независимы, случайные величины ffi9it],n=
= 1, 2, ... заданы на одном вероятностном пространстве,
существует предел
Hindoo п-т Sp (/ + «В,,)"1 = т (О
и функция m{f) непрерывна в нуле, то с вероятностью 1
lim^oo М*) = М*)
в каждой точке непрерывности неслучайной спектральной
функции \л(х), преобразование Стилтьеса которой
£(1 + itxy1 dp (x) = т (*).
Доказательство. Обозначим
yk = М [Sp Rt/Ok~\\ — М [Sp Rt/ok]9 k = T7n,
где Rt={I + йВя)"1; afe — минимальная a-алгебра, относительно
которой измеримы случайные векторы \& / = fe+l,n.
Пусть матрица В„ получена из матрицы Еп заменой &-й
строки и fe-ro столбца нулями и
ft*-(/+ttB*)-»!=:(r?/).
Очевидно, что г& = 0, если i Ф k, rkk = I-
Из § 5.6 получаем
Sp #, — Sp «J = f (d/Л) In det [/ + itRkt{En —
- Ekn)\ = t(d/df) In [1 + «g$ +12 (R&k,%)}, (5.9.5)
где
-*"
0fe = (£fti> • ••* Sfefe—и 0, ifefe-j-ь •••> Iftn).
Используя (5.9.5), имеем
\SpRt -Sp/?? | << 2 + И(#*Л 5) [1 +
+ «gffi + t* (Rt%, <&H <2 +
+12 ZUiyl (l + «5rl [l +1* %Litfi (i + mr1]-1^ 3,
173

где Kk — собственные числа матрицы В„; yk = (hk, 0&); Л*—
собственные векторы матрицы В*.
Используя это неравенство, имеем
M|Tfe|4 - M|M [Sp Rt - Sp &*M-i] -
— М [Sp Я, — Sp Я?/<т*]|4 < 36.
Из этого неравенства получаем, что с вероятностью 1 для
любого t
HnWooAT1 [Sp Rt — M Sp Rt] = 0.
Тогда из теоремы 5.9.3 вытекает утверждение теоремы 5.9.6.
§ 5.10. Предельные теоремы
для преобразований Стилтьеса спектральных функций
случайных матриц при выполнении условия Линдеберга
Докажем несколько вспомогательных утверждений,
необходимых при выводе G-уравнений для элементов
ковариационных матриц.
Пусть Н = (1ц) — прямоугольная случайная матрица;
/ = 1, п\ / = 1, т {п)\ для каждого п случайные величины
lij9 i = 1, nt j = 1, m (n) независимы; Щц = 0, D^u = п"хо2ц
и limn->oo m(n) пг1 = с, 0<c<oo.
Теорема 5Л0\1. Если $up„ sup.=T^a?/ < с и выполняется
условие Линдеберё&Рдля любого т>0
Нт^/Г1 Бцт^^^ (х) - 0,
где Fa (х) = Р {|}/} <Эс}-^/ио стрбятноетВюЛ почти ваюаждой)
точке х ^ssfy^c^ S..5 £ ш
где Fn(x) неслучайная функция распределения, преобразово-
J (1 + /хГ1 ^ (x) = л"1 2Li ***. ^ ^
*w = [1 + /я"1 ЦШР^ЧР-S) Rvsdfton^N
^H-!^iS£l^M]4^ M W *»*fl.q2| (5.10.1)
Решение Xkk > ^Ш^^Ш<ксгШШ^уравШкЛ (5.10.1) q/^e-
ствуещ 0 ь€^£Ш(цверно Щ... кпйЩ цнтшЩ^еских! Щ/н^Щ. ^

Доказательство. Из (5.8.11) получаем, что с
вероятностью 1
Нт^. я"1 [Sp R (0 — М Sp R (t)] = 0,
где
tfCO^Z + ZtftfT1 : = ('//).
Очевидно, что
Sptf(0 = SLi4
Используя формулу (5.8.12), получаем
fkk = [ 1 + / ЕЙ? & - '2 (Е?. /-irfe (S??S-ibi x
X Ewg/pbkp))]"1, (5.10.2)
где г?/— элементы матрицы {I + tHkH'k)-1t матрица Hk
получена из матрицы Н заменой элементов fe-й строки нулями.
Для удобства будем считать, что r\k = 0 и r\k = 0, i = Т, п.
Поскольку матрица Я^ не зависит от величин \kh / = 1,л,
то при п-+оо
< от~2М Sp (Rk (t) HkH'kf -* 0, (5.13.3)
где
с = supu о?/; Я* (0 - (/ + tf/*//*)-1: = ('*/).
Из (5.10.2) и (5.10.3) получаем
мг„ = м [ 1 +1 YJL<&i -1* s jii& (2?. /-Ле/ОГ +o(i).
(5.10.4)
Обозначим квадратные матрицы я-го порядка, у которых
fe-й столбец и fe-я строка имеют нулевые элементы, через
Тогда (5.10.4) можно представить в виде
Mrkk = м [1 + tJ£-i?kB—P SSLi6*.Sp«*(0 /с*]"1 + 0(1).
Обозначим
Л5 (0 - (/ + t Ss=TT«. s^p^): = (/f/ (/>)).
Тогда
Sp Д* (/) K* = Sp /?* (0 Kks + Sp (fc* (0 - Rt(tj)Kl (5.10,5)
Очевидно, что .
plinw [SpRks(f) Ks -•EiUrStoE?.] -:0." •
176

Используя формулы возмущений из § 5.6, получаем
Sp{R4t)-RUt))Kks = -t{l>i.PriAs)lislPs)[l +
+1 {R\ (ОТД')Г (£/// (s) Ыь), (5.10.6)
где |s = (|is, ...» Ins).
Таким образом,
linw „ M|Sp R* (f) Kt - [ SZ-irS (s) & -
- / (£L Л (s) &)" [\ + t SL.r5 <«) tfj"1] I = o.
Отсюда видно, что формулу (5.10.4) можно заменить
следующей:
Mrkk = м [1 + / EJLigL (1 + / I/LA (s) iiy1]'1 + 0(1).
(5.10.7)
Из § 5.6 следует, что
lim„_M|r&(s) — г5|=0;
Щгрр- 41 < р EJ-i Ам (£?~ЛЫ2 <
< от^М 2£.if?p6irf, (5.10.8)
где 6Р1 — элементы матрицы Rk (t) HkHk.
Поскольку
£Li4<l, S?-i^<l, (5Л0.9)
то
Птл^оо M\rpp — rpp\ = 0.
Используя формулы (5.10.7) — (5.10.9), получаем
(5.10.10)
По условию Линдеберга получаем, что (5.10.10) можно
представить в виде
М rkk = [ 1 + tn-* 2Hi aL (1 + /аГ1 S?-i M '« о?,)-1]"1 + 0 (1).
Доказательство того, что система уравнений (5.10.1) имеет
единственное решение в классе аналитических функций, весьма
просто. Пусть xt(i) и x2(t) — два решения уравнения (5.10.1).
—>- —>- —*- —>-
Для них имеем \\x1(t) — x2{t)\\< ct\\x1{t) — x2(t)\\. При
/^е*1 эти решения совпадают. Следовательно, поскольку
они аналитичны при />0# то будут совпадать для всех
176

/>0. Таким образом, решение системы уравнений (5.10.1)
единственно. Существование решения этой системы уравнений
следует из доказательства настоящей теоремы. Теорема
5.10.1 доказана.
Следствие 5.10.1. Если дополнительно к условиям
теоремы 5.10.1 оп(х, у)=*о(х, у), где оп(х, у) = о^- при
in'1 < х<(i + 1)at1, jnr1 <#<(/ + 1)/г"1, а — непрерывна
в области 0 < x, у < 1, то с вероятностью 1
lim^oo \in(x) = F(x)
б каждой точке непрерывности неслучайной спектральной
функции F(x), для которой преобразование Стилтьеса
J (1 + itx)'1 dF {x) = \\и {х, t) dx\ t > 0
и u(xf t) удовлетворяет уравнению
и(х, 0= [1+4оа^> y)ll+tll0u(2,f)o{2,y)dz]-1dyY1.
(5.10.11>
Решение уравнения (5.10.11) существует и единственно^
в классе функций, аналитических по t и непрерывных по г,
и может быть найдено g помощью метода последовательных
приближений.
При доказательстве теоремы 5.10.1 пользуемся условием
Линдеберга только в тех случаях, когда доказываем, что=
plinw [Si, ll-re* 22.1 al] = 0.
Поэтому, если выполняются условия теоремы 5.10.1, на
условие Линдеберга не выполняется, снова приходим к
уравнению (5.10.10), которое имеет вид
Mrkk = m[\+t EZLi fks [ i + / £?_, Ги йг1]"1 + 0(1).
(5.10.12)
Следствие 5.10.2. Если дополнительно к условиям
следствия 5.10.1 а (л:, у) = о(у), то с вероятностью 1
Hindoo \in {x) = G (x)
в каждой точке непрерывности неслучайной функции
распределения G(x), преобразование Стилтьеса которой m(t) =
= j (I + ^я)"1 ^0 W удовлетворяет уравнению
т {t) = {1 + cbt [ 1 + Wm (01"1 ]~\
где b = Jia(y)dy.
17Г

Вместо матрицы НН' можно рассматривать матрицу
Ss'LiKs'Hs, где t)s — независимые между собой и от матрицы
ks случайные величины. Используя преобразование Стилтьеса
J (1 + itx)"1 dix(x)t легко видеть, что все вычисления при
этом остаются в силе за исключением доказательства предела
(5.10.9). Докажем, что предел (5.10.9) справедлив в более
общем случае. Пусть
R (0 = [/ + U (Is=i fesTb)]-1: = (rP,)> 0 < ть < с\
Rk(t) = [I+it&s=ikUs)]: = (rfpS)-
Из § 5.6 получаем
гРР - ГрР = -t* (S2-i as hs)2J. 1 + it Ss=i ll % +
+ (я*ю£Д*)г1,
где
as = £5U riPlts t|s; f* = (Isli hslks^s, i= h~n).
Очевидно, что
Отсюда при условии, что М lps = 0; М %ps = ops п~г\
suppfSapS < с, получаем lim^*, M| rpp — rkpp | = 0. Таким
образом, формула (5.10.12) приобретает вид
М ткк = М [1 + it SS.igl.ils[l + ibu grafts]-1 Г1 + 0(1).
(5.10.13)
"■' Следствие 5.10.3. Пусть 0<г]Г<с, ^«►т), л —
некоторая случайная величина и выполняются условия
следствия 5.10.1.
Тогда с вероятностью 1
lim^ceM*, 2is=i Kst\s) = Н(х)
в каждой точке непрерывности неслучайной спектральной
функции Н (х), преобразование Стилтьеса которой
m{t) = }ди (х, t) dx,
и и(х, t) удовлетворяет уравнению
и(х, 0=» [1 +иЦо(х, у)Мцх
X[l+ttr\l\u{z, t)o(z, у)dz]"1 dy]-1. (5.10.14)
178

Если дополнительно выполняются условия следствия
5.10.2, то
т(0 = [1 + itcf\ я [1 + tf л/яфГ1]"1- (5-10-15>
Решения уравнений (5.10.14) и (5.10.15) существуют
и единственны в классе функций, аналитических по t и
непрерывных по х.
§ 5.11. Один пример явного вычисления
предельных спектральных функций эмпирических
ковариационных матриц
Решения функциональных уравнений для предельных
спектральных функций в[ общем случае найти чрезвычайно
трудно. Однако если предположить, что R = 1, то это
решение можно найти. [30]
Теорема 5.11.2. Если дополнительно к условиям
следствия 5.10.1 о2(х, у) = о2, то для функции F(x),
определенной в этом следствии, имеем
^'W^PiM + M*);
М*)-\ о, о и
р2(х) = [4го4 — (* — (с + 1)а2)2 F2 {2по2ху1 х
Х%{(х-(с+1)о2)2^4о2с).
Доказательство. Из уравнения (5.10.11) получаем
и (0 в и (*, 0 = [ 1 + do2 (1 + to2u (f))"1]"1;
Решая это уравнение, получаем
u(t) = -[l + ta2(c-l)]±
^j(l + to2 (с— I))2 + 4/a2]1/2(2to2)-1.
Знак «—» перед квадратным корнем следует отбросить, так
как u(t)— это преобразование Стилтьеса спектральной функ-
цйи£1<%нкция u[f) .аналитическая для всех / ^ 0. Продолжим
ее аналитически на всю комплексную плоскость. Тогда для
преобразования1 'СтилТьёса"J (х — Ъ)"1 dF(x)i = т(г) получаем
" " /п(г) = (2а*)"1[1 - (1 -о*\с- 1)г"1) +
+ Ц1 — г^а2 (с — I)}2 — г-Ча2]1/2].
Из этой формулы сле^у]ет ^утрерждениект^оремы 5.11.2.
179

§ 5.12. (/-Уравнение для преобразований Стилтьеса
предельных спектральных функций изотропных
случайных матриц
Если условие (5.8.23) не выполняется, го в общем случае
трудно найти функциональное уравнение для предельного
преобразования Стилтьеса нормированной спектральной
функции эмпирической ковариационной матрицы. Рассмотрим
один пример ковариационных матриц, для которых это
функциональное уравнение можно найти.
—>-
Случайный /n-мерный вектор £' = (glf ... , £m) будем
называть изотропным, если Я£ « £, где Я — любая ортогональная
вещественная матрица m-го порядка. Так как М £ = Я М £,
то отсюда следует, что М £= 0. Кроме того, М g g' = НЩ%Н'.
-+. _>.
Из этого равенства вытекает, что матрица М £ £' —
диагональная и все ее диагональные элементы равны некоторой
константе.
Предположим, что наблюдаемый случайный вектор имеет
вид l + а, где а — m-мерный вектор средних значений. Пусть
xit ... , хп— независимые наблюдения над этим случайным
вектором. Рассмотрим эмпирические ковариационные матрицы
Rm = пг1 ][J/Ui (xk — a) (xk — a)1.
Введем изотропные случайные матрицы
Е = (lv ... , In), li^l — a,
Xi — собственные числа матрицы гг1 Е3'9
М*) = n^YlUx F'(%k<x).
Теорема 5Л2Л. Если для каждого значения тип
—>-
случайные векторы & независимы,
lim„^oomn"1 = c, 0<c<oo, (5.12.1)
linw Р {(1, X) т-1 <x} = G (х), (5.12.2)
Mgti<«>. (5.12.3)
еде G(x) — функция распределения; G(+oo)=l, то для
любого х
plim^ со \in (х) = [х (а:),
180

где \х. (х) — функция распределения, преобразование Стилтье-
са которой u(t)= \0 (t + x)~1d\\,(x), />0 удовлетворяет
уравнению
u{t) = ^~[t + ex (I + xu (О)"1]"1 dG (x), (5.12.4)
решение уравнения (5.12.4) существует, и единственно
в классе аналитических функций при />0.
Доказательство. Из соотношения (5.8.11) и
следствия 5.9.2 в силу того, что цл(—оо) = 0, вытекает, что
почти для всех значений х
pliirWoo [M*) —ММ*)] = 0. (5.12.5)
Для спектральных функций М \хп (х) рассмотрим
преобразование Стилтьеса
$о~ С + хУг dm И« (*) = я"1 м SP (U + н s' я"1)"1.
Используя формулу (5.8.6), получаем
MSp#J — MSp^_! =
= М (d/dt) In [ 1 + AT1 (/?Ll С £)],
где
В силу того что распределения векторов |л изотропны, для
любой ортогональной матрицы Н га-го порядка
Выбирая первую вектор-строку матрицы Я, равной £n(£«,
1п)~~1/2, получаем
MSp/?„ —MSp/?„.! = M(d/d01n[l+г^Г1^УЬ|l2]. (5.12.6)
Докажем, что при £>0
рИт^-Си"1 — Мг?Г1) = 0. (5.12.7)
Для этого представим разность /Jf1 — М а и"1 в виде
г1т1 - м гпй1 = 25Й [м*_! tfr1 - г V*) -
-M^r'-rV1*)], (6.12.8)
181

где Мл — условное математическое ожидание при
фиксированной а-алгебре, относительно которой измеримы случайные
векторы £ft+1, ... , £„; rfr"1, k— элемент матрицы (// + £<?*„,*X
X S^Si)"1- Используя формулы возмущений (5.6.4) для матриц
из § 5.6, получаем
м (/-Г1 - м rlr'Y < Е S-i м (SS., ИГ1'*' Ы4 п-\
Поскольку распределение вектора f изотропно Ич
то при />0 в силу условия (5.12.3) выполняется (5.12.7).
В силу формулы (5.8.6)
det Rln (det RLi Г1 = 1 + T1 («Li £, "£).
Поскольку распределения случайных векторов £* изотропны,
то из этой формулы, выбирая в качестве ортогональных
матриц сначала матрицу Hlt у которой первая вектор-строка
—>• —>■
равна In II In ||~1/2, а затем матрицу Я2, у которой вторая
вектор-строка равна этому же вектору, имеем
det Rn (det tf^ip « det R*n(det я;/&_1 Я,)-1 =
= I" + lib. \\2r?rl rr\ det Rn (det Д^Г1«
« det /?4 (det Я [/?£_, Я^1 = 1 + аГ1 ||i ||2 rS"1.
Случайный вектор £„ не зависит от случайной матрицы
Rn^u поэтому гТГ1^^"1- Аналогично получаем г£-1»
Поэтому, используя (5.12.7) и то, что
M/if1 = m'1MSpRn^l = m"1MSpRn + o{l)i
получаем
MSpRn — mSpRn-{ = М(d/dt) x
X 1п[1 +MSp/?„/n-1||"^||an-1] + o(l). (5.12.9)
Рассмотрим матрицы
»
182

где hs—независимые случайные векторы, расдредедашые
qo нормальному закону N (О, I) и не зависящие от случайных
векторов gs. Используя (5.11.9) и то, что ',- V
plim^ «J/*-* Sp (It ±Hk — m"1 j[f*T гГ^^^Ч^Г
- аГ1 Sp (// *+ #* - m^ Jll; |i2 n^hKkT1] = 0,
получаем __ . , ,.,;.. .
linv^ lim^m"l[MSpRn — MSp(//+ Я*)"1] = 0. (5.12.10)
Но для резольвент M Sp {It + Н'П)'г можно воспользоваться
доказательством теоремы, 5.8 Л, в силу которого из формулы
(5.8.12), после некоторых тривиальных изменений, используя
(5.12.1)—(5.12.5) и (5.12.10), имеем : Z -т
m^mSp(It +HJ-1 = mi|]tiM[/ $ (Pk, Pk)-
^iQkBkQkPk, р$)Г\ ■' (5.12.11)
где pk — вектор-строки матрицы #„; Q = (AiVlf ... , ^Vn)^-1/2;
vf = a"11| £s ||2 X (II Ss 1i2 n'1 <c)\ Qk — матрица, полученная в
результате вычеркивания;/г-й.строки: матрицы Q; В* = (It +
+ QkQkT1. Используя доказательство следствия Е^0.3,
получаем '' ^^ " v ''' ' ~~~- ' ' -i:' " '. sj-v* ^;(:^j:^ j'' •
lirrw., lim^ m"1 JVlSp (It + H^f1 == «(0-
Теорема 5.12.1 доказана.
§ 5.13. G-У равнение для преобразований Стилтьеса
нормированных спектральных функций пучка
эмпирических ковариационных матриц
Пусть R{ и R2—невырожденные ковариационные1 мат-
рицы независимых яг-мерных случайных векторов .,gx и £2»
-> —^ '•-' ''^> '^-> ■ -'- ■- ••' - -■ - • ;- - v * *; ■■-
Mgx = au M £2 = а2. Нормированной спектральной функ»
цией пучка ковариационных матриц Rt и R2 называется
выражение
\in(*, #i, R2) = /тГ1 ££=i ^(лг— ^),
где F(a:— %k) = 1, если X* < #; F (л;— %k) = 0, если/ ^> #;
Я* — корни характеристического уравнения det (Rtz — R2) =
= 0, 0<dx^: ^<d2<oo.
183

Теорема 5.13.1. Пусть хг, ..., хпъ уъ ...» уПг —
наблюдения соответственно над случайными векторами
%'= (U; I = 1^Г)' = RTxn (xt — аЗ; % = (Wh
/ = I7m)' = яг"2 (£-£,).
случайные величины g,-,-, %/, г, /= 1, 2, ... независимы,
limm,,» mnl =ci; limm^.<„ тлг-1 = с2;
с2<1; ci<l; (5.13.1)
выполняется условие Линдеберга: для любого т>0
limm_ [2 Г= 1 м (6*1 ("г - 1)~1/2)2 X (|£(1| (лх -
- 1)-'/2>т) + £*= , M(ti„ (л,- I)-'/2)2 х
X Х(|тКг!(ла- 1 )-»/«> г)] = 0. (5.13.2)
Тогда
plimm_ [J^ + Jt)"1^^, R» Rj —
-am(i)]=0, t>0, (5.13.3)
где функции am(t) и bm{t, x), t>0, удовлетворяют
уравнениям:
am(t) = §~(d/ dt)bm Ц, x) dx;
bm(t, a) = J0" [a + /(1 + tcj>m (t, a))"1 +
+ x [1 — c2 + c2bm (t, a) (a + tcxbm (t, a)]"1)]]"1 x
X d\x,m(x, Rlt R2).
Решение уравнения для функции bm(t, а) существует
и единственно в классе функций, аналитических по t при
t>0.
Доказательство. Рассмотрим преобразование Стил-
тьеса
J; (/ + *р d рт (х) = m-1Sp£1/?7,[flr1'2*i*rl/2< +
+ R-ll2R%R-ll2]-\ />0. (5.13.4)
Очевидно, что для любого а>0
Im^Sp R1W+Rt]~*—'ri* Sp R^RART^RiRT1'2* +
184:

+ #71/2tf 2^71/2 + /аГх1 < t^am^Sp (/а +
+ R-mRiRii/2t + R-^RzRY1'2)-1. (5.13.5)
Нам понадобятся следующие вспомогательные утверждения.
Лемма 5.13.1. Если выполняются условия теоремы
5.12.1, то для любого ос>0, t > О,
plimm.»m-1{Sp[/a + R-l/%R~U2t + R-l/%R-l<2p—
- М Sp[/a + ^ДДК - l)"1 +
+ Е::1^^з("2-1Г1]"1)=0; R3 = RTmRl/2- (5Л3.6)
Доказательство. Используя формулу
Sp (It + A + ~% "*') — Sp (It + A) = (d/dt)ln [1 +
(где А — неотрицательно определенная матрица порядка т\
х — m-мерный вектор-столбец), имеем
I sP(/a + /?-l/2£i*71/2' + ^71/2^2^71/2Г1 - sp Q~4 <
где
Q = /« + < S/e=ilb 1 К - l)"1 + /?Г1/2^Г1/2;
|Sp Q"1 - Sp £/i I < 2 (tfs£/-«/?, (X - Й. ( *". — Й) [1 +
+ (^3f/-^3 ("^ - ^,). (Я - ^))]_1; и - /a +
Используя эти неравенства, получаем (15.13.6). Лемма 5.13.1
доказана.
Обозначим
bm(t, a) = m-mSpU-\.
Лемма 5.13.2. Функция bm(t, а) удовлетворяет
уравнению
Ьт (t, ее) = т"1 2Г=1 [a + t[l+ tcxbm (t, a)]"1 +
+ %k [1 — c2 + abm (t, a) c2 (a + t [\ +
+ tc1bm(t, a)]-i)]}-i + 0(l). (5.13.7)
185

Доказательство. Так как матрицу Rs можно
представить в виде
RS = TAV9
где Т/]/ — ортогональные матрицы, Л — диагональная
матрица собственных чисел матрицы (R3R3)l/2, то
- - - M*.v <*) = ™""1 SP (** + ' £&ДД* («1 - I)'1 +
..+ Ейи Л1/»"Л*~ти (л1 - lr^i/T1.
В>вздем обозначения
v^y = * 1/2&/ (л2- I)-1/2, £= СЯ /=ТГ^у,
v«7 = ^1/2Tlt/ ("2"— 1)~1/2> l = !> m>./ = l + «i» "i + n2>
С = (v//), / == 1, m,'/ = 1, A2a + л'а.
Используя формулу
detrn=detrw_i (an — (T-ii о|Д)),
где Г„ = (я^)/, /-1 — невырожденные матрицы; аг = (сщ9
i = 2, л); Ьг = (ап, / = 2, я), получим
/тГ1 MSp (/а + ССУ1 = m"1 SLiM [а + (1*, ~d*) —
— {C'kRkCk dki elk)]'1,
где da = (vftb — .v*(fll+ni)) — ft-я вектор-строка матрицы С;
С&—матрица, полученная из матрицы С вычеркиванием k-й
строки;
Далее, используя доказательства теорем § 5.10, имеем
+ St.M^Mv^H"1 + 0 (1),
где гц — элементы матрицы (/а + СС')'1.
Из формулы (5.13.8) получаем
Mrkk = [а + t (1 + tmnTlbm {t, a))'1 +
+ Mi + SLAVM^rr1 + о (1).
186

Обозначим
а = яг"1 ££.,М1г».
Тогда
а = m^EE-ib*]а+ /(1+ ЛплГ'б.»(/, а))"1 +
+ ^(1 + т«71а)"11"1.
Кроме того,
bm (t, а) = т'1 S£-i [« + '0 + fc^», (Л а))"1 +
+ ^(1+с2аГТ1 + 0(1).
Тогда имеем уравнения
1 + с2а = 1 — с2 + 6с2 (а + t (1 + М)-1)]"*;
6 = яг"*£SLi [а + t (1 + МГ1 + Ы1 — с, +
+ Ьс2 (а + * (1+ МГ1)]-1]"1 + 0 (1); 6: = 6т (*, а).
Так же, как и в предыдущем параграфе, получаем, что
plimm.co[m-1SpQ —m-xMSpQ] = 0. (5.13.9)
Покажем, что при />0, схф\,
Hma,olinim^.a6m(f, a) = 0. (5.13.10)
Из леммы 5.13.2 получаем
0 < bm(a, t)<[a + t[l+ tcxbm {t, a)]"1]-1 + 0(1).
Решим это неравенство относительно bm(t, a):
0 < bm (t, a) < 2 [((* (1 - Cl) + a)2 + 4/^a)»/» +
+ ^(l_Cl)+a]-i + 0(l).
Поэтому при схф 1
lima*olimmJ.«,abm(/, a) = 0.
Очевидно, что
nf* Sp RT% [ЯТ1/%ЯТт1 + RTl/%RTU2 + lap =
= lim^m fo(d/df) bm (t, x)dx. (5.13.11)
Поэтому, используя это равенство, лемму 5.13.2 и пределы
(5.13.9) — (5.13.11), получаем утверждение теоремы 5.13-1.
187

§ 5.14. (/-Уравнение для решений систем линейных
алгебраических уравнений
Одной из основных задач вычислительной математики
является задача вычислений решений систем линейных
алгебраических уравнений
ЛлГ = ~&, (5.14.1)
где А — (atj) прямоугольная матрица; /=1, п\ i—\,m;
Ь—вектор-столбец размерности п; х — искомое решение
(вектор-столбец размерности т).
Такая, казалось бы, простая задача является чрезвычайно
сложной при решении многих практических задач по
следующим причинам:
1. При решении практических задач элементы матрицы А
являются значениями величин, полученных в результате
экспериментов над некоторыми реальными системами. Во
многих случаях весьма удобной является гипотеза, что эти
значения являются реализациями некоторых случайных
величин. Таким образом, вместо матрицы А мы имеем наблюдения
над этой матрицей Х{, i = 1, 2, ... такие, что МХ£- -- Л.
Стандартный подход к решению этой задачи заключается
в том, что в качестве решения системы (5.14.1) выбирается
—■»-
решение y = (Z'Z)'1Z,b системы уравнений
Z^=T; Z=S-*£LiX<, • (5.14.2)
где s — число наблюдений над матрицей А.
Такие системы уравнений будем называть эмпирическими.
Если матрицы А хорошо обусловлены, т. е. АА' +/а>
>0, а>0, грубая оценка погрешности такой замены, как
правило, эквивалентна {тУт)гг~х/2. Следовательно, даже для
«умеренных» значений т = 5, 10, ... необходимо очень
большое число наблюдений s. Заметим, что многие современные
технические и экономические системы настолько сложны
(эта сложность связана с неизвестным поведением системы
во время эксперимента), что даже проведение нескольких
наблюдений над такой системой невозможно из-за больших
материальных и энергетических затрат.
2. Так как матрица А неизвестна, а известаы лишь
наблюдения Xi над ней, то системы уравнений (5.14.2) могут
быть плохо обусловленными. Для решения таких систем
188

можно применить методы регуляризации решений и выбрать
решение в виде
X = (/а + Z'Z)^Z4), (5.14.3)
где а>0 — параметр регуляризации.
При такой замене нужно находить погрешность оценки
замены решения системы (5.14.1) регуляризованным, что
является далеко не простым делом.
3. Решение системы (5.14.2) вычисляют на ЭВМ. Но на
ЭВМ все вычисления ведутся с некоторыми ошибками
округления. Эти ошибки не влияют на решения при малых
размерностях систем, но при больших значениях тип
с ними приходится считаться. Значит, даже если матрица А
известна точно, все равно при больших т и п мы получаем
такие решения, как если бы матрица А была известна с
некоторыми ошибками.
Теорема 5.14.1. Пусть элементы хц матрицы X
независимы и распределены по нормальным законам N (ац, 1),
векторы c£Rm и Ь удовлетворяют условию
Hm^.m-1^! \(Ас9 ~ф*) ("б, ~ф*)| < °°; (5.14.4)
llm^^.oSup^Y^m-% (А'А) < оо;
\imn ^„тгГ1 < 1, (5.14.5)
где %k* <Pk — соответственно собственные числа и
нормированные собственные векторы матрицы АА*.
Тогда
plimm^» [ (х, с) — }„ (d/dz)ат{у, z)z=0dy] = О, (5.14.6)
где
ат (у, 2) = пС1 22-1 [у (1+ ат (у, г)) + (1 — /и/г1) +
+ М«) (1 + *» (У. г))"1]"1; (5.14.7)
kk (z) — собственные числа матрицы QQ', где Q = /и-,/2Л +
Доказательство. Рассмотрим выражение
/ (г, v) = «г"1 In det [Iy + В (г) В' (г) ],
где В (z) = т~х12Х + Ъ c'zm1/2; у > О, z — вещественные
переменные.
18$

Дифференцируя его по г в точке 2 = 0, имеем
(dfdz) f (г, 7)г=0 = т~1'2 Sp (Т?В' (0) + В (0) ф&)') Цу +
^Ч **Ч
+ В (0) В' (О)]-1 =* 2(д£ с), 7= (/Y + Х'Х)-1 Х'Т.
Из этой формулы получаем
(Э/dy) Й 7) = (2m)"i (Э/0г) Sp [/у + В (г) В' (z)]£0.
Введем обозначения
ят (г/, z) = m-1 Sp [/у + В (г) В' (г)]"1, </п (у) =
= (d/dz)am(y) г)2=0, Q(*) = т-^Л +Ь?т^г.
Матрицу Q(z) можно представить в виде Q(z) = U1AUV где
^i» ^2 — ортогональные матрицы; Л = (8*/А* (г)) —
диагональная матрица собственных чисел матрицы [Q(z)Q' (2)]1/2. Так
же, как и при доказательстве теоремы 6.2.1, получаем
ат (У> г) = т'1 E*U [У (! + в* (У. z)) + 0 — ^л"1) +
+ А* (г) (1 + ат {у, z))-i + e,m (у, г)]"1, (5.14.8)
где pUmn-.ooBkmiy, z) = 0.
Беря производную по 2 в точке 2 = 0 в формуле (5.14.8),
приходим к равенству
qn{y) = -m"^Lx[y(\+am{yi 0) + Xk{0)[l + ат(у, 0)Г2 х
X {yqn (у) + {(д/дг) К (0)) [\ + ат (*/, 0)Г - МО) [ 1 +
+ ат (у, О)]-2 ?й(у) + (3/&) е,}. (5.14.9)
Используя формулу (1.6.14), легко получить, что
(3/&) МО) = (5%, Ф*),
где В = (& с)' Л' + А (Ь с')'. Кроме того, легко установить^
что выполняются соотношения
plinwoo supfe==:Tr^ I Gkm (0) I = 0;
limm_ /7Г1 SLi M (d/d*) 8,m (0) I = 0.
Поэтому из уравнения (5.14.9) следует
1п(У) = -т"1 SLi (Я Ф*. %)U1 + Чп (У)]"11У (1 + я™ (У. 0) +
+ К (0) [1 + ат (у, 0)]-Ч-а [1 + "Г1 SLi I» - ** (0) (1 +
190

+ат (у, О))"2} [у (1 + ат (у, 0) + К (0) (1 + ат {у, О))"1]"2] + e„f
где plinwo. (em) = 0.
Используя уравнение (5.14.8), из этого уравнения получаем
(5.14.6).
ГЛАВА 6
ОСНОВНЫЕ ОЦЕНКИ G-АНАЛИЗА
Предположим, что заданы наблюдения xv ..., хп над
m-мерным случайным вектором | с ковариационной
матрицей Rm и необходимо по этим наблюдениям оценить вели*
чину ф(/?т), где ф некоторая непрерывная функция
элементов матрицы Rm. Если п велико, а т фиксировано и с ростом п
не изменяется, то в качестве оценки величины y(Rm) можно
взять ф (Rm), где Rm — эмпирическая ковариационная матрица.
Тогда plim ф (Rm) = ф (/?). Очевидно, что это равенство в общем
случае нарушается, если т стремится к бесконечности вместе
с п. Предположим, что выполняется G-условие: lim^*, (mn"1)^
<<х>. Если собственные числа матрицы R больше некоторой
положительной константы и выполняется G-условие, то
plimllft, —Я|| = оо, где || R ||2 = Sp R\
и поэтому до недавнего времени считалось, что задача
состоятельного оценивания функций q(R) при выполнении G-усло-
вия не имеет решения. Для решения задач оценивания функций
ф(#) при выполнении G-условия автором была разработана
теория предельных теорем для резольвент эмпирических
ковариационных матриц, используя которые для широкого класса
функций ф, можно найти предел
plim (ф(&г) —г|> (R)) = 0,
где <ф—некоторая измеримая функция элементов матрицы/?.
В общем случае функции г|) и ф не совпадают, но можно
попытаться подыскать такую измеримую функцию g(Rn)>
чтобы p\im[g(Rn)— ф (/?)] = 0, либо распределение нормиро-
ванной этой разности было асимптотически нормально. Метод
нахождения функции g весьма сложен и связан с
громоздкими вычислениями на ЭВМ, но зато нет нужды делать до-
191

полнительные наблюдения над вектором £. Оценки g(Rn)
будем называть G-оценками.
В настоящей главе рассматриваются методы нахождения
{/-оценок. Отметим, что с помощью G-оценок можно
значительно уменьшить число наблюдений при решении различных
практических задач, связанных с оцениванием величин ф (Rm)
при больших значениях т.
§ 6.1. Gj-Оценка обобщенной дисперсии
Пусть даны наблюдения х19 . . ., хп над m-мерным
случайным вектором £, п>т, ковариационная матрица которого R.
Обобщенной дисперсией называется выражение det/?.
Обозначим
R: = (п— l)""1 Sa=i (Xk — x) {*k — х)'\ х = п"1 £Li**.
Если векторы xit i=l,n, независимы и распределены
по многомерному нормальному закону N (a, R), то (см. § 1.5)
det R « det R (п - 1)— П"-п-«Х? .
где X? — независимые случайные величины, распределенные
по %2-закону с i степенями свободы. В общем случае
распределение det/?m имеет громоздкий вид, поэтому нахождение
G-оценок для величин det R представляет собой весьма
сложную задачу. Докажем, что при некоторых условиях в
качестве G-оценок для величин С^1 In det R (где Сп —
последовательность постоянных такая, что lim^oo C^ In (п/п — тп) — 0)
можно взять оценку
Gx (R): = Сп1 {In det R + In [(л - 1)- (Л„-О"1 п(п- т^)"1]},
где А™ = п(п— 1)... (п — т+ 1)-
Теорема 6.1.1. Пусть случайные тп-мерные векторы,
х™.... ,^пЛ) для каждого значения п>тп независимы,
одинаково распределены с вектором средних а и невырожденной
ковариационной матрицей Rmm для некоторого 8>0
sup^sup^-^^^Ml^r^oo, (6.1.1)
где x{if — компоненты вектора xt = Rim]!2 (х|Л) — 'ct),
lim,^*, (n — mn) =oo, limn^oomn/n <s 1 (6.1.2)
192

и для каждого значения п^>тп случайные величины щ\
i = 1, nt j = 1, тп независимы.
Тогда
р linw [G, (Rmn) - С"1 In det Rmn\ = 0. (6.1.3)
Если дополнительно к условиям теоремы 6.1.1
М(ЗЙ7})4 = 3; *=!>, /=7~^, (6.1.4)
то
lim„_ P {[^Gx («) - In det Rmn] [2 In (n (n - тпГ)]~1/2 < x) =
= (Зя)-1/2 {1„ ехр (-r/2/2) dy. (6.1.5)
Доказательство. Поскольку R = l/(n — 1) [E"«i %x^j —
— nxxf], то представим матрицу R в виде
где zk=J^\hikXk; hik — элементы вещественной
ортогональной матрицы.
Тогда
Gx (R) - c~l In det Rmn = In [det ЕЙ г& GOi)""1] c^1 +
+ c~l In [n (n — ШпУ1]. (6.1.6)
Представим выражение (6.1.6) в виде
det (ЕЙ SJ5D №Г = Гр1Т«-*| (6.Ь7)
где
т*-1 = (л-1рЕЙги;
тп-* - 2Й (я - №, ^С2Сз • • - fc1/12;
ft = 2 — mn; L* = {/^ = 1, л— 1; p2 = 2, л — 1,...; p^-i =
= fc—1, n—l};
^(tj /= fe, n— 1) — элементы вещественной ортогональной
матрицы 7^ измеримые относительно минимальной а-алгебры,
порожденной случайными величинами х if i = 1, п — 1, р —
7 7.305 193

= 1, fe; первый вектор-столбец матрицы Tk (k = 2, п + l) равен
вектору
если yn-k Ф 0, и произвольному неслучайному вещественному
вектору единичной длины, если Yn—i =0;
первый вектор-столбец матрицы Тг равен вектору
(п_1)-1/2{21/.т-_1/д /=1)ятг-1}(
если 7я—1 Ф 0, и произвольному неслучайжжу вещественному
вектору единичной длины, если уп-\ = 0.
Поясним формулу (6.1.7). Пусть усФО, тогда
det (ЕЙ vD ЮГ = T«-i GO,)"* det Я7\7\' Б', *
где
l l l
я=
*n [Тп-i (л—1)1
«21
*i2 tvn-i (л—1)1
«1и-1 [V/1-i (л—1)]
*2"-1
стпп— 1
Перемножая матрицы В и Т, имеем
det (Е£1 «£*) №,Г = Tn-i ОСЛ)-1 det CC, (6.1.8)
где
0
У2п—1
Г !
У21
_#т„1
0
#22
Утп2
Уп
Уи = S"=i wife/ •
Дополним матрицу С некоторой случайной матрицей D
так, чтобы новая матрица К имела размерность (п—1) х
X (п — 1). Причем элементы случайной матрицы D должны
удовлетворять следующим условиям: первый ее вектор-столбец
состоит из нулевых элементов, вектор-строки ортогональны
вектор-строкам матрицы Y = (уц), i = 2, тПл / = 1, п — 1;
det DD' Ф 0. Очевидно, что такая матрица всегда существует.
В силу свойств матрицы D
det К2 = det CC det DD' = det У У det DU.
Используя это равенство, из (6.1.8) имеем
det (ЕЙ T£k) (А^У1 = Уп-i {К^У1 det Е«£Й;
~yh = (Ум, i = 2, m„).
194

Продолжая этот процесс, получаем формулу (6.1.7). Очевидно,
для любого 0<е<1 и некоторого 8>0
Р{ I Yn-* - 1 |<е, k =J7^n} > P {SUi I Уп-k - 1 |2+б<
< 82+б} > ! _ ££», М | yn_k - 1 р+бе-2-бв (6Л #9)
Запишем yn-k в виде
. yn-k = ЕЙ (л - кг п/; n/ = ЕЙ г*А/.
где
а . _ V /W /<2> Z*-1)
ир/ — Zjp2=2, n-l P£_p=(fe—1), (n—\) hPahaPi ' • • lpk—\i'
Очевидно, что 0/ = (0Р/, /? = 1, л — 1); j = k, п—1 — орто-
нормированные случайные векторы, не зависящие от
случайных величин ZkP, р= 1, п—1;
Vn-k = 2jp7/=i Q-piZkpZku &pi = 2jj=k Qpfin (я — &Г1-
Для yn__k при некотором бх>б имеем
м! Уп_к -1 р-нь < 2нам 12^/ зд А,/ Г+б1 +
+ 2НЛЛ1 ES-i (х|р - 1) Ь„ |2+8' < 2^ х
x[M(S^^^/)4F+6l,/4 +
+ 2'+5*М |ЕЙ (4> - 1) bpp |2+\ (6.1.10)
где
Легко проверить, что справедливо неравенство
м {"£*рф1*крХыЬР1У <:сг(п — ft)"2. (6.1.11)
Используя неравенства (6.1.10)—(6.1.11) и Буркхольдера,
имеем
М |yn_k — 1 |2+б1 < с2 (п — k)~l-^l\ (6.1.12)
Но тогда из неравенства (6.1.9) получаем
Р{|Тл_л—1|<в, k = Y7^n}> l-^2e-2-6S^i X
X (п — б)-1-8*/2. (6.1.13)
Рассмотрим выражение
ln[det(SUCT^in = S^iln(v«-fe-i + 1). (6.1.14)
7* 195

Используя неравенство (6.1.12), (6.1.13), при 0<е1<е<1
имеем
Р { SU1 1П (Vn-4-1 + 1) - ЕЙ, (Yn~fe - 1) +
+ 0,5 ЕЙ1 (V„_, - I)21 < е} > Р (| ЕЙ1 In (7„_ft-, + 1) -
- ffii (V«-* - О + 0,5 ffii (Yn-* ~ I)21 <
<8/Sr=2iiTn-s-i|2+6'<e1}p{E£,|vfe-i|2+8<
<ex} > 1 -ce]"1 221, (n-fe)-i-s/2.
Поскольку m„->oo при « ^><х>, то из этого неравенства и
равенства (6.1.14) вытекает
In[det (ЕЙ ГЛ) №Р] - ЕЬ (v«-i - 1) -
- 0,5 ЕЙ1 (Т«-*- I)2 = ЕЙ1 [ft-*- I) (л-fe)1'2] {n-k)~W -
-0,5 SUi [(?„-* -\f-2(n-ftp] - 2(n-ft)-1] -
-Y£=\{n-k)-\ (6.1.15)
Пусть af] — минимальная а-алгебра, относительно которой
измеримы вектор-строки xspy р= 1, п—1, s Ф ft. Поскольку
M#SjD = 0, Dxsp=l9 то, учитывая
vn-k = £й (* ~ Ф'1 я?'- а/ = ЕЙ г*А/,
легко убедиться, что
MKT«-*-l)(/»-ftp/o?}} = 0;
M\(yn-b-l)(n-k)W\<c<oo.
Но тогда в силу соотношения (6.1.15) справедливо (6.1.3).
Если же.справедливо и условие (6.1.4), то легко проверить
равенство
M{[(yn-k-l)(n-kyi*]*/oln)}=2.
Но тогда, используя теорему 3.3.1, получаем основное
утверждение (6.1.5). Теорема 6.1.1 доказана.
Отметим, что теорема 6.1.1 допускает большое число
обобщений. Однако обобщения рассматривать не будем.
Отметим, что поправка на смещение в G-оценке обобщенной
дисперсии весьма высокая и эквивалентна п — тп.
§ 6.2. (7о-Оценка преобразования Стилтьеса
нормированной спектральной функции ковариационной
матрицы
Рассмотрим основную задачу G-анализа — задачу
оценивания преобразований Стилтьеса нормированных спектральных
функций у,т (х) = т^ ЕГ-1 Х(^ < х) ковариационных матриц
196

Rm по наблюдениям л^, х2, ..., хп над случайным вектором |
с ковариационной матрицей /?,„, где Л* — собственные числа
матрицы Rm. Отметим, что многие аналитические функции от
ковариационных матриц, которые используются в
многомерном статистическом анализе, можно выразить через
спектральные функции \im(x). Например, nQx Sp /(R) = J ~ / (x) фт (x),
где / — аналитическая функция.
Обозначим
/(z) = $o"(*-2ridM*) (6.2.1)
преобразование Стилтьеса функции \im(x).
Формула^ обращения для функции \лт {х) в точках ее
непрерывности следующая!
\*>т (х2) — [im (хг) = lim^o лГ1 )х] Im / (у + is) dy. (6.2.2)
В этом параграфе вместо преобразования Стилтьеса (6.2.1)
будем рассматривать преобразование, которое можно свести
к преобразованию (6.2.1):
Ф ft Rmn) = jo00 О + <*Г Ф» (*), (6.2.3)
где f>0 — вещественный параметр.
Пусть п>тт, В качестве G-оценки преобразования ф (/, Rm )
возьмем
G.ft Лтл) = ф(б11(0), (6.2.4)
где ф (0 = "С1 Sp (/ + г^Г1;
Э(0 — неотрицательное решение уравнения
9(1— ШпгГ1 + ф (9) гппп"1) = t, (6.2.5)
где £ > О — вещественный параметр.
Очевидно, что решение уравнения (6.2.5) существует и
единственно.
Докажем, что при некоторых условиях G-оценка G2 (t, Rm)
будет состоятельной.
Теорема 6.2.1. Пусть заданы наблюдения lt19 ..., ~хп,
п>тп над тп-мерным случайным вектором £ с
невырожденной матрицей ковариаций Rmn,
\\тп-*<» тпгГг < 1, 51^-1 пт7д <<*>* (6.2 6)
197

компоненты вектора RmlJ21 независимы между собой для
любого значения тп и выполняется условие Линдеберга:
для любого т>0
Ншп- 1/=о7^лМ|т|/!ах(|Л/1>т) = 0| (6.2.7)
где г]/ — компоненты вектора R~^l/2(% —М£)я-1/2,
0<сг< Я*<с2<оо, (6.2.8)
%i — собственные числа матрицы Rmn.
Тогда с вероятностью 1
limn—sup/a.o|Ga(ft Rmn)-<p(t, Rmn)\ = Q. (6.2.9)
Доказательство. Очевидно, что
Rmn = (п - IP ч: U {tk - м£) {?k - JAtk)' -
— п{п— I)-1 ^ПЛ'» ^П — х — Мх.
Используя это равенство, а также равенство
Sp [/ + t (A + ад)]"1 - Sp [/ + tA П =
= —t(d/dt) In det [/ + /(/ + tA)~1ltkxk) =
= —t(d/df) In (l + /((/ + tA)'1 tk, tk)), (6.2.10)
где А — неотрицательно определенная матрица m„-ro порядка;
t> 0, получим
MlMO-mT'SpC + fQ)""1!**
< m~4M U ((/ + ^mn)_1 Дтп (/ + Фтп)-гМ) X
X n (n - 1П [ 1 + t{(J + *£„„)" Ч ~ъ)п{п- I)"!]"114 <
<24m~4, (6.2.11)
где
bn (t) = m^1 Sp (/ + tRmny* = J; (1 + tep d^„ (x, Rmn),
Q = (n-irlILAx\-i^){xl-M^y.
Рассмотрим равенство
m~l Sp (/ + *Q)-i - m"-!M Sp (/ + «J)-i = m~l £Li %,
где
yk = Mft-.i Sp (/ + tQ)-i MkSp(/ + /Q)-i;
198

Мд, — условное математическое ожидание при фиксированной
минимальной а-алгебре, относительно которой измеримы
случайные векторы ~xsi s= k-\- 1, п.
Случайные величины yk являются мартингал-разностями,
поэтому, используя для них неравенство (3.2.2), имеем
М [т-1 EZ_, ykf < с (£L, {ЩТТ т~\ (6.2.12)
Обозначим
Qk = Q - {Tk - М%) & - М^)' (л - l)-i.
На основании равенства (6.2.10) для величин yk получим
оценку
\ъ\<\ M*-i Sp (i + W1 - M*-i sp U + адг11 +
+! м* sP (/ + я?)-» - м*_, sP (/ + ад-1 I <
< м*_! | ((/ + «ад-1 4 %) (л - l)-1 [1 + (/ + ад-1 х
х С. ъ) (п -1)"1]"11 +X! ((/ + ад"1 € U) (л -1)"1 х
х [ 1 + ((/ + ад-1 тГ», %) (л -1)-1]"1!, (6.2.13)
где т£ = lk — Ж~хк.
Из этого неравенства находим
| ук | < М/г_! [((У + /Q,)-1 4 ^) (/I - 1Г)1/4 +
+ M,Sp/?w(/ + ^r1(«-irl.
Но тогда, в силу неравенства (6.2.8),
MY* < ^28/nn (п — I)"1 + с28 [тп (п — 1)""1)4 < 16с2тп (п — I)"1.
Следовательно, из неравенства (6.2.12) вытекает следующее:
Но поскольку сходится ряд Sn°—1 ^^73» в СИЛУ леммы Боре-
ля-Кантелли, с вероятностью 1
lim^ | Ьп (0 — Mm^1 Sp (/ + tQy11 = 0. (6.2.14)
Отметим, что вместо условия (6.2.6) можно взять
linWoo/njr1 =0 (6.2.15)
и равенство (6.2.13) при этом нужно заменить следующим:
р lim„.„. | Ьп (0 — m~lM Sp (/ + /Q)"11 = 0. (6.2.16)
199

m
1
Если же sup;Mg*<oo, где gf компоненты вектора /?^1/2;%, I
то из неравенства (6.2.13) легко получить
fAyl <cm2(n— 1)2.
При этом равенство (6.2.16) будет выполняться для любых
значений тп.
Докажем, что
plinw [9rt (0 - 9„ (0] = 0, (6.2.17)
где Qn(t) — решение уравнения
Э (1 — ШпГГ1 + m~lfA Sp (/ + tQY^mnrT1) = /. I
Используя уравнения (6.2.5) и (6.2.16), имеем
9„(f) [(штС1 — 1) + Ф (вя (/))] - 9„ (0 [(пт-1 _ 1) +
+ ф(М0)]+М0> (6.2.18) |(
где вп (t) — некоторая последовательность случайных величин
такая, что для фиксированного ^plim^*, \zn(t) I = 0. J
Функция xlnm^1 — 1) + Ф W] монотонно возрастает,
поэтому из равенства (6.2.18) вытекает равенство (6.2.17).
Но тогда равенство (6.2.4) с учетом равенства (6.2.16)
можно представить в виде \
G2(/, Rmn) = Ч> (е„(0) + <ч(0. (6.2.19) J
где рИтп_ 18„t (i) | = 0, ф (0 = т^'М Sp(/ + fQ)-*. |
• Найдем функциональное уравнение для функции ф(б„(0)* !|
Рассмотрим матрицы 5\
QA=(n-ir[Sp=ii^ + Sp=*(^-M^)(^-M^)'], ||
где у\р—независимые случайные векторы, не зависящие от ||
случайных векторов ~xk и распределенные по нормальному
закону. С помощью матриц Qk и формулы (6.2.10) рассмотрим ; j
равенство
Ч> (Q — m-'M Sp (/ + tQn)-1 = m~l £Li [M Sp (/ +
+ tQb-1)-* - M Sp (/ + tQ^] = m~l SLi [M [t ((/ + j
+ /QLi)"1 Qt-i ((/ + tCtk-iT1 (xk - MTk), (£ - Mx,)) (n - ; i
-1)-'[1+((/ + ЙЙ-1ГЙ-М^),Й-Мх4))(я-1Н-1]- 4|
- M [t ((/ + /Qt-i)"1 Q*-i (/ + tQt-i)'1 щ, %) (я - I)"1 [ 1 + У
+ ((/ + tQLiT1 %, %) (n - I)'1]"1], (6.2.20) I
200 I)

где
Qk~-i = Qk — W-
Используя условие Линдеберга (6.2.7), неравенство (6.2.8)
и центральную предельную теорему для сумм независимых
случайных величин, легко установить, что
plinw m^M I ((/ + tQL,)"1 4 ъ) - Sp (/+ «tf-i)"1 ^ hO,
plim^oo m^M | ((/ + /QLi)"1 (*£ — M3&, (^ — M^)) —
-Sp^ + ^Lir'^ho. (6.2.21);
Поэтому, используя равенство (6.2.20), получим
птп— I * (0 - "С'м sP (/ + ад-11 - о.
Поскольку г^ ^ Rm^*» %k — независимые случайные векторы,
распределенные по стандартному нормальному закону N (0, 1),
то из этого равенства получим
limn— | г|> (0 — тпх м SP smn | = 0,
где
Sma = (Sa) = [/ + tAmn SJU, Sgpt ЛШ/г =
= diag{A*, i = 1, m„}.
Для величин Skk, используя доказательство предельных
теорем для резольвент случайных матриц Qn (см. главу 5),
при t > 0 имеем
Mskk - [1 + tXk [1 + /(л- l)-i 22i ЬлМ^Г1 + 0(1).
Из этого уравнения получим
Шп1 MSpSm/i = m-1 2^ [1 + aft [1 + тпгГЧаГ +0(1);
fl = mnl ffii ^ П +^П + mn ">~x fa]"1]"1 + 0(1). (6.2.22)
Из этих двух равенств, используя (6.2.21), находим
* W = $Г t!+^ 0 ~ mnn~l + m«^ Ф(О)]"1 dy,mn X
X (*,#,„„)+ 0(1).
201

Подставив в это равенство вместо t величину ®n{t),
используя равенство (6.2.19), имеем
G2 (t, Rmn) = J0~ (1 + (ХГ1 d\Lmn(Xt Rmn) +
+ 0(1) = Ф (г, Rmn) + o(i).
Следовательно, справедливо (6.2.9). Теорема 6.2.1 доказана.
§ 6.3. Асимптотическая нормальность оценки G2
Доказательство асимптотической нормальности оценки G2
связано со сложными аналитическими преобразованиями
ковариационных матриц. Ранее казалось, что при выполнении
G-условия эти оценки не обладают свойством асимптотической
нормальности. Однако, благодаря развитой спектральной
теории случайных матриц [9], это свойство оценок G2 удалось
установить, причем их скорость сходимости к истинному
преобразованию Стилтьеса оказалась эквивалентной (mnri)-{t2,
где п — число наблюдений, а тп — порядок ковариационной
матрицы. Отметим, что стандартные оценки преобразования
Стилтьеса, полученные с помощью подстановки вместо
ковариационной матрицы эмпирической, имеют погрешность,
эквивалентную тпп~х/2 либо тпгГх. На этом примере хорошо
видно, что большая размерность матриц может привести
к неожиданному эффекту — скорость сходимости к истинным
величинам при росте размерности матриц увеличивается.
Так же, как и в предыдущем параграфе, преобразованием
Стилтьеса нормированной спектральной функции \хп (х)
ковариационной матрицы Rm назовем выражение
Ф (0 = \1 (1 + txY* diin (x) = тп1 Sp (I + tRmnY\ t > 0,
а С2-оценкой этого преобразования формулу
G(U #т„) = Ф(М0, *«„),
где Ъп (t) > 0 — решение уравнения
9(1— тп(п— 1)-1 + /пп(л— 1)_1Ф(9, &»„)) = '". *>°'>
(6.3.1)
Rmn = (n— l)"1 ££=1 (хь — х) (** — "*)';"* = пх ££=1 ад
xlt ... , хп — независимые наблюдения над случайным векто-
ром £, ковариационная матрица которого равна Rm . Оче-
202

видно, что решение уравнения (6.3.1) существует и
единственно. Индексы п и t в некоторых формулах будем опускать.
Например, вместо функции 0„(^) будем писать 0; вместо
функции ф(§„(/), Rm ) будем писать ф(9).
Введем обозначения:
ап (0 = [ 1 - М ф' (9„) knQn (l-kn + knQn Мф' (0„) +
+ k„m $ (9„))-i] [£L=i (2M т~1 sP а\ + мтп1 Sr="i(a«)2PO]-1/2;
Ak = (ak{l) = Mk [ 1 + 9„ (n - l)"i M Sp #m J"19„S2 Rmn +
+ 0„ Sp tf„,n (9„ M Sp S2 /?mn (n - I)"1 x
x ([l + e„MSPs#mn(n- in2)"1);
S = (/ + /Q)"1; kn = mn(n- l)"1; (6.3.2)
Pl. = M0in-l)2-2,
0„ — неотрицательное решение уравнения
6(1 — kn + knMy(Q)) = t; t>0; (6.3.3)
Ф(е) = ш„5р(/ + 9д)-1;
Q = (« — I)"1 S2=i (** — M **) Й— м **)';
c„(0 = (e(|/(7i-l)m„)-1 M(Г2(0)^,"5) x
X (1 - e (я - l)"1 М (Г (9) ц, ч)Р [- Мф'(9„) fe„9nx
x (i — kn + kn 9„м $' (9„) + knм ф(е„)гм + Vn-1 x
X m-1/2 S^2il—[1+ «J-3 M ef„ + [ 1 + яРГ2 M e2p);
Г (в) = (/+ 9Q)"1; ^= ££.,(* - M *) «-1/2; aP = V:
e2p = 9„ {Si-i i V I2 - M - 9* {(Bp Tp Bp J, б -
— Яр(п—l)-1SptfpЯp.Bp}-Ь
+ e„ Яр [m^1 Sp rp - M ф (9„)]; (6.3.4)
Bp — матрица, полученная вычеркиванием /?-й строки
матрицы В,
в = (Ti, ?2, -. ,fn){n- i)-i/2; |Г= УлГт~пъ;
Атп = diag(A,,, i = ГГт), И = (hlt ... ,Х),
ft* — собственные векторы матрицы Rm , соответствующие
ее собственным числам %k, Гр = (/ + 9„Вр5р)_1, Ър — вектор-
строка матрицы В.
203

Теорема 6.3.1. Пусть заданы независимые наблюдения
-»-->- -*■
х19 ... , хп над тп-мерным случайным вектором £,
выполняется Обусловив!
Штпп"1<1, (6.3.4)
О < ех < %i < с2 < оо, (6.3.5)
компоненты вектора ТЫ =('П1А:, ... , !W) = HR^2(xk—fAxk)
независимы и
sup„ supfei+.K sup/=f^ М | т]^ |4 < оо. (6.3.6)
Тогда при />0
Hnw.oPUG^, #%)_Ф(/, Rmn)]{(n-l)mn)V2an(t) +
+ ап (0 сп (t) <x}= (2я)-'/2 $!„ *-*■/• dy, (6.3.7)
функции an(t) и crt(0 n/?a 0<с£<с<;°° удовлетворяют
неравенствам
supw | д„ (01 < с, sup„ | сп (О I < с. (6.3.8)
Доказательство. Разобьем доказательство теоремы
6.3.1 на ряд промежуточных утверждений.
Лемма 6.3.1. При t > О
G ft £m„) - Ф (<, #„„) = [$ (9„) - М ф (9„)] cn +
+ [М ф (9„) - ф (/, Rmn)] + ад (6.3.9)
Сп = 1 — (ф' (9„) /г„ 9„) (1 — *я + йя 9„ф' (9„) + fe„ ф (вя))-1;
е„ - -2-1 ф' (вл) ЛАф (6Я + а (вя - вя)) (9Я - 9Я)2 х
X (1 — К + К 9„ ф' (вя) + kn Ф (вя))-1 +
+ 2"1 ф" (вя + а (9Я - вя)) (вя - 9„)2; 0 < а < 1. (6.3.10)
Доказательство. Раскладывая функцию ф в ряд
Тейлора и используя уравнения (6.3.1) и (6.3.3), имеем
0 (1 - kn) + Bkn [ф (9) + Ф' (9) (б — 9) + 2-!$' (9 + а (9 - 9)) х
Х(9-9)2] = /;
в(1—*я) + вЛяМф(в) = /; 0<а< 1.
Вычитая из первого уравнения второе, получаем
9 —9 - (— 9/г„[ф(9) — Мф(9)] + 9fe„ф"(§ + а(9 — 9)) х
X (9 - 9)2) (1 - kn + kn ф (9) + Qkn Ф' (9))-*. (6.3.11)
204

Очевидно, что
G (<, Rmn) ~ ф (t, Rmn) = ф' (в„) (9„ - 9) +
+ 2~1ф" (б„ + а (9„ - 9))(ёп - 9)2 + ф (9„) - Ф (*, Rmn). (6.3.12)
Из равенств (6.3.11), (6.3.12) вытекают формулы (6.3.9)
и (6.3.10). Лемма 6.3.1 доказана.
Нам понадобится также вспомогательное утверждение,
вытекающее из формул, доказанных в § 5.6.
Лемма 6.3.2. Пусть An = (а,-/)?,/=.Р — невырожденные
матрицы.
Тогда
det А„ = det А2п {аи - {(АпГ1Х, £)), (6.3.13)
где al = alz а\п)\ b1 = (ail, ... , ani),
Sp (/ + it A},)-1 — Sp (/ + itAlY1 = —t (d/df) x
X In [1 + ttan + t* ((/ + itAlr^X)]-
Пусть Xk — m-мерные вектор-столбцы и матрица Rm =
= S*=i Xk x'k, n > mn невырождена. Тогда
(/ + Rmn + Z+l Z+l)-1 — (/ + RmJ-1 =
= — ((/ + Rmf1 ~Xn+l ~Xn+l (I + Rm,)-1) X
X (l + (Rmn 2+1, ^+l))_1- (6.3.14)
Лемма 6.3.3. Пусть выполняются условия (6.3.4) —
(6.3.6). Тогда
[М $ (9) - ф {t, Rmn)] (т(Я _ I))1'2 = (л - I)'/2 {т)-Ч* х
X S"=i I - [1 + аРГ3 Ме22р + [1 + ар]~* М 82Р} + 0 (1), (6.3.15)
где
ар = %К [I — kn + knMф(0„)];
вар = 9„ (S"-i IV12 - К) - 9« {(ВДВА,. ftp) -
— Ьр (я — I)"1 Sp ЯРБ„.ВР} + 9„ %р [m7l Sp Гр — М ф (9„).
Кроме того,
Melp^c^tt— I)"1; |Me2pj<ca(«— l)"1. (6.3.16)
205

Доказательство. Поскольку / = 0^(1 — kn + knM x
X Ф(0Л)), то
Ф ft Rmn) = mZl ^pli [ 1 + ^ 9* (1 - *» + *п М Ф (вя))]-1.
(6.3.17)
Очевидно, что
Sp (/ + /Qr1 = Sp (/ + /Bfi')"1-
Поэтому, используя формулу (6.3.13), имеем
М Ф (0„) = тТ1 Sfc2i М [ 1 + в„ 0*. 6») —
- Ql {B'kvkBk ~Ьь, &V1 = *£"' ЕГ=. м [ i + e„ xP -
— Qn%P{n—l)-lSpTpBpBp + slp\-\ (6.3.18)
где
eiP = 6„ {£?_, 16p/12- %p] - Q2n {Bp Yp Bp bp, bp)-
-•kp{n-\)-l$vTpBpB'p}.
Из уравнения (6.3.18) вытекает следующее:
М ф (9„) - /л"1 £^ М [1 + 9„ %р [1 - К +
+ /гпМф(е„)] + е2р]-\ (6.3.19)
где
е2р = е„ {2?-i | ьр112 - лр} - е» {(5; г, в, Тр, С) -
— Яр (л — I)"1 Sp RPBPBP) + 9„ Яр [(я - l)-i х
х Sp Гр — m(л — I)"1 М ф (9„)].
Используя условия (6.3.4) — (6.3.6), легко убедиться, что
М ей = 0, Меи < с (л — I)"1 [92 + 94]. (6.3.20)
Используя равенство (6.3.13), получаем
б„ s = (л — I)"1 Sp Тр — тп (л - I)"1 ф (в„) »
= 0„ (л - I)"1 (d/dQn) In [ 1 + 8„ (£, bp) -
-^{В'рГрВХЛр)]-
Из этого равенства легко установить, что
|6„i<("-l)_1Ci. (6.3.21)
206

Очевидно, что
Ф(9„)~Мф(9„) = £2=1?*,
где yk = Мл-i ф (6„) — Mk ф (9„); М^ — условное математическое
ожидание при фиксированной минимальной а-алгебре событий,
относительно которой измеримы случайные векторы £/ц-ь ••• »
£л. Величины уд. являются мартингал-разностями, поэтому,
как и в главе 3, имеем
т\ (п - I)"2 М [ф (9„) - М ф (9„)]2 - ml (п - I)'2 х
X 22-1Т*<с(л— I)"1. ;(6.3.22)
Используя (6.3.21) и (6.3.22), получаем
M|e2p,,3(rt—l)3'2<c. (6.3.23)
Вычитая уравнение (6.3.17) из (6.3.19), имеем
М ф (9„) - Ф (t, Rmn) - mnl Щ M [г2р (1 + аРГ2 -
- 4p( 1 + ЯрГ3 + (e2p)3 (1 + аРГ* (1+^(1 + flp)"1)"1];
M Ф (9P) - Ф (*, /?m/i) = mnl 2^=1 M1182" (! + fl")~8 -
- eiP (1 + aPY* + (82,)3 (1 + aPY* (1 + ^(1+ аРГП
Из этого равенства, используя (6.3.10) — (6.3.23) и учитывая,
что М е2/г = Qnkk M бп, получаем (6.3.15) и (6.3.16).
Лемма 6.3.3 доказана.
Нам понадобится следующее утверждение (см. § 3.3).
Лемма 6.3А. Если для некоторого б>0
Hm„_ ES-i M | yk {(n- l)m„)1/2i2+6 = 0; (6.3.24)
Нт^. 2JU М| М* yl — Myl | (n - 1) ладь = 0, (6.3.25)
где
a^x = 2 j?=i M v2 (л — 1) m„,
mo
linw P ((Ф (9„) - M ф (9„)] ((л - 1) m„ «n)1/2 < x] =
= (2Я)-1/2 [*__ ^-^2/2 dy; (6.3.26)
linWco [^1/2 - S/Ui (2M mnx Sp Л| + M m^1 £Ui o?< p,)] = 0.
207

Проверим справедливость условий (6.3.24) и (6.3.25).
Используя равенство (6.3.14), имеем
[Ф Фп) - М ф (0.)] ((я - 1) тпу» - - Sfe=! X
X {Mft_! (0 (S? fk, fk) in - l)"1) (1 + 9 (Sk fk, fk) {n - I)"1)"! -
- М* (0Sf Ik, Ы {n - l)"1 (1 + 9 (5ft Ik, fk)) {n - l)"1} X
X in - l)1/2 (m„)->/2 = - E£{ (MM 8k - mk бА) n-1/2, (6.3.27)
где
8k = ([0 (Si S, fk) - 9 Sp Sf AmJ W*"2) x
X(l + 0(Sft|I, S) (n — l)-i)-i +
+ 6(Sp Si Amn [0(S* S, Ы - 0 Sp Sk Amn ] Ю-1/2) x
X ((« - 1Г1 [1 + 0 {n - l)-1 (S'k fk, fk)] X
X(l + 0SpSftAmn(rt-l)-1])-1;
Sft = (/+9(n-ir1S^^lp)-1.
/3=1
Из равенства (6.3.27) следует, что справедливо (6.3.24).
Легко установить, что
р linw [{Sk fk, fk) — M Sp SAmJ {n — l)"1 = 0; (6.3.28)
p linw [Sp Si Amn — M Sp S2AmJ (n - l)"1 = 0,
а условие (6.3.25) можно заменить на следующее*
lim„. . (л - I)"1 an S"=l М | Mft (Mft_, 6ft)2 - M (Mft„, Sft)21=0.
(6.3.29)
Представим Mft_i 6* в виде
Mft„! 6ft = m,71/2 [{Bk fk, fk) - Sp BkAmn],
где
Bk = Mft_, 9S| (1 + 9 (Sft fk, fk) {n - I)"1)"1 +
+ Mft_, 0 Sft [0 Sp S| Amn {n - l)"1] ([1 + 0 (Sft |T, Ы (n - 1)] X
X[l+0SpSft£m/j(n— I)"1])"1.
Очевидно, что
Mft (Mft.,16ft)2 = nQl Sp {Bk Am/ +
+ mnX SUi [(B,;AmnM2p,. (6.3.30)
208

Заметим, что в силу формулы (6.3.14)
s — м s = 2^=1 (мр_! s - мр S) =
= - £2=1 {Mp_i9 sp £ £ sp (1 + е {Spjp> у1 _
-Mpesp£5sp(i + e(s,£, ы)"1}-
Используя это соотношение, легко доказать, что справедливо
условие (6.3.29), а также, что
M(Mft_i б,)а = Мб! + 0(1) = т~1 MSp4 +
+ тГ'2Г=1М^р£+0(1).
Следовательно, выполняется (6.3.26). Таким образом,
справедлива лемма 6.3.4.
Лемма 6.3.5. При выполнении условий теоремы 6.3.1
р linw {[G (/, £m„) - $ (0)] ((л - 1) тпу1* -
— 9 ((л — 1) тп)-'/2 М (Т2 (9) тГ ^ X
Х(1_0(„_1Г1М(Т(9)^, 5)_1} = 0. (6-3.31)
где
Т (9) = (/ + 0Q)-i; ^Г= S?-i Й - «U) (л)-1'2. .
Доказательство. Согласно формуле (6.3.14), имеем
[тГ1 Sp (/ + 0 R^)-1 - m~x Sp T (9)] ((л — 1) mn) >/2 =
= (9 ((л — 1) т„)-'/2 (Г3 (0) ^ л) (л — 1) л"1) х
х (1 _ 0 („ _ l)-i (Т (9)Я ^) (л - 1) л"1)"1. (6.3.32)
Снова воспользуемся суммами мартингал-разностей:
(л - I)"1 (Т (6К ~ц)-(п~ I)"1 М (Г (9)1 ^ =
= ("-l)-1S"=iYft, (6-3.33)
где
Т» = М*_, (Т (0)^ "nj - М* (7* (9) ч, Л);
М^ — условное математическое ожидание при фиксированной
минимальной а-алгебре, относительно которой измеримы
случайные векторы Xk+i, ... , хп.
209

Обозначим
тк = (/ + е S«^*(*. - m"xs) (*. - м А^)')"1;
Tift = Yii+k Xi («)-'/2;
JCf = xi — M Xj.
Очевидно, что
7«. = M*_i Ak — Mft Дй.
Для Yft в силу формулы (6.3.14) имеем
Уй = Mft_iXft — Mxj,
где
Л* = [(Г(Л,"%)-(Tkl\k, щ) + 2(я)-1'2 х
X ((Г (0) - Тк)%, щ) + 2 (п)-'/2 (П S, т) +
+ п-1(ТфУх~пЛп)У,
m = 0 (Tfttft, Ь)2 (я — I)"1 (1 + О (Г* хй, %) (n — I)"1)-1 +
+ 2 (n)-i/2 (n - l)"10 (Tk%, %) (Tk%, Щ) X
X (1 + 0 (Тк%, tk) (n - l)"1 + 2n-'/2 {Tk%, ш) +
+ п-ЦТф)~хк, Xk).
Тогда
M ((я - l)"1 Sfc-i Vft)2 = (я - I)-2 Sft=i M T* < en (n - I)"2 x
X sups [6 M (Tk~x~k, 4ky (n - l)"2 +
+ M(Tftlft, щ)2 + n"2M (T(9)1с*. ^)2]- (6.3.34)
Легко установить, что в силу условий теоремы 6.3.1
М {Тк Тк, TU)4 < с М (Tk Rk Tk щ, Щ? < сШ (%, "%)2 < ^m2;
M (Tftb, r^)2 = M (Tk Rk Tk~v\k, %)<cM (rjft, rift) < c2m;
M(T(0)%, *ft)2 <cM(xk, xkf <сът.
Используя эти неравенства, получаем
М ((я - 1) S*-i Vft)2 < сп (п - I)"2 [0 т2 (я - I)"2 +
+ mtr1 + /ra2ft-2] < сп-1 + О (1).
210

Следовательно, в силу (6.3.33)
plinw [(л - 1Г1 (Г (6) ТЬ ^5 —(л — I)"1 М(Т (9)^ л)] = 0.
(6.3.35)
Аналогично
(п - 1) m„)-i/2 (Т2 (9) ^ ^ - М ((л - 1) m„)-i/2 (Г2 (9) ъ"я) =
= ((л - 1) m„)-1/2 SLi Ю (d/39) v* + Y*].
Проделав такие же простые преобразования, получаем, что
и эта разность стремится по вероятности к нулю.
Таким образом, используя (6.3.35) и (6.3.32), получаем
(6.3.31).
Заметим, что в общем случае
linw - | (п - l)-i М (Т (9К "л) - (д - I)"1 М Sp Г (9) # W/j pi >0.
Покажем, что выражение
4.= (1-в(я-1Г)м(Т(в)т|, л))"1
ограничено. Очевидно, что в силу формулы (6.3.14)
(1_9(/1-1)-1(Г(еК ^))-det[y + 9(Q-^V(^-ir1]X
X (det [/ + 9 Q])"1 = [1 + в(л—1)(/ + 9(Q — лл'Х
X (л - 1П-Ч ЛГ1-
Из этого равенства, используя формулу (6.3.14), получаем
|в„|<1+с9+0(1).
Лемма 6.3.6 доказана.
Используя леммы 6.3.5 и 6.3.6, легко установить, что
справедливо (6.3.8).
plinwoo |9П —9„| = 0;
р lim„_ !ФЧ9Л - М ф'(9„) I = 0;
рПт^оо|ф(0п)-Мф(9„)| = О;
plimw_oo|e,z| = 0.
Поэтому, используя леммы 6.3.1 — 6.3.5, формулы (6.3.10),
(6.3.11), (6.3.36), получаем (6.3.7).
Теорема 6.3.1 доказана.
211

§ 6.4. <?g -Оценка обратно ковариационной матрицы
—>- —>-
Пусть xt9 ... , хп — наблюдения над /л^-мерным случайным
вектором I с невырожденной ковариационной матрицей R.
Поскольку
m"1 Sp Я"1 = lim„_.. tm~l Sp (/ + tR)-\
то, применив такой переход к пределу при t ->■ оо в формуле
для оценки G2, получаем, что в качестве G-оценки матрицы
R'1 следует брать оценку G3 = R'1 (1 — тп(п — I)"1, где
R —эмпирическая ковариационная матрица. Конечно, такой
предельный переход нужно всегда обосновывать, но он
является хорошим эвристическим методом нахождения
G-оценок функций от ковариационных матриц. Докажем, что
элементы матрицы G3 при выполнении G-условия состоятельны.
Нам понадобится следующее утверждение.
Лемма 6.4.1. Пусть Н = (hij), i = 1, m, /=1, n— 1,
п>т — случайные матрицы и с вероятностью 1
существует обратная матрица В = {bij) = (НН')"1. Тогда с
вероятностью 1 при i Ф ]
bij = (SLm-l^/Pi hip* • ■ • 4"/n-2)(m-2)) X
X ((Yn-m-1 (l, j))1'2 Y«-m (*, ИГ1'. 6« = 4nlm, (6.4.1)
где
yn-k {t, i) = Epi [S^C.41 -• • C!i/|j * = 27^w
^ = (Pi == 1, n — 1, ... , pft«i = ft, я— 1};
£ W, f, / = ft, n — 1 — элементы вещественной
ортогональной матрицы Tkf измеримые . относительно минимальной
о-алгебры, порожденной случайными величинами hpt, i =
= 1, п— 1, р == 1, ft; первый вектор-столбец матрицы TkX
X (ft = 2, п + 1) равея вектору
если 7я-л (*\ /) фО, и произвольному неслучайному
вещественному вектору единичной длины, если yn-k {i, /) = 0;
первый вектор-столбец матрицы 7\ равен вектору
{hisVn-k{i, /), s = 1, /г— 1},
212 £
■Hi

воли y„_i (t, 1)фО, и произвольному неслучайному вещеет-
венному вектору единичной длины, если уп-\ (i, j) = 0.
Векторы hp =Qipiy i = 1, я— 1), p = 1, /n — 2 получены с
помощью произвольной перенумерации векторов
К = (й/>ь * = 1, п— 1), /? gfc i, /; ftm_! = ft,, /Tm = ft7.
Доказательство. Очевидно, что
Ьц = (det Я,- Я/) (det Я Я'Г1,
где Hi — матрица, полученная из матрицы Я вычеркиванием
i-й строки. Легко проверить, что
Ьц = (det HmHm-\) (det HH~)-\
где
(К
Из этого выражения легко получить формулу (6.4.1) (см.
формулы (6.1.7) и (6.1.8)).
Лемма 6.4.1 доказана.
Заметим, что если случайные величины Нц независимы и
распределены по нормальному закону N(0, 1), то
Ьц « №_! (SiSLi *Г1/2 (SSIуГ\ / ф i;
bu^iZlzlnyiy1 (6.4.2)
и величины Ьц, Ьц независимы для любых i Ф /, t, ] = 1, m,
где случайные величины xs и #s независимы и распределены
по нормальному закону N (0,1).
Пусть jfe, ft=l, 2, ...— независимые наблюдения над
случайным m-мерным вектором £, распределенным по
нормальному закону N(a,R) и матрица R невырождена. Из § 1.1
следует, что
R « (R)WHH' (п — I)"1 {R)W, (6.4.3)
где элементы ftp/ матрицы Я независимы и распределены по
нормальному закону N(0,1).
Предположим, что выполняется G-условие
linwoo тп~г = я< 1. (6.4.4)
213

Теорема 6.4.1. Если выполняется условие (6.4.4) и
supnsupр^тг^грр<00у то для любых р, s= l,m
linw P{[rps(1 - п^тп)] - rps] (2л)»/2 [г%{\ -
-тп{п- I)"1)"1 + rpprss(1 -тп(п- I)"1)-3]-!/2<х} =
= (2я)"1/2 Jle exp (- y*/2) dy, (6.4.5)
где rpSi (rps) — элементы матрицы R'1, (R'1).
• Доказательство. Очевидно, что rps = (R^a9b)1 где
а = (8ipf i = 1, m), й = (6t, t = 1, m). Используя это равенство
и формулу (6.4.1), запишем
?ps« (л - 1) {{НН'у7,1) = 2-1 Sp (//Я')"1 /С (л - 1), (6.4.6)
где
7= tf-1/2^ 1== Я-1'2?; /С =72' +77'.
Так как //Я'« ТНН'Т для любой ортогональной
вещественной матрицы Г порядка /п, то из (6.4.6) получаем
rps« (л - 1) [(ЯЯ')Ц1 X, + (ЯЯ')21%]/2, (6.4.7)
где ?w, t = l, 2 — ненулевые собственные числа матрицы К,
равные 54,2= (с, d) ± [(с, c)(d, d)]1/2. Следовательно, из (6.4.7)
вытекает
гош ж(п- 1) {[(ЯЯ')Ц1 + (НН')£\ (с, "2) +
+ [(ЯЯ')п1 + (НН')£] [&7)(d, d)F2/2}. (6.4.8)
Отсюда в силу условий теоремы из выражения (6.4.2)
следует (6.4.5). Теорема 6.4.1 доказана.
—>-
Рассмотрим теперь общий случай, когда векторы хи имеют
произвольное распределение. Предположим, что компоненты
—>- —>-
вектора /?~1/2(| — М£) независимы.
Теорема 6.4.2. Пусть выполняется условие (6.4.4),
существует плотность распределения компонент вектора £,
Mxtk = 3, i = TTm, suprt supp=r7^rPiC7<oo, xk= R~l/2 (xk — Mxk),
для некоторого 6>0
sup„ sup.=1—M | xik |4+б < с < oo. (6.4.9)
Тогда для любых р, s = 1, т справедливо (6.4.5).
214

Доказательство. Так как
то представим матрицу R в следующем виде:
—>- ^_ •=*-
где zk = 2j?=ihikX{; hik — элементы вещественной
ортогональной матрицы, hin = п~л/2. Используя (6.4.8), запишем
?Р8 = (п-1) 2"1 {[(ЯВ'КГ1 + (ЯВ')ю ] Е ^ +
+ [(яв'ут! - (5B')2i]] i(c97)(d9 7)]}t
где В = Z'T\ Z = (zl9 ... , 2n-i); Г — ортогональная матрица
собственных векторов матрицы /С.
Используя лемму 6.4.1, получаем, что если Мл& = 3, i== 1, m;
М|Зг^/4+б < с для некоторого б>0, то величины
l(BB')ul(l -c)-l] (л(1 -с))^; [(ДЯ'Ж'О -с)- 1] (л(1 -
— с))1/2; с = т(п— I)-1
асимптотически независимы и распределены по стандартному
нормальному закону (см. доказательство теоремы 6.1.1).
Следовательно, справедливо утверждение теоремы 6.4.2.
§ 6.5. £г4-Оценки следов степеней ковариационных
матриц
Оценка G2 является основной в G-анализе. С ее помощью
можно получить G-оценки следов аналитических функций от
ковариационных матриц. Покажем, как с помощью оценки
G2 можно получить G-оценки следов степеней
ковариационных матриц. Напомним, что С2-оценкой величины т^х Sp (1 +
+ tR)~1t t>0 называлось выражение
m~lSp{l + Q(t)Ry\ (6.5.1)
где 0(0 — положительное решение уравнения
9 (0 (1 - nin (п - I)"1 + (п— I)"1 Sp (/ + 9(0 ЯГ1) = t; t > 0;
R — эмпирическая ковариационная матрица.
Очевидно, что при к= 1, 2, ...
пг1 Sp Rk = (—1)*(fe!)"1 (dkjdtk)nr1 Sp(/ + tRT^M. (6.5.2)
215

Используя формулу (6.5.2) и уравнение (6.5.1), получаем, что
б^-оценка величины m^lSpR равна m~^lSpR. Для
нахождения G^-оценки величины m^~l$pR2 нужны некоторые
вычисления. Легко проверить, что эта оценка
GT - 2-1 [2тпх Sp (У + 9 (/) £)-з [9' (Z)]2 R2 -
— тпх Sp (/ + 9 (0 #)~2 R 9" (0]*=о. (6.5.3)
Из уравнения для функции 9(*) следует, что
9(0) = 0;
9' (0 (1 — (л — I)"1 тп + (п - I)'1 тпт71 Sp (/ + 6 (/) Я)""1) +
+ 9(o[-(/z-ir1sP(/ + 9(o^r2^0'(O] = i;
в- (t) [1 — (л — I)"1 /пп + (л - l)-i т„т~1 Sp (/ +
+ 9 (0 Я)"1] + 29' (0 [- (п - l)-i Sp (/ +
+ 9 (о ky2 Ъ' (0] + е (о [2 (я -1)-1 sP (/ +
+ 9 (0 #Г R2 [9' (012 - (л - 1Г1 Sp (У +
+ Q(t)RY2RQ"(t)] = 0.
Из этих уравнений, учитывая, что 9 (0) = 0, при t = 0 получаем
6' (0) = 1; в' (0) + 2 [— (п — l)'1 Sp R] = 0.
Таким образом, в силу этих равенств из (6.5.3) находим
Gf = т~{ Sp R2-{n— l)-1 nQl (Sp #)2-
Аналогичные формулы получаем для оценок G{f , fe= 3, 4,..
§ 6.6. Оь -Оценки сглаженных нормированных
спектральных функций эмпирических ковариационных
матриц
Пусть \imn(x) — нормированная спектральная функция
ковариационной матрицы Rmn\ С2-оценка преобразования Стил-
тьеса L (1 + tx)"1 d\im(x) спектральной функции \хт(х) равна
т^1 Sp (У + 9 (/) R)"1, где R — эмпирическая ковариационная
матрица; Q(t)— положительное решение уравнения
9(0(1 -тп(п- l)"1 + {n- irlSp(y + 6(0ЛГ1) = t; t> 0.
(6.6.1)
Используя Gg-оценку, можно попытаться найти G-оценку
функции |хт (л:). Однако при этом появляются две, нерешенные до сих
216

пор, задачи: 1. Будет ли Gg-оценка преобразованием Стилтьеса
некоторой спектральной функции, которая и будет в силу
свойств Gg-оценки при выполнении некоторых условий
состоятельной оценкой функции fxm(#)? 2. Если оценка G2
асимптотически нормальна, то будет ли таковой G-оценка
функции |лт(л;)?
Решение этих задач связано g большими аналитическими
трудностями. Чтобы их преодолеть, можно вместо функций
\imn(x) рассмотреть их различные регуляризованные аналоги,
т. е. функцию \imn(x) заменить близкой к ней в некотором
смысле функцией, для которой G-оценка будет
асимптотически нормальной. Рассмотрим так называемые сглаженные
нормированные спектральные функции
< (*) = я"1 $_- 14. (* + *У)(1+ УГ1 dy,
где е>0 — любое сколь угодно малое вещественное число.
Для сглаженных нормированных спектральных функций
справедлива формула
|Х^ (X) = Я"1 JL 1Ш ШпЛ SP [/ (U + №) - RmX1 ^ (6.6.2)
с помощью которой можно доказать их асимптотическую
нормальность. При нахождении G-оценок для функций \лтп (х)
нужно найти 02-оценку для преобразования Стилтьеса:
m~lSp[z — RmJ"1; z = t+is; s ^ 0.
Повторяя доказательство теоремы 6.3.1, получаем
следующее утверждение.
Теорема 6.6.2. Если выполняются условия теоремы
6.3.1, то для любого / И5^0
lim„.> ос Р {Im [G2 (z, Rmn) — nQl Sp [Iz —
-Rmnr1((n-l)mn)Wbn(z) +
+ dn (z) <x} = (2я)-1/2 J1to е- ^ dy, (6.6.3)
где
G2 (z, Rmn) = 6 (z) z^m7l Sp (/0 (г) - R^1;
0 (z) — аналитическое решение уравнения
(1 _ kn + knQ (z) mnl Sp (0 (г) / — R^)'1) = 9 (z) sr1;
1тгфО:
217

bn (z), dn (z) — некоторые функции, удовлетворяющие условию
SUp„, |lm|2|>c>0 [| Ьп (z) I + j dn (Z) (] < OO.
Аналогичное утверждение справедливо также для
совместных распределений случайных величин:
Im {G2 (г, Rnin) — m7l Sp [Iz — RmJ"1};
Re {G2 (2, Rmn) - m"1 Sp [Iz - /^J"1}.
Gg-Оценкой функции \imn(x) назовем выражение
Gb.(x) = лг1 ^ Im 9 (a + fe) (и + fe)"1 m7l Sp (79 (и + (г) —
— Rmn)^du.
Используя формулы (6.6.2) и (6.6.3), получаем, что при
выполнении условий теоремы 6.3.1 в точках х непрерывности
функции \imn(x) справедливо утверждение
lim8 * о р Hnw «о [G5 (х) — \хтп (х)] = О,
а также, что случайная величина [G5 (х) — \\тп (х)] [т (п — 1))1/2
будет асимптотически нормальной. Для доказательства
последнего утверждения нужно воспользоваться центральной
предельной теоремой для сумм мартингал-разностей (гл. 3) и
доказательством теоремы 6.3.1.
§ 6.7. Об-Оценка преобразования Стилтьеса
спектральной функции пучка ковариационных матриц
В этом параграфе будем пользоваться предположениями и
обозначениями, принятыми в § 5.13. Пусть \хт{х, Rv R2) —
нормированная спектральная функция пучка ковариационных
матриц 7?! и R2t a
Ф (t, Rl9 R2) = $о~ 0 + хУ1 dVm (*)
— ее преобразование Стилтьеса. В § 5.13 доказано, что при
некоторых условиях при t>0
plimm_ [<p(f, Rl9 R2) -am(t)] = 0, (6.7.1)
где
am{f) = ^„{д/д^ЬтУ, х)dx,
218

а функция Ът (t, x) удовлетворяет уравнению (с целью
упрощения формулы эту функцию будем обозначать йт).
Ь«1 = \q {У + '0 + ClbmY1 + X [1 — С2 + С2 (у +
+ t{l+ Mm)"1]}-1 <*цт(*. Ri, Я8)- (6.7.2)
Задача нахождения G-оценки функции ф(/, Rlf R2) по
наблюдениям над случайными векторами с ковариационными
матрицами #! и R2 значительно сложнее аналогичных задач,
рассмотренных в предыдущих параграфах. Основная трудность
заключается в том, что функцию bm{t9 х) нельзя выразить
через функцию am(t), которую на основании предельного
соотношения (6.7.1) можно заменить функцией ф (t, Rlt R2).
Поэтому нужно находить G-оценки функции bm(t, х).
Предположим, что такая оценка найдена. Тогда G-оценку функции
ф(^, Rl9 R2) можно найти таким же способом, как и в § 6.2.
Из уравнения (6.7.2) находим
Ът\\ -c2 + c2(y + t(l + fcA,)"1)-1] =
= Jo~ (9 ft У) + х}'1 *Vm (*, Rl9 R2),
где
6(t,y) = [у + t(1 + ^M"1] П-с2 + с2(у + t(1 +fc16m)"1)"1]"1-
Из этого уравнения, полагая
Q(tyy) = z + y9 z>0, у>09 (6.7.3)
получаем Gg-оценку функции ф(г + у, Rl9 R2), равную
Ьт (ф(г, у), у) [1 — с2 +с2 {у + ф(г, у)) (1 +
+ <р{г,У)с1Ьт(*р(г9 У> У))"1]»
где ф(г, у) — положительное решение уравнения (6.7.3).
Сделаем несколько замечаний о том, как можно найти
G-оценку функции Ьт (t, x). Предположим, что наблюдаемые
случайные векторы имеют нормальные распределения. Функция
bm{t,x)=--m-1MSpR1(R1a + R1t + R2)-1; cc>0; *>0.
Для этой функции справедливо
plim^ [bm ft а) — тг1 Sp Rx (Rta + Rxt + R2)^] = 0. (6.7.4)
Однако в этом выражении матрица R^ неизвестна. Поступим
следующим образом. Матрицу Rx заменим эмпирической Rl9
219

то так, чтобы она не зависела от матриц Rx и R2. Это можно
сделать, разбивая все множество наблюдений над случайным
вектором, имеющего ковариационную матрицу Rl9 на два.
Пусть матрицы Rl9 R2 невырождены. Тогда из § 1.1 следует,
что
Mm"1 Sp Rt (Йга + R,t + R2)^ = МсГ1 [ 1 —
— mr1 Sp Л (atftf' (n3 — l)"1 + Л"1] = сГ1 [ 1 — ягЧИ Sp [/ +
+ ah-WHH'K-W (n3 — l)-i],
где Л — диагональная матрица собственных чисел матрицы
Я, + «.; Rt« R\*HH'R\l2 (л, - I)-1; НН' = S2L11 ~Ыьк;
/ife — независимые m-мерные случайные векторы,
распределенные по нормальному закону N (0, /), матрицы Rt и R2
зафиксированы.
Используя теорему 6.2.1, получаем, что функции
g (a) J = т~х Sp [/ + aA^HH'A-W {n3 — l)"1]"41
удовлетворяют уравнению
g(a) = J; [1 + a (1 -m(n3- l)"1 +
+ m(n3— I)"1 g (a)) a:]"1 d\xm (x, Л"1).
Из этого уравнения получаем, что в качестве G-оценки
функции Ьщ (t, а) следует взять
Ge = ff(8(a)); a>0,
где 0 (a) — неотрицательное решение уравнения
0(1 -т(п3- I)"1 + m3(n3-irlg(Q)) = a; a>0.
§ 6.8. G7-Оценка параметров устойчивых дискретных
систем управления
В этом параграфе изучаются оценки параметров систем
линейных рекуррентных уравнений, у которых число тп
неизвестных параметров (число строк или столбцов матриц 0)
соизмеримо с числом наблюдений п и
Хшп^ооГПпГГ1 = с\ 0<е<оо.
Рассмотрим системы рекуррентных уравнений
l/k = Qt/k-i + h-x + г/» (6.8.1)
220

тдев = (Qi;)t, /=i — неизвестная матрица; yQt bk (k = 1,2, ...)—
неизвестные векторы управления размерности тп\ уи —
наблюдаемые векторы размерности тп\ &k — случайные векторы
размерности тп.
Отметим, что в общем случае матрица J]2=i Ук-\Ук-\
может быть вырожденной. Для вырожденных матриц оценку
©п матрицы 0 будем находить в регуляризованном виде:
®п = £/Li с7х (у к — bk-i) y'k-i (/a + с~х 22-1 Ук-\ Ук-хУ1'
Отсюда
= Ylk=\c7l eky'k-\ (la + c^YnT1; Yn = SJUi tjk-iyi-u
где a>0; cn — некоторая последовательность постоянных.
Представим выражение (6.8.2) в виде
AT1 Sp Q {вп - @c~lYn(la + с7хУпГг) =
= Sp Q JjLi ЪкУк-\С^Х [n-1 (la + c^YnY1 —
— n-m(Ia + Cn'Yn)-1] + Sp Q EJLi 7kJUcnl [n-mila +
+ Й"1ГлП. (6-8-3)
где Q= (qii)™nj==l — матрица вещественных параметров.
Найдем условия, при выполнении которых оценка ®п будет
состоятельной. Для этого понадобятся следующие
вспомогательные утверждения.
Лемма 6.8.1. Если случайные векторы е*, ft= 1, 2, ...
независимы, [|в|| < 1, sup„ sup/7=rY77I MIM2^1 < оо, mo
plimn^oo [л""1 Sp (/a + c^1^)"1 —
— /Г*М Sp (/a + rirV»)"1] - 0. (6.8.4)
Доказательство. Рассмотрим выражение
n-1 Sp С (/a + c^YnY1 — n-m Sp С (la +
+ CnlYnY1 = n-iYiUyP, (6.8.5)
где С = (cult, /=i — неотрицательно определенная
симметричная вещественная матрица mn-ro порядка;
ур = М^! Sp S (/a + Л)"1 ~ МР Sp С.(/a + ^Ч)^
221

где Mk— условное математическое ожидание при
фиксированной минимальной а-алгебре, относительно которой изме-
—>■ —>-
римы случайные векторы е/Н_ь ... , е„.
Величины ур являются мартингал-разностями. Докажем,
что величины ур ограничены. Для этого представим сумму
Yn в виде
уп = £U {®k~% + ®k~\ + Щ&-1 g-i+
+!,_,_,)}' = E^-'-'i^e'*-'-1 +
где An = (af/)jf /=i — некоторая неотрицательно определенная
матрица, стохастически независящая от вектора ер;
X = eft-4 + е*-2~&0 + ES-^e'-15,_,- + v_t-_,).
Запишем величины ур в виде
- Sp С (/a + ^Чр)'1} - Мр {Sp С (/а + ЛГ -
-SpC(/a + c7Un;;)-i}. (6.8.7)
Проделаем следующие преобразования:
Sp С (/a + c^'yj"1 ~ Sp С (la + с^Х)-1 =
= (а/ар) [in det (/a + cp + c-'rj-i -
— In det (/a + CP + с"1 Л„р)]р=0; det (/ + ~a~b') = {a,~b),
(6.8.8)
где а и 6 — произвольные векторы размерности тп.
(а/ар) In [ 1 + {(/a + Cp + с~хАпР)<, Щ]^0 =
= - {/а + с^Х)-1 С (/а + с~'АпРУ1 X
Х~а, 6} [1 + {(/а + c-M„p)"C ~Ь}]-\
тогда
| (а/ар) In [ 1 + {(/a + Cp + с"1 Л^)"1!, 1}]р=о I <
<аа||С|Й|[&||. (6.8.9)
222

Применяя формулу (6.8.9) к равенству (6.8.8) столько
раз, сколько слагаемых в последней строке равенства (6.8.6),
имеем
| Sp С {la + c7lYnyi - Sp С (la + с'1 Апр)^ | <
<a-2|iC||c1[S^p!ie^?!i2 +
+ 2 2^116*^11.1^1,'].
Отсюда, используя то, что ||в||< 1 и sup^"1 М||ер||2<оо, из
(6.8.7) получаем | ур) < сг< оо, где с1 > О — некоторая
постоянная. Тогда
plinWoc п"1 SJUiYp = 0.
Следовательно, справедливо (6.8.4). Лемма 6.8.1 доказана.
Если выполняются условия леммы 6.8.1 и случайные
величины //U£=i efe#ife_i с£"1 II 0ГРаничены по вероятности, то,
в силу (6.8.4),
AT1 Sp Q (вп - вс~1Уп (1а + ЛГ1) ~
~ Sp Q 2^*2-1 С [я"1 М (1а + с-%)-1].
Это выражение весьма удобно для доказательства
предельных теорем, так как здесь вместо матрицы (la + c~x Y^"1
стоит ее математическое ожидание, а для сумм ^к=\гьУ1-^
можно применить предельные теоремы для сумм мартингал-
разностей.
Аналогично доказываем следующее утверждение.
Лемма 6.8.2. Если выполняются условия леммы 6.8.1,
то
plinw tr1 [Sp QSc-1 Yn (la + c-'Y.r1 -
-MSpQec-lYn(Ia + Ynyi] = 0.
Для доказательства леммы 6.8.2 нужно воспользоваться
формулой
Sp (&с-1Уп (/« + Сп^пГ1 = Sp Q& -
- а (д/д$) In det [la + (3Q6 + c~lYn]^0
и доказательством леммы 6.8.1.
223

Итак, если выполняются условия леммы 6.8.1 и
случайные величины || X!fc=i ЧУк-^1 II ограничены по вероятности,
то
л-*SpQ(0„_-6Mc~xYn(la + c-'Y^) ~
~ Sp Q Т^Л-хС-1 [л"1 М (la + с'1 У„)-1].
Если матрица •
R: = mc-lYn(Ia+c-lYn)-i
невырождена, то выражение ё^"1 будем называть б7-оцен-
кой матрицы G.
§ 6.9. Gs-Оценка решения системы линейных
алгебраических уравнений
В § 5.14 для регуляризованных решений
Ja^{Ia + X,Xy1Xrb
систем линейных алгебраических уравнений Ау = Ь найдено
G-уравнение. С помощью этого уравнения найдем G-оценку
для вектора #а, используя всего лишь одно наблюдение X
над матрицей А.
Обозначим
X = [Ian + А'Л Г1 A' T\ a > О
регуляризованное решение системы уравнений
где А = (atj)9 i = 1, п, /= 1, т — матрицы коэффициентов,
—>- —»•
. X? = (*!, ..., Хт)\ V = (&!, . . . , 6J.
С6-Оценкой решения ха назовем выражение
G^lQWn + X'Xr^X'X (6.9.1)
где 0 (а) — решение уравнения
9 (а) [ 1 + о2а (9 (а))]2 + а2 (1 — /лаг1) (1 + о2а (9 (а))) -
= а, а (а) = я"1 Sp [/а + /Г1*'*]-"1; у > 0; а > 0; (6.9.2)
X — наблюдение над матрицей А.
224

Теорема 6.9.1. Пусть элементы хц матрицы X
независимы и распределены по нормальным законам N (af/, а2),
векторы c£Rm и Ь удовлетворяют условию
Нш^. at1 EE-1 \(А'~Ь, ~^)£ Ы| < оо; (6.9.3)
Шп~» sup^—tt л-1** (ЛЛ') < оо; (6.9.4)
lim^^oo mn~1<l, (6.9.5)
где %k и q>k — соответственно собственные числа и
нормированные собственные векторы матрицы А' А,
Решение 0(а) уравнения (6.9.2), в котором функция а(у)
заменена на Ма(у), положительно при а>0.
Тогда
plim„— [(G8f~£) —(xa9~c)] = 0. (6.9.6)
Доказательство. Так же и при доказательстве
теоремы 5.14.1 рассмотрим выражение
/(z, у) = /n-1 In det [Iy + В' (z) В (г)],
где В (г) = п~1/2Х + Ъ c'znxi2, у > 0, г — вещественные
параметры.
Дифференцируя его по z в точке z = 0, имеем
(d/dz) / (г, y)*=o = п-'п Sp [(&"?)' В (0) +
+ В* Ф)Ь7] [1у + В' (0) В (0)Г = 2&, 7),
где
7v = (/Yn + X'X)-iX'T
Из этой формулы получим
(d/aV) fi, ф = (2m)-1 (0/dz) Sp ]/Y + В' (z) В (z)]7=Lo.
Интегрируя это выражение по у, выводим формулу
(G8, ^) = -2-1 Jja) G. (У) аУ> <6-9-7)
где
?«(у) = (d/dz) am (г/, г)2=о;
о™ (У, 2) = п'1 Sp [/у + В' (г) В (z)]-1.
8 7-305 225

Лемма 6.9.1. При выполнении условий теоремы 6.9.1
ат (у, z) = n-1 S2L, [у (1 + а*ат {у, г)) +
4- о2 (1 — тп~1) + Mz) (1 + о"0- (У. г))-1 +
+ efcm {у, г)Г\ (6.9.8)
где Я,А (г) — собственные числа матрицы Q' (z) Q (z);
8ftm (У, Z) = £{Lt S*( — 1 — Aft (Z) —
■— 2j*=£ft, l+ъТц 2j/, p=i si/s(p|ft/i/srp +
+ m"1 Sp tf* (Л+ Y)l; (A + Y)j, -
— U (2) £p=i Iftp Sf^ft. /*fe /"f/s^s/p + </m_1 Sp (Rk — R) +
+ [ 1 + (tf*s*. &0Г1 — [ 1 + m-1 Sp/?]-i; (6.9.9)
S = (s„) = (A + Y); R = (r„) = {ly + S'S)-*;
Rt = {ly + ЯрФьК)-1; Rk = (/■?/) = (7у+(Л+К)/кЛ+У)*)^;
* P ^ {spispj)i, /=Г»
элементы fe-ro столбца и k-й строки матрицы Тр равны
нулю;
Q(z)i = m-j/M +??я1/2г = «! Аиа;
иг и и2 — ортогональные матрицы соответственно размера
пхтитхт;А = (к[/2 (z) 8kp)Z p=\ — диагональная
матрица собственных чисел матрицы [Qf (t)Q{t)]l/2\ Y = и[(Х —
— А) и2п~1/2\ матрица (Л + Y)k получена из матрицы Л+У
заменой элементов fe-й строки нулями, ^
Доказательство. Очевидно, что
ат (У, г) = п"1 Sp [ly + (Л + Y)' (Л + К))"1 =
= m-1 Sp (ly + S)-1 = я"1 E2U rft*.
Для величин tkk справедлива формула (см. § 5.6)
Пк = [у + S?=i s2ik — S^a. /** r*7 X". p=i S/^/^p/v]"1- (6-9-10)
Преобразуем (6.9.10) к следующему виду:
rkk = [у + а2 + Я* (г) - а2^1 Sp Л (Л + Y)'k (Л + К), -
— Ял (г) Хи^. /=£* rifiikSik + em] , (6.9.11)
226

где
Чп = S?»is^ — °2 — ^ (2)— S^ft. /^r*7 S^p==i s«%/ x
X 6/*gP* + л"1 Sp Я* (Л + Г)£ (Л + Y)k -
— kk (z) 2jP=1 Ip/? ili^ft. 1ФЬ rijSkiSpj,
Ikp — элементы матрицы Y = (gfep).
Очевидно, что
2ji=£fe, /^ njSkiSkj = Sp ЯЛ.
Легко проверить, что
Sp RkTl = (#*H, "ft) [1 + (Rk7k, 7k)]~\
где
-»-
Учитывая Зто равенство, преобразуем (6.9.11) к виду
rkk = [У + °2 0 — ^л""1) + </"~1а2 SP #* +
+ Ч (?) [1 + л-1*2 Sp Rt]'1 + е2пГ\
где
е2„ = Чп + [1 + №&, "^Г1 - [1 + я"1 Sp Я*]-*.
Из этой формулы вытекает
г*, = [у (1 + n-%2 Sp #) + а2 (1 - шаг1) +
+ Mz)[l + n-1aaSp/?r1 + eAlir1,
где
е*„ = е2„ + у (я-* Sp (Rk - R) + Xk (z) {[ 1 + aT1 Sp Rff* -
— [l + n^SpR]-1}.
Лемма 6.9.1 доказана.
Лемма 6.9.2. При выполнении условий теоремы 6.9.1
решение уравнения (6.9.2) существует и единственно при
а > О, п > п (у), где п (у) — некоторое число.
Доказательство. Из леммы 6.9.1 следует, что
функция а (у): = ат (у9 0) удовлетворяет уравнению
а{у)[1+ о*а {у)]"1 = Мл"1 SF-i [у (1 + ^а (у))2 +
+ a2(l-m^)(l + a^(y)) + 4(0) + e,m(y)(l + a2a(y))]-S
ГДе ЧтШ=Чт(У, 0).

Беря производную по у от обеих частей этого уравнения,
получаем
- [ 1 + о*а (у)Г2 а' (у) = Мл"* £Li Ь? (у) {д/ду) р (у) +
+ МеЛ, (6.9.12)
где
h (У) = Р (у) + Чт (у) (1 + <Л* 00) + ^ (0);
P(ffl = 0 0 + а»а(у))2 + а2 (1 - щ-1) (1 + о*а(у));
Ч = /Г1 S?-i ЬГ (У) (З/Зу) [еЛт (0(1 + о*а (у))].
Так же, как и при доказательстве теоремы 6.9.1,
доказываем, что
lim^oo sup*=i, т [ТА \гкт (у)\ + М \(d/dy) гкт (у)\] = 0.
Следовательно, limn-.» ТА |еп| = 0. Поэтому из уравнения
(6.9.12) вытекает, что для любого у>0, начиная с
некоторого я> п{у),
(d/dy)$(y)>0, (6.9.13)
причем функция $(у) равна нулю, если у удовлетворяет
уравнению
у{1 +о*а(у)) = -о*(1 -тп'1).
Производная функции, стоящей в левой части этого
равенства, имеет вид
1+о*а(у)+ус2а'(у) = 1 + a2 J (у + *)-*йМц(*) —
— <*2 $ У (У + *)~я <*М р. (х),
где \х(х) — нормированная спектральная функция матрицы
Х'Хп'К Очевидно, что это выражение неотрицательно для
всех y^R1. Поэтому решение уравнения у(\ + о2а(у)) =
= —а2 (1 — тгг1) существует и единственно, а следовательно,
поскольку справедливо неравенство (6.9.13), при /n>ra(z/)
существует решение уравнения (6.9.2) и оно единственно.
Лемма 6.9.2 доказана.
Производная по г в точке г = 0 от выражения (6.9.8)
равна
Я (У) = -п"1 Е7-1 [У (1 + <Л* (У)) + а2 (1 - пиг1) +
+ Чт (0) + МО) [ 1 + °2я (У)]"1]"21^2? (У) +
+ (д/дг) К (0) [ 1 + о*а {у)]'1 - К (0) [ 1 + <Ai (у)]"1 а2? (у) +
+ (д1дг)гкт(0)}. (6.9.14)
228

Используя формулы возмущений (1.6.3), получаем
(д/йг) МО) = (£%,%).
где
В = (&"?)' А + А'~Ь~с'.
Поскольку выполняются условия (6.9.3) — (6.9.6), а из
§6.6 следует, что
plim„*. [n-1 \SpRk — MSp R\ + /Г1 |Sp R£ — MSp/?|] = 0,
то после простых вычислений получаем, что
р lim„*. sup,=1— [|в*„(0)| + я"1 2J_, M \(d/dz)e*„ (0)|] = 0;
p lim,,*,. [a (y) — Ma(y)] = 0.
Поэтому
p lim„_ [0 (a) — 0 (a)l = 0;
q(!f)= -n-1 S?-i (ВЙ, ~Ф*) HI + o»a(j0] 1У(1 +
+ a*a (у)) + a2 (1 - /шг1) + A* (0) [ 1 + a2am (г/)]"1]2}"1 X
X {1+ n"1 SSL, (ya2 - ^ (0) [ 1 + o*a (г/)]~2 о2) [у (1 +a2a (y))+
+ a2 (1 - mn-1) + ^ (0) [ 1 + o%m (г/)]"1]-2}"1, (6.9.15)
где 9 (a) — решение уравнения (6.9.2), в котором функция
а (у) заменена на Ma (у).
Используя лемму 6.9.1 и уравнение (6.9.1), находим
а(9(у)) [ 1 + a2a (в (у))}'1 = /г* ££., ц, + ^ (0)Г + е„;
р lim„.» в„ = 0. (6.9.16)
Используя уравнения (6.9.16), (6.9.2), преобразуем уравнение
(6.9.15):
Ч (9 (</)) = -п'1 Ей-i (ВФ*. Ф*) 11 + °2« (9 (У))] X
X [у + h (О)]"2 {1 + n"1 SS-i °2 (9 (у) - Xfe (0) [1 +
+ о% (9 (г/))]"2) [ 1 + a2a (0 (у))]2 (У + Ь* (О))"2)"1 =
= -2 [(д/%) [/у + л-М'Л)-1 /ГМ'Ь, с)] [9' (у)]'1 + е„.
Следовательно, используя формулу (6.9.7) и сделав замену
переменных у = 9 (г), имеем
(G8, 7) = $~<a) <?m Qf) dy = j ~ am (9 (г)) 9' (г) dz + &m =
= (xa, c) + eOT|
229

где
pliiiWeo гп = 0.
Теорема 6.9.1 доказана. Ее можно доказать в более общем
виде при условии, что элементы случайной матрицы X
независимы и имеют различные распределения с различными
дисперсиями. Однако оценки для векторов Зса при таких
предложениях имеют громоздкий вид.
ГЛАВА 7
ЭМПИРИЧЕСКИЕ ФИЛЬТРЫ
В теории фильтрации и прогноза случайных процессов
предполагается, что векторы средних значений а и
ковариационные операторы R наблюдаемых случайных процессов
известны. Однако при решении многих практических задач а
и R неизвестны, поэтому вместо них используют
эмпирические вектор а и оператор R. При решении задач фильтрации
шумов на ЭВМ интегральные уравнения заменяют системой
линейных алгебраических уравнений, причем порядок т
таких систем весьма большой и, следовательно, к таким
системам можно применять методы G-анализа. Оказывается,
что с помощью методов G-анализа можно значительно
уменьшить число наблюдений, необходимое при подстановке
вместо ковариационных матриц их стандартных оценок.
В этой главе с помощью оценок а и Rf а также методов
G-анализа найдена G-оценка решения уравнения
Колмогорова — Винера.
§ 7.1. Наилучшие оценки в смысле минимума
средней квадратической погрешности
Предположим, что необходимо оценить некоторую
случайную величину | по наблюдениям г)^, k£S над этой
случайной величиной, где S — некоторое множество чисел.
Интуитивно под словом «оценить» здесь понимаем приближение
к £ в каком-нибудь пригодном для применений в практике
смысле функции }(щ, fe£S), причем это приближение
является наилучшим. Успешное решение ряда практических задач
подсказывает, что в качестве меры близости двух случайных
величин п и £ можно взять величину М (£ — т))2, которую
будем называть средним квадратическим расстоянием или
погрешностью. Естественно, нужно требовать, чтобы существо-
230

вали интегралы MS-2, Mrf. Введение таким образом
расстояния между случайными величинами полезно тем, что многие
задачи оценивания можно решать в явном виде, причем эти
решения будут наилучшими в смысле минимума этого
расстояния.
Теорема 7.1.1. Наилучшая в смысле минимума средней
квадратической погрешности оценка £ случайной величины
£, полученная по наблюдениям г\ь k£S, равна | —М^//7),
где F = о \r\k, k£S) — минимальная о-алгебра, относительно
которой измеримы случайные величины r\ki k£S.
Доказательство. Пусть fi = f(r\kf fe£S) —
некоторая оценка случайной величины £'. Рассмотрим выражение
М(6-й2 = М(6-|)8 + 2М(6-|)(6-/) + М(|-/)«.
Поскольку величина | — / F-измерима, то
M(g-g)(|-/)^MM[(i-|)(|-/)/F] =
= M(|-/)M[(E-g)/F] = 0.
Следовательно,
m(i-ff = m(i-iY + M(i-f)\
Отсюда следует, что минимум этого выражения по всем
измеримым функциям / таким, что М/2<оо, с вероятностью
1 равен |. Теорема 7.1.1 доказана.
Следует отметить, что нахождение оценок £ весьма
сложная задача. Ее можно решить, например, если случайные
величины £, %, k £ S распределены по совместному
нормальному закону. В общем случае путем сужения класса всех
возможных оценок можно найти явные решения многих
задач оценивания. Например, задачу оценивания можно
сформулировать так: найти
inf Та „cr М (S -5. "л) - рУ = М (| - (Г, "л) - р)\ (7.1 • 1)
где /2 — гильбертово пространство; т| = (т]/г, k £ S) £ l2\ p —
вещественное число; (... , ...) — скалярное произведение в /2;
Mg2<oo; М(т|, ii)<oo.
Именно такая задача оценивания распространена в прак-
тике. Величина (/, ц) + р называется линейной оценкой
величины I.
231

Теорема 7.1.2. Вектор I удовлетворяет уравнению
М(I — Щ) (л — Мт|) = М*5, "л — Мл) (л — ЛИ), (7.1.2)
Доказательство. Рассмотрим выражение
/С, V) = М(£- (7+ /?, ^ -р - Y)2.
где 9£/2; t, у — вещественные параметры.
Очевидно, что
df (t, y)/dt |,=v==0 = 0, df (/, y)fdy k=v=o = 0.
Используя эти два уравнения, имеем
М(Б-(Т^-р)(«Сп) = 0; M(g-tf л)-р)=0.
Из этих уравнений в силу произвольности вектора 9
вытекает утверждение теоремы. Если множество S состоит из
конечного числа элементов и существует обратная матрица
А = [РЛ(ц — Мл)(Л — Мл)']"1) то (7.1.2) имеет решение
7 = М(£ — Мб)(ч — ТЛ^У А. (7.1.3)
§ 7.2. Фильтр Колмогорова — Винера
Пусть I (f) — случайный процесс; л (0 — наблюдаемый
случайный процесс на отрезке [tlf t2\\
mt2(t) + v\2{f)]<oo; М(л(0-Мл(0)(л(5)-
- Мл (sj) - R (*, s); M (| (0 - Ml (t)) (л (s) -
—m{s)) = Q(t, s); г, se[/lf y.
Рассмотрим линейные оценки процесса g (ty
б(о = К;л(^ s)Ti(s)ds+p(of
где ft(^ s)— измеримые функции такие, что
j/ft2(*, s)ds<oo,
т.. е.
h{t, 8)£Ь2иъ у; /€[/lf /2].
232

Задачу оценивания сформулируем так: найти h(tf s)£L2
и функцию J){t) такие, чтобы выражение
м (6(0-1 (О)2
принимало минимальное значение.
Повторив доказательство теоремы 7.1.2, получаем следующее
утверждение.
Теорема 7.2.1. Функция h(t, s) удовлетворяет
уравнению Винера:
Q (t, s) = J£ R (ut s) h (t, u) du. (7.2.1)
Доказательство. Рассмотрим выражение
/(б, V) = М [g (Q - J!; (h (t,s) + 69 {t, s)) у (s) ds-p(i)- y}\
где Э (t, s) £ L2 [tly t2]\ 8, у — вещественные параметры. Так же,
как и при доказательстве теоремы 7.1.2, имеем
M[S(0-J£ft& s)y{s)ds-p(f)]$tt[B(t, s)y(s)ds = 0-t
т [б (о - J!; л е.«) ^ и * -> (о] = о.
Из этих уравнений получаем уравнение
p(0 = Mg(0 —JJ;/i(ff s)My(s)ds,
а также (7.2.1). Теорема 7.2.1 доказана.
Уравнение (7.2.1) называется уравнением Фредгольма
первого рода.
Заметим, что если процесс т)(0 наблюдается в точках
tk> fe£S, то в качестве линейной оценки процесса £(Q можно
взять оценку
i(0 = E*6sft*n('ft) + p(0.
где ftfe — вещественные величины и S^s^l<°°-
Тогда для вектора h~(hk, k£S) имеем формулу (7.1.3) при
предположении, что существует обратная матрица
А = [М От — М^Г) (if— M ^Т\ ^= (т) (4), fe б S).
В некоторых случаях процесс v\(f) равен сумме процессов
z(0 и а)(0, причем May (<) = 0; Мг(0w(s) = 0; Мш2(s)<oo.
Для таких процессов
R (и, s) = Rx {и, s) + Мдо (и) ш (s),
где R± (и, s) = М (z (a) — Mz (a)) (2 (s) — Mz (s)).
233

Если Mw (и) w (s) = еб (и — s), где 6 (и) — дельта-функция, то
уравнение (7.2.1) приобретает вид
Q (t, s) = J J Rx {и, s) h (t, a) du + eft (t, s) (7.2.2)
и называется уравнением Фредгольма второго рода.
Уравнения первого рода относят к классу так
называемых некорректных уравнений. Вместо таких уравнений иногда
рассматривают регуляризованные уравнения, которые
получаются, если находить оценку случайного процесса,
минимизирующую выражение
М (б W ~ \th С *) Я (s) ds-p (t)J + е \l ft2 (t9 s) ds.
Искомая функция h(t,s) удовлетворяет уравнению (7.2.2).
Уравнение (7.2.1) называется фильтром Колмогорова —
Винера.
§ 7.3. Фильтр Калмана — Бьюси
Предположим, что наблюдаемый случайный процесс
является решением системы дифференциальных уравнений
dx/dt - А (0*(0 + £(0; *('i) = *ъ
где %i{t) — измеримый вектор помех; М|||1(^)||2<оо; А (/) —
квадратная матрица; b(t), x(t)t хг— векторы. Элементы
матрицы A (t) и векторов gx (t) кусочно непрерывны на
отрезке [tlt t2].
Предполагаем, что размерности матриц и векторов таковы,
что все используемые в этом параграфе операции матричного
исчисления имеют место.
Допускаем, что задан вектор наблюдений
Т(0 = с (о?(о+ £(<),
где C(t) — матрица; y(t), x(t) — векторы; %2(t) — измеримый
случайный вектор.
Пусть Мб,(0 = 0; м£(0i2(t) - 0; М^(0Б/(в) =Rt(<fs);
Ri {t> s) — матрицы с кусочно непрерывными элементами на
отрезке [tl9 t2], i = 1, 2.
234

В качестве линейной оценки случайного процесса x(t)
возьмем выражение
—*-
X
где /С — множество прямоугольных матриц с кусочно
непрерывными элементами на [tlt t2]\ L—множество векторов
определенной размерности.
Теорема 7.3J. Имеет место равенство
т'тК(иКК, «*)gLM И *"('») ~ «"('«Ml" =
= м P(t2) - JJ; к Ш(и) du -T(y |f, (7.3.1)
где матрица Z удовлетворяет уравнению
dZ (t)/dt = —Z (t) A(t) + K (О С (0; *!<:*<*, (7.3.2)
с начальным условием Z (t2) — I; матрица /С (s)
удовлетворяет уравнению
JI; Я2 (<f s) tf' (s) ds = -С (0 [S {tu ta) - S (t, tj];
матрица S(t) удовлетворяет уравнению
d*S (t, u)/dt du = A (t) {д/ди) S (t, u) — Rx (t, и) Г (и); (7.3.3)
S(<If*,) = 0; S(/1,f1)=0;
T(y = -z(^l(^).
Доказательство. Сделаем преобразования, о которых
автору сообщил А. Г. Наконечный. Очевидно, что
^ч
Miu(/2)-^(gn2 = M||1(y-
-\\\K(u)C{u)%(u)du+ \lK{u)t,{u)du-t{t2)\\\ (7-3.4)
Рассмотрим систему дифференциальных уравнений
dZ (u)/du = —Z (и) А (и) + К (и) С («); ^<и<^\ Z (/2) = /.
Тогда
*('•) = z(/2)T(g = z(<x)t(<1) + JJ|(rf/<tt) (z(o"£(9) * -
= J £l{d/dt)Zlf)]x(t)dt + J£Z(f) [d"x(0/dfld* +
235

+ z &)"£ (h) = j;; к (t) с (tj$(t) dt+
Используя это равенство, а также (7.3.4), имеем
M\\7(t2)-'1c{t2)\i = m\\z(t1u(t1)+<iiilz(t)fl(t)di +
+ Я;*(о£(0Л-7(д||«.
Используя эту формулу, легко вывести, что
T(g = z(yt(/1),
M||t(^)-l(gn2 = sP [J J; J!;z(o/?i(<, s>r (s) лл+
Найдем минимум этого выражения по всем матрицам К {t)£K.
Подставив в это выражение вместо матрицы K(t) матрицу
К (t) + Y® (0. гДе ® (0 £ К, у — вещественный параметр, и
взяв затем производную по у в точке у = О, для матрицы
K(t) находим уравнение
sp $!; Я! ^ w *i с-s)z' ®+е w ** с. s) ** (s)i л &=о,
47.3.5)
где матрица 2(f) удовлетворяет уравнению
d~Z (t)/dt = — Z (0 A (t) + в (0 С (*), 1 (Q =0, ft < f < tv
Вводя вспомогательную систему уравнений
d2S it, u)/dt du = A (t) {dfdu) S {t, u) — Rt (t, u) Z' (и);
S(t1,t1) = S(t1>t2) = Q; Ь<и<^,
получаем уравнение (7.3.5) в виде
SP \1 \\\ & W *i <'• s>Z' ^ + в W R* *'• s)K' ® +
+ [(d*/dt ds) Z (015 (*, s)] <# ds = Sp JJ| J£ [Z (t) {Rx (t, s) Z'(s)—
— Л (0 (3/as) S (t, s) + (d2/dt dsjs (/, s)} 4-
+ 0 (o {c (o (a/as) s (t, s) + r2 (t, s) K' (s)}] л ds.
Отсюда в силу произвольности матрицы в(^) вытекает
утверждение теоремы 7.3.1. Из доказанной теоремы видно,
236

что нахождение матрицы К (и) связано со сложными
вычислениями. Эти вычисления можно значительно упростить, если
—>• —>-
предположить, что случайные процессы %г(1) и %2(t)
являются процессами броуновского движения.
Теорема 7.3.2. Если Rc (t, s) = Rt (s) 8(t — s), где 8 ($)—
обобщенная функция; H^Ms)!! <°°> mo
miIW,7<o€*M И ?W - * WD1 =м у?(у -
-$;;/С(«)Г(и)й"-Т(д||г,
где матрица Z удовлетворяет уравнению
(d/dt) Z (0 = —Z (О Л (0 + Я" (О С (*), ^<<<<,
с начальным условием Z(t2) = J, матрица S(f)
удовлетворяет условию
(д/dt) S(t) = A (t) S (t) - /?! (0 Z' (0; S (*,) = 0;
tf' (и) - -Z^1 (а) С (a) S (u)- T(t2) = -Z (tj 7(tJ.
Доказательство теоремы 7.3.2 полностью совпадает с
доказательством теоремы 7.3.1 за исключением некоторых про-
^\
стых преобразований. Выражение x(t) называют оценкой или
фильтром Калмана — Бьюси.
§ 7.4. Минимаксный фильтр Колмогорова — Винера
Решим сначала задачу фильтрации в минимаксном смысле
случайного вектора £, для которого М£=--0, М ££'=#! по
наблюдениям £ + г], где г] — случайный вектор; М ц = 0,
Mr]*]' = R2- Предположим, что случайные векторы g и г]
некоррелированы, то есть М § г)' = 0.
В качестве оценки случайного вектора £, полученной по
наблюдению £ + rj над этим вектором, возьмем линейную
оценку
Т = /с(|+"ч)-Т
где /С — квадратная вещественная матрица, принадлежащая
множеству Lx матриц, имеющих тот же порядок, что и
237

матрицы Rl9 R2\ I — вектор той же размерности, что и
вектор J-. Множество таких векторов обозначим через L2.
Вектор £ назовем минимаксной оценкой вектора £, если
матрица К и вектор / доставляют минимум выражению
тах0М||£-Т||%
где G = {7g L2, Rv R2 б Lx; /?t i Sp Rr < сг; R21 Sp R2 < c2}.
Теорема 7АЛ. Минимаксные оценки \ равны К (I + п),
где матрицы К£Ьг удовлетворяют уравнению
^ч
где ^i(fi) — максимальное по величине собственное число
неотрицательно определенной матрицы В.
Если матрица К такова, что максимальные собственные
числа матриц (/ — К)' (/ — К) и К'К однократны, то эта
матрица удовлетворяет спектральному уравнению
сг(1 — К) ег е\ = с2К фх Фь
где ег и фх — нормированные собственные векторы,
соответствующие соответственно собственным числам Хг х
Х{(!-КУ(1-К)} и \(К'К).
Доказательство. С помощью простых
преобразований, учитывая, что векторы £ и г] некоррелированы, имеем
м 111- Til2 = м цТ- к (Т+^) -Т у2=
- м({(/- к)Т—/сл—Т>, к; -/<)?- /с^Г-Т}) =
- м sP ц/ - /оТ~ *"п -?} к/ - /оТ- /<л -"/")' =
= Sp (/ — /О Я, (У — /0' + Sp KR2K' + SpTF.
238

Поскольку Sp А В = SpBA\ В, Л££г, то из этого
равенства имеем
M||F-?i|2 = Sp(y-i(y(/-/C)^i +
+ Sp/C7C/?a + Sp7/\ (7.4.1)
Матрицы (1 — К)'{/—К), К'К определяются из выражений
{l-WV-Ki^H^Hi; К'К = Н2А2Н'2, (7.4.2)
где Н19 Н2—-ортогональные матрицы собственных векторов;
Лх = (K\l)bij), Л2 = (К12)8ц) — диагональные матрицы
собственных чисел. Используя формулы (7.4.1) и (7.4.2), получаем
шахе М || I — 11|2 = maxRl . Sp R1<Ct Sp H^H'iR^
+max*2: sP r2<c2 Sp H2A2H'2R2 + (7,7). (7.4.3)
Обозначим Qx = H'iRfli, Q2 = H'2R2H2. Тогда выражение
(7.4.3) примет вид
гаахо М ||Т—Т||2 = max л, м, £AiV +
= ^il(/-^y(/-^)) + ^i(^^)5 = S(/0, (7.4.4)
где q{u и ^? — диагональные элементы матриц Qt и Q2
соответственно.
Из формулы (7.4.4) получаем, что I = 0. Вывод спект-
рального уравнения для матрицы К аналогичен выводу
уравнений в главе 2. Теорема 7.4.1 доказана.
Как уже указывалось, в главе 2 существует бесчислен-
ное множество решений К спектрального уравнения.
Единственности решения таких уравнений можно добиться, рас-
сматривая регуляризованные оценки £а> то есть оценки,
которые минимизируют выражение
min«6z., maxG [М ||Т-?||2 + « Sp K'K\.
239

Легко убедиться в том, что спектральное уравнение для
—>■
матрицы К а имеет вид
—сг {1 — Ка)е1ех + с2/Саф1 Ф1 + а/Са = 0.
Теорема 7.4.1 допускает большое число обобщений.
Покажем, как с помощью ее можно найти спектральное уравнение
для минимаксного фильтра Колмогорова-Винера.
->
Пусть £ (0, / £ [0, Т] — векторный случайный процесс;
г] (t) -— наблюдаемый векторный случайный процесс на отрезке
[0, Л;
м[111(0II2 +|]J(ОII2]<°°; *€[о,Л; м^Г(о = 0;
МТ(5) = 0; М ^(0? (s) = /? (f, s); м|(0 1? (s) = Q (f, s).
Рассмотрим линейные оценки процесса %(t):
Т(0 = {о7 Н (t, *)Ц (s) dsf . Я (/, s) = (ft,,- (t, s)),
где hij (t, s) — измеримые функции такие, что
Jo||#(*,s)||2ds<oo.
Задачу минимаксного оценивания сформулируем так:
найти hu(t9 s) £ L2 [0, T] такие, чтобы выражение
тах01М||1(Г)-|(Г)||2
принимало минимальное значение там, где область Gx равна
R (и, s) i ] 0 j 0 Sp R (и, s) du ds < сг\
Q (t, s) i Jo Sp Q (tKs) Q' (t, s) ds < c2.
Используя доказагельство теоремы 7.4.1, получаем
утверждение.
Теорема 7.4.2. Функция H(t,s) удовлетворяет у рае-
нению
inWs)<Et SUPC М ||Т(0 -t(0 II" = M lit(0 ||2 +
+ 2cx [Sp Jo #' (/, s)H (t, s) ds]W + cA {H' (t, s) H (t,«)), (7.4.5)
240

где L — множество матриц Н (t, s), элементы которых
принадлежат пространству L2; \(t) — максимальное
собственное число матричного ядра 0 (s, и) = Н' (t, s) H (/, и).
Доказательство. Очевидно, что
М ||1 (0 -|(01|2 = М |||(0!i2 - 2 Sp Jo Я (/, s)Q (U s) ds +
+ SP Jo Jo H ('• s) ^ (s>tt)Я' 0>") ds du-
Далее, используя доказательство теоремы 2.10.1, получаем
(7.4.5). Теорема 7.4.2 доказана.
Аналогично, как и в §2.10, при условии, что %г —
однократное собственное число, выводим спектральное уравнение
для матрицы Н (t, s):
cji (*, s) [Sp J0r H' (tf s) H {t, s) ds) -1/2 +
+ C2 Jo1 # ('> ") <Pl (") dU Ф1 (S) = 0>
где 9j(«) — собственный вектор ядра 0 (s, и), соответствующий
собственному числу %v
§ 7.5. Спектральные уравнения в теории
фильтрации шумов
В предыдущем параграфе выведены спектральные
уравнения для матриц, через которые выражаются минимаксные
оценки. Однако область, по которой вычислялся максимум
ошибки оценивания, имела такой вид, что этот максимум
можно вычислить в виде максимального собственного числа
некоторого линейного оператора. Из § 2.2 следует, что
к такому результату можно прийти в более общем случае,
когда область, на которой вычисляется максимум некоторой
функции, имеет произвольный вид. Но используя это
утверждение, очень трудно найти спектральное уравнение.
Покажем как эти трудности можно обойти.
Предположим, что заданы наблюдения xk = \k + r\k над
стационарной случайной последовательностью £ft в точках
k = 1, п, где % --стационарная случайная последовательность;
М r\k = 0; М к)кцр = Q (k — р)\ % и £л некоррелированы.
С целью упрощения задачи предполагаем, что М \k = 0,
и\

В качестве оценки линейного преобразования А\= H"=iX
xaklk, где ak — заданная последовательность вещественных
чисел, возьмем линейную оценку
Теорема 7.5.L Справедливо уравнение
minCk maxR(0)<Pif Q(0)<Pt М | АI — А112 =
= min^M^i) + РаМВД (7.5.1)
где
/?(0) = MU1|2; ^(50 = linw-Mflim);
^i(S2) = Нтт^оо ^г(В2т);
^j(C) — максимальное по величине собственное число
неотрицательно определенной матрицы,
В\т = (Qsh)s, fc=b #2т = (bsfc)s,/z=i;
«sfe = S g2 («p — с?) (л/ — с/); bSfe = S g2 CpC/;
G2 = {/?, /: /? — / = — s + ft, /7, / = 1, я].
Доказательство. Величины /?(ft— P) = MJ-fegp> Qx
X (ft — p) = M ^/^ равны: *
R(k — p) = £"я exp [i (ft — p) л:] dF (x);
Q(ft - p) = {* яехр [i(ft -p)*] dG(*),
где F{x) и G(#)— некоторые неубывающие функции
ограниченной вариации.
Используя эти равенства, получаем, что
М | А1 - АЪ |2 = J"я ^.д-! ехР [»(* - Р) *1 (** - с*) X
X (ар — ср) dF {х) + J * я ]2§рв1 ехр [ f (ft — р) *] ад, dG (x).
Вычислим максимум этого выражения:
maxu(o)<plt wxp2 ЩАЪ — Atf =
= тахх6[_я§ я] рх | S а-1 ехр [ ifc*l (аЛ — cfe) |2 +
+ тах*<Е[-л,л] I S2-i exp [to] ck |2.
242

Для вычисления максимума воспользуемся теоремой 2.1 Л
(см. также §4.3).
Обозначим
f (*) = 122-1 ехР Vpx) (Рр—ср) I2;
и {х) = ЦГ=1 0Lk exp (is*); л: £ [—я, я].
Тогда
таХ,€[-я, л] / W = таХ^:2Г==1а|<1 J"- ' W ' " W '* **"
Из этой формулы, используя результаты, полученные в §4.3,
получаем, что в случае, если собственные числа %г (В^ и
К(В2) для решения ~с уравнения (7.5.1) однократны, то ре-
шение ~с равно "?= limm+„ c^y где вектор с^п удовлетворяет
уравнению
-Pl (Лif % t) + Л (А№ £, ft) = О,
где
A[f = №*==i; ЛИ0 = (№=i;
Ys/г ^ 2j/:t—/=—s+k (di — Ci)\ plsk = 2jt:i-i=-s+kCt; i, I = 1, я;
6i и Ф] — собственные векторы, соответствующие собственным
числам hiiBim), 11(В2тУ
§ 7.6. Gg-Оценка решения фильтра
Колмогорова — Бинера
В настоящее время при управлении движением летательных
аппаратов, передаче информации, управлении сложными
радиотехническими системами и во многих других процессах
существенно повышается значимость решения задач, связанных с
выделением полезных сигналов на фоне шумов различных типов
по заданным наблюдениям. Н. Винер свел задачу линейного
оценивания (фильтрации) по методу наименьших квадратов
к решению интегрального уравнения
Q{W = $lo<P(t,y)R(y,x)dy, (7.6.1)
где R (у, х)—некоторая ковариационная функция случайного
процесса; Q(/, x), ф(/, у) — некоторые функции, интегрируемые
с квадратом на [0, 1].
В этом параграфе предлагается оценка решения уравнения
(7.6.1), основанная на результатах G-анализа.
16* 243

При решении задач, связанных с управлением конкретными
системами, ковариационную функцию R (х, у) и функцию
Q (t, х), как правило, находят из опытных данных и вместо
уравнения (7.6.1) берут систему уравнений
Q (t, snr1) = mr1 ££=i ф (/, km"1) R (fern"1, site1). (7.6.2)
Обозначим
qy {t) = (т^ф (t} km'1), k = 1, m);
i?m = (/?(fem-1, sm-^s^r,
^(0 = (Q(^sm-1), s = 17^)f
тогда уравнение (7.6.2) будет иметь вид b(t) = RmTp(f). Для
упрощения задачи Считаем, что b(t) известно, но Rm
неизвестно и вместо нее подставляем Rm — эмпирическую
ковариационную матрицу по наблюдениям xk(i) в точках i= m"1,
2m-1,..., 1:
hi = (л - l)-1 SS-i (** (0 - *(0) (** (/) - *0")).
x(t) = n-i£^=1^(r).
Если H^IKoo, то
plinw. hi = ft/; ? (0: = &Г * t(t) Л- Rmxb (t) - 7p{f),
но для выполнения этого утверждения требовалось огромное
число наблюдений, так как количество элементов в матрице R
порядка /и2. Применяя методы G-анализа, найдем оценку ф.
Вместо оценки ф" возьмем Gg-оценку:
G9 = R-ttif) {\—m{n— I)""1), п > т.
Метод доказательства состоятельности оценки G9 основан
на использовании доказательства теоремы 6.4.1.
Теорема 7.6.L Если наблюдения ltk{i) независимы и
распределены по невырожденному нормальному закону N(0, R),
то при условиях, что
\imn+„KR^b, ~с)\ <oo; ~c£Rm\ linWoo/ял""1 < 1,
справедливо
plunge [(G9,7T) — (ср^(ОД)] = 0.
Используя доказательство теоремы 6.4.2, получаем, что
аналогичное утверждение справедливо также в том случае,
244

когда у случайных векторов xk существуют плотности
распределения. Кроме того, можно доказать при соответствующих
условиях (см. §6.4) асимптотическую нормальность оценки
§ 7.7. G10-Оценка решения
регуляризованного фильтра Колмогорова — Винера
Дискретный аналог регуляризованного фильтра
Колмогорова— Винера имеет вид
Т=(/е+#т)ф, (7.7.1)
где е>0 — некоторый параметр (см. обозначения §7.6). Как
уже отмечалось в главе 6, при большом порядке системы
(7.7.1) необходимо большое число наблюдений над случайными
процессами, чтобы оценка ф = (/е -f R) г Ь решения ф
сходилась по вероятности к ф. Поэтому представляет интерес
поиск лучших оценок. Используя методы G-анализа,
изложенные в гл. 6, можно найти такую оценку qT, что она
будет сближаться по вероятности с ф" при условии, что
Игпп^^тп"1 = Су 0<с< 1.
Эту оценку будем называть С1о-оценкой, которая определяется
так:
Gl0 = (/е + ее-1^)"1!,
где 0т — неотрицательное решение уравнения
1 — fem+fem9m-1 Sp (/9 + R)~i = бе-1, е > 0, km = mnr1;
R(i = M (g (tm-1) - M g (inr1)) (g (jmr1) - M g (/m"1)).
Теорема 7.7.1. Пусть случайный процесс 1(х) гауссов-
ский
Hindoo яш"1 <оо,
supm l(tf ~b) + (с, ?)] < сю, %( < с< оо, (7.7.2)
где c£Rm — некоторый вектор; Хс — собственные числа
матрицы Rm.
Тогда при 8>0
plim^. [(C10l T) - ("ф, 7)] = 0, (7.7.3)
245

Доказательство. Используя формулы (7.7.1) и (7.7.2), Ч
имеем [
(Ф, 7)» ((/8 + (п- l)-4il£ £2=1 hhkRlfr4y"?), (7.7.4)
t 1
где случайные векторы hk независимы и распределены по
нормальному закону Af(0, /).
Используя условия (7.7.2), теорему (6.2.1), а также
доказательство теоремы 6.9.1, получаем, что выражение (7.7.4)
удовлетворяет соотношению (7.7.3). Теорема 7.7.1 доказана. \
Так же, как и в §6.2, при выполнении условий теоремы
7.7.1 для этой оценки доказываем центральную предельную i.
теорему* 1
limbecP{[(Gl0, с) — (ф, с)]ап + Ьп<х} =
=(2n)-1/2Jlooexp(-^/2)dy,
где ant bn — некоторая последовательность постоянных.
ГЛАВА 8
ПРИМЕНЕНИЕ G-АНАЛИЗА
В КЛАССИФИКАЦИИ НАБЛЮДЕНИЙ
В этой главе доказаны основные утверждения
классификации наблюдений над нормально распределенными векторами
с известными векторами математических ожиданий и
ковариационными матрицами. Следует иметь в виду, что при
решении различных задач классификации эти векторы и кова- |
риационные матрицы приходится заменять эмпирическими. I
В литературе такая замена иногда называется «обучением
классификации». Как указывалось в предыдущих главах, такая
замена может привести к большим ошибкам. Этих ошибок
можно избежать, если воспользоваться G-оиенками некоторых I
величин, используемых в классификации наблюдений. Эти т
оценки и их свойства рассмотрены в этой главе.
§ 8.1. Метод Байеса классификации двух генеральных
совокупностей
Предположим, что можно наблюдать определенные
параметры х19 ... , хт некоторой системы S и задача в том, j
чтобы по этим наблюдениям (х = х19 ... , хт) определить,
к какому заранее выбранному классу относится система S.
246

Пусть Rm — га-мерное евклидово пространство, kx и k2 —
состояния системы 5, называемые классами и система S
может находиться только в этих состояниях. Другими
словами, задачу можно сформулировать так: найти некоторое
измеримое множество D cz: Rn' такое, что если х £ D, то
система S принадлежит классу Кг, в противном случае она
принадлежит классу К2- Это и есть основная задача
классификации детерминированных наблюдений (распознавания
образов). Если наблюдения х являются реализациями
некоторого случайного вектора £, то при наблюдениях системы S
могут происходить события В1(В2), когда система S
принадлежит классу Ki(K2), но тем не менее х£ D (x£ D).
Вероятность ошибки классификации равна Р (£х) + Р (В2). Иногда
вместо этого выражения рассматривают следующее: сгР (Вх) +
+ с2Р (В2), где сх (с2) — потери (цены), связанные с отнесением
объекта к классу Кх(К2), в то время как на самом деле
x£D(x£D). Это выражение называется математическим
ожиданием потерь. Для наблюдений над случайными векторами
задача классификации наблюдений над системой S
формулируется так: пусть В — а-алгебра борелевских подмножеств
множества Rm. Найти
infDCB [*iP (Bi) + с2Р (В2)]. (8Л Л)
Предположим, что у вектора g существует плотность
распределения иона равна рх (#), x£Rmf если S cz Кг и р2(х\
x£Rm, если S cz/С2. Тогда, используя условные вероятности,
получаем, что выражение (8.1.1) равно
inbcB [сг JD Рг (х) dxqx + c2 J_ p2 (*) dxq2jf (8.1.2)
где
ц{ = Р {S £ Kt}> i = 1, 2, dx = П£=1 dxt..
Вероятности q{ называются априорными вероятностями того,
что наблюдения производятся над генеральной совокупностью
с плотностью распределения вероятностей pt{x).
Преобразуем (8.1.2) к виду
infocB [ [D {otfiPi (*) — c2q2p2 (x)) dx + c%qz].
Отсюда получаем, что искомое множество
D = {х! cxqxpi {х) — c2q2p2 (x) < 0}. (8.1.3)
247

Таким образом, если есть реализация у вектора |, то объект
S классифицируем по следующему правилу: если у £ D, то
Sg/Cj. Вероятность ошибки при такой классификации
минимальна и равна
<Wi Is Pi (*) dx + M2 $ ~ Рг (*) dx.
Это правило классификации называется байесовским. Все
предыдущие вычисления легко распространяются на случай, когда
S может находиться в L состояниях (классах) Kt, l—\,L.
Обозначим D = \}i=\Dh Dl cz В — множество,
распределяющее наблюдения на классы. Если x£Dh то считаем, что
S £ Kt. Пусть плотность распределения вектора £ равна рг (х),
x£Rmt если SaKi- Тогда математическое ожидание потерь
равно
inf SLi 2t.iCik4k \d pk wdjc- (8-! -4)
где c/p — потери, связанные с отнесением системы S к классу
Ki, в то время как S £КР, сп = 0; qp — априорная
вероятность того, что наблюдение производится над системой S £ /Ср.
Из выражения (8.1.4) при ар=19 \фр, получаем
D= ULiD,;
Dk = {х: %рЛ (х) > цгрг (х), I Ф ft}. (8.1.5)
§ 8.2. Классификация наблюдений в случае
двух генеральных совокупностей, имеющих известные
многомерные нормальные распределения с одинаковыми
ковариационными матрицами
В этохм параграфе рассмотрим частный случай
классификации наблюдений, когда плотности pt (x) являются
нормальными:
р,(7) = (2я)-«/2det R-1'2ехр {— (х—й' Я"1 (* —"Й/2},
I - 1, 2,
где \it — векторы математических ожиданий, размерности т\
R — невырожденная ковариационная матрица порядка т.
Неравенство (8.1.3) эквивалентно следующему:
In р± {х)/р2 {х) < In ft; ft = Ctfjctf!.
Отсюда
- (E*-i 1?-Й' Я"1 £- Й])/2 < In ft.
248

После простых преобразований это неравенство приведем
к виду
(х— Й + й/2)' R'1 Й -~Й < In k. (8.2.1)
Выражение U(x), стоящее в левой части этого неравенства,
называется дискриминантной функцией Андерсона—Фишера.
Она является некоторой гиперплоскостью в пространстве Rm.
Найдем минимальную вероятность ошибки классификации.
Пусть X — наблюдение над случайным вектором £. Если
вектор X распределен по нормальному закону N (\il9 R), то
величина О (х) распределена по нормальному закону с
математическим ожиданием
Пи Й = (^- Й + Й/2)' Д-ЧЕ - Й =
= E-i3#«"1(ft-U/2
и дисперсией
w{x) = щ(х- Й' /гчЙ-й]2 =
= м к J— Й' R-цТ—р (7- Й' я-1 Й - Й1;
Df/ (*) = Й - Й' R'1 Й - Й-
Величина а := (^ — ц2)' R'1 (щ — jli2) называется расстоянием
Махаланобиса.
Итак, если вектор х распределен нормально N (\xlt R), то
случайная величина U (х) распределена нормально N (а/2, а).
—>■ —>•
Если же х распределен N ([х2, R), то
NOJ Й = Й - Й' Я"1 Й —"Й/2 - - а/2, Df/ (I) = а.
Вероятность ошибочной классификации равна
После простых преобразований получаем, что это выражение
равно
"(In k—a/2) а-1 /2j
с1Я1 j<-^-«/2»a 1/21/(2я)1/2 exp {-y*/2} dy +
+ <V72 \~ 1/2 (2ЯГ1/2 exp {-r/2/2} dy. (8.2.2)
J(c+a/2)a— '/2 v
Если Ctfx = c2q2 = с, то выражение (8.2.2) равно
249

§ 8.3. Классификация наблюдений, распределенных
по нормальному закону с различными
ковариационными матрицами
Если все плотности распределений рДх), / = 1, L
являются нормальными с различными ковариационными матрицами
Rl и векторами средних \х(, то можно построить
разделяющую функцию, которая имеет простой вид и доставляет
минимум ошибки классификации. Используя неравенство (8.1.5),
получаем, что
Dk - {х: - (7- VkY R71 (^-^/2 + &-~ViY RTl X
X {x — "й/2 - In (PtlPk) — In (det Rkdet RTl )/2 > 0, / ф ft}.
Эта функция сложнее, чем линейная разделяющая
функция Андерсона-Фишера. При решении практических задач
векторы ji£ и матрицы Rk заменяются стандартными
оценками, полученными по обучающей выборке. Как уже
отмечалось, при больших размерностях векторов \ik такая замена
связана g большим объемом обучающей выборки. В
следующих параграфах по обучающей выборке найдем G-оценки
функций Dk. Эти G-оценки существенно отличаются от
функций Dk> в которых векторы \it и матрицы Rk заменены
эмпирическими. Однако они быстрее сходятся по вероятности
к функциям Dk. Следовательно, минимум вероятности ошибки
классификации будет выражаться в виде некоторой функции
от расстояния Махаланобиса. Оно тоже, как правило,
неизвестно. Оказывается, что для расстояния Махаланобиса тоже
можно найти G-оценку, если известна обучающая выборка
наблюдений.
§ 8.4. Gn-Оценка расстояния Махаланобиса
Доказано (см. §8.1—8.3), что минимальная вероятность
ошибки классификации в случае наблюдений над нормальными
случайными векторами с одинаковыми ковариационными
матрицами R равна
где а — (аг — а2)' R'1 {ах—а2); at — векторы средних
значений. В этом параграфе найдены G-оценки величины а
(расстояния Махаланобиса).
250

Пусть хъ ... , хПо уъ ... , уп% — наблюдения
соответственно над m-мерными случайными независимыми векторами
I и г], имеющими распределения N (аъ /?), N (а2У R). В
качестве эмпирических векторов средних значений и
ковариационной матрицы R возьмем
*"Ч
<h = "1 ' S?-i «*; а2 = «2 ' ИЙп Й
Я = К + п2 - 2)-i {Sfc-i Й - ai) Й -^i)' +
+ S?=i(^ — a2)(yp — аъ)'}.
Лемма 8.4,1. Если R— невырожденная матрица, то
(ах — 5)' Я"1 (fli — 5 « Й —^2)' Я""1 («i —^2) X
X [HH' (пг + n2-2)-i)~l + {2(£-aJ# Я"1'2^ +
+ "a"1)1'2 + ^(/if1 + n~1)} (tf #'(n, + n2- 2)-*)-1,
(8.4.1)
где v — N (0, /) — распределенный тп-мерный вектор,
стохастически независимый от случайных векторов х{, у\\ Н =
= (v;/), i = 1, m„, / = 1, пг + п2 — 2— случайная матрица,
элементы которой не зависят от случайных векторов
xt, yh v и распределены по нормальному закону N (0, 1),
(НН'Ус]1 — элементы матрицы (НН')'1.
Доказательство. Из гл. 1 следует, что аъ а2, R
стохастически независимы и
£ « R-WHH' (пг + п2- 2Г1/?-1/2;
^ « £ + i?1/2 wr1/2; S « ^ + ^1/2^Г1/2. (8.4.2)
Поскольку распределение матрицы НН' инвариантно
относительно ортогонального преобразования, т. е. Н'Т ^ Н',
Т'НН'Т^НН', где Т — ортогональная вещественная
квадратная матрица порядка тп, то
Й - U' #_1/2 {HH')-XR-112 Й - 5)«
«(яя')й' К - £)' #-1 Й - 5)- (8-4-3)
251

Из выражений (8.4.2) и (8.4.3) следует формула (8.4.1).
Лемма 8.4.1 доказана.
Используя свойство состоятельности оценки G3 и лемму
8.4.1, получаем следующее утверждение.
Теорема 8.4.1. Пусть пх + п2— 2>т\
R—невырожденные матрицы,
Umn^o.m/nx^c^ lim„t-.eom//za = ca; (8.4.4)
О< съ с2 < оо; сг + с2фсхс2\
lim„,— Й — flj)' /Г1 («I — Оя) [ft'1 + n~l] = 0. (8.4.5).
Тогда
plunge» {(аг — а2)' R"1 (ах — а2) [(пг + п2 — 2 — т)/{пг +
+ п2 — 2)] — (аг — а2)' R"1 (аг — а2) — тп~1 — тп^1} = 0.
При выполнении условий теоремы 8.4.1 выражение
(аг — a2)f R-1 (ах — а2) [{пг + п2—2 — т)/^ +п2 — 2)] —
— т (п~1 + п^1)
будем называть бц-оценкой расстояния Махаланобиса.
Доказательство. Используя доказательство
состоятельности оценки G3 и условия (8.4.4), получаем, что
—►■ ->-
Но тогда, так как plim^.^oo/n""1^, v) = 1 и выполняется
условие (8.4.5), в силу леммы 8.4.1 следует утверждение
теоремы 8.4.1.
§ 8.5. Асимптотическая нормальность оценки Оп
—*- —>-—>- —>- .
Пусть xlf .. ., Xnt\ У и • • ■ > Уп2 — наблюдения над
/^-мерными случайными независимыми векторами | и г], имеющими
распределения #(а1э /?), N (а2, /?); аъ а2, R — соответственно
эмпирические векторы средних значений и ковариационная
матрица.
Теорема 8.5.1. Пусть пг + п2 — 2 > /n, R —
невырожденные матрицы и выполняется условие (8.4.4). Тогда
Нпц.^Р{(Gu -ат)(П1 + п2-т-3)^1 Dlf < х) =
= (2л)-1/2 J^^ exp {-#72} dft (8.5.1)
252

где
Dm = 2 [т/пг + т/п2]2 (П1 + п2 — т — 2)/т +
+ 4ат (пг + п2 — т — 2) (п^1 + п~1) +
+ 2(ат + тп~х + тп^1)2.
Доказательство. Используя формулы (6.4.2) и (8.4.1),
имеем
(Gu - ат) (П1 + п2-т- 2)»* - а^ [- ЕЙ^"2 {?, -
- 1)/(Л1 + л2 - 2 - m)1'2] [ V^-^/K + я, - /я - 2)]-i +
+ £Г=1 (v? - 1) т-»/2 [т/л, + т/л2] ((лх + л2 - т -
- 2)/m)W[Vnalnn'-%/(nl + ,i2-m- 2)Г +
+ 2 (а, — а2)' R-^v (яГ' + пГ')1/2 (л, + л, — т — 2)»/* х
X [ ISU^'/Ci + л2 - т - 2)]"\ (8.5.2)
где |£, v,, i=l, 2, ... — независимые случайные величины,
распределенные по нормальному закону N(0, 1); v, —
компоненты вектора v, am = аш + tnn^ + тп\~ ,
plinw» I?i!n"2"2^/("i + "2 - т - 2) = 1. (8.5.3)
Обозначим
2 (пГ1 + "2"')1/2 ("1 + «2 ~ /л - 2)1'2 (аг - а,)'/?-1'2 -
= с = (сх, ..., cj, d = [m/лц + /и/л2] х
X ((лг + л2 —/л —2)/m)'/2.
Рассмотрим характеристическую функцию
Ф (s) = М exp {mmD-1/2 Ей+?*~2 (Й - 1) X
X (лх + л2 - 2 - m)-i/2 + isD~1'2 SS-i vA + Ы/Г^ X
X Vr=I(v|-l)(m)-i/2}.
Первая сумма в показателе экспоненты стохастически не
зависит от остальных сумм и для нее справедлива
центральная предельная теорема. Поэтому, пользуясь центральной
предельной теоремой для первой суммы и вычисляя
математическое ожидание для функции y(s), имеем
Ф(s) = exp {-s2 (0&/DJ} ГЬШ=1 exp {-isd{mDJ-Ч*-
- (52/2) (cllDm) [ 1 - 2isd (mDJ-^r1} 11 -
— 2is d (mDJ-1^]-!^ + о (1).
253

Переходя к пределу при я,->оов этом выражении и
учитывая, что a2mD~l < 1, d(DJ-1*2 < 1, c\D^ < 1, имеем
ф($) = е-*2/2 + о(1).
Поэтому, используя предел (8.5.3) и формулу (8.5.2),
получаем формулу (8.5.1). Теорема 8.5.1 доказана.
§ 8.6. Оценка G12 регуляризованного
расстояния Махаланобнса
Если матрица R вырождена, либо плохо обусловлена, то
вместо расстояния а рассматривают его регуляризованный
аналог
а8 = (ai — <**)' (Л + RY1(al—a2\
где е > 0 — некоторое число.
Регуляризованное расстояние обладает лучшими
свойствами по сравнению с расстоянием а. При доказательстве
асимптотической нормальности его G-оценок можно не
требовать, чтобы случайные векторы х<у y{ были распределены
по нормальному закону.
—>■ —>- «"Ч —>■ —>•
Как уже отмечалось, оценка (xv — х2)' (h+ Ryi(x1— x2)f
—»- —>■ -""Ч
где xl9 x2, R — эмпирические математические ожидания и
ковариационная матрица, не пригодная при решении
многомерных задач классификации, так как при увеличении числа
компонент векторов ^ и т| резко вырастает число
наблюдений пу необходимых для достижения заданной точности
оценивания расстояния Махаланобиса. В этом параграфе
доказано, что при некоторых условиях существует
асимптотически нормальная G-оценка регуляризованного расстояния
Махаланобиса при условии, что ИШп^сотп"1 <. оо.
Пусть %,..., хп±, уъ ..., Уп2 — независимые
наблюдения соответственно над случайными векторами | и т)
размерности /п, распределенными по нормальным законам
N(alt R), N{a2> R); xx = n~l S"-i **'.
x2 = n2 IjwW
R = {n± + «2 — 2)"1 [ YHUiXi — xj) (x, - x[)' +
254

Будем считать, что числа пг и п2 зависят от т и стремятся
к бесконечности при /л->оо.
С12-Оценкой регуляризованного расстояния Махаланобиса
назовем выражение
/^Ч /^Ч /^Ч /^Ч
би = ((/е + (8/6J ?)-i Й - 72), Й - 72)) -
-("Г' + «71)Spe9-1^(/8 + (8/9m)/?)-S (8.6.1)
где 0т — неотрицательное решение уравнения
1 - km + /гтет-! Sp (/в + £)-!= Ое"1; 8 > 0;
fem = /и/(л, + л2 -2). (8.6.2)
Очевидно, что неотрицательное решение этого уравнения
существует и единственно.
Теорема 8.6.1. Пусть выполняется G-условие
limm.,«,m/(n1 + л2_ 2) =с<оо; (8.6.3)
Йтт^„о [л^1 + "г"?1] <°°; h < с< °°> ' = Ь т» (8.6.4)
где ht — собственные числа матрицы Rm;
supm(6, 6)<oo; b = a1 — a2. ' (8.6.5)
Тогда при е>0
lim*.-P {[Gu-6' (/e + ЯГ^К*! + л2 - 2)i/2am 00< *} =
■ = (2n)-I/aJl.exp{-^/2}dy,
где
С2 (е) = ("х + «2 - 2)"1 Е"Й"г-2Мб^ + 4М (SRmSb, b) x
X (л, + л2 - 2) (лр1 + л"1) + 2М Sp (#S2 (лх + л2 — 2) х
х (лГ1 + л^1)2;
Мб* = 82е-2м [м (v, Ы2/Ы2 - [м (SA у2]2 х
X (1 + ев"1 (лх + л2 - 2)"!М Sp RSk)~l;
sk = (/е + ев;1 (л, + л2 - 2)-1 Е^йЗ&б,)-1;
s = (/e + ee-^)-b
£„ — независимые случайные т-мерные векторы,
распределенные по нормальному закону N (0, R); Эт —
неотрицательное решение уравнения
l — km + kjdmrm Sp (/в + Я)"1 = ве^1; в > 0. (8.6.6)
255

Доказательство. Считаем, что в формулировках
нижеследующих лемм выполнены условия теоремы. Индексы
т у некоторых величин опускаем. Буквой с обозначим
константы, возможно разные в различных формулах.
Лемма 8.6.1:
(/в + гЪ-Щу* -S = Cm [m-1 Sp (/9 + R)~* -
-m-'MSp(/e + £)-i] + Emi (8.6.7)
где Ст и Ет — квадратные матрицы т-го порядка,
Ст = - SWkJ-i [ 1 - zkmm-* Sp (/9 + R)-i +
+ efemem-1Sp(/e + «n-1;
Em = [-SVe-'^m-i Sp (/ (0 + a (9 - 9)) + R)~3 {1 -
— е/г^т"1 Sp (/9 + R)~l + zkjmr1 Sp (/9 + б)"2}"1 +
+ (/e + fee-1)"1 (/e + ев-1^)^2^-*] (9"— 9)2; 0 < a < 1.
Доказательство. Раскладывая функцию Sp(/9 + R)
в ряд Тейлора и используя уравнения (8.6.2) и (8.6.6), имеем
6 — 9 = Bkm {(§ — 9) яг1 Sp (/9 + #)-> + 9 [m"1 Sp (/9 + tf)"1-
— m"1 M Sp (/9 + Я)"1] — 9 m-1 Sp (/9 + R)~2 (9 —
— 9) -f 9m"1 Sp (/ (9 + a (9 — 9)) + R)~3 (9 — 9)2}.
Из этого уравнения получаем
9 — 9 = ekm {9 [m"1 Sp (/9 + Я)"1 — тгШ Sp (/9 + Я)"1] +
+ 9m-1 Sp (/ (9 + a (9 - 9)) + R)~3 (9 - 9)2}/{ 1 -
— e/^m"1 Sp (/9 + R^+ekJmr1 Sp (/9 + R)~2}. (8.6.8)
Очевидно, что
(/в + еЭ"1^)"1 — S = —S2 (её"1 — 89"1) + (/в + ^еЭ"1)"1 X
X (/е + ев"1/?))-2 (еЭ"1 — 89"1)2. (8.6.9)
Подставляя в уравнение (8.6.9) значение 9 — 9 из уравнения
(8.6.8), получаем (8.6.7). Лемма 8.6.1 доказана.
Используя лемму 8.6.1, преобразуем оценку G]2 к виду
«"Х »"Ч -"Ч *"\
Gl2 = К + {ст & - *1), (£ - дГ,)) [nr* Sp (/9 + Л)"1 -
*~s> <^s. s\. —^
-m"1 M Sp (/9 + J?)-*] (em £ - T2), Й - Z)) -
- (n? + л"1) Sp cm [m-1 Sp (/9 + Я)-* - m"1 Sp (/9 + Я)-* -
-(nTl + n-l)Spem, (8.6.10)
256

где
Pm = (Sb, ~b) + 2 (s7, T) + (St, "t) - (n? + njl) Sp S.
Очевидно, что
P„ = [S{x[- 72), Й - £)) - («Г1 + "7') Sp S, (8.6.11)
где v = хг — x2 — b.
Лемма 8.6.2. Имеет место равенство
det А п = det A pi (api — (A ~l ар, bi)),
где АР1 — невырожденная матрица, полученная из Ап вычер-
киванием р-й строки и 1-го столбца; Ап = (atj)t, /=i; ар =
= {aPi, i Ф /); bt = (сци i ф /?).
Лемма 8.6.3. Пусть xk — т-мерные вектор-столбцы и
R = Sfe=i Ч x'k- Тогда
(I+R +X+i^+i)"1 - (/ + Z?)"1 = - (/ + ^"Ч+14+i X
х (/ + R)'1 [1 + ((/ + ЯГ1 Х+i, X+i)]"1.
Из §1.1 следует, что матрица /? и векторы хъ х2
стохастически независимы и
(Sb, Т) « ((/е + 80-1 ЕЙЛ2+2^ (пг + п2- 2)Г^),
(8.6.12)
где hk = Я'^, с = Я'Ь; Я — ортогональная матрица
собственных векторов матрицы R\ \k определены в условиях
теоремы.
Лемма 8.6А. Имеет место равенство
)kk
м (/е + вв-i (я, + п2 - 2Г 1Й"2 2Хд;);
— (е + %k)~l = MeL (e + Xk + ез,,)-1 - Me3ft (e + X4)~2> (8.6.13)
где
ез* = 80-i {Yl=in*~2bti - Я* - р;г*ВА, £) -
- я» (я, + п2- 2)-i sP гАад] + ema,ft (я, + «2 - 2)-1 [SP vk -
-M(/9m+/?n};
Г, = (/в + 50Б;)-1; £ = (%,... . 7к+„,-2 («1 + n2 - 2)-i/2
9 7-305 257

bp — векторы-строки матрицы В\ Вр — матрица,
полученная вычеркиванием Ь-й строки матрицы В:
Мезл < с (пх + п2 — 2)"1; I Ме3* |< с (пг + п2 — 2)"1,
О < е + h + &3k < г"1.
Доказательство. Используя лемму 8.6.2, имеем
М (/9 + ВВХ* = М [9 + (bkX) ~ (ВДЯА. ЪГ1 =
= [9 + ЛЛ - ^ (п, + п2 - 2)"1 Sp TkBkB'k + г1к]'\ (8.6.14)
где
81, = SS"2"2 Ь\х -К- {(ВДВаЛ) -
-^(Л1 + л.-2Г15рГЛВЛв;}.
Из равенства (8.6.14) вытекает следующее:
М (/9 + ВВ')^ = [9 + К - V К + я2 - 2)-1 +
+ 9/п (Л1 + п2 — 2)-1 А^/тТ1 М Sp (79 +
+ ЛГ1 + е2кГ1, (8.6.15)
где
е2* = ей + Q%k [Sp Гр — М Sp (/9 + ЯГ1] (лх + л2 — 2)-1.
Но так как 9т удовлетворяет уравнению
(1 - Кп) + /Cmem-i M Sp (/9 + R)* = 98-1,
то из (8.6.15) следует
Эе-1 М (/9 + ВВ')^ = [е + К + 82А89-1]-1. (8.6.16)
Очевидно, что
Меи = 0; tosh < с(пг + п2 — 2)"1.
Используя лемму 8.6.2, получаем
6„: = (я, + ля-2)-1 [Spr„-Sp(/9 + Я"1] =
- - (пг + п2 - 2)-1 (d/dQ) In [9 + (£, Тр) - (В'рТрв£,%)].
Матрицу Вр с вероятностью 1 можно представить в виде
Вр^УВр-ЩН; Н = (ВрВ'р)-^Вр.
258

Используя это представление и формулу для б„, имеем
S„ = - (л, + п2 - 2)-i (d/dB) In [9 + (Я' (/-[/ +
+ 9 (ВрВ-ГТ1) НЪР, %)} = - (л, + п2 - 2)-i (d/d9) In [9 +
+ 9(/9 + ВРВР)-ЧР, Х)\ = -(П1 + пг-2)-i[9-i-
- ((/9 + В'рВр)-Чр, X) 11 + ((/в + В'рВр)-Чр, %)]-К (8.6.17)
Из этого равенства вытекает, что
|8„|<2(л, + л2-2)-19-1. (8.6.18)
Из уравнения (8.6.6) следует
9-i = в-* (1 - Кт + KJm-m Sp (/9 + tf)-i)-i <
^e-Ml-^CJ-1- (8.6.19)
"Поэтому из (8.6.18) вытекает
\Ьп\%с{п1 + пг — 2)-К (8.6.20)
Очевидно, что
Ф(е)-мФ(9) = 2^"-27,,
где
Ф (9) = (пг + п2 - 2)"* Sp (/9 + /?)-i;
ТЛ«МЛ..1Ф(в)-МАф(в);
МЛ— условное математическое ожидание при фиксированной
^максимальной а-алгебре событий, относительно которой изме-
римы случайные векторы Ь+ь -- > £л- Величины yk являются
мартингал-разностями, поэтому, используя лемму 8.6.3 и
неравенство (8.6.19), получаем
М [ф (9) - МФ (в)]» - Жйп>~2Щ1 < (пг + п2-
- 2г г*~Гй~2м [((/9+у^ш-?,, £)■ {1 +
+ ((/в + е**Ш"С Эп2 < (пг+п2- 2)-^.
Очевидно, что
(e + %k + ezk)"1 — (г + %k) = elk (е + Xk + E3k)^ — .
— в8*(в + А*)Л
где 8ЗА = е^еб-1.
S* 259

Учитывая, что | Me3k | < с (пг + п2— 2)"1 и из неравенств
(8.6.20), (8.6.21) следует Ме^ < с(пх + п2 — 2)-\ а также
условие
0 < (е + К + ез*)-1 = 8^9 [/9 + SB']"1 < г"\
имеем
|М (8 + %k + 8з,Г -(8 + %k) \<С(П1 + П2- 2)-Ч
Поэтому
98-i М (/9 + ВВ')^ - (е + ЬЛ)-1 = МвЪ (в + %k + г^ -
-Мв3/г(е + ЧГ + 0(1).
Следовательно, справедливо (8.6.13). Лемма 8.6.4 доказана.
Лемма 8.6.5. При р Ф I
M(/8 + e9-15BV = 0;
Доказательство. Обозначим ац~(Ьь bj)t Л =
= (au)?,i = 1» Аи,'.".' !/Г — матрица, полученная из матрицы Л
вычеркиванием строк с номерами il9 ... , /m и столбцов
с номерами jl9 . .. , jk. Используя лемму 8.6.2, имеем
(/е + ев"1 ВВ')-? = (— 1)"+' det (/е + вЭ^ВВ')? d^t (/в +
+ (е/9) ВВ'УХ = ( — 1)"+/ det (/е + ев-1 ЯВ')? (det (/в +
+ еЭ-1 ВВ'УйУ1 det (/в + вЭ-1 ВВ')^ (det (/« + вЭ"1 ВВ'))"1 х
X det (/8 + В9"1 BBXi [det (/в + еЭ"1 ВВ')РР]^ =
e (-l)H-/ [вв-Ч,- ([(/в + eB^BB')/?]-1^0,^)] X
X [8 + вЭ"1^ - ([(Уе + еЭ"1 ВВ')РР]<01 Я)]"1 [в + вв^а,, -
- ([(/в + Be-1 bb'K\\-Qpp\ "Srt)j-if
где"а^ = {(&„, Ь,); г ^ /, /?}; ар = {(Ьр, ft,), f фр). Поскольку
Ьр «—&р и векторы Ьр стохастически независимы, то при
фиксированном векторе а}р\ ар] .« — а^\
Значит, распределение величины (/в + вЭ"1 ВВ')^1
симметрично. Следовательно, справедлива лемма 8.6.5.
Используя леммы 8.6.4 и 8.6.5, получаем, что
[М {Sb, 1) - (/в + ЯГ1!,!)] = £Li [Mb2», (в + X, + Вз,)"1 -
-Мгзк{г + КГ2]с1 (8.6.22)
где с = (clf ..., ст) = ЯЬ.
260

Объединяя формулы (8.6.10), (8.6.13) и (8.6.22), получаем
[Gl2 - ((/е + R)-4,~b)] = (Sb,~Ь)-М (Sb, ~b) +
+ SS-i [M_e^(e + Я,4 + бз^"1 — Me3ft (e + AJ"2] c\ —
- 2 ((St, ~b) + (ST, "7) - (щ1 + n~l) Sp tf S) +
^N «^S -^N ^4
+ {(Cmй — 72), (£ — Z)) + e(/if1 + n2_1)SpCm) x
X [m"1 Sp (/0 + Я)"1 — m"1 M Sp (/9 + tf)-i] _|_
-»"4 ^N /\ •'N.
+ (e„ Й + л£), Й — ?)) — K"1 + n'1) Sp em +
+ («Г1 + О Sp R [S - (h + ЯП + e («Г1 + n?) x
xSp[S-(/e + /?)-iJ. (8.6.23)
Лежлш 8.6.6. Пусть yk, k = \^~n~, n = i, 2, ... слота*
ябй? величины; Mkyk = 0 — условное математическое
ожидание при фиксированных случайных величинах у*+ь ... у
Если для некоторого б > 0 ' ''' '
Нт„_ SLiM | va |2+s = 0; (8.6.24)
Ит„, . £LiM | mkfk - Мт| {а* = 0, (8.6.25)
еде
то
lim„_ P {^=1 ?*а„ < х] = (2я)-1/2 $^ e-#n dy. (8.6.26)
Лемма 8.6.7. Имеют место равенства
plinw. («! + л, — 2)"1 [Sp S — М Sp S] = 0; (8.6.27)
plitiW. (/гх + п2 — 2)'1 [SpRS — М Sp#S] = 0; (8.6.28)
при условии, что limm^.coxm>0i
lim„_ P {[(Sb, b)-m (Sb, b)] ят fa + щ - 2р <
< х) = (2я)-1/2 J* e exp {-r/a/2} ау, (8.6.29)
еде
<? = («1 + я, -2Г S№-2M6|.
Доказательство. Докажем (8.6.27). Очевидно, что
Sp S - М Sp S = ЕЙ"2~Ч; yk = МА=1 Sp S - М& Sp S,
261

.где MftSpS — условное математическое ожидание при
фиксированной минимальной а-алгебре событий, относительно
которой измеримы случайные векторы Ъь+и ... , |„.
Используя лемму 8.6.3, имеем
% = Mfc_ieO-i (SjT*. Ъ) ("i + "2 - 2)"1 [1 + ев"1 X
x (s£, 1)[n1+ n2-2n-^-M*ee-i(Sit, у x
X (% + n2 - 2)"1 [1 + ев-i (SftS, & (nx + "2 - 2)-1]"1.
Из этого равенства видно, что | yk | •<: 2е-1. Поэтому в силу
вакона больших чисел справедливо (8.6.27). Аналогично
доказываем (8.6.28). Докажем (8.6.29). Очевидно, что
{Sb, ?) - М (Sb, 1) = ^=хг'\,
рде
-pk = Mft^eO"1 (SfeT, у2 («! + «а - 2)"1 [ 1 +
+ ee-i(S»C, gj(n1 + n,-2)-ir1-^ ^
- м,8е-1 (5Л у2 (/н + «2 - 2Г [1 + ев-1 (sX. Ы х
Х^ + я, —2)"1]-1. (8.6.30)
Заметим, что в силу леммы 8.6.3
Sk - MS, = S№~2 (Мд-iS - MPS) = - (n, + n2 - 2)-i x
X eG"1 SP#ft {Mp_iSpft13pS«* 11 + еЭ"1 (л, + л, - 2)"1 x
X (SPX, УГ1 - MpSpfei2.Spft [ 1 + ев"1 (л, + пг - 2)-1 x
X (Sp£, У]-1}, (8.6.31)
где
5pft = (e + 8e-1S^P(fe"|/t/)-1.
Очевидно, что
(sftl, у2 - м (sJ, I)2 = Ей*?,,,
где
?„ = Mp_, [((St-S* Д T*)2 + 2 ((S,- Sfcp)% 1) X
X (S*A ?,)] - Mp [((S, - Skp)T, fkY + 2 ((Sft - Skp) x
хТ,Э.(5Д yj.
262

Используя формулу (8.6.31), получаем
Щ1 < м [(«, + л, - 2)-» (sJ,tnskZXY +
+ 2 (лх + ла - 2)-11 (S„jb, t>) (S Д, ?р) (SftoT, £) \f «
^ с к + «2 - 2)-2 м (S*a, Tp)2 ($*£*. X)2 (s*A ?*)2 <
,-s
< cx (nj + л2 — 2)
Поэтому
plimm_ [(5A Ъ - M ((5A to/X)] = 0. (8.6.32)
' Условие (8.6.24) для случайных величин pk, очевидно,
выполняется. Докажем, что справедливо для них условие
(8.6.25).
Учитывая (8.6.28), (8.6.30), (8.6.32), имеем
£,М | MkPt- Мр2 | = (Й1 + я, - 2)"1 X
X S"=t"8=2M | М, [M*_,e8-i (SAI)2 [ 1 + е9-1 х
X («1 + п2 — 2)"1 М Sp S.R]-1 - еЭ"1 М {SkRSkb^ T) X
х [ 1 + ее-1 к + пг — 2)-1 м sP s^]-1]2 — м [М^_1ее-г х
х (SAX)" [1 +5"M"i+ "2" 2)_1 M Sp ЗД"*"
—ee-w (5fti?SA Т) [ l + ев-» («! + п%—2)-1 х
х мsP s^r1]21 = («i + «2 - 2)-1 £ЙП2_"2 м | м, [Мее-1 х
X (SA lkY | у2 - М [Ме9-1 (SftT, f*)2 IЫ2 I [ 1 +
+ е0-1 {пх + п2 - 2)"1 М Sp S, ЯГ1 + о (1) = е„,
где
lim„^«,en = 0.
Кроме того, из (8.6.30) получаем
Мб2 = е20-2 {М [М (SA Ы21Ы2 ~ [М (SA f*)T) X
X [ 1 + еЭ'1 (л, + л2 — 2)"1 М Sp RSkr\ (8.6.33)
Следовательно, справедливо (8.6.29). Лемма 8.6.7 доказана.
Лемма 8.6.8. Распределения случайных величин
[2 (ST, ~b) + (S7, "£) + («Г1 + я,-1) Sp /?S] К + я2 - 2)1/2 х
X [2 (ях + «2 - 2) («7' + п~ху Sp M (#S)2 +
+ 4 М (SRSb, 1) (я, + «2 — 2) (лГ1 + n~l)]-V2 (8.6.34)
сходятся к стандартном!/ нормальному закону.
263

Доказательство. Лемма 8.6.8 справедлива при
фиксированной матрице R. Это очевидно. Но для выражения,
стоящего под корнем, справедлив закон больших чисел,
поэтому получаем, что лемма 8.6.8 справедлива в общем
случае.
Лемма 8.6.9. Для любого 0<т<1
р lim^ [Qn— 6J (пг + п2- 2)1-* = 0; (8.6.35)
linwJVl[SpS — MSpS]2<oo. (8.6.36)
Доказательство. Соотношение (8.6.35) следует из
того, что
ту1<с(п1 + п2 — 2)-\
а (8.6.35) следует из формулы (8.6.8). Лемма 8.6.9 доказана.
В силу леммы 8.6.9 в формуле (8.6.23) последние четыре
слагаемые и третье слагаемое, умноженные на {пг-\-п2 — 2)1/2,
стремятся по вероятности к нулю. Поэтому из лемм 8.6.6t
8.6.8 и формулы (8.6.33) следует утверждение теоремы 8.6. Г.
§ 8.7. (713 и 6?14-Оценки статистики
Андерсона — Фишера
В §8.1—8.3 при рассмотрении классификации наблюдений
в случае двух генеральных совокупностей, имеющих нормальное
распределение, была использована дискриминантная функция
D(х) - (/Г1"*, а,-а,)- (/Г1 (аг -~а2)(а[ + а,))/2,
где R — невырожденная ковариационная матрица m-го по -
рядка; ^ и ^ — /n-мерные векторы математических ожиданий;
~~х— m-мерный вектор.
Пусть ~хг, ..., ~хп , *£, .. ., "у" — наблюдения собственно над
m-мерными случайными векторами £ и т), имеющими
распределения N (а~и R), N (а^ R),
%1 = nTxYiniU'xi, S = ^r1S&i^, Л = (л1 + ля —2)-!х
D(x)^{R'^^1-^2)(x-ff1 + t2)f2).
264

Лемма 8.7.1. Если R — невырожденная матрица т>2,
то
D(х) » (п, + п2-2)2-1 {[(ЯЯ')Ц1 + (НН')^\ {~с(~х),~b) +
+ [(ЯЯ')Ц1 -(ЯЯ')Й1] {(Ь, ~Ь)(с(х), -с(х))У<2\
"& == R-W [3: - а,] + vi (пГ1 + лГ')1/2;
Г О) = Я-'/* (1 _ (£ + 3))/2 + чг (пГ1 + пГ1)"2,
где vj н v^ — независимые т-мерные случайные векторы,
распределенные по нормальному закону N(0,1), не
зависящие от случайной матрицы Я = {vtj)l=j-^- -u n +п 2,
элементы которой независимы и распределены по нормальному
закону N (О,1).
Доказательство. Используя (8.4.2), для функции DОс)
имеем
Ъ(х) г» ((//#'/(«! + п2 -2))-1 К?(х)); (8.7.1)
Т = R-W (§ - §; 7 Ос) = /?—va(lT - (£ + ЗД.
Очевидно, что
{(НИ')-1 («1 + я, - 2)1; ТГ?))=(/^+/1,-2) Sp {ННГЧ(х)/2,
где &(х") = [??"(л:)+"с(^")ЬЧ. Поскольку НН'таТНН'Т
для любой ортогональной вещественной матрицы Т порядка
т, то из (8.7.1) получаем
(Я! + л2 - 2) ((НН'Г^ЛО)) » («1 + «2 - 2) х
X [(ЯЯ')Ц1 ** (х) + (ЯЯ')и Л2 (х)1/2, (8.7.2)
где VC*)> £ = 1»2 — ненулевые собственные числа матрицы
К(х). Найдем их, считая, что "с"("Зе") =~с". Очевидно, что
det [Iz + К(~х)\ = det [z +1 Т'\ [ 1 + ((Iz +~b?')-1~c~,~b)] =
= [г„ + 2"-' (Т,Т)] {(d/de) In det [Iz +~b 7 + eT?]8=o + 1} =
= [г" + г"-1 (Ь,~с)] {(д/де) In det [/2 + г7Р]е=0 +
+ (д/де) In[1 + ((/г + г7Р)-Ч,7)]Е^о + 1} =
= [г" + г"-1 (~b,~c)] {(Т,~Ь)г"1 —
-(r!(M)(^)) (1 + г(Ц))-Ч 1} = 0.
265

Из этого уравнения имеем
гп-2 [2г2 + 22 ("^ ~b) + 2~1(ьЛ? —(X Т) (с9~с)] = 0.
Отсюда получаем
hA~Z) = РИД) ±(РД)£ЙДЙ)1/а.
Следовательно, из (8.7.2) вытекает
Ъ Й » К + "2 - 2) 2-Ч[(ЯЯ'бЧ (ЯЯ')п1! (Т (Т) Д) +
+ [(ЯЯ'Ж1 (ЯЯ')^1 ((&*Д)(7Й,ТЙ))1/2. (8.7.3)
Заметим, что
Т« Я"1'2 Й ~Й] + ^ ("Г1 + пТх)\
ТЙ « Я"1'2 (1- Й + 5/2) + ^(пГ1 + nTxyi\ (8.7.4)
Из (8.7.2) и (8.7.3) следует утверждение леммы 8.7.1.
Теорема 8.7.1. Пусть пг + п2 — 2 > т, Rm —
невырожденные матрицы
lim^oom/tt! = сх; linWoo т/я2 = с2; (8.7.5)
0<сх; с2<оо; сх + с2фс±с2У
р lirrwo. {[(R-1 Й - 5> Й - S)) + (Я"1** (&. "* (£))1 X
X ИГ1 + ^1 = 0, f-1,2, (8.7.6)
где % — случайная величина, распределенная по нормальному
закону N[at, R).
Тогда
р Hindoo [3 ("J) (пг + п2 — 2 — /7г)/(лх + л2 — 2) —
-0(6,)] = 0, i=lf2. (8.7.7)
Доказательство. Используя доказательство
состоятельности оценки G3 и условие (8.7.5), получаем, что
р limm^ [НН' (пг + п2 - 2)-1)аХ = [1 - [сТ1 + с^ГТ1.
Но тогда из леммы (8.7. Г) и условия (8.7.6) следует (8.7.7).
Теорема 8.7.1 доказана.
«^Х у* ж 1 „ и —. 9 —— ATI
Оценку Gl3 = D(х) У* __2— будем называть Gig-
оценкой дискриминантной функции D[x).
^266

Докажем ее асимптотическую нормальность.
Теорема 8.7.2. Пусть пг + п2 — 2> т, R — невырож*
денные матрицы и выполняется условие (8.7.5). Тогда
linim— P UG„ (£) - D (t)] (ях + пг -т- 2У1ЧП <*} =
= (2n)i/2Jlooexp(-y2/2)^)
где
+ (/?-чь-Й-5)/2),(?/-Й-2)/2))} +
-(аТ-оГ))/2, (Х-Й-^)/2)), ст = (п1+п2-т-2) (пТ'+пТ1).
Доказательство теоремы 8.7.2 аналогично доказательству
теоремы 8.5.1.
Аналогично, как и в §8.6, рассматриваем С14-оценку
регуляризованной дискриминантной функции
(/е + её^1^)"1 7, Й — ?)) - 2_1 ,((/е +
s~\ s~\ S>* S>s
+ её-1^)"1 Й - 5, Й + ?)][#
где 0W — неотрицательное решение уравнения
1 — km + femC Sp (/9 + &)-! = 08^.
Так же, как и при доказательстве теоремы 8.6.1, доказываем,
что оценка Gu асимптотически нормальна.
§ 8.8. Gx 5 -Оценка нелинейной дискриминантной
функции, полученной по наблюдениям над случайными
векторами с различными ковариационными матрицами
Нелинейная дискриминантная функция в случае
разделения двух объектов на основе использования нормальных
распределений (см. §8.3) равна
2-ч-и-^):/?гЧ^-^) + (^-^)//гг1(Т-5)-
— Indet^/ST1]. (8.8.1)
Как уже отмечалось в предыдущих главах, оценки этой
функции, полученные путем замены al9 a2J Rx и R2 их
267

эмпирическими стандартными оценками, неудовлетворительны
из-за их медленной сходимости к истинным величинам.
Поэтому вместо первых двух слагаемых в выражении (8.8.1)
целесообразно использовать их С14-оценки, а вместо
последнего слагаемого — Gj-оценку
Gt (R{) = Indet R£ + In [(n—l)m (AZ.1)-1] + In [n {n - m)"1],
/ = 172^
Из теоремы 6.1.1 следует, что если вместо условия (6.1.2)
взять
HnWoo In [п (п — ту1] = О,
то plim^ [Gt {R±) — G, (R2) — In det R^T1] = 0.
Таким образом, полученная в результате компиляции двух
оценок G14 и Gx оценка G15 выражения (8.8.1) в силу свойств
оценок G14 и Gt при некоторых условиях (которые точно
указаны в соответствующих теоремах) будет состоятельна,
где х — нормальный случайный вектор, не зависящий от Rx
и R2.
ГЛАВА 9
ПРИМЕНЕНИЕ С-АНАЛИЗА В ОПТИМАЛЬНОМ
СТОХАСТИЧЕСКОМ ПЛАНИРОВАНИИ
ЭКСПЕРИМЕНТОВ
В настоящей главе изучены различные свойства
ковариационных матриц оценок неизвестных параметров,
полученных с помощью метода наименьших квадратов при условии,
что матрица контролируемых переменных содержит
случайные ошибки. При анализе различных задач планирования
можно заметить, что во многих случаях провести
эксперимент в заранее запланированных точках фазового
пространства не удается. Оценки параметров получаем в некоторых
других точках, о которых можно в большинстве случаев
высказать предположение, что они отличаются от исходных
на некоторые случайные величины. Первый важный вопрос,
который до сих пор был не выясненным, заключался в
нахождении условий существования ковариационных матриц
оценок параметров. Идею применения методов G-анализа
в задачах планирования экспериментов можно изложить
следующим образом. Пусть есть уравнение нелинейной
регрессии # = /(*, а) + е; у £ Rp\ х £ Rm\ а £ Rs\ е — вектор
268

ошибки наблюдений. Предположим, что каким-либо образом
найдена оценка а вектора неизвестных параметров а. Тогда,
используя эту оценку, находим G-оценку функции f(x,a)
с помощью методов, изложенных в главах 5 и 6.
§ 9.1. Условия существования моментов
случайных ковариационных матриц оценок
параметров систем со случайными шумами
Рассмотрим линейную модель множественной регрессии
Т+ЛГ=^ (9.1.1)
где с — вектор неизвестных параметров размерности т\ А —
прямоугольная матрица планирования размерности п х /л;
у— вектор наблюдений размерности п\ е — вектор помех
размерности п.
Следует отметить, что в реальных условиях трудно
добиться того, чтобы эксперимент был проведен в заранее
запланированных точках. Это объясняется естественными
погрешностями, которые экспериментатор допускает во время
установки уровней факторов при испытаниях. В большинстве
случаев можно предположить, что в реальных условиях
элементы матрицы А — случайные числа.
Оценка параметров по методу наименьших квадратов
Т=Нтб|0(/б + ЛМ)-1Л/"у.
Если вектор помех е не зависит от матрицы Л, имеет
нулевое математическое ожидание и ковариационную матрицу
/, а у элементов матрицы А существует совместная
плотность распределения, то эта оценка будет несмещенной, а
ее ковариационная матрица
#: = М (с —7) (с —~с)' = М (А'А)"1.
Важным вопросом является нахождение условий
существования математического ожидания матрицы (А'А)"1.
Теорема 9,1.1. Пусть элементы матрицы А = (£*/);
£ = 1, л; / = 1, т\ п — т > 2 случайны и у них существует
совместная плотность распределения р{Х)\ Х=*{хц)\ i =
269-

= 1, n\ j = 1, m, обладающая следующими свойствами: p {X) =
= 0, если SpX'X>c>0; p{X)<g{X'X)\ g{X'X)
—измеримая функция и
где Z — квадратная вещественная матрица т-го порядка.
Тогда М5р(ЛМ)-1<оо.
Доказательство. Очевидно, что
М Sp (A'A)-i = iSx>x,x<cp (X) Sp (X>X)-i dX.
Введем замену переменных X—SH, где S —
неотрицательно определенная матрица т-го порядка;
Н—ортогональная матрица. В результате имеем (см. § 1.3)
М Sp (A'Ay1 = сг \р {WH) Sp S"1 det S<«-*-1>/2dS \i (dH),
где сг — некоторая постоянная; ^i — мера Хаара на группе
я-мерных ортогональных матриц.
Очевидно, что
MSp^M)*-1 < c1^SpS<cg(S)SpS'1deiS^m-^2dS.
При условиях Sp S < с, п — m > 2 справедливо неравенство
Sp S"1 det S(n-m-W2<e2 det S^1/2,
где с2 — некоторая постоянная.
Поэтому
М Sp (А'АГ < вв JSpS<e g (S) det Sr-WdS =
= c* $ sPs<c 8 isl/2U (Sl*2Uy) det [SU*U (S^U)']-1** dS \x {dU)9
где U — ортогональная матрица m-ro порядка.
В этом интеграле сделаем замену переменных S^2£/ = Z,
где Z — квадратная вещественная матрица m-го порядка.
Тогда из этого неравенства, используя выражение для
Якобиана такого преобразования (см. §1.3), получаем
М Sp (A*A)* < c4 lSvZZI<cg {ZZ') dZ < oo.
Отсюда и следует утверждение теоремы. Теорема 9.1.1
доказана.
Аналогично получаем и следующее утверждение.
270

Теорема 9./\2. Пусть элементы матрицы А = (£#);
i= 1, л; / = 1, т случайны и у них существует совместная
плотность распределения р{Х), обладающая следующими
свойствами: /?(Х) = 0, если SpX'X > с>0; р (X) < g{X'X)\
g{X'X) — измеримая функция и
$sPzz'<cg(zz')rfZ<oo,
где Z — квадратная матрица т-го порядка.
Тогда при n>m+2k MSp (Л'Л )-*<«>, где k= 1,2, ...
целое число.
§ 9.2. Спектральный метод нахождения моментов
случайных ковариационных матриц
В этом параграфе найдены математические ожидания
обратных симметричных случайных матриц планирования, а
также условия существования математических ожиданий
обратных матриц.
Пусть В —матрица планирования размера nxtn\ \ —
собственные числа матрицы В'В\ Л = (ЯД/) — матрица
собственных чисел. Как уже отмечалось в §9.1, в достаточно
общем. случае М Sp {В'В)"1 существует, если п — т > 2, где
п — количество строк; т — количество столбцов матрицы В.
Это условие является типичным при нахождении моментов
обратных случайных матриц.
Докажем следующую теорему.
Теорема 9.2.1. Пусть В — случайная вещественная
матрица размера п х т, плотность распределения которой
р (X), существует, ограничена для некоторого е>0.
SL, supers!', ГЦ- *?-т-т ^—2,/2 П>/ <*< - м х
X р {Hmk^H'JJM) v{dU)p (dHm) Пi+i db, < oo; (9.2.1)
L = {0<X1<...<Xm, ftu>0, i=T7m},
где Hm, (/.("> — ортогональные матрицы; \i (dHm), v (dU) —
нормированные меры Хаара на группе матриц Нт) U =
Тогда
ц/г||! = 11М(В'вп|<оо.
, Доказательство. Рассмотрим интеграл
lsm>oSZlp (SlJL2U«>) det 5£-m-1,/2 dSm v (dU\
271

и сделаем в нем замену переменных Sm = #тЛт#^ (см.
§1.6). Тогда
Sp М (В'ВГ = с ХГ=1 Jl. о<х,<. AT1 П^ М"~т-1)/2 X
X П>/ (^ - М Р (#«Am/2//'ml/(n>) Ji (d//m) V (rf£/) dAm +
+* SLi J ^ *,<• *г' П"м ^~1)/2 П>, <*< - */> x
X /7 (НтАЦ2Н^) ix (dHm) v (Д/) dAm, (9.2.2)
где 0<c<oo.
В выражении (9.2.2) первая сумма конечна, так как
конечна сумма (9.2.1), а вторая сумма равна
SZLi М {vTlht > е} Р [v,- > е} < те,
где v*, t=l,m — собственные числа матрицы Б'В. Теорема
доказана.
Следствие 9.2.1. Если элементы матрицы В
распределены по совместному невырожденному нормальному закону
и п — /п>2, то ||#||<оо.
Доказательство. Так как элементы матрицы В
распределены по совместному невырожденному нормальному
закону, то существует такое а > 0, что
p(X)<cexp{-aSp(X-A)'(X-A)l
где с > О — некоторое постоянное число; А — матрица раз
мера п х т. Используя это неравенство, получаем
suPo<^<e 5о<я,1<...<лда.А1<>о§ г-Гт ГЬ>/(^ — М х
х пг=2^т~1)/2^ ПГ=2^- <
хехр {-ссЛ'Л - а £2U X, + а Е£Д*1/2ЭД х
X ГЪ>/(^ - М I* (<*#«) v W П«А
где
Lx = [0<Ья < ... < Хт; hu> 0, £ = ТТ^г};
Поскольку J ^i {dHm) v (dUn) = 1 и п — т > 2, то интеграл || # ||
конечен. Следовательно, утверждение следствия 9.2.1
справедливо.
272

Следствие 9.2.2. Если элементы матрицы В
распределены по совместному невырожденному нормальному закону
и п — m^2k, то \\Nl(B'B)-k ||<oo, где k>0— целое число.
§ 9.3. Применение в теории планирования экспериментов
случайных матриц Адамара
В последнее время матрицы Адамара и методы их
построения широко применяются в прикладной математике при
построении некоторых типов блок-схем и кодов, а также в теории
планирования экспериментов. В своих работах Бокс показал,
что матрицы Адамара относятся к такому классу линейных
планов, которые обладают рядом оптимальных свойств:
ортогональностью, рототабельностью и минимальной дисперсией
оценок коэффициентов регрессии. Приведем известное
определение и свойства матрицы Адамара.
Матрицами Адамара называют квадратную матрицу А =
= (ац) порядка п, элементы которой <%/ = ±1 при условии,
что имеет место равенство
ЛЛ'«=л/. (9.3.1)
Максимальное абсолютное значение определителя матрицы
Адамара
max*.,, det A = пп/\
Матрицы Адамара обладают следующими свойствами:
1) АА* = А*А; 2) перестановка строк или столбцов и
умножение элементов какого-либо столбца или строки на —1
сохраняют свойства матрицы- 3) прямое произведение двух
матриц Адамара тоже является матрицей Адамара,
порядок которой равен произведению порядков сомножителей.
Матрица Адамара называется нормализованной, если
первая строка и первый столбец ее состоят из +1.
Существование матриц Адамара доказано только для
нескольких классов значений п. В связи с этим актуальна
гипотеза Фреше: пусть Хп — множество квадратных матриц я-го
порядка, элементы которых принимают значения либо +1,
либо —1; гипотеза Фреше — Сильвестра заключается в том,
что при п^4 тахл ^х det An = пп/2 тогда и только тогда,
когда п = 4fe. Другими словами, матрицу Ап, п > 4,
составленную из элементов ±1, можно выбрать ортогональной тогда,
и только тогда, когда п = \k\ k = 1, 2, .. . .
273

Эта гипотеза существует давно и известно большое число
примеров, когда эта гипотеза справедлива, однако в общем
случае гипотеза Фреше не доказана.
Необходимость гипотезы Фреше доказывается легко.
Выберем элементы ац, i, j = 1, п матрицы Ап так, чтобы
axi = 1, ait = 1, i == 1, п. Легко видеть, что такой выбор
элементов не ограничивает общности рассуждений, так как
используя свойство 2, любую матрицу Адамара можно привести
к нормализованному виду.
Без ограничения общности рассуждений можно считать,
что во второй строке на первых л/2 местах стоят +1» а на
последних —L Обозначим через tx количество +1 на первых
л/2 местах в третьей строке, а через t2 — число —1 на
остальных л/2 местах. Используя ортогональность строк матриц
Адамара, а именно третьей строки с первой и со второй,
получаем tx = t2, t± + £2 = л/2, откуда л = 4tv т. е. л кратно
четырем при л > 4.
§ 9.4. Вероятностный метод исследования
гипотезы Фреше
Гипотезу Фреше можно сформулировать на языке случайных
матриц.
Пусть Еп = (£{/) — квадратная случайная матрица л-го
порядка; \ц\ /, ;= 1, л — независимые случайные величины и
Р1Ь/-+1} = Р1Ь/ = -1} = 1/2.
Тогда
max | det S„ | = Нш^« [М det Ef ]1/2\
Используя эту формулу, можно найти следующую оценку
снизу М. Каца:
max ) det Еп \ > (М det S*)I/2 = (л!)1^.
Для проверки гипотезы Фреше — Сильвестра можно
использовать предельные теоремы для детерминантов. В книге [9]
доказаны предельные теоремы следующего вида: для
некоторой последовательности постоянных ап» Ьп и случайных
детерминантов det S„ распределения случайных величин Ьп X
X ln| detE„l —ап] слабо сходятся к распределению некоторой
случайной величины г). Из этих предельных теорем можно
получить оценки снизу для max | det Ея | при достаточно
больших л.
274

Для вывода формулы, которую можно использовать при
проверке справедливости гипотезы Фреше — Сильвестра, нам
понадобится следующая лемма.
Лемма 9.4.1. Пусть r\(y i— 1, п — случайные величины,
распределенные по совместному нормальному закону и Mr)t=
= 0, Mr]t. = 1, / --= 1, п. При этом MnJLrn/ минимально
тогда и только тогда, когда r\it i= 1, п независимы.
Доказательство. Поскольку любую неотрицательно
определенную матрицу можно представить в виде R]= SS',
где 5 = (sf7) — нижняя треугольная матрица, то случайные
величины r]t., i= 1, п распределены так же, как и случайные
величины vf = ]2*=i siklk> гДе 5а» £=1,2,... — независимые
случайные величины, распределенные по нормальному закону
N(0, 1).
Поэтому в силу того, что случайный вектор (vx, ., ., vw,
In . •. 9 In) имеет симметричное распределение, получаем
мп?=1 г,» = мп?-,1 v?(££! snk%k + snniJ =
= £ *=> HimU v? & + ««„МЩ^Ч (9.4.1)
Легко убедиться в том, что
м(В-1)пкМ>о.
Поэтому
мп^г,? = 2Й м (|| -1) пйЧ^ + мщг/v*.
Минимум это выражение имеет тогда и только тогда, когда
s^ = 0, £= 1, л—1.
Используя метод математической индукции, получаем
утверждение леммы.
Аналогично получаем, что MIlJLi г]? максимально тогда и
только тогда, когда случайные величины r\0 i= 1, л равны
между собой. В этом легко убедиться, рассматривая формулу
(9.4.1). Поскольку 2^=i s^=l, то (9.4.1) будет принимать
максимальное значение, если некоторое sni = 1, а все
остальные snh j ф i равны • нулю. Отсюда и получаем нужное нам
утверждение. Если r\t равны между собой, то
MnJLiii? = (2л)! (л!)"1. (9.4.2)
Рассмотрим выражение
/г-"М [П^ (SLi ^/)V%]. (9.4.3)
, 275

где efe/, ft, / = 1, n — независимые случайные величины, не зави- ,
сящие от величин \k и имеющие распределения
P1bw=+1]=P{bw = -1)= 1/2.
На основании леммы выражение (9.4.3) будет принимать
минимальное значение, равное 1, тогда и только тогда, когда
матрица (г{]) будет ортогональной. Поэтому если при п — 4k
Hnwoo [(2п)\ (я!)-1 — {М ((2л)! (л!)"1 —
то гипотеза Фреше верна.
§ 9.5. Асимптотическое планирование экстремальных
экспериментов
В этом параграфе рассматриваются задачи планирования
экспериментов при выполнении условия А. Н. Колмогорова,
когда число неизвестных коэффициентов т и число
экспериментов п удовлетворяют условию
limw_>оо тп'1 =с, 0 <; с<оо.
Рассмотрим модель множественной регрессии (9.1.1).
Если не существует обратной матрицы (Х'Ху1, то регуля-
ризованная оценка (Z параметров по методу наименьших
квадратов
Та = (/а + X'XyWy', а>0. (9.5.1)
Однако провести эксперимент в заранее запланированных
точках не удается. Вместо матрицы X нужно подставить матрицу
X + S, где Н = (&/) — некоторая матрица помех.
Следовательно, в этом случае для вектора "с имеем оценку
£ = [(* + S)' (X + S) + /а]"1 (X + S)' f. (9.5.2)
Кроме того, вектор ~у', как правило, в реальных переменных
известен с некоторой ошибкой е.
Таким образом, ошибка оценивания
?а — ~с « Ra{X + Eyt — aRa'c;
R* = (/а + (X + Н)' (X + Е)Уг. (9.5.3)
Из этой формулы получаем
M\\-Ca-7\\* = mSpRa(X + E)'tr>(X + 3)Ra +
+ a2SpRl?T\ (9.5.4)
276

Если помехи (элементы случайных матриц) малы, количество
параметров ограничено, то влиянием помех в формуле 9.5.4
можно пренебречь. Однако при больших размерностях
матрицы X случайные помехи S могут значительно изменить
ошибку оценивания.
В формуле (9.5.4) предположим, что а>0 фиксировано,
а компоненты е* случайного вектора "е" независимы, не
зависят от матрицы Н, Ме,- = 0, De, = л"1. Очевидно, что формулу
(9.5.4) можно преобразовать к виду
М||£ — ?\\2 = n^SpiX + Е)'(X + Б) Rl + a2SpRtcv.
Теорема 9.5.1. Пусть для каждого значения п
элементы матрицы Е независимы, распределены по нормальному
закону с параметрами 0, о2п"г, 0<а2<оо, \хп (х) ==> \х (х),
где \\>п (х) = т'1 S^Li F (х — Xk)\ \x (х) — некоторая функция
распределения; \ — собственные числа матрицы Х'Х, Тогда
lirrw.0 МаГ1 Sp (X + Е)' (X + Е) R2a =
= a (d/da) т (а) + т (а), (9.5.5)
где т(а) удовлетворяет уравнению
т(а) = с j~ [а (l + о2т(а)) + а2 (1 — с) +
+ х(1 +о2т(а))-Ы\х(х). (9.5.6)
Решение уравнения (9.5.6) существует и единственно в классе
аналитических функций при а>0.
Доказательство. Очевидно, что для любой матрицы X
Sp Х'Х (/а + Х'Х)-2 = a (d/da) Sp (/а + Х'Х)"1 +
+ Sp(Ia+X'X)-1.
Матрицу X можно представить в виде X = U1AU2f где Ut
и U2 — ортогональные матрицы; Л — диагональная матрица
собственных чисел матрицы (Л'Л)1/2. В силу того, что
распределение матрицы Н инвариантно относительно ортогонального
преобразования, получаем
MSp{la + {X + E)'(X + E))"1 = MSp(/a + (A +
+ В)' (Л + Е))~\ Л' = (Л, 0) - п х т.
Пусть Ъц — элементы матрицы В = (А + S)' (А + Е).
Очевидно, что
Sp(/a + 5ri = S^i^
277

где ru — диагональные элементы матрицы Ri = (/ос + В)"1.
Для элементов ги справедлива формула (см. §6.14)
rkk = [« + E?=i bli — Е*¥*. /=£* ^/ X", р-1 bubbfiipbbX1, (9.5.7)
где rf/ — элементы матрицы Rk : = (/а + (Л + 3)* (Л + S)J"1,
матрица (Л + 2)Л получена из матрицы Л + 3 заменой
элементов k-Pi строки нулями. Очевидно, что rkik = О, ХФ к.
Считаем, что в этой формуле суммирование ведется по всем
i, j = 1, л, за исключением i = k, j = k.
Преобразуем (9.5.7) к виду
rkk = [а + а2 + %\ - <Лг1 Sp Rk(A + Щ'к (Л + S), -
- К ЛиФк. mr%bikblk + гы]-\ (9.5.8)
где
»1л = IjLl ЬА/ — CJ2 — %k — E***. /¥=* rU E/, P=lbabiplkilkp +
+ a«/r* Sp R, (Л + E)/e (Л + B)i - К YiUlkP E<. i*krkubikbip.
Введем обозначения Tkp = (bipbjP) — квадратные матрицы я-го
порядка, у которых k-и столбик и fe-я строка имеют нулевые
элементы.
Очевидно, что
Е*£*. 1фкГкф1кЬ\к = Sp R^.
Легко проверить, что
Sp Rk1* = (^ Д) [ 1 + (7?S, Q]"1, (9.5.9)
где
я* = (/« + 2Р+* it)"1; К = (&,*,... > 6„ft).
С учетом этого равенства преобразуем (9.5.8) к виду
г л = ia + сю2"-1 Sp /?ft + а2 — (Аи/Г1 + А| [l +
где
е2„ = е1л + [ 1 + (/$;, К)]'1 - [ 1 + о2""1 Sp Rkk]~\
Используя (9.5.9), получаем
plinw [ | AT1 (Sp Rkk- MSp Д) |+ | n-1 (Sp/tf — M Sp#) | ] = 0.
Из этой формулы следует, что
plinWooe2,2 = 0.
278

Поэтому для тп (а): = гГгШ Sp R справедливо уравнение
тп (а) = я-1 £Й, [а (1 + <т2т,7 (а)) + о8 (1 — с) +
+ %Ц\ + а^/Ма))"1]-1 + ОС1)- (9.5.10)
Введем функции
[in (X) = /Г1 S*=l Z7 (* ~ ^).
Тогда формула (9.5.10) будет иметь вид
ль(«) = {Ла 0 + <Лял(а)) + а2(1 -с) +
' +x(l + a2/72n(a))-1]~1dtxnW + 0(l).
Выберем сходящуюся подпоследовательность функций /л„/ (а).
Это можно сделать, поскольку т* (а) является
преобразованием Стилтьеса некоторой функции распределения. Тогда,
переходя к пределу при п' -> оо, имеем тп (а) -+■ т (а) ит(а) —
аналитическая функция при а> 0, удовлетворяющая уравнению
/72(a) - j0~ [a (1 + a2m(a)) + a2(l -с) +
+ x[l + o2m(a))f1d\i{x).
В силу единственности решения этого уравнения в классе
аналитических функций при а>0 и вся последовательность
тп(а) будет стремиться к пределу при л->оо. Теорема 9.5.1
доказана.
§ 9.6. Оценка G^-ошибки оценивания
в методе наименьших квадратов
Пусть задана система уравнений
где А =з (сщ), /= 1, mnf i = 1, п — матрица планирования
эксперимента, которая неизвестна, а известны лишь
наблюдения А + S над этой матрицей; S = (|ц), / = "1, тп9 i= I, n —
случайная матрица помех, T'=(cl9i = 1, mn)— вектор
неизвестных параметров, у' = (yif i = 1, л)— вектор наблюдений,
£' = (5ft i== 1» n) — вектор ошибок наблюдений, который
стохастически не зависит от матрицы S.
Предположим, что М£ = 0, Щ £' = //г1,случайные
величины \ц независимы и распределены по стандартному
нормальному закону N (0, 1). Эти предположения о случайных
279

величинах введены с целью упрощения формул для оценок
вектора 7Г. Если матрица (А'А) невырождена, то в качестве
оценки вектора с можно взять оценку, полученную по методу
наименьших квадратов:
"с={А'А)-1А'ут. (9.6.2)
Из (9.6.1) и (9.6.2) получаем, что ошибка оценивания
М || ~с — f ||2 = Sp (A'A)-\ (9.6.3)
В этом параграфе будем решать следующую задачу: как, имея
всего лишь одно наблюдение X « A -f S, можно оценить
выражение (9.6.3) при выполнении условия lim^*, тпггх = с<С 1?
Для этого вместо (9.6.3) рассмотрим выражение
М Sp [(Л + Е)'(Л + Е)]-1.
Заметим, что для любого вещественного 0>О
| /г1 Sp (А'А)-1 — п-1 Sp (/9 + п'Ы'А)-11 <:
<9А2-15р[/г-М,Л]-2. (9.6.4)
Используя доказательство теоремы (9.5.1), получаем, что
функция
шп (9) = nrm Sp [/9 + п'1 {А + Е)' (А + В)]"1
удовлетворяет уравнению
тп (9) (1 + тп (9))"1 = с J0°° d^n (x) [9 (1 + тп (9))2 +
+ {1-с){1 + тп(в))+х]-\ (9.6.5)
где \in (х) — нормированная спектральная функция матрицы
п~хА'А. Из уравнения (9.6.5) получаем, что если 9 является
неотрицательным решением уравнения
9(l + /n„(0))2 + (l-c)(l + m„(9))-9; 9>0,
то уравнение (9.6.5) можно записать
с-*тпф){1 +тп(ё)У1 = J0~ (9 + х)-1 фя(х) + 0(1).
Итак, в качестве оценки величины гг1 Sp (/0 + ггхА'А)"1 можно
взять величину
Ои = с^тп(6){\+тГ1(6)У\
mn(Q) --= n^SpllQ + Х'ХГ1;
280

X ж A + E — наблюдение над матрицей Л; 0 —
положительное решение уравнения
9(1 +mn(9))2 + (1 -с){1 + inn(KJ) = 9> 9>0. (9.6.6)
В § 6.9 доказано, что при достаточно больших п > п0 и 0 >
>с>0 положительное решение этого уравнения существует
и единственно с вероятностью рпу стремящейся к единице при
Поскольку для-любого 0>О (см. §5.10)
plim^oo[/h„(0) — тп(Щ =0,
то так же, как и в § 6.9, доказываем, что если
s\ipin~1'k{(A'A)<.oo9 linwoo/wr1 = с< 1,
то
plim^oo [G16 — гг1 Sp (/0 + ггЫ'А)-1] = 0.
Но тогда, если дополнительно
TEW n Sp (А'А)~2 <оо,
то из (9.6.4) следует
limeiopliiiWoo [G16 — Sp (Л'Л)"1] = 0.
ГЛАВА 10
G-ОЦЕНКИ ФУНКЦИЙ ОТ НЕИЗВЕСТНЫХ
ПАРАМЕТРОВ
В этой главе основные уравнения G-анализа использованы
в методе максимального правдоподобия, в методе наименьших
квадратов оценивания параметров нелинейных систем, в
задачах классификации, в методе стохастической аппроксимации.
Кратко на языке операторного формализма метод нахождения
G-оценок можно изложить следующим образом: пусть f(x)t
x£Rm — некоторая борелевская функция и необходимо по
наблюдениям Т19 ..., !tn над случайным вектором g (М£ = 7t)
найти состоятельную оценку величины f(a)- Тогда в качестве
такой оценки можно взять оценку
ехр(—A)f(T+~x)r^.9
281

где z£Rm\ T = пГ1 S"=i xk\ А—некоторый
дифференциальный оператор. Однако такая формула некорректна и вместо
нее нужно использовать различные регуляризованные аналоги.
В этой главе показано, как это можно сделать.
§ 10.1. Состоятельность оценки G17
преобразования Фурье функции от неизвестных
параметров
Предположим, что в Rmn заданы абсолютно
интегрируемые борелевские функции f(x), у которых существуют
частные производные второго порядка и необходимо по
независимым наблюдениям л\, ..., ltn над т„-мерным случайным
вектором т^ распределенным по нормальному закону N (~а, Rmn),
найти состоятельную оценку величины f(a).
Рассмотрим функции
U{t, t) = M/(7 + ^+^/2,^1/2),
где f>0 — вещественный параметр; ~l"£Rm"; v —случайный
вектор, распределенный по нормальному закону N (О, Rmn).
Из главы 5 следует, что если M(d2/dzidzi)f{t +~a +
+ "v"^2^1/2) <оо, то эти функции удовлетворяют уравнению
(d/dt)u{t, 1) = Au{t, "г); и(1, 1) = М/(Т + дГ);
А (2пГ* %™и т(dydztdzj); и (О, Т) = /(?+о"),
где гц — элементы матрицы Rmn\ It ==/Г12 "==!**. Возьмем
преобразование Фурье от обеих частей этого уравнения. Тогда
для функции
ф(/, t) = £ exp(i(Т9 !")) и(U t) dt\ ~s£Rm»
имеем
(д/dfj ф (*, t) - — {2П)-1 {Rmn~sf t) ф (f, t).
Из этого уравнения находим
Ф(0, 7) =ехр{(2п)-1(/?тД, Т)} ф(1, t).
В качестве б17-оценки функции ф(0, Т) возьмем функцию
°17('^) = ехр1(2/г)"1(^Д, "^)}Ф(1, ~s),
$(1, Т) = ^ ехр (*(!", "?"))/("а + ~z)dT.
282

В этой-формуле считаем, что функция / абсолютно
интегрируема. Очевидно, что эта оценка несмещенная. Однако в таком
виде она, по-видимому, не пригодна для нахождения
нетривиальных условий, при выполнении которых
plim^oo [G17 (Т) —• jexp(t(T, ~z)) f(~a+t) dz\ = 0,
поскольку
J exp (i (?, T)) f(a +~z)d~z = exp [i (T, (a —
— "a))] J exp(i(7, T))fCa+7)(fz
и Случайная величина (IT, (~a —"а)) распределена так же,
как и v/г*"1 (Rm„ s, "s"), где v—нормально распределенная
величина с параметрами 0 и 1.
Из этой формулы видно, что если для некоторого ~Т
plimrt->oo n^iRnQT, ~t) = 0,
то оценка G17 (Т) функции ] exp (/ (t9 Т)) / (a-\-~z) dt
состоятельна.
Это утверждение можно обобщить, если воспользоваться
различными регуляризованными формулами, которые будут
получены в следующих параграфах путем интегрирования по
переменной ~s оценки G17(~s").
Для доказательства состоятельности таких оценок будем
пользоваться предельными теоремами для сумм
мартингал-разностей (см. главу 3). Докажем утверждение, необходимое при
доказательстве асимптотической нормальности и
состоятельности G-оценок.
Теорема 10J.1. Пусть
linWco гг1 ЦГ/ii гцЖ (д/дгД j (z + ~а —
— xin'1) {д/dzj) f(z+~a— x^tr1) = 0, (10.1.1)
lmw j j [j j i (s& (Rifj)k (d/dzk))2 f (т+s+
+ №j?ln-lY'2n^ + rtn-4)\dt}\xp{- l)/2-
—1% *)/2}{2n)-mdTydxrr* = 0. (10.1.2)
Тогда для любого 7
НЩп*-А11/(а"+-"2) — M/(i + t)J2 = 0. (10.1.3)
283

Доказательство. Представим fCa + ~z)~MfCa +z)
в следующем виде:
где
yk (г) = Mk-xf (t + -a) — mkf (г + i);
Щ — условное математическое ожидание при фиксированной
минимальной а-алгебре, относительно которой измеримы
случайные векторы 'xk+i, ..., х^>
Очевидно, что
M[/(i + T)-M/(i + t)f=SL.M^(T); (10.1.4)
yk (?) = Mft_, [/(?+■? + /?ig v, (я - W +
+ Rl£nlikn-i) -f [? + ■£+ Rl$Tk (n - 1 yP л-»)] _
- Mj/ (? +1 + /?lg^ (л - 1)U2 n-i + Ru*Jk „-1) _
_/(? + -£ + ^ (Л - 1)1/2 „-!)] t
где случайные векторы v*, ul независимы и распределены
N{0,1).
Для функций / справедлива формула Тейлора
/(? + !)-/(?) = ££={ (ft I)"1 Wli ht (д/дг))к f (?) +
+ ap(?, I),
где
«Л?, ft") = J!(i-О"-1 [(Р- i)ir1(SSA(a/^))p/(?+
+ /Г) d/.
Используя эту формулу, условия (10.1.1), (10.1.2), а также
формулу (10.1.4), получаем (10.1.3). Теорема 10,1.1 доказана.
Предположим, что случайный вектор | распределен по
-*• —*■ —*■ —>-
произвольному закону и существуют Mg = a, M(£ — a) x
X (| — а)' = R. Так же, как и в главе 5, для функции
н„ (*, ?) = М/ (? + о" + /1/2 St-i (£ — "«) п"1); &»"*<«
<(k+l)n~1,
имеем уравнение
"*.('» "«) «/{"?■ + "а) + Jo,^«n (й. "г) 4» + е„,
284

где
% = 2-i м И (! - х)2 2~Х (2й Л« (№<))' / (Т +
+ tl/2 Ssti1 (£ — 7) л"1 + */J) d*; "ft* = /i/2 (j5 — 7) п-К
(10.1.5)
Это дифференциальное уравнение является основным при
выводе регуляризованных оценок функций /(7). К нему также
можно применить преобразование Фурье и метод
квазиобращения. Однако в отличие от метода квазиобращения несмещен'-
ные оценки для преобразований Фурье функций f(~a+~2)-
можно найти без помощи этого дифференциального уравнения.
Действительно, предположим, что функция / абсолютно
интегрируема, и рассмотрим функции
ф(Т) = ехр {(2П)-1 (Rmli, 7)} j exp[*(7, 7)]/(7 + 7)dz.
Эта оценка является асимптотически несмещенной при
условии, что Инь»-.» nr1(RmTt 7)<оо, linWcx>M|(7, 3i£ — 7) х
X п1/2|2+б<оо. Очевидно, если при некотором 7 Итп+<о гГ*х
X (/?/яи7, 7) = 0, то, используя центральную предельную
теорему, получаем
plinw*, [ф(7) — J exp[i(7, ~z)]f{~z+~a)dt\ = 0.
Аналогичные оценки можно получить для преобразований
Фурье функций f(Zm + Rm), где йтп— эмпирическая
ковариационная матрица тп-го порядка, полученная по
наблюдениям Tv ..., 3£ над случайным вектором g , Zmn — матрица
параметров za- mn~vo порядка.
В этом случае в качестве оценки преобразования Фурье
абсолютно интегрируемой функции f(Z + R) возьмем
выражение
-ф(5) = exp [iSp SR] det [/ — 21RWSRW(лг—i)-i](«—D/2 j f (Z+
+ R)exp[iSpSZ]dZ,
где S — симметричная матрица параметров m„-ro порядка, под
корнем комплексного числа понимаем его главное значение.
285

Очевидно, что
г|> (S) = ехр [i Sp (R — R) S) { ехр [/ Sp SZ] f (Z +
+ R) dZ exp [i Sp SR] det [/ — 2iRl'2SRV2 {n — i)-i]<*-i>/2.
Если случайный вектор £ распределен по нормальному закону,
то эта оценка преобразования Фурье несмещенная. Если же
известно только, что у вектора £ существует ковариационная
матрица, то эта оценка при условии, что
Hm„0On-1|SpI/?1/2S/?1/2)2<0O> б>0;
lffiWoo М ) Sp S (ад — R) л-1/212+5 <оо
будет асимптотически несмещенной. Кроме того, при условии,
что дополнительно
эта оценка будет состоятельной.
Если случайные векторы xk независимы, но распределены
неодинаково и у них существуют одинаковые ковариационные
матрицы R и Hindoo (i?"s\ ~~s) re1 <oo, то в качестве оценки
преобразования Фурье ] ехр [i(T, ~z)]f(t + ~а) d~t возьмем
выражение
ехр [— £LiМ{ехр [i{(xk — ~а), ~s)rf1} — l}] J f(z +
+ ~a)exp[i(T, ~z))(Tz.
Эта оценка будет асимптотически несмещенной, так как
на основании предельных теорем для сумм независимых
бесконечно малых случайных векторов (см. главу 3)
plinw.о [ехр {—SLi M [exp [t {(x*k — "а), t) n"1) —
— l]}JVlexp[i(~a — ~а), Т] =* 1.
§ 10.2. Состоятельность оценок G18 и G19
регуляризованных функций от неизвестных
параметров
С помощью оценок G17 можно найти различные регуляри-
зованные формулы для оцениваемых функций f(z +"a").
Например, рассмотрим оценку
Ge = (2п)Гтп J G17 (T) ехр [-8 (s, t)/2] dl =
286

= j" exp {(2/г)"1 (R~s, 7)} J exp (/ (T, ?)) / (a +
+ T) dT exp (—e(~s\ T)/2) rfT,
где 8 > 0 выбрано таким, чтобы матрица /е — R была
положительно определенной.
После замены переменных
7 = (Is — Я)-'/2 "у
интеграл преобразуется к виду
Ge = (2я)-"!« det (/в — Я)-"2 J exp {- (1/, ^")/2 +
+ I [(/в — R)-l>2~y, 7]} f(a + T)dT = det (/e — Я)-1'2 X
x]exp{—[(Je — R)-1~z, 7]/2}f(~a +7) d7 (2n)-m"'2.
Снова сделаем замену переменных г = (/е — R)l*2y. Тогда
G8 = М [/ (? + (/е — #у/2 v")/^], (10.2.1)
->■
где v — случайный т„-мерный вектор, распределенный по
нормальному закону N (0, /).
Используя свойство несмещенности оценки G17, получаем,
что
MGfi = М/(я + ev). (10.2.2)
Это выражение будем называть регуляризованной функцией.
Очевидно, что оценка G8 обладает одним существенным
недостатком: величина г не может быть произвольной и ее
нельзя устремить к нулю в формуле (10.2.1). Поэтому оценку
G8 нужно изменить так, чтобы она была лишена этого
недостатка. Это можно сделать различными способами.
Например:
Gl8 = С6 J[(^8/)t7]<6 Gi7 Й exp [— е (Г, 7)12] ds,
где Сб — некоторая постоянная; б>0; е>0 выбрано таким,
чтобы матрица R — е/ была неотрицательно определенной,
либо
G28 = ев J G17 (s) exp [—6 (R s, s)2] ds.
Общий вид таких регуляризованных оценок равен
С18 = jG17(s)98(^dX
287

где ф8 (s) — некоторые измеримые функции, удовлетворяющие
условиям
$ ехр ((2л)-1 (r79 7)) | J exp {i £, 7)) / (*) dT| | Фе (s) | dT< оо,
для любой точки & непрерывности функции f(z)
lim8_o Hindoo [] exp(i(s, 2)) f(z + &) <p8(s)dzds — /(&)] =0
и
p lim [G18 — M G18] = 0. (10.2.3)
Любую регуляризованную оценку, полученную с помощью
функции ф8 (s) и оценки G17, будем обозначать символом G18.
Соотношение (10.2.3) доказываем с помощью предельных
теорем для сумм мартингал-разностей. Условия, которые
при этом нужно накладывать на функции / и ф8, имеют
такой же вид, как и в формулировке теоремы 10.1.1.
Рассмотрим метод квазиобращения нахождения
состоятельных оценок регуляризованных функций. Вместо
уравнения (см. § ЮЛ)
du{t;$/dt=*Au(t97i9 и(1, z) = /(z + a) (10.2.4)
рассматриваем следующее;
диг{и 7)1 dt = А8ие (/, Т); иг (1,1) = Н* + а), (Ю.2.5)
где Л8— некоторый дифференциальный оператор такой, что
это уравнение относительно начального условия а8(0, z)
разрешимо и
linwo plimn^oo [ue (0, 0) — f{a)} = 0.
В качестве оператора Л8 можно, например, взять оператор
Л8 = А + еЛ2, е>0. Заметим, что к уравнению (10.2.5)
с таким оператором Л8 можно снова применить
преобразование Фурье. Полученная таким образом оценка будет равна
G2e. При нахождении решений уравнения (10.2.5) можно
воспользоваться спектральной теорией оператора Л8. Этот
дифференциальный оператор задан во всем пространстве FTn
и его спектр непрерывен. Поэтому целесообразно заменить
оператор Л таким Л8, чтобы его спектр был дискретным,
а его собственные функции образовывали в гильбертовом
288

пространстве L2 полный ортонормированный базис. Например,
в качестве такого-оператора ЛЕ можно взять
Л8 = !Л + б9(7)] + е[Л + б<7(7)]2; в, б>0, (10.2.6)
где q(z)— некоторая измеримая функция такая, что
оператор А + 8<7(z), z£Rmn удовлетворяет перечисленным
условиям. Из спектральной теории операторов следует, что в каче-
->
стве функции q{z) можно взять любую измеримую неотри-
—>•
цательную функцию такую, что lim ->. ?(z) =—оо.
Обозначим hk(S) и ф&б(г), ft = 1, 2, ...—соответственно
собственные числа и функции оператора A-\-8q(z).
В качестве регуляризованной оценки функции / (а) возьмем
«■"\
G19 = JlfeLi exP l—^ (б) — « ^ (б)1 Ф*6 (0) J / (а + z) Щб (z) d г.
В этой формуле предполагаем, что /£L2> S>0, в>0.
Так же, как и при доказательстве состоятельности оценки
G17, используя предельные теоремы для сумм мартингал-
разностей и раскладывая функцию / либо ср*б в ряд Тейлора
при выполнении некоторых условий, доказываем, что
plim„_[G19 —MG19]=0.
Найдем MG19. Предположим, что f£L2 и M{d2/dzidzj) x
—*- —>• —>■ —>•
x/(z + a)<oo. Так как функция M/(a+z) удовлетворяет
уравнению (10.2.4), то
ди (t, ф/dt = [А + 8q (z)] u{t,^j — &/(z) u (*, 7);
«(0, 7) = /(1+7).
Решение этого уравнения равно
"^
М / (а + z) = У]^! ехр (Я* (б)) ф*6 (г) J / (7+ х) X
х Фм (7) (Ь- б j; 2^, <p--*ki*> ФАв (7) х
X J q(x)u(xt x)qks(x)dxd%.
Подставляя значение этого интеграла в MG19, получаем
М Gi9 =* IX, i exP I—s А* (в)1 Ф*б (СО \ f (7+ х) ф*б (*) d7— б X
X К Е-1 *~^ (б>~8^2 (б) Ф*в (°) Ь W w <т> *) Ф*6 W d"^} dT-
10 7.306 289

Заметим, что ^(6)->-—оо при &->-оо, д(х)->-оо, ||*||->-
->-оо, поэтому
lim8 * о Ь'тб * о М G19 = / (а).
Если случайный вектор I распределен по произвольному
закону и Mgg' — М£М£' = #, то для функции /(а) также
можно использовать С19-оценку, но теперь MG19 будет иметь
другой вид. Предположим, что функция ип (t, z) в уравнении
(10.1.5) такова, что существует непрерывная функция и (if, z)
такая, что для любого конечного z
lim„^eosup0</<i [ \un(tf z) — u(t, г)) +
+ \Aun(t97) — Au{t9 2)|] = 0,
функция и (tf z) ограничена и у нее существуют частные
производные du(t, z)/dt\ d2u(t, z)/dzidzj.
Вместо уравнения (10.1.5) рассмотрим уравнение для
функции u(t, z):
ди (/, z)/dt = Аи (t, z) + е„ (t, z) + гп (t, г), и (0, z) = / (a + z),
где En(t, г) — некоторая функция, стремящаяся к нулю при
я-^оо. Из этого уравнения получаем
М ({а + 7) = 2jb=i exp [К* (6)] ф*б(г) J f(p+~x) X
X Ф*б (х) ехр (—б? (*)) d* + Jo ЦГ=1 ехР № — т) ** (б)] X
X Фйб (z) j exp [—6^ (*)] Еп (t, x)f (a + x) yk& (x) dx.
С помощью этой формулы находим MG19.
Отметим, что при нахождении G-оценок функции f(z + a)
можно также воспользоваться преобразованиями, которые
были введены при доказательстве состоятельности оценок
Gx — G15. Например, предположим, что заданы независимые
наблюдения хъ ... , хп над случайным /п^-мерным вектором
|, распределенным по нормальному закону N (a, Rmn)-
290

Пусть / (г), г £ КШп — некоторые измеримые функции и для
—*-
любого конечного z конечные интегралы
М/ (а + z); a = /i^SZ-i Xk.
Тогда
M/£+7)=J/£ + 7)#«G/, T)d£ (10.2.7)
где
*С„ (у, Т) = (2яГт«/2 det Я~*/2 ехр [- {В£\ ХуТ -\
Qnx^—7))l2\nmn12.
—>-
Используя это уравнение, в качестве G-оценки функции f (а)
возьмем любое измеримое решение g(y) уравнения,
принадлежащее пространству функций L2
/(а + 2)= $g(y)Kn{y,l)c&, (10.2.8)
взятое в точке у = 0.
Это уравнение называется уравнением Фредгольма 1-го
рода. Оно некорректно, поскольку при малых изменениях
функции /(а + г) решение этого уравнения может измениться
на большую величину. Вместо уравнения (10.2.8) можно
рассматривать регуляризованное уравнение
Ш +~2)КпЪ,"Ъ = J g{y) Kn(y,7) #„ (м, 7) Ту + eg (я),
е>0. (10.2.9)
Отметим, что для некоторых случайных наблюдений Xk и
функций / также справедливо уравнение (10.2.7).
Предположим, что х19 ... , хп — независимые случайные наблюдения
над случайным вектором £; М (£ — a) (g — а)' = R; M g ca а;
функция /(л:) представлена в виде
f{x) = J exp [/ (I,- s)] р (s) <&,
10* 291

где p(s)— некоторые абсолютно интегрируемые функции;
выполняется условие Линдеберга: для любого е>0
lim^oo п J J М | (fo — а) л"1,1) |2 5С(|[*i — бТцл"1 > е) х
X )/7(T)|dT=0
и
. lim^oott } M !((%!— а) л"1, s) |2 j/?(s) | ds < оо.
Тогда для любого конечного г
\imn-.~Wf(a+z)—)Kn{y, z)f{a + y)dy] = 0. (10.2.10)
Для доказательства (10.2.10) нужно воспользоваться
равенством
уп : = М/(а+~г) — \Ш+~У)КпТу, ~*)dy =
= 5 {[М ехр (i (Т, —lz) /г-1,1)Г — ехр (— ЯШ/7, 1)/2п2) х
X ехр (г (а + г, s)) /? (s) ds.
Очевидно, что
Y„ <£ п J | М {ехр (/ (хх — a) rr1, s) — \—i ((х[ —~а) х
X гг\ 7) + ((7Х - ^ л"1>7)а/2} - М {ехр(- (Rm7t 7)/2я2) -
-1+(/?тД 7)/2n2}|p(7)d7
Из этого неравенства следует (10.2.10).
Любое измеримое решение уравнения (10.2.8) либо (10.2.9)
будем называть оценкой G20 функции f(a).
§ 10.3. Центральная предельная теорема
для оценок 018l G19
Оценки G18 и G19 выражаются в виде некоторых линейных
функционалов от функций /(z + #)• Докажем центральную
предельную теорему для функций f(z + a). С помощью этой
теоремы можно легко доказать центральную предельную
теорему для оценок G18 и G19.
292

Предположим, что заданы независимые наблюдения л^, ...
Хп над Шя-мерным случайным вектором £; М | =. а; измеримые
функции f(x)\ x£R n\ существуют частные производные
df(x)/dxu d2f (х)/дх<дХ].
—>- —>-
Теорема 10.3.1. Пусть для любого z£ Rm"D f(z + a)—l,
Нтп.„«М|М[вЙ — М6*| = 0; (10.3.1)
Ит„.„пМ|е„|2+6 = 0, б>0; (10.3.2)
е„ = S^i (d/dzp) f & +Т) (*„ - аг,„) /Г1 +
+ Елй-i (^2/^Р дг,) f (at+7) [(xiP -ар) (хи-а,) -rlp] tr*/2,
о, = S"=2X, л"1 + а/г"1;
IimB*. M [2^-1 (д2/^ &,)/Й + 7+ р) х
X [(Jfip — ар)(хи— a,)— rpt]]2 п~3 = 0, 0<pu<*u —а,.
(10.3.3)
Тогда для любого г
lim„^.P{/(i4-T)-M/5+o)<«}=-
= (2л)-'/2 jl„ exp(-y*/2)dy. (10.3.4)
—>■ —*■
Доказательство. Представим разность /(г + а) —
^ч
— Л1/(г + а) в виде
-"Ч /"Ч
/(Т+^)-м/(Т+^) = 2г-1т*,
где у* = M*_i / — М* /, здесь М* — условное математическое
ожидание при фиксированной минимальной а-алгебре
событий, относительно которой измеримы случайные векторы
Xk+\, ... , хп. Для таких сумм воспользуемся следующим
утверждением? если выполняются условия
plim^№2fteiM|M*Y* —My*I= l, (10.3.5)
для любого т > 0
piling. 22-1 ^ y?X (Та |>^) = 0, (10.3.6)
то справедливо (10.3.4).
293

Преобразуем величины yk к виду
Ъ = M^i [f (Г+ о) — я|)Л] — М* [/(z+7) — ypk],
где
tyk = / (z + а*); ал = л"1 £^ я, + а п~г.
Используя это равенство и раскладывая функцию / в ряд
Тейлора, получаем
yk = МЛ_1 £Г=1 (d/dzp)f(ak + z) {xkp — ар) at1 +
+M^_i $]Г.?=1 W/^Zp dz/) [М (хЛ, — ak) (Xki — щ) —
-rpl] (2П2)"1 + M^i j£.?-i(d*/dzp dzt) [M (%p -a*) X
X (хм — ai) —rpl] f (ak + *k + 9k) (2л2)"1, 0 < ptk <з xik — сц.
Из этих формул видно, что величины ук являются
некоторыми функциями от случайных векторов ak. Из условий
(10.3.1) —(10.3.5) следует, что для величин ук справедливы
утверждения типа закона больших чисел:
lim^„M|M*Y* —MyI| =0.
Следовательно, справедливо (10.3.5). Из условий (10.3.1) —
(10.3.3) следует (10.3.6). Теорема 10.3.1 доказана.
Заметим, что для сумм £L=i УкС^1 можно применить также
предельные теоремы более общего вида. Например,
справедливо утверждение:
если для любого конечного z и 9
рНпь» оо Yik=\ Mfe a! = О,
где
ak = М exp [iQyk с^~1] — 1;
plimw^oo EZ-i [Mft aji-MaJ = 0;
то
Hindoo %Ъ-\1Лу1с^1<оо9
где сп — некоторая последовательность постоянных.
Тогда
linw.0 [M exp [iQ £L=i yk сГ1] —
— exp {£^ЛМ exp (/G^^1)—]}]== 0.
294

§ 10.4. G2l -Оценка параметров в методе
максимального правдоподобия
—> —>■
Пусть хъ ... , Хп наблюдения над случайным т^-мерным
вектором £, плотность распределения компонент которого
равна p(aot х), где а0 — неизвестный вектор параметров.
Метод максимального правдоподобия заключается в следующем:
вводится функция правдоподобия
Ма) =П*«1/?(<*' *ь)
и в качестве оценки вектора а выбирается любое измеримое
-"Ч
решение а уравнения
где А — некоторое ограниченное открытое множество
значений вектора а.
Отметим, что при выполнении G-условия:
\\тп^о0тпп'"1 = с, 0<^<оо
•-ч
сходимость распределений случайных векторов (а — а0)п1/2
^ч
нарушается, поэтому использование оценок а в различных
прикладных задачах, в которых число параметров тп велико,
связано с большим числом наблюдений. Однако, с помощью
них можно найти G-оценки некоторых измеримых функций
—>-
ф(а0), причем эти G-оценки, как правило, не совпадают
^ч
с оценками ф(а).
В связи с этим отметим, что при построении G-оценок не
обязательно нужно исходить из оценок максимального правдопо-
-з- —>
добия. Достаточно иметь любую оценку а вектора а0 такую,
что распределения любого конечного числа ее компонент
асимптотически нормальны. В главах 6—9 доказано, что
погрешность G-оценок некоторых функций ф от
ковариационных матриц Rmn тп-то порядка эквивалентна (mnn)~l/2t причем
эти G-оценки получены с помощью функций ф (Rmn), где Rmn —
эмпирическая ковариационная матрица, полученная по методу
максимального правдоподобия. Оценки же y(Rmn) имеют
295

погрешность, эквивалентную тпггх + п~{12. Если тп
фиксировано, то погрешность тпгГх во многих работах, как
правило, отбрасывалась. Но при выполнении G-условия эту
погрешность нужно учитывать, более того, следующие члены
в асимптотическом разложении функции распределения
величины ц>(ктп) — ф(#шп) также могут существенно влиять на
поведение ошибки оценивания. Для решения многих задач
—>-
при больших размерностях вектора а0 нужно оценить не век-
—>- —*-
тор а0, а некоторую функцию ф(а0) от его компонент.
Например, представляет интерес задача оценивания плотности
—>■ —>•
распределения р(а0> х). Как отмечалось в § 10.1, оценка
—>- —>■
/?(а0, х) уже не будет наилучшей, но используя ее, с
помощью методов, изложенных в § 10.1 — § 10.3, можно
найти G-оценку функции /?(а0, х). Эту оценку будем обо-
значать символом G21. Предположим, что С21-оценка /?(а, х)
плотности /?(а0, х) найдена, тогда можно найти оценку
вектора а0, решая уравнение р(а, х)~р(а, х). Если такая
оценка существует, то ее можно взять в качестве G-оценки
вектора параметров а0. Заметим, что решение а этого урав-
нения в общем случае зависит от вектора х.
Рассмотрим пример. Пусть
/7(аЛ) = (2яГ^/2еХр{-!|1-а0|172}, 7, а0 £/?>
Оценка а вектора а0 по методу максимального правдоподобия
~* -1 V"
а = п г bk=\ xk.
Подставляя эту оценку в плотность распределения /?(а, х),
имеем
р (а, 1с) = (2кГт"/2 ехр {— \\х - а01|2/2 +
+ 5 - а0> *Г п-1'2) - (2n)_1 lh II2},
*^ч
—>- -->• —>■
где г] = (а —а0)п1/2.
Очевидно, что если
limn->oo m^rz"1 = с, 0<с<оо,
limre^ « || ■» — оь01|2 /г"1 =0,
296

то
lim^. M [p (a, 1)p~* (ae> "*) — l]2 = {ё^ф — 1)2>0.
Если же взять оценку плотности р(а0, х) в виде
-"ч **ч.
р (а, х) = (а, *) ^/2,
то при тех же условиях
<"ч
limn^e. М [/7 (а, х) /Г1 (а0, х) — I]2 = 0.
Следовательно, при выполнении G-условия в качестве G2U
оценки вектора параметров а0 можно взять любое измеримое
решение уравнения
р(а, 7)ес'2 = р& 7).
Из этого уравнения получаем, что G-оценка а вектора а0
удовлетворяет уравнению
if* — gT||? — с = \\х — "£||я.
Это уравнение в общем случае имеет бесчисленное множество
решений, зависящих от вектора
x£{#:||*--a||2>c},
и не имеет решений при
*€{■*» II х~ a||2<c}.
§ 10.5. 6?2?-Оценка в задачах классификации
Некоторые задачи классификации сводятся к следующей
[5]; задана функция /(a, a:)," a£Rm, *£/?*, а£Л, А —
некоторое измеримое множество; найти оценку решения а0
уравнения
sup-j { / (a, 7) dF (*) = J / К, *) df (*). (10-5- О
297

где F(x) — функция распределения, которая неизвестна,
а известны лишь независимые наблюдения xki k~l,n над
некоторой случайной величиной £, функция распределения
которой равна ^(л;). Вместо уравнения (10.5.1), как правило,
рассматривается «эмпирическое» уравнение
sup-j Sft-i /fa> ~Xk) = E*=i /Я **). (10.5.2)
В качестве решения такого уравнения выбираем любое изме-
<-"Ч
римое решение а.
Основная задача в том, чтобы найти условия, при выпол-
—>• —>-
нении которых pliriWoo a = а0, либо распределение величины
(а — а) сп, где crt — некоторая последовательность постоянных,
сходится к нормальному закону.
При выполнении условия limn**, тпп~х = с, 0 < с < оо,
в общем случае эта задача неразрешима, но если нужно
оценить не вектор а0, а некоторую функцию от его
компонент (в частности, оценить sup-* j /(a, x)dF(x), то можно
применить методику нахождения G-оценок (см. гл. 6, § ЮЛ—
§ Ю.З)).
Задачу нахождения sup-* J / (ос, #) dF (я) при больших
значениях т„ можно решить следующим образом. Все
множество наблюдений [хи, k = 1, п} разбиваем на два:
L± » {xk, k = 1, «/2}; L2 = {xk, k = n/2 + 1, n}f n — четное
число.
Находим решение а уравнения
а затем находим б22-оценку функции
с помощью подстановки вектора а вместо а.
298

§ 10.6. О23-Оценка экстремумов функций в методе
стохастической аппроксимации
Задачи стохастической аппроксимации формулируются
так: предположим, что можно наблюдать некоторую функцию
fix), xZRmn в:любой точке XkdR"1*1 с некоторой случайной
ошибкой наблюдения ук. Необходимо по этим наблюдениям
найти последовательность точек х^ сходящихся по
вероятности к решению уравнения
/Й = о, (Ю.6.1)
либо
sup-, mnfTx) = f(7). (10.6.2)
Согласно процедуре Роббинса — Монро при некоторых
условиях можно выбрать некоторую последовательность точек
Xk такую, что plim^^oo л:^ = л:, где х—решение уравнения
(10.6.2). Если тп зависит от п и выполняется G-условие, то
оценки xk не будут сходиться по вероятности к истинным.
Для решения этой задачи можно применить методы G-анализа.
Точнее, можно использовать оценку G20, равную линейному
функционалу j f(xk + z) ф (г) dz от функции f(xk + z), zdR"1".
Но функция / неизвестна, поэтому этот функционал вычисляем
с помощью .метода Монте-Карло.
§ 10.7., 024-Оценка, минимизирующая
среднеквадратический риск
Пусть £' ~ (1г, ... , 1тп) — случайный вектор,
распределенный по нормальному закону N (а, /а2); х19 х2, ... , хп —
независимые наблюдения над случайным вектором £. Очевидно,
«"Ч
что а = n^E/Li** — несмещенная и асимптотически
нормальная оценка вектора а и
• М\\а — а\\2 = о2тпп"1.
299

Ч. Стейн предложил метод нахождения оценок v— параметра
а, для которых
М \\7— Т||2 < а2 тп л-1. (10.7.1)
Его метод заключается в следующем: рассматриваются оценки
а = а + п-г~ц (а),
где #(л;), *£#"", ^МбЯ"1'1 — некоторая дифференцируемая
функция. Легко проверить, что
/"Ч ^N У^Ч
М ||! — а II2 — М jja + п"1! (а) — aj|2 =
—*>• *"Ч ^Ч
= -2/z-1M{(^-7,l(I))-n2M||g(S)||2.
С учетом этого равенства имеем
М ||1 —1||2 — М |f + га"1 ^ (а) —1||2 =
«"ч ^ч -^ч
= -2га"1 М {(1-1, J(lj) - «-гМ |!7ЙН* =
/"Ч уч
= 2^2М(11й1^)/^)-^2М||^Й||2. (10.7.2)
Пусть функция g представима в виде
g(x) *=grad[lnq>(*)],
где ф(л:), х £ /?т" — дважды дифференцируемая функция. Для
такой функции справедливо равенство
ЕЙ «a Wldxt =_SJ1 (а/^Нф-i (Г) лр $/&*] =
= -1|"ЗЙ'||2 + фЙАфЙ,
где Д = Sl=i d2/d#2 — оператор Лапласа.
Используя это равенство и (10.7.2), имеем
^Ч /^ ""Ч V4
М || а"— "а ||2 — М || 7— <Г||2 = п-2 М || ~g(a) ||2 — аГ2МФ (а)"1 Д<р.
(10.7.3)
Правая часть этого равенства положительна, если функция ф
такова, что Дф < 0. Такие функции называют
супергармоническими. На прямой и на плоскости не существует ограни-
300

ченных снизу супергармонических функций, отличных от
константы, так что метод Стейна в этих двух случаях не
дает улучшения оценки а. Если же тп > 3, то такие
супергармонические функции существуют.
Если известно, что вектор а принадлежит некоторому
ограниченному множеству, то легко привести несмещенную
оценку, для которой справедливо (10.7.1). Например, в
качестве такой оценки можно взять
1-1(1 + 8 у 7\\*у\
где е > 0 — некоторое число.
В некоторых случаях при нахождении оценок Стейна
можно применить методы G-анализа. Полученные оценки
будем относить к классу оценок, миниминизирующих
среднеквадратический риск, и обозначать их символом G24.
Например, рассмотрим функцию потерь оценки G обратной
ковариационной матрицы R"1
m-1MSp(i?"1 —G)2,
где оценка G является некоторой матричной функцией
наблюдений *!,...,*„ над нормальным случайным вектором
£ с невырожденной ковариационной матрицей R.
В.§ 6.4 доказано, что если 1\тп^ ^ШпПГ1 =с < 1, то в
качестве G-оценки матрицы R"1 можно взять
где R — эмпирическая ковариационная матрица.
Для такой оценки при условии, что lim„^eomn1Sp/?"a<oo
limn— [m^M Sp {R^ — G3)2 — m~l SpR~2c (1 — c)'1] = 0.
Оценка G3 имеет меньший среднеквадратический риск, чем
оценка R"1, поскольку (см. § 6.4)
. linwoo [rrtfNi Sp {R'1 — U-1)2 — т^М Sp R'2c (1 + с —
— с2)(1—с)-3] = 0.
Можно продвинуться еще дальше и найти такую G-оцен-
ку, которая будет иметь еще меньший среднеквадратический
301

риск. Например, в качестве такой оценки можно взять G/-
оценку матрицы /(/?), где /.— аналитическая функция. Для
этой оценки можно найти предел
lim^m^M Sp (G, — R-1)2 = т (/)
и далее найти min^m (/), где К — некоторое множество
аналитических функций. Получаемые таким образом оценки
будем обозначать символом G24.
Заметим, что если в качестве функции потерь для оценок
G(x) нормированных спектральных функций цп(х) матрицы
R взять расстояние Леви
inf8 [(Уд:) jli (х — е) — е < G (а:) < F (х + е) + е],
то используя оценку G5 можно добиться того, что
математическое ожидание этого выражения будет как угодно малым
за счет выбора параметра е сглаживания, с помощью
которого задается оценка G5.
Еще один пример функции потерь, предложенной Стейном;
Sp R-W — In det R-W + mn,
где G — оценка матрицы R, являющаяся неотрицательно
определенной матрицей того же порядка, что и матрица R.
Для такой функции потерь также можно применить методы
G-анализа.
§ 10.8. (/25-Оценки главных компонент
Пусть хи х2, ... , хп независимые наблюдения над /72„-
мерным случайным вектором g, M g = а, М (£ — а) (| — а)'' =
= R. Метод главных компонент состоит в нахождении
собственных векторов hk собственных чисел Хг > ... > Хт
матрицы R. Линейные комбинации (h£, хг) называются
главными компонентами. При выполнении О-условияНтп^воШ^"^
< 1 оценки h{ (R) в общем случае не являются
состоятельными. Для нахождения G-оценок величин (h{, с), где с —
некоторые вещественные векторы, можно применить методы
нахождения таких оценок, рассмотренные в предыдущих
главах. Однако, в настоящее время не все эти методы дают
возможность найти G-оиенки.
Так, чтобы найти G-оценку, являющуюся решением
соответствующего G-y равнения нужно доказать, что при
выполнении G-условия р Ит,^» [(/ц (R), с) — М (Нг (R), с)]~
= 0Л а также р Нпь-оо [К (R) — MA* (R)] = 0. При доказатель-
302

стве этих утверждений нужно использовать предельные
теоремы для сумм мартингал-разностей, через которые
выражаются величины K(R) — MXk(R), (М#), V} — М(^ (R), 7),
а также формулы возмущений для собственных чисел и
собственных векторов. На таком пути доказательства
предельных теорем для указанных величин. встречаются некоторые
трудности, преодолеть которые пока не удается. Укажем их.
Легко видеть, что
К (R) - мл* (R) = SLi {*VA (R) - МЛ (Я)} =
= SLi {*»*-! IK (R) -K(R-(n- lrlS)] -
где gfe = #fe — М xk, МЛ — условное математическое ожидание
при фиксированной минимальной а-алгебре, относительно
которой измеримы случайные векторы хм, ..., хп.
Формулы возмущений для собственных чисел %k равны
= (п - I)-* ((R - (л - 1)~ЧкЪ Ф*. Ф*) +
+ Si+* (^ - (л -1)-1"!!;) Ф/. "ф»м** -£,)+....
—> «.
где % и Kk — собственные векторы и собственные числа
матрицы R — (я — l)-1^^.
Из этих формул видно, что во-первых -нужно накладывать
условия, обеспечивающие сходимость этих рядов, а во-вторых
нужно чтобы существовали интегралы
Кроме таких формул возмущений можно воспользоваться
следующими:
к (#) - к (R-(n - lriTiT) =
= -$!(л-1гчфл*), £)■<**.
где фА (х) — собственные векторы матрицы
R-x(n-irnk%
Однако и эти формулы пока не удается использовать,
поскольку, используя их, получаем неравенство
М (К (R) — МЯ,Й (Я))2 « сп^т,
303

и снова выходит, что нет доказательства состоятельности
G-оценок величин %k (/?).
Более перспективным является метод, основанный на
использовании G-оценки резольвенты ковариационной матрицы.
Введем спектральные функции
Очевидно, что преобразования Стилтьеса таких спектральных
функций равны
J (г — х)-1 d\xt (х) = (/г — Я)Ц 1ш г Ф 0.
Зная эти преобразования, с помощью формулы обращения
для преобразований Стилтьеса можно найти все компоненты
собственных векторов hk, а также собственные числа %k.
Рассмотрим выражение
Ф (t, Rmn) = ((/ + *Ятп)<, t), (10.8.1)
где а и b — некоторые вещественные m-мерные векторы; t—
вещественный параметр, (а, а) + (Ь, Ь) < £<оо.
Найдем 025-оценку выражения. (10.8.1). Используя эту
оценку и .приравнивая компоненты векторов а и b к некоторым
величинам, найдем регуляризованные оценки главных
компонент.
б25-оценкой функции ф(/, Rm ) назовем следующее
выражение*
G25(', Ятя) = ф(вп(0. Rmn)>
где Qn(t) — неотрицательное решение уравнения
9(l-mll(/i-iri + (n-l)-1Sp (/+в^П=-<, t>0,
тп(п— 1)<1. (10.8.2)
Легко проверить, что неотрицательное решение этого
уравнения существует и единственно.
Теорема 10.8.1. Пусть заданы независимые
наблюдения хи ... , хп, ... над тп-мерным случайным вектором
£, справедливо G-условие
ТЩ.^«тлл-1<11 (10.8.3)
0<£, < ^ < с2<°°* i = 1, тя> (10.8.4)
304

компоненты вектора щ = (i)lki ...» r\mnk)' = R"-l'2mn (xk —
— Mxt) независимы:
sup« supers suPteT7^„M I П« l6<°°' (10-8-5>
Мт£ = 3, (10.8.6)
sup„ S2i I fa fo (£ ft**) l<~. (Ю.8.7)
Тогда
limB*.P{[G1B(<f Rmn)-<p(t, Rmn)\V~ndn(t)<x} =
= {2n)-w\x_„e-y>i4y, (10.8.8}
еде
T„ = {1 - МФ' (0„R) knQn [\-kn + 0АМф' (0„, R) +
+ кпЩ (в„, Я)]"1}"1. 0„ (SLi (M Sp (L*/?)«/2« +
+ "-*M SL, (Я1/2£*/?,/2)?А)}-1'2: =» dn (t),
dt = M (t,J — 1)" — 2; -ф (0, R) = m;1 Sp (/ + QR)~\
0n — неотрицательное решение уравнения
0(1 — k„ + &„Мф(0, Q)) =I,/>0J„ = m^"1,
ф (в, q) = ((/+0<2гч T), q=(n -1)-1 x;;:1,11;,
Lk «. [ 1 + 0„ (n - 1)-» M Sp Si?]"1 MAS И' + /у») S +
+ Mft0„S (n — l)-1 Sp /?Sa&'S [ 1 + e„ (я — I)"1 M Sp SR\~\
s = (i + QnQ)-1,fk=7k-m7k,
функции dn(t) удовлетворяют неравенству
supo</<c<~dn (0 < oo.
Доказательство. Разлагая функцию ф(0, R) в ряд
Тейлора по переменной 0 и используя уравнения
9(1_£„ + £„Мф(0„, Q)) = (f в(1-^+Л„Ф(в, R))=t,
*>0,
имеем
0 (1 - kn) + Qkn [ф (0, R) + Ф' (0, R) (0 - 0) +
+ Ф* (0 + а (0 - 0), R) (0 - ев)я/2] =» /,
в„ (1 — &,) + Bnkn МФ (0, Q) = t, 0 <: а < 1.
305

Вычитая из первого уравнения второе, находим выражение
для разности
К - е = - {9А [Ф (9Л> R) - МФ (9, Q)] +
+ 9й„ф" (9„ + а (9 - 9„), Я) (9 - 9„)*/2} X
X [ 1 - К + dkjp' (9„, R) + АСф (9„, R)]-K (10.8.9)
Очевидно, что
Ф(в, R)-4>(t, /?)=Ф'(9, Я)(9-9) + ф"(9„ +сс(9-
-9„), Я)(9-9„)2 + ф(9, R)-<p(t, R), 0<а<1.
Подставляя в это равенство значение 9„ — 9 из формулы
(10.8.9), выводим основное соотношение, необходимое при
доказательстве асимптотической нормальности оценки G25:
G25(t, R)-<?(t, Я) = [ф(9„, £)-М(Ф(е„, Q)]cn +
+ [Мф (9„, Q) - Ф (/, R)) + е„ + [ф (9„, R) - МФ (9„, Q)],
(10.8.10)
в котором
Сп= 1 - Ф' (9„, Я) ЙЛ [ 1 - kn + Мг„Ф' (9„, R) + knq> (9„, R)]~\
гп = {-ф' (9„, R) Qkn [1 - fe„ + 9М>' (9„, Я) +
+ К<р (9„, Я)Г/2 + 1/2} Ф" (9„ + «(в - 9„), R) (9 - 9„)2.
(10.8.11)
Упростим формулу (10.8.10). С этой целью рассмотрим
матрицы
pk = S ti "£?; (л -1)-1 + S"=ft+i Й - МЙ) й -
_Л1*4)'(я-1)-1. />„ = Q,
где случайные векторы ys не зависят от случайных
векторов xk.
Для таких матриц справедливо равенство
МФ (9„, Р0) - Мф (9„, Pn) = SLi {M [ф (9„, Р^) -
-Ф(9„, />11)]-М[Ф(9„, />А)-Ф(9„, Ptx)!}. (10.8.12)
где
/ti = Pk-(n- l)-iЙ -М7к) (хк-МЙ)'-
306

Используя формулу (5.6.4), имеем
Ф(в„, P*-i)-Ф(вп PLt) = - (я - I)"1 ((/ + Wlj*Д-
- mlk), 7) ((/+ e/M)"i (J -м7к), b) [l + ((/ +
+ Qn^-i)"1 Й - м 5 (£ - мТ4)) (л -1)-1]-1,
Ф (6„, P*) - Ф (6„, Ptx) = - (л - l)"1 ((/ + e„PJLi)-V*. a) ((/+
+ eX-i)"^*. 6) [1 + ((/ + Vti)-1*/*, Л) (я - I)"1]"1.
(10.8.13)
Используя равенство (10.8.13), представим выражение (10.8.12)
в следующем виде:
[мФ (е„, р0) - мер (е„, рп)] VK=\ = - (п -1)-'/2 SLiM х
X {ck + V'tn vj (1 + d4 + m"» (л- l)"1 ^Г - M (ck +
+ Vm <xj (1 - dk + Vm (n - 1Г ft*)"1}. (Ю.8.14)
где
ck = sP (/ + eX-i)"1 "£#(/ + eX-i)-1^,
ц4 = m"1'2 Sp [(/ + e„PLi)_1 (X - M**)(S- М3'-(п-IK],
v, = m-1'2 Sp [(/ + eX-i)"1 ~at (I + Q.Pti)-1 Й - мТ,) &_
a, = «-"» Sp [(/ + епР*_1Г ^ ^ U + QnPli)'1 H3k ~ck\,
pfc = m-w Sp [(/ + eX-i)"1 "&U - (n - 1) d4].
Используя условие (10.8.7), получаем, что величины ck и dk
ограничены, а так как выполняются условия (10.8.5) и (10.8.6),
то легко проверить, что
MVfc = M\xk = Maft = Щк = 0,
Mv^/e = MaApA,
supnM|vJ |fxJ2<oo, sup„M|aJ ||3J2<oo.
Используя эти отношения и записывая равенство (10.8.14)
в виде
[МФ (вя^0) - МФ (9Я1 Ял)]ет = - (п - 1)-1/2 ELi {fe +
+ ^ v,) [(1 + d* + /п1/2 (л - l)-1^)-1 - (1 + dky* +
307

+ m(n- l)"11*2(1 + dk)-3\ ~(c* + Vmak) (1 + dk +
+ m1/2 (« - 1)-%Гх - (1 + и*)"1 + m (n - l)"1 M1 + dfc)-3]},
получаем, что
lim„. . [МФ (в„, Р0) - МФ (9„, Рп)\ V~^\ = 0. (10.5.15)
Поскольку
R = Р0 - (я - I)"1 "л V, Л = «"1/2 SLi Й - М 5,
то снова, используя формулу (5.6.4), имеем
[Ф (9„, R) - Ф (9„, Р0)] (л-1)'/2 = в„ (S ^ 1) (S цЛ)(п-
_ 1)-1Л» [1 -ея(п- lrMS^)]-1. (Ю.8.16)
где
S = (I + enP0)-K
Из соотношения (6.3.35) следует, что
plimn^(S^)-M(S^ Ч)](л - I)"1 = 0, (10.8.17)
а из доказательства леммы 6.3.6 вытекает, что
supn[l—в„(л— l)-1M(S':n,"rj)r1<:c<oo. (10.8.18)
Докажем, что
plinv_ [(Sl\f ~d)(S^, 7) — M(S ть aj(S"rif й)]-1'2 л = 0.
(10.8.19)
Для этого рассмотрим сумму мартингал-разностей
кп — Mk„ = ELiVa.
тде
Y* = %-Л* — Млхп, хл = (Slff, 7) (S"rjf 7) я-1/2,
,Mfe — условное математическое ожидание при фиксированной
минимальной а-алгебре, относительно которой измеримы
случайные векторы хм, ... , хп.
Легко проверить справедливость следующей формулы:
(S т?, 7) (S а 7) = - (L а, тГ), L - £ (/ + аЬ'и + 9Л)10.
.308

Обозначим
% = Hi+k (xi — Mxi) nrxv.
Тогда, используя (10.8.20), имеем
yk =jvi*_ A — MA,
Ak = nru*({L -Lk)4k, ^) + 2n-\((L - Lk)tk> X) +
+ 2гГ* (Lk S, "J) + «3/2 ((L _ Lj £ ^) + „-3/2 (L/. ^ ^
где
Lk = (d/дй) (/ +^Ри + вя(л - 1)-' £*** Tpti)«io,
Применяя формулу (5.6.4) к этому выражению, получаем
Ak „ _/!-1/»ея «<?/<?«) (Л - lr1 т (и) £VTk (и) [ 1 + ея (я -
- I)"1 (Тк (и) U ЪгЧь, %)и^ - № (Mo, Ъ) +
+ /1-з/2 ((L _ Lf^ fk) + n-W{L£kt y, (10.8.21)
где
Tk (u) = (T + ab'u + e„ (л - l)"1 £р+* ЪЪГ1-
Используя условия (10.8.6) и (10.8.7) для выражения (10.8.21),
получаем неравенство МA2k < сп2 < оо. Поэтому так как
величины yk некоррелированы, то lim^oo SL=i Myl == 0-
Следовательно, справедливо (10.8.19).
Но тогда, поскольку выполняется (10.8.17), то для
выражения (10.8.16) имеем
p\imn^{lff(QniR) — v(^ ^o)]«1/2-ertM(L^f^)/i^[l-
— Qnn-1Nl(S'r\t "rj)]-1} « 0. (10.8.22)
Заметим, что так же, как и при выводе равенства (10.8.21),
n-W M (Lt|, Ц) = n-w S?. /=1 M ((L - L„) £ U X
где
Lif = (а/а«) (/ +1?'и+ Qn(n-1)-1 XU,-.,Х%А>-
Для этого выражения на основании (10.8.7) и (10.8.5)
получаем
Шп^ооЛ-^М (1л, Ц) = 0.
309

Следовательно,
рНт^.Мбл, Я) — Ф(0а, Р0)]я1/2=0. (10.8.23)
Снова вернемся к уравнению (10.8.10) и докажем, что в этом
уравнении выражение п1'2 [Мф (0„, Q)— ф(/, #)] стремится по
вероятности к нулю при п-^оо. Так как выполняется
равенство (10.8.15), то это выражение представимо в виде
nW[IA<p{Bn, Р„)-Ф(г, Я)]+ 0(1). (10.8.24)
—>■
Поскольку случайные векторы #s распределены по
нормальному закону, то используя лемму 8.6.5, получаем
МФ (вя, Рп) = М ((/ + 9„Ptt)-i 7,Т) =
«SLiM^ + e^/i-iriSLiA^^^A^tS, hi)(bf I,),
(10.8.25)
где случайные векторы vk независимы и распределены по
стандартному нормальному закону Л/(0, /).
Повторяя доказательство леммы 6.3.3, выражение (10.8.25)
преобразуем к виду
п^ [МФ(9Я1 Рп) - Ф(U R)] = "1/2 SSib^I 1 + ^Г3 Ме22Р +
. + [1 + а,Г8Мвяр}(а, hp)&hP),
где
ар = ед, [ 1 - kn + fe^-1 м sP (/ + ея (Л -1)-1 SLi л1/2 х
х^Дл1'2)-1],
а для величин г2Р справедливы неравенства
1Лг1Р < с1п~г> I Me2P I < ^я"1-
Поэтому, поскольку справедливо условие (10.8.7), то
выражение (10.8.24) стремится по вероятности к нулю. Значит,
с учетом (10.8.23) и (10.8.15) выражение преобразуется к виду
[G«C. Я)-ф(<. Л)]л1/2 = /11/2[Ф(ея, Q)-
- Мф (вя§ Q)] *„ + 6Я + гпп^, (10.8.26)
где plinwoo 8„ = 0.
На этом заканчиваются подготовительные преобразования для
доказательства центральной предельной теоремы. Рассмотрим
суммы мартингал-разностей
«1/2 [ф (е„, Q) - мФ (е„, Q)] = пч* SLiT*.
310

где
Т, = М,_1Ф(9„, 0)-МлФ(вЯ1 Q).
Используя формулу (5.6.4), преобразуем это выражение к виду
п1'2 [Ф (9„, Q) - МФ (9„, Q)] = - 0„ SLi {М,_, (Skt, "£) X
х (s„%, Т) [l + е„ (sft £, S) (« -1)"1!"1 - % (5, Ц, 5 х
X (SX *) П + 9п(5*Ц, £)(л- l)"1]"1} «1/2(« - И'1.
(10.8.27)
где
s* = (/ + е„ (я - i)-i £р+* £ &Г1.
Равенство (10.8.27) запишем в виде
«1/2 [ф (в„, Q) - Мф (9„, Q)] = 9„n-i/2 SLi (JVW-А - МА),
(10.8.28)
где
SptfS
(s*ift.«)(s^ft
,b)-
■Sp RSka b'Sk
* y(n-i)"1
|"3-SpSfc/?](n-
+
-I)"1
+ •
[i + e„ (n -1)-1 (s4 sftf у i [i + e„ (n - i)-i sP sft*i
Заметим. ' что математическое ожидание квадрата второго
слагаемого в выражении для величины bk меньше, чем сп'1,
где О 0—некоторая постоянная, поэтому этим слагаемым
можно пренебречь. Следовательно, сумма (10.8.28) равна
"1/2 [ф Фп, Q) - МФ (0„, Q)] =Qnn~l^Li{Sp% ll4-SpRLk),
(10.8.29)
где Lk = Ni^S^a ~b'Sk [ 1 + в„(я - l)"1 (sX.lkT1-
Очевидно, что
% (Sp t ?kLk - Sp RLkf = 2 Sp {LkRf +
+ SL№1/2i^l/2W- (Ю.8.30)
Используя формулу (5.6.4), получаем
S - MS - Sp=1 (I^p-iS - MPS) =
= _ („ _ i)-i SLi{Mp_xe„ sp 1P Tp sp [ i + e„ (Я -
- I)"1 (SptP,&]_1-MA SpSSSp[l+6n(n-l)-i|SpX.X]-1.
311

Кроме того, так же как и при доказательстве теоремы 6.3.1,
получаем
pllmn..(n- ir4(S,i, %)-MSp SkR] =0.
Используя эти формулы, легко доказать, что выражение
(10.8.30) представимо в виде
lim„. . М | Nlk (Sp~tkT'kLk - Sp RLkf - 2М Sp (L^R)2 +
+ M 2L (R^R^ld; | = 0. (10.8.31)
Кроме того, в силу условий (10.8.3) — (10.8.7) для некоторого
sup„ М | М,_А - МЛ |2+6 < с < оо. (10.8.32)
Но тогда, используя (10.8.31), (10.8.32) и теорему 3.3.1,
получаем, что
lim^P^Me», Q)-Mq)(9„, Q)]on(f)<x} =
= (2я)-^ JL exp (-г/2/2) dy, (10.8.33)
где
сп (0 = [л*1 SLi (2м sP (L,/?)2 + м SLi (/г^иг^гА]-1^.
Докажем, что
Мтп+~гпп1'2 = 0.
Используя формулы (10.8.9), (10.8.33) и (10.8.23), имеем,
что распределения случайных величин л1/2(9— 9)
сближаются с некоторым нормальным распределением. Для этого
доказываем еще, что справедливы соотношения
plim^ [q/ (9л, R) - Mq>' (9„, R)] = 0, (10.8.34)
plim^. [ф(вл§ R) — Мф(вЯ| #)]=0, (10.8.35)
а также, что
supn\^(Qn + 0L(Q — 9„), Я) I <*<«>. (10.8.36)
Но тогда
plim^.fen1^^. (10.8.37)
(см. формулу (10.8.11))
Используя (10.8.34) — (10.8.36), а также то, что plinWoo x
X фп — 9) = 0, доказываем, что
plinw. [сп-{\- Мф' (в„, R)knQn [1 -kn + .
. +вкклЩ'{вп9 R) + knMq>(Qn, Z^]-1}] = 0. (10,8:38)
312

Теперь все готово, для того чтобы получить основное
утверждение теоремы. Легко видеть, что из (10.8.33), (10.8.37),
(10.8.38) и (10.8.26) вытекает (10.8.8), кроме того supo</<c«>o X
Xd„(/)<oo. Теорема 10.8.1 доказана.
Теорему 10.8.1 можно обобщить на функции ф(/, R),
в которых вместо / стоит комплексный параметр.
Рассмотрим выражение
Ф(г, Rmn) = ((/г — RmJ^a, b), z = t + is, s^= 0,
—>■ —>-
где а и b вещественные га^-мерные векторы; С25-оценкой
функции qp(z, R ) назовем выражение
где 0n(z)— аналитическое решение уравнения
1 -К + й„9Ф(9, Rmn) = Qz"\ s ф 0. (10.8.39)
Докажем, что решение Q(t) уравнения (10.8.39) существует
и единственно в классе аналитических функций.
Рассмотрим уравнение
К(1 -К + К J (l-w)-i diimn(x, Rmn) = /, (10.8.40)
о
где /<0— вещественный параметр.
Обозначим функцию, стоящую в левой части этого
равенства, через / (v). Она является неубывающей при v<cQ и
стремится к —оо при v->—оо. Поэтому отрицательное
решение v(t) этого уравнения всегда существует и единственно.
Очевидно, что функция f(v), v<z0 является
аналитической. Для этого рассмотрим круг на плоскости \z — ^(01^
<Р<Ро» гДе Ро — Радиус сходимости ряда
f(z) = t + a1(*-v(f)) + ... +an(2-v(f))n+
в силу принципа максимума модуля аналитической функции
в точках этого круга, отличных от v(t)y функция /(г)
принимает значения, не равные /. Пусть б— расстояние от точки
t до окружности | г — v(t) | — р при отображении ~w = f(z).
Тогда для каждой точки w1£{w\\w — v (/) | < б},
\f(z) — v(f)\>\v(f)-wtl *£yi = {zi\z — v(f)\=p}.
В силу теоремы Руше следует, что уравнения /(г) — t = 0
и / (z) — wt = / (z) — t + (/ — Wj) = 0 имеют одно - и то же
313

число корней внутри у. Но первое из них имеет только один
корень, следовательно, и второе имеет только один корень
v(t). Итак, в окрестности \w — /|<б определена
однозначная функция г = ф(до), значения которой принадлежат
окрестности \z — у(0|<р, обратная по отношению к функции
w = /(z).
Если w — произвольная точка из круга \w — t\ < б, то
функция f(z) — w имеет единственный простой йуль г =
= ф(до) внутри yi\t — v(t)\ = р. Следовательно, функция
г/' (г) [f (z) — до]"1 имеет единственный простой полюс <р (до)
внутри у, с вычетом, равным ф(до). Следовательно,
Ф (до) = (2я0-1 J ^/' W I/ (^) — w)] -1 б/г.
V
Так как |до —/|<б, a |/(z) — /|> б, г£/, то дробь
f'(z)[f(z) — до]"1 можно разложить в ряд
Г (z) [f (г)- а»]"1 = 2Lo /' (г) [/ (г) -1] [(да -1) (f (г) - O'T.
Отсюда
г в ф (Ш) = S„~=0 (2я0-1 Jz/'W I/ (г) - 0 [/ (г) - /J-'-'O» - О".
V
Следовательно, функция ф(до) является аналитической в
круге | до — /1 < б. Аналитически продолжая обе части
уравнения (10.8.40) в комплексную плоскость, получаем, что у этого
уравнения существует аналитическое решение при Im Ф 0.
Предположим, что существует два решения уравнения
(10.8.39), являющихся аналитическими функциями. Тогда
1(Вг{г)) = г'1, /(92(з)) = z"1, Imz^O, Rez<0.
Но при z = Г1, / < 0 эти решения совпадают, так как
уравнение (10.8.40) имеет единственное решение. Следовательно,
так как функции Q1(z) и 02(г) аналитические, они будут
совпадать для всех г. Заметим, что из условия 1тг^=0
еледует lmv(z) Ф0. Действительно, из уравнения (10.8.39)
следует
- (1 - Кп) Р (а2 + PV1 - Р J [(а - xf + Р2Г Ф„я (х, Rmn) =
= _S(/2 + s2)-l>
где а = Re v (г), Р = Im v (z). Отсюда вытекает, что Р Ф 0,
если s Ф 0.
314

Повторяя доказательство теоремы 10.8.1, получаем
следующее утверждение.
Теорема 10.8.2. Пусть выполняются условия теоремы
10.8.1. Тогда для любого z, Imz^O
р Ит„_ «о [G25 (г, Rmn) — ф (z, Rmn)] = 0.
Аналогично, как и в теореме 10.8.1, можно доказать цент-
ральную предельную теорему для оценки G25 (z, Rm ).

СПИСОК РЕКОМЕНДУЕМОЙ ЛИТЕРАТУРЫ
1. Айвазян С. А., Бежаева 3. И., Староверов О. В. Классификация
многомерных наблюдений.— М. . Статистика, 1974.—240 с.
2. Андерсон Т. Введение в многомерный статистический анализ: Пер.
с англ.— М.: Физматгиз., 1963.-— 500 с.
3. Барсов Д. А. Асимптотические распределения статистик
дискримннантного анализа для эллипсоидальных распределений//Теория
вероятностей и ее применения.— 1981.—Т. 26, № 2.—С. 413-414.
4. Боровков А, А. Математическая статистика.— М. : Наука, 1984.—
472 с.
5. Вапник В. Н. Восстановление зависимостей по эмпирическим
данным,—М. : Наука, 1979.—447 с.
П. Владимирова А. И, Метод возмущений линейных операторов в
минимаксном оценивании состояний динамических систем//Укр. мат.
журн.— 1986.—1. 38, № 2.—С. 215—217.
7 Владимирова А. И. Метод возмущений линейных операторов в
задачах минимаксного управления линейными динамическими
системами // Вычисл. и прикл. математика.— 1985,— Вып. 56.—С. 103—106.
8. Гирко В. Л. Случайные матрицы.— К. : Вища шк. Изд-во при Киев.
ун-те, 1975.—448 с.
9. Гирко В. Л. Теория случайных детерминантов.— К. : Вища шк. Изд-
во при Киев, ун-те, 1980.—368 с.
10. Гирко В. Л. Предельные теоремы для функций случайных величин.—
К. : Вища шк. Головное изд-во, 1983.— 207 с.
11. Гирко В. Л.,Онша Ю. М. Резольвентный метод решения задач в
теории планирования экспериментов // Вычисл. и прикл. математика.—
1984.— Вып. 52.— С. 129—132.
12. Гирко В. Л. бг-Оценки спектральных функций ковариационных
матриц //Теория вероятностей и мат. статистика.— 1986.— Вып. 35.—
С. 28—31.
13. Гирко В. Л. G-Лнализ наблюдений большой размерности//Вычисл.
и прикл. математика.— 1986.— Вып. 60.—С. 115—121.
14. Гирко В. Л., Крак Ю. В. Асимптотическая нормальность оценок
состояний адаптивных моделей манипуляционных роботов//Вычисл.
и прикл. математика.—1986.—Вып. 60.—С. 89—94.
15. Гренандер У., Сегё Г. Тёплицевы формы и их приложения: Пер. с
англ. — М.: Изд-во иностр. лит.. 1961.— 308 с.
16. Деев А. Д. Асимптотические разложения распределений статистик
дискриминантного анализа W; M, W *// Стат. методы
классификации.—М., 1972.— Вып. 31.— С. 6—51.
17. Деев А. Д. Представление статистик дискриминантного анализа и
асимптотические разложения при размерности пространства,
сравнимой с объемом выборок//ДАН СССР.—1970,—Т. 195, № 4.—
С. 759-762.
18. Дороговцев А. Я. Теория оценок параметров случайных процессов.—
К.: Вища шк. Изд-во при Киев, ун-те, 1982.— 192 с.
316

19. Дуда Р., Харт П. Распознавание образов и анализ сцен: Пер..
с англ.— М.: Мир, 1976.— 5 J1 с.
20. Ибрагимов И. А., Хасьминский Р. 3. Асимптотическая теория
оценивания.—М. : Наука, 1979.— 527 с.
21. Колмогоров А. Н. Теория вероятностей и математическая
статистика — М. : Наука, 1986.—534 с.
22. Латтес Р., Лионе Ж. Л. Метод квазиобращения и его приложения:
Пер. с фр.— М.: Мир, 1970.— 336 с.
23. Липцер Р. Ш., Ширяев А. Н. Статистика случайных процессов.—
М. : Наука, 1974.—696 с.
24. Липцер Р. Ш.ш Ширяев А. Н, Теория мартингалов.— М. : Наука,-
1986.—512 с.
25. Лумельский Я. П., Сапожников П. Н. Несмещенные оценки для
плотности распределений//Теория вероятностей и ее применения.—1969.—
Т. 14, №2.-С. 372—380.
26. Мешалкин Л. Д., Сердобольский В. И. Ошибки при классификации
многомерных наблюдений//Теория вероятностей и ее применения.—
1978.— Т. 23, № 4.-- С. 772—781.
27. Моклячук И. П. Об одном свойстве случайных последовательностей
одностороннего скользящего среднего // Теория вероятностей и мат.
статистика.— 1985.— Вып. 32.—С. 86—94.
28. Наконечный А. Г. К минимаксной теории оценивания функционалов
от решений операторных уравнений//ДАН УССР. Сер. А.— 1982.—
Вып. 5.— С. 69-72.
29. Невельсон Н. В., Хасьминский Р. 3. Стохастическая аппроксимация
и рекуррентное оценивание.— М.: Наука, 1972.— 304 с.
30 Пастур Л. А. Спектры случайных самосопряженных операторов//
Успехи мат. наук.— 1973.—Т. 28, № 1.—С. 3—64.
31. Стейн Ч. Лекции по теории оценивания многих параметров//Зап.
науч. семинаров ЛОМИ.—Л., 1977.—Вып. 74.—С. 4—65.
32. Тихонов А. И.. Арсенин В. Я. Методы решения некорректных задач.—
М. .-Наука, 1986.— 287с.
33. Уилкс С. Математическая статистика.: Пер. с англ.— М.: Наука,
1967.—632 с.
34. Brown В. М., Eagleson G. К. Martingale convergence to infinitely
devisible laws with finite variances//Trans. Amer. Math. Soc—
1971. —V. 162. -P. 449-453.
35. James A. T. Normal multivariate analysis and the ortogonal group//
Ann. Math. Statist. —1954. —V. 25. —P. 40—75.
36. Hoeffding W. A class of statistics with asymptotically normal
distribution// Ann. Math. Statist.— 1948.— V. 19, No. 3,—P. 293—325.
37. Rotar V. I. Limit theorems for poiylinear forms//J. Multivar. Anal
1979.- V. 9, No. 4. -P. 511-530.
38. Wigner E. P. On the distribution of the roots of certain symmetric-
matrices // Ann. Math. — 1968. —V. 67, No. 2. — P. 325—327.
39. Yin Y. G.., Bai Z. D. and Krishnaiah P. R. Limiting behavior
of the eigenvalues of a multivariate F matrix//J. Multivariat
Anal. —1983. —13. —P. 508—516.
40. Yin Y. G. and Krishnaiah P. R. A limit theorem for the eigenvalues
of product of two random matrices // J. Multivariate Anal.— 1983.—13.—
P. 489—507.
41. Yin Y. G., Krishnaiah P. R. Limit theorem for the eigenvalues of
the sample covariance matrix when the underlying distribution is
isotropic // Теория вероятностей и ее применения. — 1985. —Т. 30,
№ 4. —С. 810—816.

ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ
Алгоритм управления роботом 129
Аналог фильтра дискретный 245
Асимптотическая нормальность 142
оценки 202
Асимптотическое планирование
276
Байесовское правило
классификации 248
Бета-функция 41
Вектор изотропный 180
— комплексный гауссовский 42
Векторы асимптотически
независимые 115
Вероятность ошибки
классификации 248
Гипотеза Фреше-Сильвестра 273
Главные компоненты 43
Группа ортогональных матриц 21,
37, 43, 45
— треугольных матриц 27
(7-Уравнения высших порядков 153
— для оценок функций 150
Задача классификации 297
Закон больших чисел 101
Классификация наблюдений 246
Компонентная группа 18
Координаты ортогональной
матрицы 21
— сферические 22
Критерий качества оценки 69
Локально компонентная группа 18
Максимальное собственное число
73, 76, 140
Марковский процесс 52, 56
Мартингал 101
Мартингал-разности 101, 102
векторные 103, 120
Математическое ожидание потерь
247
Матричный случайный процесс 52
с аддитивными
приращениями 55
симметричный 55, 56
Матрица неотрицательно
определенная 30, 42
— ковариационная 24, 43, 269
— комплексная 42
— ортогональная 51, 52, 67
— симметричная 44, 52, 173
—Теплица 140
— треугольная 30
— эрмитова 52
Мера Хаара 17, 22, 24, 37, 45, 49
на группе орготональных
матриц 21, 30, 51, 67
треугольных матриц 20
Метод ортогональных
преобразований 38
--Байеса 246
— вероятностный 274
— интегральных представлений
133
— квазиобращения 154
— максимального правдоподобия
133, 140
— наименьших квадратов 68
— преобразований Фурье 155
— разделения переменных 59
— спектральный 140, 271
— стохастических аппроксимаций
143
Минимальная а-алгебра 98, 101,
111, 173
Мультипликативные ошибки 93,
126
Неравенство для
мартингал-разностей 100
— Буркхольдера 101, 195
318

Обобщенная ^-статистика 34
— дисперсия 36, 192
Операторы Gs98
Ортогональная матрица 21, 22
Основное спектральное уравнение
64
Оценка классификации 247
— минимаксная 73, 75, 79, 94, 238
— наилучшая 230
— несмещенная 98, ПО
— оценивания 97, 279
— параметров систем управления
114
нелинейных систем 119
—регуляризованная 239
— состояний систем 87, 90
динамических систем 89
— состоятельная 142
— спектра ковариационных
матриц 145
Параметр регуляризации 189
Планирование экспериментов 268
Плотность Уишарта 16, 17, 32, 33,
38, 50
— распределения 24
матрицы 28
Полумартингал 145
Полярное разложение 24
Предельные теоремы для борелев-
ских функций 98
общего вида 169
для оценок параметров 122
динамических систем 126
(/-статистик
экстремумов функций 133
Преобразование Стилтьеса 170,
174, 179, 202, 216
— Фурье 155, 172
Пучок матриц 183, 219
Ранговая корреляция ПО
Распределение собственных чисел
и векторов 44
— Стыодента 34
Расстояние Махаланобиса 249
Регуляризованная оценка 70
Регуляризованное расстояние 254
— решение 66, 224
Резольвента 161
Ряд Карлемана 38
Сглаженные спектральные функции
Системы линейных уравнений 188
—управления линейные 114
Случайный процесс с аддитивным»
приращениями 52
Спектральные уравнения для
минимаксных квадратичных
функционалов 84
линейных форм 8
оценок 72, 96
систем уравнений 93
стохастических
уравнений 82
Среднеквадратический риск 299
Статистика Андерсона-Фишера
264
Углы Эйлера 21, 22, 25, 46
— Линдеберга 99, 102, 103, 111,
162
— Липшица 120
Уравнение Колмогорова-Чепменз
57
— Риккати 70, 72
— Фредгольма первого рода 233
второго рода 234
Условие Колмогорова 11
Условное математическое
ожидание 101, 162, 207, 209, 222
Фильтр Калмана-Бьюси 234
— Колмогорова-Винера 233
— минимаксный 237
Формула Коши интегральная 54
— Роббинса-Монро 144
Формулы возмущений 55, 66, 146
матрпт 157, 164
— обращений 171, 197
Функционал линейный 81, 82
Центральная предельная теорема
102, 137
для собственных чисел 149
Эмпирическая ковариационная
матрица 15, 16, 30, 251
— обобщенная дисперсия 36
— система уравнений 188
Эмпирический фильтр 230
Эмпирическое математическое
ожидание 15, 16, 251
Ядро (/-статистики ПО
Якобиан 26, 36, 46, 48

Учебное пособие
Вячеслав Леонидович Гирко
МНОГОМЕРНЫЙ СТАТИСТИЧЕСКИЙ АНАЛИЗ
Редактор Е. В. Бондарчук
Художественный редактор В. В. Анненков
Технический редактор С. Л. Светлова
' Корректор Н. И. Кунцевская
Информ. бланк № 10994
Сдано в набор 30.03.87. Подп. к печать 22.10.87. Формат
84хЮ87з2- Бумага типогр. № 2. Лит. гарн. Вые. печать.
Усл. печ. л. 16,8. Усл. кр.-отт. 16,8. Уч.-изд. л. 14,72.
Тираж 1750 экз. Изд. № 8001. Зак. /-305. Цена 95 к.
Головное издательство издательского объединения «Выща школа»,
252054, Киев-54, ул. Гоголевская, 7
Книжная фабрика им. М. В. Фрунзе, 310057, Харьков-57,
Донец-Захаржевского, 6/8.